热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

井通阅读:“区块链+大数据”的发展路径

大数据和区块链的共生发展,一方面区块链为大数据突破樊篱,提供了可能的解决方案;另方面日渐成熟的区块链技术,确实也需要有大数据这样的大江大海来一显身手。但,作为两个独立的技术发展方向

大数据和区块链的共生发展,一方面区块链为大数据突破樊篱,提供了可能的解决方案;另方面日渐成熟的区块链技术,确实也需要有大数据这样的大江大海来一显身手。

但,作为两个独立的技术发展方向,大数据和区块链的合作也不是与生俱来的。忙着“捡到篮里都是菜”的大数据折腾了几年,存在着系统版本升级的需求;而投标方区块链能不能承受大容量、高频率的考验,真正提供有竞争力的落地方案,是挑战更是机会。

下面谈到的五个层次,可以看作是区块链技术走向成熟的五个阶段。每一步所需要的不仅仅是商业的推进,更需要技术的成熟,和社会的发展。

当然,人类一思考,上帝就发笑。无论我们如何严密逻辑的预测,都将会被历史所证伪。我们可以做到的,只是参与其中,并通过思考、学习,给予我们自身的宁静和对社会发展的敬畏。

1.第一层次:将区块链作为一种单纯的技术融入大数据采集和共享

如果简单地将区块链看作一种分布式数据的存储技术,其实就是一种底层技术支持的数据结构和接口,并提供一套与开发语言无关的标准应用程序接口(API)和开发者工具(SDK)。不同时间、不同技术和不同语言开发的各类应用和相应的操作型数据库,都可以通过不太复杂的步骤将重要信息写入区块链,并可以从区块链上获取已有的信息。

打破数据孤岛,形成一个开放的数据共享生态系统,是未来大数据成败的关键。而区块链作为一种不可篡改的、全历史记录的分布式数据库存储技术,在强调透明性、安全性的场景下自有其用武之地,可以有效解决当前大数据遇到的问题。而这会驱使相关利益方,特别是政府或者行业联盟,推动打破相关利益者的数据孤岛,形成关键信息的完整、可追溯、不可篡改并多方可信任的数据历史。

比如很常见的一些企业违反环保规定,在夜间关掉环保设备而偷排,希望通过违法的方式减少生产成本,获得更多的经济利益。这种情况举证并不容易,虽然布置了很多监控传感器,但传感器的数据可能会被事后修改。如果所有的环保设备和相应的监控传感器的数据都被实时写入区块链(以井通区块链为例,目前每六秒形成一个区块),则这些数据无法被篡改,并且被分布式地存储在全网不同的节点上——这些节点除了厂家以外,还可以部署在监管部门和能被公众实时查询的场所,有此产生的监管效果必然极为显著。

通过将区块链作为一种分布式存储的统一数据结构和接口,可以用比较低的成本来实现关键重要数据的互联和共享,一定程度上打破数据孤岛,并形成多方信任的数据链条。

2.第二层次:将区块链作为数据源接入大数据分析平台

区块链的可追溯性使得数据从采集、整理、交易、流通以及计算分析的每一步记录都被留存,使得数据的质量获得前所未有的强信任背书——这保证了数据分析结果的正确性和数据挖掘的有效性。

因此,从区块链上获取数据作为大数据分析的补充是应有之义。尽管大数据的发展趋势使得对于大部分类型数据的精确性要求降低,但是对于某些追求正确性的重要数据,把不可篡改的区块链作为数据源就很有必要。

《井通阅读:“区块链+大数据”的发展路径》
《井通阅读:“区块链+大数据”的发展路径》

最近落地的互联网金融新监管措施,要求监管同一单位或个人在所有互联网金融平台上的融资上限。如能通过(监管部门)统一的区块链网络,把同一主体在所有互联网金融平台的贷款余额作为重要数据加以记录,并和其他大数据信息一起分析,监管部门就可以有效地进行监管,各类商业机构也可以有效控制自己的风险。

另一方面,数据隐私保护一直是大数据发展的一个掣肘,大数据时代所需要的数据互通、数据共享实际上和保护个人隐私之间是存在剧烈冲突。区块链技术可以通过多签名私钥、加密技术、安全多方计算技术,就能够只让那些获得授权的人才可以对数据进行访问。数据统一存储在去中心化的区块链或者依靠区块链技术搭建的相关平台,在不访问原始数据情况下进行数据分析,既可以对数据的私密性进行保护,又可以安全地提供社会共享。

因此,将区块链保存的数据作为大数据分析的数据源,为大数据分析补充精确的关键数据,同时利用区块链的匿名特性在一定程度上保证数据隐私,可以为大数据的发展提供关键性的帮助。

3.第三层次:将数据作为一种资产,在区块链网络中进行交易

区块链是从比特币开始为人所知的,可以说比特币是区块链技术第一个成功的杀手级应用。在目前的第三代区块链网络上,可以将任何资产数字化后进行注册、确权、交易,智能资产的所有权是被持有私钥的人所掌握,所有者能够通过转移私钥或者资产给另一方来完成出售资产行为。

如果将大数据视为一种资产,那么无疑可以通过区块链技术实现其资产的注册、确权和交易。更进一步,由于区块链平台可以支持多种资产的互联互换,大数据资产就可以在区块链平台参与交易,利用区块链平台的智能撮合机制,支持类似大数据交易所等方面的应用。

通过将大数据作为一种资产并和区块链结合,是打破数据孤岛的另一种解决方案。一旦引入了市场机制和利益分配机制,这将成为政府推动、行业自律外的另一种强有力的动力,促进大数据的实质性流通和产业化应用。

《井通阅读:“区块链+大数据”的发展路径》
《井通阅读:“区块链+大数据”的发展路径》

上图所示了利用区块链存储数据的机制。利用区块链不可篡改的特性,在区块链上形成具有时间戳的重要数据存取读写痕迹,保证数据归集平台可以获得链上所有重要数据的存取记录,从而定位需要查询的数据;对于特别重要的数据也可以直接保存在区块链上。

在此基础之上,还可以通过在区块链上部署智能合约的方式实现与数据共享相关的业务处理逻辑,包括租借、购买、转账等。智能合约在完成逻辑编写后自动进行,实现对数据共享的全自动交易和后续的账务服务,如发放积分等。

所以,将大数据视为一种智能资产,区块链可以提供包括资产注册、交易、撮合、结算等功能,从利益机制上促进数据开放和应用开发。

4.第四层次:区块链作为万物互联的基础设施支持大数据全生命周期

区块链作为一个去中心化的网络平台,可以包含全社会各类资产,让不同的交易主体和不同类别的资源,有了跨界交易的可能性。在这个价值网络中,不但可以进行传统的商品或服务等商业活动,还可以做非商业的资源分享——只要你在这个网络平台上有信用,只要你的资源有价值。而区块链技术保证了资金和信息的安全,并通过互信和价值转移体系,达成了在此前无法完成的各种交易和合作。

我们相信,未来区块链将类似如今的互联网成为价值互享的基础设施,人类的大部分经济活动可以用终端用户不易察觉的方式运行在区块链上。行业的上下游通过区块链共享供应链信息并进行智能生产;各类资产在区块链为底层技术的交易所进行交易和互换;陌生的多方可以基于区块链上的可信记录进行合作;政府的公益和社会慈善通过区块链增加公信力和透明度。

在此基础上,区块链既成为各类经济活动的基础设施,同时也是各类数据产生的源头。区块链不仅从技术层面可以提供不易篡改的数据,同时也提供了不同来源不同角度和维度的数据。大数据分析可以基于全网的分布式存储的结构化数据和非结构化数据(通过Hash保存在区块链上),并通过新的存储技术(如图像化存储)增大容量。

当这一天到来时,区块链可以为共同的价值互享网提供高质量、经过稽核和审计的数据。区块链本身从大数据分析的补充数据源提升为大数据生命周期的主要数据源。

5.第五层次:区块链智能合约和大数据促进社会共治

随着数字经济时代的发展,大数据能够处理越来越多的现实预测任务,而区块链技术能够通过智能合约,通过DAO、DAC、DAS来自动运行大量的任务,帮助把这些预测落实为行动。

未来社会治理中,地方政府作为资源供给方,在进行诸如精准扶贫、社会服务外包、公益管理、养老等方面,都可以通过区块链作为中介,通过大数据作为公共产品需求者的精准分析工具,通过智能合约为标准化的公共产品提供自动流程——不但可以大大减轻地方政府所需编制,也可以优化和提高社会服务的水平。

在这个条件下,有志于公共服务的个人和团体与有需要的人群对接,政府通过区块链记录相应的需求、服务记录并提供相应的报酬,而这一切可以做到透明公正和可审计,通过智能合约可以减少人为干预和冗长的审批环节。

《井通阅读:“区块链+大数据”的发展路径》
《井通阅读:“区块链+大数据”的发展路径》

以某公益积分项目为例,大数据分析精确定位和归因不同的贫困户和需要帮扶的群众后,通过建设区块链上的公益积分体系,撮合受困群众和社会服务提供者,并以公益积分的形式反馈给受困群众和服务提供方。另一方面,通过区块链提供公益积分全生命周期管理,并逐步打通第三方商业机构从而拓宽公益积分的兑现和使用范围,同时计划逐步将更多的政府部门公共服务搬上区块链平台,提供高效、透明和可审计的社会治理记录。

这类社会治理类型的设想虽然还刚刚起步,却勾勒出了一个令人兴奋的前景,那就是通过大数据+区块链,并结合拥有资源的地方政府,可以将与人民大众日常生活息息相关的公共服务流程变得精准、透明、公开和高效。其中政府和市场各自使用自己的强项参与,而区块链和大数据技术则提供平台。通过对全量数据的扫描和精确分析,并与陌生多方信任的区块链网络和自动执行的智能合约相结合,人类社会治理将会迈上新的台阶!


推荐阅读
  • Spark面试题汇总大全
    1RDD简介RDD是Spark最基本也是最根本的数据抽象,它具备像MapReduce等数据流模型的容错性,并且允许开发人员在大型集群上执行基于内存的计 ... [详细]
  • 必备核心算法神经网络通俗讲解
    深度学习传统算法VS人工智能算法传统算法:都是人为去计算人工智能算法:部分人为需要做的事情交由机器去做【把更多的问题简单化】IT的发展比较高端的就是A ... [详细]
  • 一文看懂Python学习路径
    随着Python的发展,已成为程序员能力模型中,非常重要的一个技能。甚至BATZJ的工程师,都无可否认现在Python对于一个程序员职业发 ... [详细]
  • 云原生边缘计算之KubeEdge简介及功能特点
    本文介绍了云原生边缘计算中的KubeEdge系统,该系统是一个开源系统,用于将容器化应用程序编排功能扩展到Edge的主机。它基于Kubernetes构建,并为网络应用程序提供基础架构支持。同时,KubeEdge具有离线模式、基于Kubernetes的节点、群集、应用程序和设备管理、资源优化等特点。此外,KubeEdge还支持跨平台工作,在私有、公共和混合云中都可以运行。同时,KubeEdge还提供数据管理和数据分析管道引擎的支持。最后,本文还介绍了KubeEdge系统生成证书的方法。 ... [详细]
  • 本文介绍了Redis的基础数据结构string的应用场景,并以面试的形式进行问答讲解,帮助读者更好地理解和应用Redis。同时,描述了一位面试者的心理状态和面试官的行为。 ... [详细]
  • 本文介绍了Python语言程序设计中文件和数据格式化的操作,包括使用np.savetext保存文本文件,对文本文件和二进制文件进行统一的操作步骤,以及使用Numpy模块进行数据可视化编程的指南。同时还提供了一些关于Python的测试题。 ... [详细]
  • Android源码中的Builder模式及其作用
    本文主要解释了什么是Builder模式以及其作用,并结合Android源码来分析Builder模式的实现。Builder模式是将产品的设计、表示和构建进行分离,通过引入建造者角色,简化了构建复杂产品的流程,并且使得产品的构建可以灵活适应变化。使用Builder模式可以解决开发者需要关注产品表示和构建步骤的问题,并且当构建流程发生变化时,无需修改代码即可适配新的构建流程。 ... [详细]
  • AstridDAO 专访:波卡稳定币黑马 BAI
    加入Pol ... [详细]
  • 范式转移:构建超级应用——胖应用 + 胖协议
    范式转移:构建超级应用——胖应用 + 胖协议 ... [详细]
  • 大数据学习入门难,给初学者支招 ... [详细]
  • 数据可视化技术的应用,行业优秀案例分享
    ​数据可视化并不是什么新型技术,二十世纪50年代电子计算机图形学的初期,就可以利用软件建立出了第一批图形图表。伴随着近几年来大数据备受关注, ... [详细]
  • 区块链技术的应用案例展示
    按照行业主流观点,区块链技术应用将经历数字货币(1.0)、合约(2.0)和社会治理(3.0)阶段,当前正逐渐迈入合约阶段。一、区块链1.0:数字货币区块链技术伴随比特币应用而生,比 ... [详细]
  • sqlserver触发器写法_技术书籍荐读不可错过的SQL Server数据库书单来袭!
    朱熹读书之法,在循序渐进,熟读而精思。2019年转眼就要过去了,这一年,你读了哪些书,得到了哪些收获ÿ ... [详细]
  • BAT的数据红利,催生AI时代的敏捷计算力
    人工智能开放组织OpenAI于2018年5月发布的分析表明,人工智能训练任务中使用的算力,自2012年以来呈指数级增长,目前速度为每3.5 ... [详细]
  • 荷月工业互联网产融平台荣获2020“双链奖”优秀应用案例奖
    近日,中国物流与采购联合会区块链应用分会公布了2020中国物流与供应链产业区块链应用“双链奖”的评选结果。荷月科技参选的产品“工业互联网区块链产融平台”,经评委会专家对申报案例进行 ... [详细]
author-avatar
天雨
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有