大海捞枕木：大数据处理平台的衍变

DT(Digital Technology)一词&＃xff0c;翻译过来即数据科技&＃xff0c;可以说&＃xff0c;这并不是一个新词&＃xff0c;但它真正引起我注意的是阿里研究院最近写的一本书《互联网&＃43;&＃xff1a;从IT到DT》&＃xff0c;阿里作为国内IT技术的引领者&＃xff0c;其技术定论不可轻视。

DT时代来临&＃xff1a;变革在悄然发生

DT时代的骨骼&＃xff1a;大数据处理平台的衍变

在数据处理需求急剧上升的今天&＃xff0c;是什么在支撑着数据的变现?是的&＃xff0c;正是数据处理平台&＃xff0c;或者换种说法&＃xff1a;一套完整的数据处理流程。

从数据的采集、清洗、流式实时计算、数据落地&＃xff0c;在大多数时候&＃xff0c;这一套完整的流程过后(或许会没有流式实时计算)&＃xff0c;这才真正进入数据的价值挖掘阶段&＃xff0c;包括了数据的离线计算&＃xff0c;通过一系列的建模挖掘其隐含的商业价值。

当然&＃xff0c;在大数据遍地的今天&＃xff0c;数据的收集也好、处理也好、挖掘也好&＃xff0c;我们想必也要加一个“大”字了。那么&＃xff0c;在DT时代来临的今天&＃xff0c;能够支撑这一流程得以流通的正是数据平台&＃xff0c;或者说是大数据处理平台&＃xff0c;它将是支撑DT时代来临的捞针术!

当然&＃xff0c;大数据处理平台也不是一开始存在的&＃xff0c;它是在经历过一系列的衍变之后&＃xff0c;才形成今天我们看到的&＃xff0c;或这或那的数据平台形式。

就在不久前&＃xff0c;我曾在storm-分布式-IT技术群中发起了一次近千人的话题讨论(当然&＃xff0c;实际参与讨论的人远没有这么多&＃xff0c;很大一部分人还是喜欢静静的围观的)&＃xff0c;其核心就是当前互联网公司中大数据平台发展的现状。

当时的讨论过程很剧烈&＃xff0c;汇聚了各个企业公司的大牛小牛、程序猿、设计狮、产品狗&＃xff0c;总之各种“动物”都有&＃xff0c;众说纷纭&＃xff0c;各有各的观点看法&＃xff0c;但总体来说就目前几种大数据平台的形态&＃xff0c;大家还是有比较一致的看法的。

1、大数据处理平台的终极形态&＃xff1a;深度挖掘

数据已经完美流通&＃xff0c;包括了完整的大规模数据采集系统、数据预处理清洗系统、数据流式实时计算系统、大规模数据存储系统、大规模离线计算系统;拥有全面的数据监控调度系统&＃xff0c;能够方便地低成本地进行数据流程监控、调度&＃xff0c;实时掌握数据的动态变化;拥有完善符合自身业务需求的机器学习算法库&＃xff0c;数据挖掘层面&＃xff0c;已经进入了数据深层挖掘阶段。

其中以BAT为代表。在国内&＃xff0c;BAT一向是技术的引领者&＃xff0c;因此他们在数据价值挖掘这一方面&＃xff0c;也确实做到了领先地步。

2、其次是大数据平台完善&＃xff0c;处于数据浅层挖掘状态

同样&＃xff0c;这种形态的企业公司&＃xff0c;数据平台的数据已经完全打通&＃xff0c;他们已经在开始尝试挖掘数据的潜在价值&＃xff0c;意图达成数据的变现。

当然&＃xff0c;或许是由于技术积累的问题&＃xff0c;或许是人力物力的原因&＃xff0c;他们并没有能力做深一层的探索、挖掘&＃xff0c;但是他们却一直在努力。他们缺少是一套完善的&＃xff0c;适合自己的&＃xff0c;又能够方便使用的数据挖掘库。

处于这种形态的公司也不少&＃xff0c;诸如CSDN、去哪儿、艺龙等等&＃xff0c;他们在个性化的道路上孜孜不倦地探索着。

3、数据流通&＃xff0c;处于数据统计分析阶段

这种形态的数据中心&＃xff0c;大规模数据处理平台已经基本搭建&＃xff0c;数据已经能够流通&＃xff0c;处于大规模数据的统计分析阶段。

这种类型的公司&＃xff0c;他们更多倾向于对数据仓库的建立&＃xff0c;对大批量数据进行存储、统计并且分析数据的走势以及变化。所以&＃xff0c;就Hadoop生态来说&＃xff0c;他们可能更倾向于使用Hive之类的技术或者工具。

处于这种形态的公司是占大多数的&＃xff0c;典型如刚组建大数据部门的短短一年时间的360&＃xff0c;当然还有很多很多类似的公司&＃xff0c;数不胜数。他们希望摸清楚自己到底掌握了什么样的数据&＃xff0c;这些数据到底是怎么变化的&＃xff0c;通过对这些数据的了解以及掌控&＃xff0c;他们才能更好做出更合理的商业决策。