ApachePig的前世今生

 
2）构建和更新search index。

对于web-crawler抓取了的内容是一个流数据的形式，这包含去冗余、链接分析、内容分类、基于点击次数的受欢迎程度计算(PageRank)、最后建立倒排表。

 
3）处理半结构化数据订阅（data seeds）服务。包含：deduplcaitin（去冗余）。geographic location resolution，以及 named entity recognition. 

使用Pig来操作hadoop处理海量数据，是非常easy的。假设没有Pig。我们就得手写MapReduce代码。这但是一件非常繁琐的事。由于MapReduce的任务职责非常明白，清洗数据得一个job，处理得一个job，过滤得一个job。统计得一个job，排序得一个job，编写DAG(带先后顺序依赖的)作业非常不方便。这还能够接受，但是每次仅仅要修改非常小的一个地方，就得又一次编译整个job。然后打成jar提交到Hadoop集群上执行，是非常繁琐的，调试还非常困难，所以。在如今的大互联网公司或者是电商公司里，非常少有纯写MapReduce来处理各种任务的，基本上都会使用一些工具或开源框架来操作。 


随着，数据海啸的来临，传统的DB(Oracle、DB2)已经不能满足海量数据处理的需求。MapReduce逐渐成为了数据处理的事实标准，被应用到各行各业中。所以，我们不再期望全部的客户都能高速开发应用相关代码。仅仅能把客户的工作变得简单，就像使用SQL语言，经过简单培训就能够“云”上操作。

 

Pig就是为了屏蔽MapReduce开发的繁琐细节，为用户提供Pig Latin这样近SQL语言处理能力，让用户能够更方便地处理海量数据。Pig将SQL语句翻译成MR的作业的集合，并通过数据流的方式将其组合起来。 

Pig的一个简单处理流程，例如以下所看到的： 

 
运行引擎例如以下所看到的： 
 

在Pig里面，每一步操作，都是一个数据流，很easy理解，你想要什么。它就能得到什么，即使不能得到，我们也能够通过轻松扩展UDF来实现，比SQL更easy理解，每一步要做什么，很easy上手和学习，在大数据时代，了解和使用Pig来分析海量数据是很easy的。 

最后告诉大家一个好消息。在最新的Pig(0.14)发行版里，有两个重要的特性： 
（1）支持Pig执行在Tez上 
（2）支持Orc格式的存储