mapreduce分组统计_MapReduce并行计算流程介绍

Hadoop采用了MapReduce并行计算框架。MapReduce的实现也采用Master/Slave结构。Master叫做JobTracker&＃xff0c;而Slave叫做TaskTracker。用户提交的计算叫做Job&＃xff0c;每一个Job会被划分成若干个Tasks。JobTracker负责Job和Tasks的调度&＃xff0c;而TaskTracker负责执行Tasks。

具体说来&＃xff0c;MapReduce包括以下流程&＃xff1a;

当你向MapReduce框架提交一个计算作业时&＃xff0c;它会首先把计算作业拆分成若干个Map任务&＃xff0c;然后分配到不同的节点上去执行。

每个Map节点将输入的键值对(k1;v1)处理为[(k2;v2)]表示的一组中间数据。中间数据进行合并(Combiner)处理&＃xff0c;[(k2;v2)]中相同主键下的不同数值合并到一个列表[v2]中&＃xff0c;为(k2;[v2])。

等待所有的Map节点任务完成&＃xff0c;对所有的中间数据使用一定的策略进行划分(Partitioner)处理&＃xff0c;保证相关主键下的数据发送到同一个Reduce节点。

再由Reduce节点将输入(k2;[v2])&＃xff0c;整理或进一步处理&＃xff0c;输出[(k3; v3)]。

最后把结果进行合并输出最终结果。

为了加深对MapReduce的理解&＃xff0c;下面举个例子&＃xff1a;

比如拿到hdfs原始数据如下所示&＃xff1a;

hello a

hello b

在map阶段(分组计算)&＃xff1a;

输入数据&＃xff1a;对应流程中(k1;v1)

(0,"hello a")

(8,"hello b")

map(key,value,context) {

String[] words &＃61; value.split("\t");

for(String word : words) {

context.write(word,1);

}

}

输出数据&＃xff1a;对应[(k2;v2)]

[(hello,1),(a,1)]

[(hello,1),(b,1)]

reduce阶段(分组排序)&＃xff1a;

输入数据&＃xff1a;对应(k2;[v2])

(a,1)

(b,1)

(hello,[1,1])

reduce(key,value,context) {

String word &＃61; key;

int sum &＃61; 0;

for(int i : value) {

sum &＃43;&＃61; i;

}

context.write(word,sum);

}

输出数据&＃xff1a;对应[(k3; v3)]

(a,1)

(b,1)

(hello,2)