问
Hadoop MapReduce:对减速器数量的澄清
手机用户2502909227 发布于 2023-01-18 14:24在MapReduce框架中,映射器生成的每个密钥都使用一个reducer.
所以你会认为在Hadoop MapReduce中指定Reducers的数量没有任何意义,因为它依赖于程序.但是,Hadoop允许您指定要使用的reducer的数量(-D mapred.reduce.tasks =#reducers).
这是什么意思？减速器数量的参数值是否指定减少器的数量而不是实际减速器的数量？
1 个回答
-
一个reducer用于mapper生成的每个键
这个评论不正确.对由分组比较器分组的每个密钥进行一次reduce()方法调用.reducer(task)是一个处理零次或多次reduce()调用的进程.您引用的属性是谈论减速器任务的数量.
2023-01-18 14:25 回答
留香1980
撰写答案
今天，你开发时遇到什么问题呢？
立即提问
京公网安备 11010802041100号