热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

Mapreduce指定参数

mapreduce在运行的时候可以指定各种参数,这样可以根据实际的应用场景做一下相关的调整1.指定运行时cpu的个数hadoopjarhadoop-core-0.

mapreduce在运行的时候可以指定各种参数,这样可以根据实际的应用场景做一下相关的调整

1.指定运行时cpu的个数 

hadoop jar hadoop-core-0.1.0-SNAPSHOT.jar cn.hadoop.mapreduce.WordCount -D mapreduce.map.cpu.vcores=2 /home/input /home/output

-D mapreduce.map.cpu.vcores=2 :指定这个mapreduce任务运行时cpu的个数

/home/input :指定的输入hdfs路径

/home/output:指定的输出hdfs路径

查看结果:http://kafka-test01:8088/proxy/application_1488814616605_0007

  点击Configuration查看相关的配置:

2.指定运行时memory的大小 

hadoop jar hadoop-core-0.1.0-SNAPSHOT.jar cn.hadoop.mapreduce.WordCount -D mapreduce.map.memory.mb=2048 /home/input/ /home/output/

mapreduce.map.memory.mb=2048 :指定这个mapreduce任务运行时内存的大小

/home/input :指定的输入hdfs路径

/home/output:指定的输出hdfs路径

查看结果:http://kafka-test01:8088/proxy/application_1488814616605_0005

 点击Configuration查看相关的配置: 


推荐阅读
author-avatar
hya641520
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有