在Hadoop yarn 2.6.0上运行giraph

 靠谱的郭大虾_938 发布于 2022-12-08 17:19

我正试图用Giraph打造hadoop 2.6.0纱线.

我已经通过去除成功地建立起它STATIC_SASL_SYMBOLyarn profile.使用命令:

sudo mvn -Phadoop_yarn -Dhadoop.version=2.6.0 -DskipTests package

然后我用hadoop 2.6.0设置了一个单节点集群,我能够执行基本的wordcount示例.我已经复制了目录中内置的jar share/hadoop/mapreduce来删除GiraphMaster未找到的execption.

现在我试图SimpleShortestPaths用命令运行示例:

$HADOOP_PREFIX/bin/hadoop jar /usr/local/giraph/giraph-examples/target/giraph-examples-1.2.0-SNAPSHOT-for-hadoop-2.6.0-jar-with-dependencies.jar org.apache.giraph.GiraphRunner org.apache.giraph.examples.SimpleShortestPathsComputation -vif org.apache.giraph.io.formats.JsonLongDoubleFloatDoubleVertexInputFormat -vip input_tiny2.txt -vof org.apache.giraph.io.formats.IdWithValueTextOutputFormat -op /user/hduser/output/shortestpaths445 -w 1 -ca giraph.SplitMasterWorker=false -yj giraph-examples-1.2.0-SNAPSHOT-for-hadoop-2.6.0-jar-with-dependencies.jar

使用的数据是giraph快速启动页面上的小图表,作业应该需要几分钟才能完成,但事实并非如此.

完整日志位于http://pastebin.com/CW1FnWz2

可以在hadoop 2.6.0上使用giraph工作,还是必须使用早期版本?如果是的话,你会建议哪一个?

撰写答案
今天,你开发时遇到什么问题呢?
立即提问
热门标签
PHP1.CN | 中国最专业的PHP中文社区 | PNG素材下载 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有