我正在使用Hadoop 2.3.0版本.有时,当我执行Map reduce作业时,将显示以下错误.
14/08/10 12:14:59 INFO mapreduce.Job: Task Id : attempt_1407694955806_0002_m_000780_0, Status : FAILED Error: java.io.IOException: All datanodes 192.168.30.2:50010 are bad. Aborting... at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.setupPipelineForAppendOrRecovery(DFSOutputStream.java:1023) at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.processDatanodeError(DFSOutputStream.java:838) at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.run(DFSOutputStream.java:483)
当我尝试检查这些失败任务的日志文件时,此任务的日志文件夹将为空.
我无法理解这个错误背后的原因.有人可以让我知道如何解决这个问题.谢谢你的帮助.
您似乎正在达到用户的打开文件句柄限制.这是一个非常常见的问题,在大多数情况下可以通过增加ulimit值来清除(默认情况下大多数是1024,很容易像你的多出作业那样耗尽).
您可以按照此简短指南来增加它:http: //blog.cloudera.com/blog/2009/03/configuration-parameters-what-can-you-just-ignore/ ["文件描述符限制"部分]
由Harsh J回答 - https://groups.google.com/a/cloudera.org/forum/#!topic/cdh-user/kJRUkVxmfhw