我刚刚设置了一个小的hadoop集群(使用3个ubuntu机器和apache hadoop 2.2.0),现在我正在尝试运行python流工作.
运行测试作业我遇到以下问题:
几乎所有的map任务都被标记为成功,但注意到Container已被杀死.
在联机界面上,地图作业的日志显示:
Progress 100.00
State SUCCEEDED
但是注意它几乎每次尝试(~200)
容器被ApplicationMaster杀死.
或
由ApplicationMaster杀死的容器.根据要求杀死容器.退出代码是143
在与该尝试相关联的日志文件中,我可以看到一个日志,说任务'attempt_xxxxxxxxx_0'已完成.
我还获得3次尝试用相同的日志,只有3已经
国家镇静
它们便会被杀死的工作.
对于所有作业/尝试,stderr输出为空.
在查看应用程序主日志并执行其中一次成功(但已杀死)尝试后,我会找到以下日志:
从NEW过渡到UNASSIGNED
从UNASSIGNED转换为ASSIGNED
几个进度更新,包括:1.0
完成确认
运行到SUCCESS_CONTAINER_CLEANUP
CONTAINER_REMOTE_CLEANUP
KILLING attempt_xxxx
从SUCCESS_CONTAINER_CLEANUP转换为SUCCEEDED
任务从RUNNING转换为SUCCEEDED
所有的尝试都编号为xxxx_0所以我认为它们不会因为推测性执行而被杀死.
我应该担心吗?是什么导致容器被杀?任何建议将不胜感激!