Hadoop流媒体作业已成功但被ApplicationMaster杀死

 傻傻的笑没心没肺wy 发布于 2023-01-12 10:34


我刚刚设置了一个小的hadoop集群(使用3个ubuntu机器和apache hadoop 2.2.0),现在我正在尝试运行python流工作.

运行测试作业我遇到以下问题:
几乎所有的map任务都被标记为成功,但注意到Container已被杀死.

在联机界面上,地图作业的日志显示:
Progress 100.00
State SUCCEEDED

但是注意它几乎每次尝试(~200)
容器被ApplicationMaster杀死.

由ApplicationMaster杀死的容器.根据要求杀死容器.退出代码是143

在与该尝试相关联的日志文件中,我可以看到一个日志,说任务'attempt_xxxxxxxxx_0'已完成.

我还获得3次尝试用相同的日志,只有3已经
国家镇静
它们便会被杀死的工作.

对于所有作业/尝试,stderr输出为空.

在查看应用程序主日志并执行其中一次成功(但已杀死)尝试后,我会找到以下日志:

从NEW过渡到UNASSIGNED

从UNASSIGNED转换为ASSIGNED

几个进度更新,包括:1.0

完成确认

运行到SUCCESS_CONTAINER_CLEANUP

CONTAINER_REMOTE_CLEANUP

KILLING attempt_xxxx

从SUCCESS_CONTAINER_CLEANUP转换为SUCCEEDED

任务从RUNNING转换为SUCCEEDED

所有的尝试都编号为xxxx_0所以我认为它们不会因为推测性执行而被杀死.

我应该担心吗?是什么导致容器被杀?任何建议将不胜感激!

撰写答案
今天,你开发时遇到什么问题呢?
立即提问
热门标签
PHP1.CN | 中国最专业的PHP中文社区 | PNG素材下载 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有