作者:勇敢的思竹 | 来源:互联网 | 2023-05-19 08:59
1.配置(core-site.xml)
hadoop.http.staticuser.user
hdfs
2.发现8041端口无法查看日志(8041 是服务node manager拥有),而log 写入的用户是hdfs 所属组是supergroup
3.hadoop master 或者slave 的linux中都没有supergroup组
注意:cdh5.5.2 默认已经开启日志聚合功能
资料显示:History Server 在Job运行时,日志的显示直接从本地文件读取,在运行结束且聚合日志到hdfs中,会有专门的服务从hdfs读取并且渲染
(中间会有跳转,判断对应的containner 是否存在,如果存在说明job还在运行,日志还没有聚合,如果不存在,说明日志已经聚合到hdfs,所以需要从hdfs读取)
处理:
groupadd supergroup
usermod -a -G supergroup yarn
usermod -a -G supergroup mapred
在每个节点上执行