如何通过Hadoop shell脚本指定Hadoop XML配置变量?

 手机用户2602940163 发布于 2023-01-18 17:21

我正在编写代码来创建一个临时的Hadoop集群.与大多数Hadoop集群不同,我需要将日志,HDFS文件等位置放在每次启动集群时不同的特定临时网络位置.该网络目录将在运行时生成 ; 我在检查shell脚本hadoop-env.sh和XML文件时都不知道目录名称core-default.xml.

签到时:我可以修改shell脚本hadoop-env.sh和XML文件之类的core-default.xml.

运行时:我生成了我想用于数据存储的临时目录.

我可以指示大部分的Hadoop通过指定环境变量喜欢用这个临时目录HADOOP_LOG_DIRHADOOP_PID_DIR,如有必要,我可以修改shell脚本来读取这些环境变量.

然而,HDFS决定了它的本地目录通过在XML文件中,没有环境变量或shell脚本中定义的两个属性来存储文件系统:hadoop.tmp.dir在核心default.xml中和dfs.datanode.data.dir在HDFS-default.xml中.

有没有办法编辑这些XML文件来确定hadoop.tmp.dir运行时的值?或者,有没有办法使用环境变量来覆盖XML配置的值hadoop.tmp.dir

撰写答案
今天,你开发时遇到什么问题呢?
立即提问
热门标签
PHP1.CN | 中国最专业的PHP中文社区 | PNG素材下载 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有