hadoop命令操作hdfs目录权限管理

由于公司的大数据平台 搭建的比较简陋&＃xff0c;还要让 之前根本没有接触过 hadoop平台的开发 算法人员使用&＃xff0c;他们的错误操作 经常给你带来 意外的惊喜和 感动的泪水&＃xff0c;我心里有十万个 MMP。。。

所以刚开始就想干脆像 初中小学那样写个班规似的 使用规范吧&＃xff0c;但是规范的约束力是有限的&＃xff0c;需要大家相互信任&＃xff0c;但是总有人会错误操作的风险&＃xff0c;怎么办 怎么办&＃xff0c;只能通过强制的方法 解决这个局面。
好汉 大部分都是被逼上梁山的&＃xff0c;平台的演进大多也是根据眼前出现的问题 不断精益求精的。所以搭建 权限管理 势在必行。

先简单 介绍一下 思想&＃xff0c;其实 有两种 方式 &＃xff0c;
一种是配置 ugi 的xml &＃xff0c;
一种是 直接在 linux 创建相应的用户和组 &＃xff0c;然后把 hdfs 的某一文件夹的操作权限 赋予 该用户和组&＃xff0c;
第一种侵入性小&＃xff0c;配置简单 &＃xff0c;第二种则简单粗暴 好操作 但如果有成百上千的hadoop操作用户 则是一个不简单 的力气活&＃xff0c;最好有一个脚本可以自动化 操作这些。为了 尽快见效&＃xff0c;我选择了第二种,而且 还要搭配着与我们的hadoop 任务提交机器 使用。

我们数据算法小组 现在 一共五个人 &＃xff0c;人少就给每个人 设置了一个账号 权限 &＃xff0c;还另外设置了一个 dev 及guests 的账号&＃xff0c;方便 其他组和 新加入的小伙伴临时使用
下面开始操作 了
1.在 hadoop master 的节点 创建 这些账户 &＃xff0c;为了这些账户好管理&＃xff0c;也要创建一个 组&＃xff0c;组可以先用户创建 也可以在用户之后创建

useradd medev && echo da&＃64;opo#8N5 | passwd --stdin medev
echo “medev ALL&＃61;(ALL) NOPASSWD:ALL” >> /etc/sudoers
groupadd datadev
usermod -a -G datadev medev
这些命令 需要在 root 用户下使用

2.登录到每个用户 的shell 中&＃xff0c;然后 把 原来 java hadoop path 的环境变量 粘贴复制到 新创建的用户的 ~/.bashrc&＃xff0c;保存并退出&＃xff0c;然后
vi ~/.bashrc

export JAVA_HOME&＃61;/usr/local/java
export HADOOP_HOME&＃61;/usr/local/hadoop
export PATH&＃61;$PATH:$JAVA_HOME/bin:HADOOPHOME/bin:HADOOP_HOME/bin:HADOOPH​OME/bin:HADOOP_HOME/sbin
export SCALA_HOME&＃61;/usr/local/scala
export SQOOP_HOME&＃61;/usr/local/sqoop
export PATH&＃61;$SQOOP_HOME/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/usr/local/java/bin:/usr/local/hadoop/bin:/usr/local/hadoop/sbin:/usr/local/java/bin:/usr/local/hadoop/bin:/usr/local/hadoop/sbin:/root/bin:/usr/local/java/bin:/usr/local/hadoop/bin:/usr/local/hadoop/sbin:/usr/local/scala/bin

source ~/.bashrc
【注意&＃xff0c;第二步 我们只给 dev 和guests 两个用户这样在 Master设置了&＃xff0c;其他个人账号没有设置 &＃xff0c;主要是防止这些同事 无意登录到 Master 节点 错误操作&＃xff0c;但是 所有新创建的 用户&＃xff0c;我们在 任务提交机器都这样配置了】

3.使用hadoop fs -chown user:group /dirpath &＃xff0c;为 hdfs 上的 用户分配 目录操作权限&＃xff0c;大前提是这样的原来的日志流目录还是 hadoop 管理员 hadoop 和组 supergroup 的&＃xff0c;在 hdfs根目录下创建 一个总的 /outputs目录&＃xff0c;dev 用户 可以操控这个 目录 及子目录&＃xff0c;然后 其他的个人账号&＃xff0c;只可以操控 在 /outputs/下的 各自的子目录集&＃xff0c;比如 muller 只可以操作
/outputs/mulleroutput&＃xff0c;整个 /outputs目录都属于 该用户组

hadoop fs -chown -R medev:datadev /Outputs/devoutput

这个操作需要在 hadoop管理员的身份执行

然后可以在 Master 使用 hadoop fs -put -get -mkdir -rm -r 命令 来测试&＃xff0c;果然都可以实现目录权限的管理,不属于你的 只有查看 和mapreduce的权限&＃xff0c;不能创建 不能删除 不能下载&＃xff0c; 只能在自己的目录下肆意妄为。
rm: Permission denied: user&＃61;meDev, access&＃61;WRITE, inode&＃61;"/":hadoop:supergroup:drwxr-xr-x
put: Permission denied: user&＃61;medev, access&＃61;WRITE, inode&＃61;"/xial":hadoop:supergroup:drwxr-xr-x

mkdir: Permission denied: user&＃61;medev, access&＃61;WRITE, inode&＃61;"/":hadoop:supergroup:drwxr-xr-x

get: /usr/local/hadoop/part-00000.deflate.COPYING (Permission denied)
5.然后在 hadoop 任务提交机器 继续 创建同名的用户 和配置环境变量 即可&＃xff0c;然后测试 完全没有压力

但是 我们还是 太天真了 &＃xff0c;我们 做好了 hdfs 目录 权限管理&＃xff0c;却发现无法 进行 mapreduce了 &＃xff0c;在运行 hadoop 自带的 wordcount &＃xff0c;也报 权限不足&＃xff0c;细细的看&＃xff0c;发现 问题的严重性&＃xff0c;独自的用户因为不属于 supergroup 组&＃xff0c;无法rwx hadoop的根目录的 /tmp目录&＃xff0c;此目录 是 放置 map 中间值得目录&＃xff0c;难道你忘记了吗&＃xff0c;hadoop 在进行 mapreduce时&＃xff0c;会把中间结果保存在硬盘 上&＃xff0c;实际是hdfs的 /tmp目录中&＃xff0c;如果 操作用户 没有权限操作 /tmp也是无法进行mapReduce的&＃xff0c;
17/10/27 19:52:21 INFO client.RMProxy: Connecting to ResourceManager at hadoop-master/194.168.255.155:8032 org.apache.hadoop.security.AccessControlException: Permission denied: user&＃61;linkedmeGuests, access&＃61;EXECUTE, inode&＃61;"/tmp/hadoop-yarn":hadoop:supergroup:drwx------
所以 要 把 /tmp 目录的权限设置为 777&＃xff0c;单单 /tmp设置了还不可以&＃xff0c;还要把 其子目录都要配置为777的权限&＃xff0c;切换到hadoop 管理员操作

hadoop fs -chmod -R 777 /tmp

然后 再运行 发现又失败了&＃xff0c;发现 对output的目录没有操作权限&＃xff0c;
17/10/27 19:56:30 INFO mapreduce.Job: Job job_1508742787565_0140 running in uber mode : false
17/10/27 19:56:30 INFO mapreduce.Job: map 0% reduce 0%
17/10/27 19:56:30 INFO mapreduce.Job: Job job_1508742787565_0140 failed with state FAILED due to: Job setup failed : org.apache.hadoop.security.AccessControlException: Permission denied: user&＃61;meGuests, access&＃61;WRITE, inode&＃61;"/Outputs/DannyOutputs":Danny:datadev:drwxr-xr-x

这个当然了&＃xff0c;我们规定了 每个账号用户的可以操作的output目录&＃xff0c;其他别人的目录都不允许操作&＃xff0c;所以 只要把output 的目录设置成自己的output目录 创建子目录才可以正常操作&＃xff0c;结果运行成功了

另外的 重点 &＃xff01;&＃xff01;&＃xff01;
我们还要配置 一下 hdfs 相关 output目录的存储大小上限&＃xff0c;这样 方便管理&＃xff0c;不然有人 的output太大&＃xff0c;都不晓得 竟然会超过 源日志 大小&＃xff0c;这就尴尬了
》bin/hdfs dfs -put readme.txt /finance

》bin/hdfs dfs -du -s /finance
》3901 /finance

》bin/hdfs dfsadmin -setSpaceQuota 4000 /finance
设置/finance的大小上限为4000个字节

》bin/hdfs dfs -put readme1.txt /finance
由于已经超出4000个字节&＃xff0c;则会报错
》bin/hdfs dfsadmin -clrSpaceQuota /finance 将配额清除掉
》bin/hdfs dfs -put readme1.txt /finance 这次上传就不会错了~

[apache-nutch-1.2.rar 大约248M]
bin/hdfs fsck /finance/apache-nutch-1.2.rar
参考 http://www.cnblogs.com/i80386/p/3580107.html

这样 把 这些 用户账号 分配并告知 使用者&＃xff0c;并 告知 禁止使用root 和管理者用户角色 并不可使用他人账号 &＃xff0c;这样就可以愉快的进行 hdfs 的文件 权限管理了&＃xff0c;