Hadoop 完全分布式最新高可靠安装文档 问题导读&＃xff1a;
1.如何配置各个节点之间无密码互通&＃xff1f;
2.启动hadoop&＃xff0c;看不到进程的原因是什么&＃xff1f;
3.配置hadoop的步骤是什么&＃xff1f;
4.有哪些配置文件需要修改&＃xff1f;
5.如果没有配置文件&＃xff0c;该如何找到该配置文件&＃xff1f;
6.环境变量配置了&＃xff0c;但是不生效的原因是什么&＃xff1f;
7.如何查看hadoop2监控页面
一、使用新建用户可能会遇到的问题
&＃xff08;1&＃xff09;权限问题&＃xff1a;对于新手经常使用root&＃xff0c;刚开始可以使用&＃xff0c;但是如果想真正的学习&＃xff0c;必须学会使用其他用户。也就是你需要学会新建用户&＃xff0c;但是新建用户&＃xff0c;并不是所有人都会的。具体可以参考ubuntu创建新用户并增加管理员权限&＃xff0c;这里面使用adduser是最方便的。也就是说你需要通过这里&＃xff0c;学会给Linux添加用户&＃xff0c;并且赋权&＃xff0c;上面那篇文章会对你有所帮助。
&＃xff08;2&＃xff09;使用新建用户&＃xff0c;你遇到另外一个问题&＃xff0c;就是文件所属权限&＃xff0c;因为新建的文件&＃xff0c;有的属于root用户&＃xff0c;有的属于新建用户&＃xff0c;例如下面情况&＃xff0c;我们看到mv.sh是属于root用户&＃xff0c;大部分属于aboutyun用户。所以当我们两个不同文件不能访问的时候&＃xff0c;这个可能是原因之一。也是在这里&＃xff0c;当你新建用户的时候&＃xff0c;可能会遇到的新问题。
&＃xff08;3&＃xff09;上面我们只是提出了问题&＃xff0c;但是根本没有解决方案&＃xff0c;这里在提出解决方案&＃xff0c;我们如何改变文件所属用户。
比如上图中&＃xff0c;mv.sh属于root用户&＃xff0c;那么我们怎么让他所属about云用户。可以是下面命令&＃xff1a;
sudo chown -R aboutyun:aboutyun mv.sh
解释一下上面命令的含义&＃xff1a;
------------------------------------------------------------------------------------------------------------------------------------------------------
1.sudo&＃xff1a;如果不是root用户&＃xff0c;不带上这个命令会经常遇到麻烦&＃xff0c;所以需要养成习惯。至于sudo详细解释可以看下面。
sudo是linux系统管理指令&＃xff0c;是允许系统管理员让普通用户执行一些或者全部的root命令的一个工具&＃xff0c;如halt&＃xff0c;reboot&＃xff0c;su等等。这样不仅减少了root用户的登录 和管理时间&＃xff0c;同样也提高了安全性。sudo不是对shell的一个代替&＃xff0c;它是面向每个命令的。
2.chown-》change own的意思。即改变所属文件。对于他不了解的同学&＃xff0c;可以查看&＃xff1a;让你真正了解chmod和chown命令的用法
3.aboutyun:aboutyun代表aboutyun用户及aboutyun用户组
4.即是被授权的文件
------------------------------------------------------------------------------------------------------------------------------------------------------
上面是针对新手的一个解说&＃xff0c;不是必须的&＃xff0c;如果对Linux已经很熟悉&＃xff0c;可以跳过上面步骤。下面我们开始首先要下载
百度网盘&＃xff1a;https://pan.baidu.com/s/1sl8WXBn
(下载包为hadoop2.2)
下载完毕&＃xff0c;我们就需要解压
tar zxvf hadoop-2.2.0_x64.tar.gz
1、这里我们搭建一个由三台机器组成的集群&＃xff1a;
172.16.77.15 aboutyun/123456 master
172.16.77.16 aboutyun/123456 slave1
172.16.77.17 aboutyun/123456 slave1
1.1 上面各列分别为IP、user/passwd、hostname
1.2 Hostname可以在/etc/hostname中修改&＃xff0c;hostname&＃xff0c;hosts的修改详细可以看ubuntu修改hostname
对于三台机器都需要修改&＃xff1a;
下面是master的修改&＃xff1a;通过命令vi /etc/hosts
然后对你里面的内容修改&＃xff1a;
下面修改hostname
修改为master即可
上面hosts基本都一样&＃xff0c;只不过hostname有所差别。
2、打通master到slave节点的SSH无密码登陆
这里面打通无密码登录&＃xff0c;很多新手遇到了问题&＃xff0c;这里安装的时候&＃xff0c;具体的操作&＃xff0c;可以查阅其他资料&＃xff1a;
Hadoop伪分布安装过程&＃xff1a;Hadoop单机环境搭建指南&＃xff08;ubuntu&＃xff09;
CentOS6.4之图解SSH无验证双向登陆配置
这是个人总结的哦命令&＃xff0c;相信对你有所帮助
个人常用知识总结
然后这里在展示一下&＃xff0c;authorized_keys是什么样子的&＃xff1a;
上面的原理&＃xff0c;就是我把工钥放到里面&＃xff0c;然后本台机器就可以ssh无密码登录了。如果想彼此无密码登录&＃xff0c;那么就需要把彼此的工钥&＃xff08;*.pub&＃xff09;放到authorized_keys里面
然后我们进行下面步骤&＃xff1a;
3.1 安装ssh
一般系统是默认安装了ssh命令的。如果没有&＃xff0c;或者版本比较老&＃xff0c;则可以重新安 装&＃xff1a;
sudo apt-get install ssh
3.2设置local无密码登陆
具体步骤如下&＃xff1a;
第一步&＃xff1a;产生密钥
$ ssh-keygen -t dsa -P &＃39;&＃39; -f ~/.ssh/id_dsa
第二部&＃xff1a;导入authorized_keys
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
第二部导入的目的是为了无密码等&＃xff0c;这样输入如下命令&＃xff1a; - ssh localhost
就可以无密码登录了。
下面展示一下hosts的配置&＃xff0c;及无密码登录的效果
locahost的配置
无密码登录效果&＃xff1a;
3.3设置远程无密码登陆
进入master的.ssh目录
scp authorized_keys aboutyun&＃64;slave1:~/.ssh/authorized_keys_from_master
进入slave1的.ssh目录
cat authorized_keys_from_master >> authorized_keys
至此&＃xff0c;可以在master上面ssh slave1进行无密码登陆了。
【注意】&＃xff1a;以上操作在每台机器上面都要进行。
这里在强调一下原理&＃xff1a;
就是把工钥放到里面&＃xff0c;然后本台机器就可以ssh无密码登录了。如果想彼此无密码登录&＃xff0c;那么就需要把彼此的工钥&＃xff08;*.pub&＃xff09;放到authorized_keys里面
------------------------------------------------------------------------
根据上面的资料相信你能得到互通&＃xff0c;这里展现一下效果&＃xff1a;
上面是slave1无密码登录master
这里是master无密码登录slave1
------------------------------------------------------------------------
4、安装jdk
安装JDK还是比较简单的&＃xff0c;这里
4.1、下载jdk
http://yunpan.cn/QiujtEVgRTJ4S 访问密码 b488
4.2、安装jdk&＃xff08;这里以.tar.gz版本&＃xff0c;64位系统为例&＃xff09;
jdk的安装可以参考Hadoop伪分布安装过程&＃xff1a;Hadoop单机环境搭建指南&＃xff08;ubuntu&＃xff09;
这里直接解压到了/usr/jdk1.7下面&＃xff1a;
上面首先第一步&＃xff1a;
至此&＃xff0c;jkd安装完毕&＃xff0c;下面配置环境变量
一、PATH配置
这里提供一个简单的方法&＃xff1a;
通过下面命令
1.export PATH&＃61;$PATH:/usr/java/jdk1.7.0_51/bin
通过cat命令&＃xff0c;可以查看
2.为了保证生效执行下面命令
source /etc/environment
二、CLASSTH配置
上面只是配置了PATH,还需在配置CLASSTH
export CLASSPATH&＃61;.:/usr/java/jdk1.7.0_51/jre/lib
执行配置完毕
如果不起作用&＃xff0c;采用通过下面配置&＃xff1a;
java.sh配置
因为重启之后&＃xff0c;很有会被还原&＃xff0c;下面还需要配置java.sh
这里可以通过
cd /etc/profile.d
vi java.sh
把下面两行放到java.sh
export PATH&＃61;$PATH:/usr/java/jdk1.7.0_51/bin
export CLASSPATH&＃61;.:/usr/java/jdk1.7.0_51/jre/lib
保存。这样就配置完毕了。
执行下面命令&＃xff1a;source java.sh
现在在执行 java -version就ok了
【注意】每台机器执行相同操作&＃xff0c;最后将java安装在相同路径下
三、关闭每台机器的防火墙
ufw disable (重启生效)
第三部分 Hadoop 2.2安装过程
一、需要注意的问题
hadoop2.2的配置还是比较简单的&＃xff0c;但是可能会遇到各种各样的问题。最常讲的就是看不到进程。
看不到进程大致有两个原因&＃xff1a;
1.你的配置文件有问题。
对于配置文件&＃xff0c;主机名&＃xff0c;空格之类的这些都不要带上。仔细检查
2.Linux的权限不正确。
最常出问题的是core-site.xml&＃xff0c;与hdfs-site.xml。
core-site.xml
hadoop.tmp.dirfile:/home/aboutyun/tmpAbase forother temporary directories.
说一下上面参数的含义&＃xff0c;这里是hadoop的临时文件目录&＃xff0c;file的含义是使用本地目录。也就是使用的是Linux的目录&＃xff0c;一定确保下面目录
/home/aboutyun/tmp
的权限所属为你创建的用户。并且这里面我也要会变通&＃xff0c;aboutyun&＃xff0c;为我创建的用户名&＃xff0c;如果你创建了zhangsan或则lisi&＃xff0c;那么这个目录就会变为
/home/zhangsan/tmp
这里不熟悉&＃xff0c;是因为对Linux的不熟悉的原因。这里在来张图&＃xff1a;
注意&＃xff1a;1和2对比。如果你所创建的tmp属于root&＃xff0c;那么你会看不到进程。
hdfs-site.xml
同样也是:要注意下面&＃xff0c;你是需要改成自己的用户名的
dfs.namenode.name.dirfile:/home/aboutyun/dfs/namedfs.datanode.data.dirfile:/home/aboutyun/dfs/data
hadoop集群中每个机器上面的配置基本相同&＃xff0c;所以我们先在master上面进行配置部署&＃xff0c;然后再复制到其他节点。所以这里的安装过程相当于在每台机器上面都要执行。
【注意】&＃xff1a;master和slaves安装的hadoop路径要完全一样&＃xff0c;用户和组也要完全一致
1、 解压文件
将第一部分中下载的
tar zxvf hadoop-2.2.0_x64.tar.gz
mv hadoop-2.2.0 hadoop
解压到/usr路径下
并且重命名&＃xff0c;效果如下
2、 hadoop配置过程
配置之前&＃xff0c;需要在master本地文件系统创建以下文件夹&＃xff1a;
~/dfs/name
~/dfs/data
~/tmp
这里文件权限&＃xff1a;创建完毕&＃xff0c;你会看到红线部分&＃xff0c;注意所属用户及用户组。如果不再新建的用户组下面&＃xff0c;可以使用下面命令来修改&＃xff1a;让你真正了解chmod和chown命令的用法
这里要涉及到的配置文件有7个&＃xff1a;
~/hadoop-2.2.0/etc/hadoop/hadoop-env.sh
~/hadoop-2.2.0/etc/hadoop/yarn-env.sh
~/hadoop-2.2.0/etc/hadoop/slaves
~/hadoop-2.2.0/etc/hadoop/core-site.xml
~/hadoop-2.2.0/etc/hadoop/hdfs-site.xml
~/hadoop-2.2.0/etc/hadoop/mapred-site.xml
~/hadoop-2.2.0/etc/hadoop/yarn-site.xml
以上文件默认不存在的&＃xff0c;可以复制相应的template文件获得。下面举例&＃xff1a;
配置文件1&＃xff1a;hadoop-env.sh
修改JAVA_HOME值&＃xff08;export JAVA_HOME&＃61;/usr/jdk1.7&＃xff09;
配置文件2&＃xff1a;yarn-env.sh
修改JAVA_HOME值&＃xff08;export JAVA_HOME&＃61;/usr/jdk1.7&＃xff09;
配置文件3&＃xff1a;slaves &＃xff08;这个文件里面保存所有slave节点&＃xff09;
写入以下内容&＃xff1a;
配置文件4&＃xff1a;core-site.xml
fs.defaultFShdfs://master:8020io.file.buffer.size131072hadoop.tmp.dirfile:/home/aboutyun/tmpAbase for other temporary directories.hadoop.proxyuser.aboutyun.hosts*hadoop.proxyuser.aboutyun.groups*
配置文件5&＃xff1a;hdfs-site.xml
dfs.namenode.secondary.http-addressmaster:9001dfs.namenode.name.dirfile:/home/aboutyun/dfs/namedfs.datanode.data.dirfile:/home/aboutyun/dfs/datadfs.replication3dfs.webhdfs.enabledtrue
配置文件6&＃xff1a;mapred-site.xml
mapreduce.framework.nameyarnmapreduce.jobhistory.addressmaster:10020mapreduce.jobhistory.webapp.addressmaster:19888
配置文件7&＃xff1a;yarn-site.xml
yarn.nodemanager.aux-servicesmapreduce_shuffle
yarn.nodemanager.aux-services.mapreduce.shuffle.classorg.apache.hadoop.mapred.ShuffleHandleryarn.resourcemanager.addressmaster:8032yarn.resourcemanager.scheduler.addressmaster:8030yarn.resourcemanager.resource-tracker.addressmaster:8031yarn.resourcemanager.admin.addressmaster:8033yarn.resourcemanager.webapp.addressmaster:8088
3、复制到其他节点
上面配置完毕&＃xff0c;我们基本上完成了90%了剩下就是复制。我们可以把整个hadoop复制过去&＃xff1a;使用如下命令&＃xff1a;
sudo scp -r /usr/hadoop aboutyun&＃64;slave1:~/
这里记得先复制到home/aboutyun下面&＃xff0c;然后在转移到/usr下面。
后面我们会经常遇到问题&＃xff0c;经常修改配置文件&＃xff0c;所以修改完一个配置文件后&＃xff0c;其他节点都需要修改&＃xff0c;这里附上脚本操作方便&＃xff1a;
一、节点之间传递数据&＃xff1a; 第一步&＃xff1a;vi scp.sh
第二步&＃xff1a;把下面内容放到里面&＃xff08;记得修改下面红字部分&＃xff0c;改成自己的&＃xff09;
#!/bin/bash
#slave1
scp /usr/hadoop/etc/hadoop/core-site.xml aboutyun&＃64;slave1:~/
scp /usr/hadoop/etc/hadoop/hdfs-site.xml aboutyun&＃64;slave1:~/
#slave2
scp /usr/hadoop/etc/hadoop/core-site.xml aboutyun&＃64;slave2:~/
scp /usr/hadoop/etc/hadoop/hdfs-site.xml aboutyun&＃64;slave2:~/
第三步&＃xff1a;保存scp.sh
第四步&＃xff1a;bash scp.sh执行
二、移动文件夹&＃xff1a;
可以自己写了。
4.配置环境变量
第一步&＃xff1a;
第二步&＃xff1a;添加如下内容&＃xff1a;记得如果你的路径改变了&＃xff0c;你也许需要做相应的改变。
4、启动验证
4.1 启动hadoop
格式化namenode&＃xff1a;
hdfs namenode –format
启动hdfs:
start-dfs.sh
此时在master上面运行的进程有&＃xff1a;
namenode
secondarynamenode
slave节点上面运行的进程有&＃xff1a;datanode
启动yarn:
start-yarn.sh
我们看到如下效果&＃xff1a;
master有如下进程&＃xff1a;
slave1有如下进程
此时hadoop集群已全部配置完成&＃xff01;&＃xff01;&＃xff01;
【注意】&＃xff1a;而且所有的配置文件和节点处不要有空格&＃xff0c;否则会报错&＃xff01;
然后我们输入&＃xff1a;&＃xff08;这里有的同学没有配置hosts&＃xff0c;所以输出master访问不到&＃xff0c;如果访问不到输入ip地址即可&＃xff09;
http://master:8088/
如何修改hosts:
win7 进入下面路径&＃xff1a;
C:\Windows\System32\drivers\etc
找打hosts
然后打开&＃xff0c;进行如下配置即可看到
看到下图&＃xff1a;
到此全部完毕。
![Ubuntu 9.04中安装谷歌Chromium浏览器及使用体验[图文]](https://img1.php1.cn/3cd4a/24bf4/61b/c175cc0fe1277527.jpeg)
京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有