Fedora15部署Hadoop0.21全分布式模式1namenode2datanode
作者:白人冰娟 | 来源:互联网 | 2017-11-04 21:04
本文主要参考有http://www.linuxidc.com/Linux/2012-01/51767.htmhttp://www.linuxidc.com/Linux/2012-01/51768.htm准备工作文中出现名词介绍alex,用户名,3台机器用户名一致master,namenode主机名slave[1-N],datanode主机名1安装
本文主要参考有
- http://www.linuxidc.com/Linux/2012-01/51767.htm
- http://www.linuxidc.com/Linux/2012-01/51768.htm
准备工作
文中出现名词介绍
- alex,用户名,3台机器用户名一致
- master,namenode主机名
- slave[1-N],datanode主机名
1 安装系统,参考 http://blog.csdn.net/sunshine_okey/article/details/7010574
2 设置ip地址,3台机器最好是局域网里,在同一网段,
3 修改主机名,添加三台机器的ip及主机名
- #vi /etc/sysconfig/network //修改HOSTNAME=XX
- #vi/etc/hosts //把默认的机器名localhost localhost.localhostlocalhst改为XX
- //并按照"ip 主机名 域名"格式添加ip地址和主机名的映射表,3台机器都要添加
- //本人的配置为 xx.xx.xx.xx alex alex
- #reboot //修改后重启机器
本人主机名分别为,master作为namenode,slave1,slave2作为datanode
4 关闭防火墙
1) 重启后生效
开启: chkconfig iptables on
关闭: chkconfig iptables off
2) 即时生效,重启后失效
开启: service iptables start
关闭: service iptables stop
需要说明的是对于Linux下的其它服务都可以用以上命令执行开启和关闭操作。
在开启了防火墙时,做如下设置,开启相关端口,
修改/etc/sysconfig/iptables 文件,添加以下内容:
-A RH-Firewall-1-INPUT -m state --state NEW -m tcp-p tcp --dport 80 -j ACCEPT
-A RH-Firewall-1-INPUT -m state --state NEW -m tcp-p tcp --dport 22 -j ACCEPT
先用1),再用2)
5 开启ssh,实现master到slave1,slave2的无密码登录
6 安装jdk1.6以上,并指定JAVA_HOME
上面是前期准备工作,以下正是开始部署Hadoop,所有节点配置方式相同,所以这里我们只是配置master一台,然后再把配置后的文件直接复制到其他节点上
7 解压hadoop程序到当前用户目录,并建立连接,同时在/etc/profile环境变量中添加HADOOP_HOME=hadoop目录
- tar -zxvf hadoop-0.21.0.tar.gz
- ln -s hadoop-0.21.0 hadoop
8 进入hadoop/conf中,修改slaves
去掉localhost,添加如下
- slave1
- slave2
修改master
去掉localhost,添加如下
master
配置hadoop
修改core-site.xml
core-site.xml中在修中添加项如下:
- <property>
- <name>hadoop.tmp.dirname>
- <value>/home/alex/hadoop/tmpvalue>
- property>
- <property>
- <name>fs.defaultFSname>
- <value>hdfs://master:9000value>
- property>
修改hdfs-site.xml
这里修改的是文件存储时备份的数量,按照自己的要求来,默认为3个副本
修改mapred-site.xml
- <property>
- <name>mapreduce.jobtracker.addressname>
- <value>master:9001value>
- <description>NameNodedescription>
- property>
10 复制已经配置后的文件到其他节点上
- [hadoop@master:~]$scp -r /home/alex/hadoop slave1:/home/alex/
- [hadoop@master:~]$scp -r /home/alex/hadoop slave2:/home/alex/
至此,部署完成
11 启动hadoop 进入hadoop/bin目录,然后
$./hadoop namenode -format //格式化文件系统
$./start-all.sh //启动系统
$./jps //查看启动情况
$./stop-all.sh //关闭
具体操作可以参考文档
常见问题
1 /home/alex/hadoop/bin/../bin/hadoop-daemon.sh:line 127: /tmp/hadoop-hadoop-namenode.pid: 权限不够
解决方案:
在hadoop-config中修改hadoop-env.sh,添加:exportHADOOP_PID_DIR=$HADOOP_HOME/run/tmp。改变pid的路径。3台机子一块改。
在/etc中修改profile,添加:export HADOOP_PID_DIR=$HADOOP_HOME/run/tmp,同样,改3台机子。
重启
2 “No route to host”
主要两个:
1、防火墙挡住了,可以关闭iptable
2、网段不同,没有路由信息,可检查IP和掩码确认一下
推荐阅读
-
这里使用自己编译的hadoop-2.7.0版本部署在windows上,记得几年前,部署hadoop需要借助于cygwin,还需要开启ssh服务,最近发现,原来不需要借助cy ...
[详细]
蜡笔小新 2023-10-17 21:04:04
-
MR程序的几种提交运行模式本地模型运行1在windows的eclipse里面直接运行main方法,就会将job提交给本地执行器localjobrunner执行-- ...
[详细]
蜡笔小新 2023-10-16 18:29:26
-
-
软件环境Hadoop:2.7,3.1(sincev2.5)Hive:0.13-1.2.1HBase:1.1,2.0(sincev2.5)Spark(optional)2.3.0K ...
[详细]
蜡笔小新 2023-10-16 16:09:42
-
一、集群间数据拷贝scp实现两个远程主机之间的文件复制scp-rhello.txtroothadoop103:useratguiguhello.txt推pushscp-rr ...
[详细]
蜡笔小新 2023-12-13 13:52:40
-
3.0.3玩不好,现将2.6.0tar.gz上传到usr,chmod-Rhadoop:hadophadoop-2.6.0,rm掉3.0.32.在etcp ...
[详细]
蜡笔小新 2023-10-17 19:28:24
-
对于开源的东东,尤其是刚出来不久,我认为最好的学习方式就是能够看源代码和doc,測试它的样例为了方便查看源代码,关联导入源代 ...
[详细]
蜡笔小新 2023-10-17 09:49:38
-
界面介绍首页有四个菜单projects:最重要的部分,创建一个工程,所有flows将在工程中运行。scheduling:显示定时任务executing:显示当前运行的任务histo ...
[详细]
蜡笔小新 2023-10-15 23:43:11
-
二、回顾整理阿里面试题基本就这样了,还有一些零星的问题想不起来了,答案也整理出来了。自我介绍JVM如何加载一个类的过程,双亲委派模型中有 ...
[详细]
蜡笔小新 2023-10-15 19:48:25
-
一、什么是Lambda架构Lambda架构由Storm的作者[NathanMarz]提出,根据维基百科的定义,Lambda架构的设计是为了在处理大规模数 ...
[详细]
蜡笔小新 2023-10-17 16:06:09
-
1 Hadoop中各工程包依赖简述 Google的核心竞争技术是它的计算平台。Google的大牛们用了下面5篇文章,介绍了它们的计算设施。 GoogleCluster:ht ...
[详细]
蜡笔小新 2023-10-17 13:28:20
-
这篇文章总结的非常到位,故而转之一MapReduce概述MapReduce是一个用于大规模数据处理的分布式计算模型,它最初是由Google工程师设计并实现的ÿ ...
[详细]
蜡笔小新 2023-10-17 12:36:35
-
nsitionalENhttp:www.w3.orgTRxhtml1DTDxhtml1-transitional.dtd ...
[详细]
蜡笔小新 2023-10-16 18:40:50
-
在搭建Hadoop环境之前,请先阅读如下博文,把搭建Hadoop环境之前的准备工作做好,博文如下: 1、CentOS6.7下安装JDK,地址:http:b ...
[详细]
蜡笔小新 2023-10-16 16:04:04
-
前言折腾了一段时间hadoop的部署管理,写下此系列博客记录一下。为了避免各位做部署这种重复性的劳动,我已经把部署的步骤写成脚本,各位只需要按着本文把脚本执行完,整个环境基本就部署 ...
[详细]
蜡笔小新 2023-10-16 15:11:51
-
我们在之前的文章中已经初步介绍了Cloudera。hadoop基础----hadoop实战(零)-----hadoop的平台版本选择从版本选择这篇文章中我们了解到除了hadoop官方版本外很多 ...
[详细]
蜡笔小新 2023-10-16 14:21:13
-