hadoop环境安装

一、服务器系统设置
  1、添加HADOOP用户
     useradd hadoop
     passwd hadoop
  2、为HADOOP用户分配sudoer权限
     用root用户修改visudo&＃xff0c;在&＃xff08;root    ALL&＃61;(ALL)       ALL&＃xff09;下面添加&＃xff08; hadoop  ALL&＃61;(ALL)       ALL &＃xff09;
  3、设置主机名master hadoop1 hadoop2 hadoop3 (vi /etc/sysconfig/network)修改主机名
     克隆会遇到eth0不见的问题:&＃xff5b;
        直接修改  /etc/sysconfig/network-script/ifcfg-eth0
        删掉UUID  HWADDR
        配置静态地址
        然后&＃xff1a;
        rm -rf 　/etc/udev/rules.d/70-persistent-net.rules
        然后 reboot
      &＃xff5d;
  4、配置内网域名映射&＃xff1a;修改(vi /etc/hosts)
     添加
     192.168.1.130 master
     192.168.1.131 hadoop1
     192.168.1.132 hadoop2
     192.168.1.133 hadoop3
  配置ssh免密登陆
    1、ssh-keygen 一直回车
    2、ssh-copy-id master
         ssh-copy-id hadoop1
         ssh-copy-id hadoop2
         ssh-copy-id hadoop3
    3、测试是否可以名密成功登录 ssh master
  配置防火墙
    1、相看是否开启 service iptablse status
    2、关闭 service iptablse stop
  
二、HADOOP安装部署
   1、上传HADOOP安装包  
   2、规划安装目录  /home/hadoop/apps/hadoop-2.6.1
   3、解压安装包
   4、配置环境变量
       export JAVA_HOME&＃61;/usr/local/jdk1.8.0_191
       export HADOOP_HOME&＃61;/home/hadoop/hadoop-2.6.4
       export PATH&＃61;$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
   
   4、修改hadoop-2.6.4/etc/hadoop/hadoop-env.sh环境变量位置   
            export JAVA_HOME&＃61;/usr/local/jdk1.8.0_191
   5、修改hadoop-2.6.4/etc/hadoop/core-site.xml 
       
       
            fs.default.name
            hdfs://master:9000
       
        
       
            hadoop.tmp.dir
            /home/HADOOP/apps/hadoop-2.6.1/tmp
       
        
       
       
   6、修改hadoop-2.6.4/etc/hadoop/hdfs-site.xml 
       
       
            dfs.namenode.name.dir
            /home/hadoop/data/name
       
       
            dfs.datanode.data.dir
            /home/hadoop/data/data
       

       
            dfs.replication
            3
       

       
            dfs.secondary.http.address
            master:50090
       
         
        
   7、修改hadoop-2.6.4/etc/hadoop/mapred-site.xml
       
       
            mapreduce.framework.name
            yarn
       
          
       
   8、修改hadoop-2.6.4/etc/hadoop/yarn-site.xml
       
       
            yarn.resourcemanager.hostname
            master
       

       
            yarn.nodemanager.aux-services
            mapreduce_shuffle
       
        
  拷贝到相关主机 scp -r hadoop-2.6.4 test1:/home/hadoop/
   9、修改hadoop-2.6.4/etc/hadoop/slaves
      去掉localhost
      添加hadoop1 hadoop2 hadoop3
    
   10、初始化HDFS
      hadoop  namenode  -format
   11、启动和停止
      1、启动start-all.sh 
      2、停止stop-all.sh 
   
 查看hdfs文件
    hadoop fs -ls /
上传文件测试
    hadoop fs -put test.avi /
查看文件    
    hadoop fs -cat /test.avi   
取文件    
    hadoop fs -get /test.avi     

查看hdfs文件
    hadoop fs -ls /
上传文件测试
    hadoop fs -put test.avi /
查看文件    
    hadoop fs -cat /test.avi   
取文件    
    hadoop fs -get /test.avi   
创建文件夹
    hadoop fs -mkdir -p  /wordcount/input
    hadoop fs -put a.txt b.txt /wordcount/input
    
    hadoop jar hadoop-mapreduce-examples-2.6.4.jar wordcount /wordcount/input /wordcount/output
    hadoop fs -cat /wordcount/output/part-r-0000
   
java.io.IOException: There appears to be a gap in the edit log.  We expected txid 1, but got txid 16.
namenode进程中出现如下报错信息
原因&＃xff1a;namenode元数据被破坏&＃xff0c;需要修复
解决&＃xff1a;恢复一下namenode
hadoop namenode -recover
一路选择c&＃xff0c;一般就OK了