首页    技术博客    PHP教程    数据库技术    前端开发   HTML5    Nginx    php论坛
新用户注册 | 会员登录
加入会员，解锁专属内容
取消
热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

CentOS6.5编译安装Hadoop2

作者：Random, | 来源：互联网 | 2017-06-21 19:45
前言ApacheHadoop是一款支持数据密集型分布式应用并以Apache2.0许可协议发布的开源软件框架。它支持在商品硬件构建的大型集群上运行的应用程序。Hadoop是根据Google公司发表的MapReduce和Google档案系统的论文，由DougCutting在2004年完成最初版本。环境操作系统：CentOS_6.5_6

前言

Apache Hadoop是一款支持数据密集型分布式应用并以Apache 2.0许可协议发布的开源软件框架。它支持在商品硬件构建的大型集群上运行的应用程序。Hadoop是根据Google公司发表的MapReduce和Google档案系统的论文，由Doug Cutting在2004年完成最初版本。

环境

操作系统：CentOS_6.5_64bit

 

[plain] view plaincopyprint?在CODE上查看代码片派生到我的代码片
 
  1. [root@master conf]# cat /proc/version; lsb_release -a  
  2. Linux version 2.6.32-431.5.1.el6.x86_64 (mockbuild@c6b10.bsys.dev.centos.org) (gcc version 4.4.7 20120313 (Red Hat 4.4.7-4) (GCC) ) #1 SMP Wed Feb 12 00:41:43 UTC 2014  
  3. LSB Version:    :base-4.0-amd64:base-4.0-noarch:core-4.0-amd64:core-4.0-noarch:graphics-4.0-amd64:graphics-4.0-noarch:printing-4.0-amd64:printing-4.0-noarch  
  4. Distributor ID: CentOS  
  5. Description:    CentOS release 6.5 (Final)  
  6. Release:    6.5  
  7. Codename:   Final  

 

编译Hadoop版本：hadoop-2.2.0

准备
注：最好可以找到一台可以连接的到互联网的机器进行编译Hadoop，因为准备或者编译的时候都需要从网络安装很多插件。

1. 安装Java JDK（官方网站地址：http://www.oracle.com/technetwork/java/index.html）

由于Hadoop是Doug用java完成的，所以java是必须安装的软件之一。在CentOS环境中可以通过yum进行安装或者自己去oracle官网下载最新版本的JDK。

安装JDK：

[plain] view plaincopyprint?在CODE上查看代码片派生到我的代码片
 
  1. [root@master ~]#  yum -y install java-1.7.0-openjdk java-1.7.0-openjdk-devel ldapjdk  
安装完成后目录如下。
[plain] view plaincopyprint?在CODE上查看代码片派生到我的代码片
 
  1. [root@master ~]# ll /usr/lib/jvm/java-1.7.0-openjdk-1.7.0.51.x86_64/  
  2. 总用量 216  
  3. -r--r--r-- 1 root root   1503 1月  14 20:59 ASSEMBLY_EXCEPTION  
  4. drwxr-xr-x 2 root root   4096 3月  11 03:33 bin  
  5. drwxr-xr-x 3 root root   4096 3月  11 03:33 include  
  6. drwxr-xr-x 4 root root   4096 3月  11 03:33 jre  
  7. drwxr-xr-x 3 root root   4096 3月  11 03:33 lib  
  8. -r--r--r-- 1 root root  19263 1月  14 20:59 LICENSE  
  9. drwxr-xr-x 2 root root   4096 3月  11 03:33 tapset  
  10. -r--r--r-- 1 root root 172252 1月  14 20:59 THIRD_PARTY_README  
查看java版本。
[plain] view plaincopyprint?在CODE上查看代码片派生到我的代码片
 
  1. [root@master ~]# java -version  
  2. java version "1.7.0_51"  
  3. OpenJDK Runtime Environment (rhel-2.4.4.1.el6_5-x86_64 u51-b02)  
  4. OpenJDK 64-Bit Server VM (build 24.45-b08, mixed mode)  

2. 安装maven（官方网站地址：http://maven.apache.org/）

 

Apache Maven，是一个软件（特别是Java软件）项目管理及自动构建工具，由Apache软件基金会所提供。基于项目对象模型（缩写：POM）概念，Maven利用一个中央信息片断能管理一个项目的构建、报告和文档等步骤。曾是Jakarta项目的子项目，现为独立Apache项目。

yum安装maven

 

[plain] view plaincopyprint?在CODE上查看代码片派生到我的代码片
 
  1. [root@master maven]# yum install apache-maven.noarch  
查看maven版本

 

 

[plain] view plaincopyprint?在CODE上查看代码片派生到我的代码片
 
  1. [root@master maven]# mvn -version  
  2. Apache Maven 3.2.1 (ea8b2b07643dbb1b84b6d16e1f08391b666bc1e9; 2014-02-14T12:37:52-05:00)  
  3. Maven home: /usr/share/apache-maven  
  4. Java version: 1.7.0_51, vendor: Oracle Corporation  
  5. Java home: /usr/lib/jvm/java-1.7.0-openjdk-1.7.0.51.x86_64/jre  
  6. Default locale: zh_CN, platform encoding: UTF-8  
  7. OS name: "linux", version: "2.6.32-431.5.1.el6.x86_64", arch: "amd64", family: "unix"  

下载安装maven（下载地址：http://maven.apache.org/download.cgi）apache-maven-3.2.1-bin.tar.gz

 

解压

 

[plain] view plaincopyprint?在CODE上查看代码片派生到我的代码片
 
  1. [root@master ~]# tar -zxvf apache-maven-3.2.1-bin.tar.gz   
[plain] view plaincopyprint?在CODE上查看代码片派生到我的代码片
 
  1. [root@master ~]# cd apache-maven-3.2.1  
  2. [root@master apache-maven-3.2.1]# ll  
  3. 总用量 40  
  4. drwxr-xr-x 2 root root  4096 3月  18 02:23 bin  
  5. drwxr-xr-x 2 root root  4096 3月  18 02:23 boot  
  6. drwxr-xr-x 3 root root  4096 2月  14 12:34 conf  
  7. drwxr-xr-x 3 root root  4096 3月  18 02:23 lib  
  8. -rw-r--r-- 1 root root 14865 2月  14 12:40 LICENSE  
  9. -rw-r--r-- 1 root root   182 2月  14 12:39 NOTICE  
  10. -rw-r--r-- 1 root root  2513 2月  14 12:34 README.txt  

 

 

[plain] view plaincopyprint?在CODE上查看代码片派生到我的代码片
 
  1. [root@master ~]# cp -r apache-maven-3.2.1 /usr/local/  
  2. [root@master ~]# cd /usr/local/apache-maven-3.2.1/  
  3. [root@master apache-maven-3.2.1]# ll  
  4. 总用量 40  
  5. drwxr-xr-x 2 root root  4096 3月  18 02:24 bin  
  6. drwxr-xr-x 2 root root  4096 3月  18 02:24 boot  
  7. drwxr-xr-x 3 root root  4096 3月  18 02:24 conf  
  8. drwxr-xr-x 3 root root  4096 3月  18 02:24 lib  
  9. -rw-r--r-- 1 root root 14865 3月  18 02:24 LICENSE  
  10. -rw-r--r-- 1 root root   182 3月  18 02:24 NOTICE  
  11. -rw-r--r-- 1 root root  2513 3月  18 02:24 README.txt  
  12. [root@master apache-maven-3.2.1]#   
将MAVEN_HOME加入环境变量中。

 

 

[plain] view plaincopyprint?在CODE上查看代码片派生到我的代码片
 
  1. [root@master apache-maven-3.2.1]# vim /etc/profile  

 

在/etc/profile的最后一行加入如下。

 

[plain] view plaincopyprint?在CODE上查看代码片派生到我的代码片
 
  1. export MAVEN_HOME=/usr/local/apache-maven-3.2.1  
  2. export PATH=.:$MAVEN_HOME/bin:$PATH  
保存退出。

 

 

更新并查看maven版本。

 

[plain] view plaincopyprint?在CODE上查看代码片派生到我的代码片
 
  1. [root@master apache-maven-3.2.1]# source /etc/profile  
  2. [root@master apache-maven-3.2.1]# mvn --version  
  3. Apache Maven 3.2.1 (ea8b2b07643dbb1b84b6d16e1f08391b666bc1e9; 2014-02-14T12:37:52-05:00)  
  4. Maven home: /usr/local/apache-maven-3.2.1  
  5. Java version: 1.7.0_51, vendor: Oracle Corporation  
  6. Java home: /usr/lib/jvm/java-1.7.0-openjdk-1.7.0.51.x86_64/jre  
  7. Default locale: zh_CN, platform encoding: UTF-8  
  8. OS name: "linux", version: "2.6.32-431.5.1.el6.x86_64", arch: "amd64", family: "unix"  

 

3. 安装protobuf（官方网站地址：https://code.google.com/p/protobuf/）

protobuf是google提供的一个可以编码格式化结构数据方法，Google大部分的RPC端通信协议都是基于protocol buffers的。同时现Hadoop中master和slave中的RPC通信协议也都是基于它实现的。
 
安装protobuf之前需要安装几个组件，才可以编译安装protobuf，如已有该些软件，请跳过。
[plain] view plaincopyprint?在CODE上查看代码片派生到我的代码片
 
  1. [root@master ~]# yum install gcc gcc-c++ make  
下载2.5.0版本protobuf（下载地址：https://code.google.com/p/protobuf/downloads/list）protobuf-2.5.0.tar.gz。
[plain] view plaincopyprint?在CODE上查看代码片派生到我的代码片
 
  1. [root@master ~]# tar -zxvf protobuf-2.5.0.tar.gz   
  2. [root@master ~]# cd protobuf-2.5.0  
推荐阅读
  • default

    数据库的存储结构及其重要性

    本文介绍了数据库的存储结构及其重要性，强调了关系数据库范例中将逻辑存储与物理存储分开的必要性。通过逻辑结构和物理结构的分离，可以实现对物理存储的重新组织和数据库的迁移，而应用程序不会察觉到任何更改。文章还展示了Oracle数据库的逻辑结构和物理结构，并介绍了表空间的概念和作用。 ... [详细]
  • shell

    Linux 正则表达式基础及使用注意事项

    本文介绍了Linux系统中正则表达式的基础知识，包括正则表达式的简介、字符分类、普通字符和元字符的区别，以及在学习过程中需要注意的事项。同时提醒读者要注意正则表达式与通配符的区别，并给出了使用正则表达式时的一些建议。本文适合初学者了解Linux系统中的正则表达式，并提供了学习的参考资料。 ... [详细]
  • shell

    Ubuntu 9.04中安装谷歌Chromium浏览器及使用体验[图文]

    Ubuntu 9.04中安装谷歌Chromium浏览器及使用体验[图文]
    nsitionalENhttp:www.w3.orgTRxhtml1DTDxhtml1-transitional.dtd ... [详细]
  • usb

    CEPH LIO iSCSI Gateway及其使用参考文档

    CEPH LIO iSCSI Gateway及其使用参考文档
    本文介绍了CEPH LIO iSCSI Gateway以及使用该网关的参考文档，包括Ceph Block Device、CEPH ISCSI GATEWAY、USING AN ISCSI GATEWAY等。同时提供了多个参考链接，详细介绍了CEPH LIO iSCSI Gateway的配置和使用方法。 ... [详细]
  • default

    centos安装Mysql的方法及步骤详解

    centos安装Mysql的方法及步骤详解
    本文介绍了centos安装Mysql的两种方式：rpm方式和绿色方式安装，详细介绍了安装所需的软件包以及安装过程中的注意事项，包括检查是否安装成功的方法。通过本文，读者可以了解到在centos系统上如何正确安装Mysql。 ... [详细]
  • require

    CentOS7.8下编译muduo库找不到Boost库报错的解决方法

    CentOS7.8下编译muduo库找不到Boost库报错的解决方法
    本文介绍了在CentOS7.8下编译muduo库时出现找不到Boost库报错的问题，并提供了解决方法。文章详细介绍了从Github上下载muduo和muduo-tutorial源代码的步骤，并指导如何编译muduo库。最后，作者提供了陈硕老师的Github链接和muduo库的简介。 ... [详细]
  • require

    5个基本Linux命令行工具的现代化替代品

    本文介绍了5个基本Linux命令行工具的现代化替代品，包括du、top和ncdu。这些替代品在功能上进行了改进，提高了可用性，并且适用于现代化系统。其中，ncdu是du的替代品，它提供了与du类似的结果，但在一个基于curses的交互式界面中，重点关注占用磁盘空间较多的目录。 ... [详细]
  • require

    在Windows10系统上使用VMware创建CentOS虚拟机的详细步骤教程

    在Windows10系统上使用VMware创建CentOS虚拟机的详细步骤教程
    本文详细介绍了在Windows10系统上使用VMware创建CentOS虚拟机的步骤，包括准备条件、安装VMware、下载CentOS ISO文件、创建虚拟机并进行自定义配置、设置虚拟机的ISO与网络、进行安装和配置等。通过本文的指导，读者可以轻松地创建自己的CentOS虚拟机并进行相应的配置和操作。 ... [详细]
  • web

    Nginx使用AWStats日志分析的步骤及注意事项

    Nginx使用AWStats日志分析的步骤及注意事项
    本文介绍了在Centos7操作系统上使用Nginx和AWStats进行日志分析的步骤和注意事项。通过AWStats可以统计网站的访问量、IP地址、操作系统、浏览器等信息，并提供精确到每月、每日、每小时的数据。在部署AWStats之前需要确认服务器上已经安装了Perl环境，并进行DNS解析。 ... [详细]
  • command

    Webmin远程命令执行漏洞复现及防护方法

    Webmin远程命令执行漏洞复现及防护方法
    本文介绍了Webmin远程命令执行漏洞CVE-2019-15107的漏洞详情和复现方法，同时提供了防护方法。漏洞存在于Webmin的找回密码页面中，攻击者无需权限即可注入命令并执行任意系统命令。文章还提供了相关参考链接和搭建靶场的步骤。此外，还指出了参考链接中的数据包不准确的问题，并解释了漏洞触发的条件。最后，给出了防护方法以避免受到该漏洞的攻击。 ... [详细]
  • command

    Linux磁盘的分区、格式化的观察和操作步骤

    Linux磁盘的分区、格式化的观察和操作步骤
    本文介绍了如何观察Linux磁盘的分区状态，使用lsblk命令列出系统上的所有磁盘列表，并解释了列表中各个字段的含义。同时，还介绍了使用parted命令列出磁盘的分区表类型和分区信息的方法。在进行磁盘分区操作时，根据分区表类型选择使用fdisk或gdisk命令，并提供了具体的分区步骤。通过本文，读者可以了解到Linux磁盘分区和格式化的基本知识和操作步骤。 ... [详细]
  • web

    如何在服务器主机上实现文件共享的方法和工具

    如何在服务器主机上实现文件共享的方法和工具
    本文介绍了在服务器主机上实现文件共享的方法和工具，包括Linux主机和Windows主机的文件传输方式，Web运维和FTP/SFTP客户端运维两种方式，以及使用WinSCP工具将文件上传至Linux云服务器的操作方法。此外，还介绍了在迁移过程中需要安装迁移Agent并输入目的端服务器所在华为云的AK/SK，以及主机迁移服务会收集的源端服务器信息。 ... [详细]
  • include

    成功安装Sabayon Linux在thinkpad X60上的经验分享

    成功安装Sabayon Linux在thinkpad X60上的经验分享
    本文分享了作者在国庆期间在thinkpad X60上成功安装Sabayon Linux的经验。通过修改CHOST和执行emerge命令，作者顺利完成了安装过程。Sabayon Linux是一个基于Gentoo Linux的发行版，可以将电脑快速转变为一个功能强大的系统。除了作为一个live DVD使用外，Sabayon Linux还可以被安装在硬盘上，方便用户使用。 ... [详细]
  • shell

    Centos7部署安装zabbix5.0详细步骤及注意事项

    本文详细介绍了在Centos7上部署安装zabbix5.0的步骤和注意事项，包括准备工作、获取所需的yum源、关闭防火墙和SELINUX等。提供了一步一步的操作指南，帮助读者顺利完成安装过程。 ... [详细]
  • shell

    Ubuntu 用户安装 Linux Kernel 3.15 RC1

    Ubuntu 用户安装 Linux Kernel 3.15 RC1
    nsitionalENhttp:www.w3.orgTRxhtml1DTDxhtml1-transitional.dtd ... [详细]
author-avatar
Random,
这个家伙很懒，什么也没留下！
Tags | 热门标签
RankList | 热门文章
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有