一、准备编译软件

1.在官网下载jdk1.7、maven3.2.1、ant1.9.4，解压设置好环境变量就可以用。

  环境变量设置如下：

（1）执行vim /etc/profile  

（2）在文件尾部加入: 

export JAVA_HOME=/home/spark/jdk1.7   export MAVEN_HOME=/home/spark/apache-maven-3.2.1   export ANT_HOME=/home/spark/apache-ant-1.9.4   export PATH=$JAVA_HOME/bin:$MAVEN_HOME/bin:$ANT_HOME/bin:$PATH   export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

（3）执行source /etc/profile  

2.在官网下载protobuf2.5.0解压后进入目录依次执行如下命令：

./configure   make   make check   make install

3.安装其它软件，我这里使用yum命令安装。

yum install cmake openssl-devel autoconf automake libtool （有些软件操作系统可能自带，安装时请使用rpm -qa命令查看）

二、下载Hadoop源码开始编译

1.登录官网：http://hadoop.apache.org/，找到下载链接，点进去下载即可。

2.解压编译：

tar zxvf hadoop-2.4.0-src.tar.gz   cd  hadoop-2.4.0-src   mvn package -Pdist,native -DskipTests -Dtar

 

  半个多小时后出现BUILD SUCCESS,即编译成功，可在hadoop-2.4.0-src/hadoop-dist/target文件夹中找到编译的文件。

三、参考文档

http://www.cnblogs.com/shishanyuan/p/4164104.html   var cpro_id = "u6885494"; vim spark apache hadoop html 写下你的评论吧 ! 吐个槽吧,看都看了 会员登录 | 用户注册 推荐阅读 html Spark：【error】远程调试 root:supergroup:drwxrxrx Exceptioninthreadmainorg.apache.hadoop.security.AccessControlException:Permissiondenied: ... [详细] 蜡笔小新   2023-10-16 14:00:28 html WinPythonHadoop在Win10上安装教程 本文介绍了在Win10上安装WinPythonHadoop的详细步骤，包括安装Python环境、安装JDK8、安装pyspark、安装Hadoop和Spark、设置环境变量、下载winutils.exe等。同时提醒注意Hadoop版本与pyspark版本的一致性，并建议重启电脑以确保安装成功。 ... [详细] 蜡笔小新   2023-12-14 11:26:56 html Hadoop源码解析1Hadoop工程包架构解析 1 Hadoop中各工程包依赖简述   Google的核心竞争技术是它的计算平台。Google的大牛们用了下面5篇文章，介绍了它们的计算设施。   GoogleCluster：ht ... [详细] 蜡笔小新   2023-10-17 13:28:20 html LVS-DR直接路由实现负载均衡示例 nsitionalENhttp:www.w3.orgTRxhtml1DTDxhtml1-transitional.dtd ... [详细] 蜡笔小新   2023-10-17 10:27:04 css 7.4 基本输入源 一、文件流1.在spark-shell中创建文件流进入spark-shell创建文件流。另外打开一个终端窗口，启动进入spark-shell上面在spark-shell中执行的程序 ... [详细] 蜡笔小新   2023-10-16 21:14:54 html CentOS 7配置SSH远程访问及控制 nsitionalENhttp:www.w3.orgTRxhtml1DTDxhtml1-transitional.dtd ... [详细] 蜡笔小新   2023-10-16 18:40:50 build Spark Streaming和Kafka整合之路（最新版本） 2019独角兽企业重金招聘Python工程师标准最近完成了SparkStreaming和Kafka的整合工作，耗时虽然不长，但是当中还是遇到了不少 ... [详细] 蜡笔小新   2023-10-16 17:29:47 yarn Hadoop学习笔记1：伪分布式环境搭建        在搭建Hadoop环境之前，请先阅读如下博文，把搭建Hadoop环境之前的准备工作做好，博文如下：       1、CentOS6.7下安装JDK,地址：http:b ... [详细] 蜡笔小新   2023-10-16 16:04:04 build 基于 Docker 快速部署多需求 Spark 自动化测试环境 基于,docker,快速,部署,多,需求,spark ... [详细] 蜡笔小新   2023-10-16 11:58:06 html sqoop自定义分隔符的实现方法及步骤详解 本文介绍了在sqoop1.4.*版本中，如何实现自定义分隔符的方法及步骤。通过修改sqoop生成的java文件，并重新编译，可以满足实际开发中对分隔符的需求。具体步骤包括修改java文件中的一行代码，重新编译所需的hadoop包等。详细步骤和编译方法在本文中都有详细说明。 ... [详细] 蜡笔小新   2023-12-10 11:29:22 html Tomcat安装与配置教程及常见问题解决方法 本文介绍了Tomcat的安装与配置教程，包括jdk版本的选择、域名解析、war文件的部署和访问、常见问题的解决方法等。其中涉及到的问题包括403问题、数据库连接问题、1130错误、2003错误、Java Runtime版本不兼容问题以及502错误等。最后还提到了项目的前后端连接代码的配置。通过本文的指导，读者可以顺利完成Tomcat的安装与配置，并解决常见的问题。 ... [详细] 蜡笔小新   2023-12-09 07:28:32 css ssh免密码登录设置 hadoop1.2.1文档中这样写：Nowcheckthatyoucansshtothelocalhostwithoutapassphrase:$sshlocalhostIfyou ... [详细] 蜡笔小新   2023-10-17 18:22:10 css ZooKeeper 学习 前言相信大家对ZooKeeper应该不算陌生。但是你真的了解ZooKeeper是个什么东西吗？如果别人面试官让你给他讲讲ZooKeeper是个什么东西， ... [详细] 蜡笔小新   2023-10-17 17:07:40 css Hbase Region Server和Hbase Master启动报错 Direct buffer memory 2018-02-1420:07:13,610ERROR[main]regionserver.HRegionServerCommandLine:Regionserverexiting ... [详细] 蜡笔小新   2023-10-16 20:08:57 json 《Spark核心技术与高级应用》——1.2节Spark的重要扩展 本节书摘来自华章社区《Spark核心技术与高级应用》一书中的第1章，第1.2节Spark的重要扩展，作者于俊向海代其锋马海平，更多章节内容可以访问云栖社区“华章社区”公众号查看1. ... [详细] 蜡笔小新   2023-10-16 18:07:56 gbn3312168 这个家伙很懒，什么也没留下！ Tags | 热门标签 postman 正则 html vue.js chart.js console firefox base64 上传 bootstrap svg firebug css dialog iframe html5 overflow scheme jquery yarn build json listview button node.js label scroll css3 webkit chrome RankList | 热门文章 1九州云实战人员为您揭秘成功部署OpenStack几大要点 2Keil5（MDK与C51版本共存）下载安装 3注册域名的流程及规则是什么？ 4Redis 什么是主从复制 5获取JSON数据时，小程序报错 出现脚本错误或者未正确调用 Page()以及page编译错误和app service错误 6浅谈草图设计 7阿里巴巴叶军：科技驱动阿里法务的数字化升级 8如何改变gif动图的播放速度？教你一键在线调整gif速度 9什么时候用mysql什么时候用oracle，他们试用于什么场景 10crmeb知识付费系统提现设置 11特级教师的教学习惯 12早期创业项目找运营&产品合伙人，工资+股份 13三禧科技 工业机器人_智能座舱大行其道，图麟科技工业质检机器人如何给力？... 14利用RSoft的BPM算法对光波导和简单光波导器件进行仿真 15大数据能否给个人信息安全增加最后一道锁？ PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具 Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有