CentOS6.5安装Hadoop

作者：手机用户2602936393 | 来源：互联网 | 2017-06-18 22:38

Hadoop实现了一个分布式文件系统（HadoopDistributedFileSystem），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（highthroughput）来访问应用程序的数据，适合那些有着超大数据集（largedataset）的应用程序。HDFS放宽了（relax）POSIX

Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。

1、新建Hadoop用户配置免密码登陆

[root@ipython ~]# groupadd hadoop

[root@ipython ~]# useradd hadoop -g hadoop

[root@ipython ~]# passwd hadoop

[root@ipython ~]# mkdir /tools

[root@ipython ~]# chown hadoop:hadoop /tools/

##Ssh##

[root@ipython ~]# su - hadoop

[hadoop@ipython ~]$ ssh-keygen -t dsa -P &＃39;&＃39; -f ~/.ssh/id_dsa

+--[ DSA 1024]----+

|BE* |

|.*.= |

|+ o o . . |

|. o . o + |

| . . S o . |

| = o . |

| o o |

| . |

| |

+-----------------+

[hadoop@ipython ~]$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

[hadoop@ipython ~]$ chmod 0600 ~/.ssh/authorized_keys

2、JAVA.JDK 已安装（请参考:【CentOS JDK-1.8安装】）

[hadoop@ipython ~]$ java -version

java version "1.8.0_25"

Java(TM) SE Runtime Environment (build 1.8.0_25-b17)

Java HotSpot(TM) 64-Bit Server VM (build 25.25-b02, mixed mode)

3、下载并解包Hadoop

[hadoop@ipython ~]$ cd /tools/

[hadoop@ipython source]$ wget https://archive.apache.org/dist/hadoop/core/hadoop-2.2.0/hadoop-2.2.0.tar.gz

[hadoop@ipython source]$ tar zxf hadoop-2.2.0.tar.gz

[hadoop@ipython source]$ ln -s /tools/source/hadoop-2.2.0 /tools/hadoop

4、添加Hadoop环境变量

[hadoop@ipython source]$ cat >> ~/.bashrc <

export HADOOP_PREFIX="/tools/hadoop"

export PATH=\$PATH:\$HADOOP_PREFIX/bin

export PATH=\$PATH:\$HADOOP_PREFIX/sbin

export HADOOP_MAPRED_HOME=\${HADOOP_PREFIX}

export HADOOP_COMMON_HOME=\${HADOOP_PREFIX}

export HADOOP_HDFS_HOME=\${HADOOP_PREFIX}

export YARN_HOME=\${HADOOP_PREFIX}

####hadoop-env####

export JAVA_HOME="/tools/java"

export HADOOP_COMMON_LIB_NATIVE_DIR=\${HADOOP_PREFIX}/lib/native

export HADOOP_OPTS="-Djava.library.path=\$HADOOP_PREFIX/lib"

####yarn-env####

export HADOOP_COMMON_LIB_NATIVE_DIR=\${HADOOP_PREFIX}/lib/native

export HADOOP_OPTS="-Djava.library.path=\$HADOOP_PREFIX/lib"

EOF

[hadoop@ipython source]$ source ~/.bashrc

5、变更配置文件

[hadoop@ipython source]$ cd $HADOOP_PREFIX/etc/hadoop

[hadoop@ipython hadoop]$ vi core-site.xml

#-------------------------------------------------------#

fs.default.name

hdfs://10.211.55.40:9000

true

#-------------------------------------------------------#

[hadoop@ipython hadoop]$ vi hdfs-site.xml

#-------------------------------------------------------#

dfs.namenode.name.dir

file:/hadoop/dfs/name

true

dfs.datanode.data.dir

file:/hadoop/dfs/data

true

dfs.permissions

false

#-------------------------------------------------------#

[hadoop@ipython hadoop]$ cp mapred-site.xml.template mapred-site.xml

[hadoop@ipython hadoop]$ vi mapred-site.xml

#-------------------------------------------------------#

mapreduce.framework.name

yarn

mapred.system.dir

file:/hadoop/mapred/system

true

mapred.local.dir

file:/hadoop/mapred/local

true

#-------------------------------------------------------#

[hadoop@ipython hadoop]$ vi yarn-site.xml

#-------------------------------------------------------#

yarn.nodemanager.aux-services

mapreduce_shuffle

yarn.nodemanager.aux-services.mapreduce.shuffle.class

org.apache.hadoop.mapred.ShuffleHandler

#-------------------------------------------------------#

6、启动HDFS

[hadoop@ipython hadoop]$ hdfs namenode -format

15/01/23 23:55:40 INFO namenode.FSImage: Saving image file /tools/hadoop/dfs/name/current/fsimage.ckpt_0000000000000000000 using no compression

15/01/23 23:55:40 INFO namenode.FSImage: Image file /tools/hadoop/dfs/name/current/fsimage.ckpt_0000000000000000000 of size 198 bytes saved in 0 seconds.

15/01/23 23:55:40 INFO namenode.NNStorageRetentionManager: Going to retain 1 images with txid >= 0

15/01/23 23:55:40 INFO util.ExitUtil: Exiting with status 0

15/01/23 23:55:40 INFO namenode.NameNode: SHUTDOWN_MSG:

/************************************************************

SHUTDOWN_MSG: Shutting down NameNode at ipython.me/10.211.55.40

************************************************************/

##Start All(namenode,datanode,yarn)###

[hadoop@ipython hadoop]$ cd $HADOOP_PREIFX/sbin

[hadoop@ipython sbin]$ start-all.sh

##Jps##

[hadoop@ipython sbin]$ jps

2656 Jps

2000 DataNode

2275 ResourceManager

1892 NameNode

2374 NodeManager

2141 SecondaryNameNode

访问HDFS NameNode Web

hadoop-hadoop-cluster

访问NameNode web UI

hadoop-namenode-info

访问 Resource Manager 接口

hadoop-node-manager

测试Hadoop

[hadoop@ipython hadoop]$ hdfs dfs -mkdir /user

[hadoop@ipython hadoop]$ hdfs dfs -put /tmp /test/logs

hadoop_test

推荐阅读

io
HDFS2.x新特性

一、集群间数据拷贝scp实现两个远程主机之间的文件复制scp-rhello.txtroothadoop103:useratguiguhello.txt推pushscp-rr ... [详细]

蜡笔小新 2023-12-13 13:52:40
io
每天收获一点点Hadoop概述

一、Hadoop来历Hadoop的思想来源于Google在做搜索引擎的时候出现一个很大的问题就是这么多网页我如何才能以最快的速度来搜索到，由于这个问题Google发明 ... [详细]

蜡笔小新 2023-12-14 18:58:01
io
windows部署hadoop2.7.0

这里使用自己编译的hadoop-2.7.0版本部署在windows上，记得几年前，部署hadoop需要借助于cygwin，还需要开启ssh服务，最近发现，原来不需要借助cy ... [详细]

蜡笔小新 2023-10-17 21:04:04
format
Hadoop2.6.0 + 云centos +伪分布式只谈部署

3.0.3玩不好，现将2.6.0tar.gz上传到usr,chmod-Rhadoop:hadophadoop-2.6.0，rm掉3.0.32.在etcp ... [详细]

蜡笔小新 2023-10-17 19:28:24
format
Hadoop源码解析1Hadoop工程包架构解析

1 Hadoop中各工程包依赖简述 Google的核心竞争技术是它的计算平台。Google的大牛们用了下面5篇文章，介绍了它们的计算设施。 GoogleCluster：ht ... [详细]

蜡笔小新 2023-10-17 13:28:20
io
Kylin 单节点安装

软件环境Hadoop:2.7,3.1(sincev2.5)Hive:0.13-1.2.1HBase:1.1,2.0(sincev2.5)Spark(optional)2.3.0K ... [详细]

蜡笔小新 2023-10-16 16:09:42
io
Hadoop学习笔记1：伪分布式环境搭建

在搭建Hadoop环境之前，请先阅读如下博文，把搭建Hadoop环境之前的准备工作做好，博文如下： 1、CentOS6.7下安装JDK,地址：http:b ... [详细]

蜡笔小新 2023-10-16 16:04:04
bash
解决Docker中volume的权限问题的方法

在Docker中，将主机目录挂载到容器中作为volume使用时，常常会遇到文件权限问题。这是因为容器内外的UID不同所导致的。本文介绍了解决这个问题的方法，包括使用gosu和suexec工具以及在Dockerfile中配置volume的权限。通过这些方法，可以避免在使用Docker时出现无写权限的情况。 ... [详细]

蜡笔小新 2023-12-14 18:48:02
io
REVERT权限切换的操作步骤和注意事项

本文介绍了在SQL Server中进行REVERT权限切换的操作步骤和注意事项。首先登录到SQL Server，其中包括一个具有很小权限的普通用户和一个系统管理员角色中的成员。然后通过添加Windows登录到SQL Server，并将其添加到AdventureWorks数据库中的用户列表中。最后通过REVERT命令切换权限。在操作过程中需要注意的是，确保登录名和数据库名的正确性，并遵循安全措施，以防止权限泄露和数据损坏。 ... [详细]

蜡笔小新 2023-12-10 19:41:02
string
拆点+KM，建图思路看的题解，求解最小权匹配问题

本文介绍了一种求解最小权匹配问题的方法，使用了拆点和KM算法。通过将机器拆成多个点，表示加工的顺序，然后使用KM算法求解最小权匹配，得到最优解。文章给出了具体的代码实现，并提供了一篇题解作为参考。 ... [详细]

蜡笔小新 2023-12-09 09:24:15
io
hadoop基础----hadoop实战(六)-----hadoop管理工具---Cloudera Manager---CDH介绍

我们在之前的文章中已经初步介绍了Cloudera。hadoop基础----hadoop实战(零)-----hadoop的平台版本选择从版本选择这篇文章中我们了解到除了hadoop官方版本外很多 ... [详细]

蜡笔小新 2023-10-16 14:21:13
web
Azkaban（三）Azkaban的使用

界面介绍首页有四个菜单projects：最重要的部分，创建一个工程，所有flows将在工程中运行。scheduling:显示定时任务executing:显示当前运行的任务histo ... [详细]

蜡笔小新 2023-10-15 23:43:11
hash
Java开发实战讲解！字节跳动三场技术面+HR面

二、回顾整理阿里面试题基本就这样了，还有一些零星的问题想不起来了，答案也整理出来了。自我介绍JVM如何加载一个类的过程，双亲委派模型中有 ... [详细]

蜡笔小新 2023-10-15 19:48:25
merge
Hadoop框架之HDFS的shell操作

既然HDFS是存取数据的分布式文件系统，那么对HDFS的操作，就是文件系统的基本操作，比如文件的创建、修改、删除、修改权限等，文件夹的创建、删除、重命名等。对HDFS的操作命令类似于Linux的she ... [详细]

蜡笔小新 2023-10-15 16:12:13
merge
本文_大数据之非常详细Sqoop安装和基本操作

篇首语：本文由编程笔记#小编为大家整理，主要介绍了大数据之非常详细Sqoop安装和基本操作相关的知识，希望对你有一定的参考价值。大数据大数据之 ... [详细]

蜡笔小新 2023-10-15 15:25:37

手机用户2602936393

这个家伙很懒，什么也没留下！

Tags | 热门标签

RankList | 热门文章