ApacheHadoop3.2.0官方API常规：单节点安装

• 目的
• 先决条件
  • 支持的平台
  • 必备软件
  • 安装软件
• 下载
• 准备启动Hadoop集群
• 独立操作
• 伪分布式操作
  • 组态
  • 设置passphraseless ssh
  • 执行
  • YARN在单个节点上
• 全分布式操作

目的

本文档介绍如何设置和配置单节点Hadoop安装&＃xff0c;以便您可以使用Hadoop MapReduce和Hadoop分布式文件系统&＃xff08;HDFS&＃xff09;快速执行简单操作。

先决条件

支持的平台

• 支持GNU / Linux作为开发和生产平台。已经在具有2000个节点的GNU / Linux集群上演示了Hadoop。

• Windows也是受支持的平台&＃xff0c;但以下步骤仅适用于Linux。要在Windows上设置Hadoop&＃xff0c;请参阅Wiki页面。

必备软件

Linux所需的软件包括&＃xff1a;

1. 必须安装Java™。HadoopJavaVersions描述了推荐的Java版本。

2. 必须安装ssh并且必须运行sshd才能使用管理远程Hadoop守护程序的Hadoop脚本&＃xff08;如果要使用可选的启动和停止脚本&＃xff09;。此外&＃xff0c;建议还安装pdsh以实现更好的ssh资源管理。

安装软件

如果您的群集没有必需的软件&＃xff0c;则需要安装它。

例如在Ubuntu Linux上&＃xff1a;

$ sudo apt-get install ssh
$ sudo apt-get install pdsh

下载

要获得Hadoop发行版&＃xff0c;请从其中一个Apache下载镜像下载最新的稳定版本。

准备启动Hadoop集群

解压缩下载的Hadoop发行版。在分发中&＃xff0c;编辑文件etc / hadoop / hadoop-env.sh以定义一些参数&＃xff0c;如下所示&＃xff1a;

# set to the root of your Java installationexport JAVA_HOME&＃61;/usr/java/latest

请尝试以下命令&＃xff1a;

$ bin/hadoop

这将显示hadoop脚本的使用文档。

现在&＃xff0c;您已准备好以三种支持模式之一启动Hadoop集群&＃xff1a;

• 本地&＃xff08;独立&＃xff09;模式
• 伪分布式模式
• 全分布式模式

Standalone Operation模式

默认情况下&＃xff0c;Hadoop配置为以非分布式模式运行&＃xff0c;作为单个Java进程。这对调试很有用。

以下示例复制解压缩的conf目录以用作输入&＃xff0c;然后查找并显示给定正则表达式的每个匹配项。输出将写入给定的输出目录。

$ mkdir input$ cp etc/hadoop/*.xml input$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.0.jar grep input output &＃39;dfs[a-z.]&＃43;&＃39;$ cat output/*

伪分布式操作

Hadoop也可以在伪分布式模式下在单节点上运行&＃xff0c;其中每个Hadoop守护程序在单独的Java进程中运行。

配置

使用以下内容&＃xff1a;

etc/hadoop/core-site.xml:

fs.defaultFShdfs://localhost:9000


etc/hadoop/hdfs-site.xml:

dfs.replication1


设置  ssh 免密码登录

现在检查您是否可以在没有密码的情况下ssh到localhost&＃xff1a;

$ ssh localhost

如果在没有密码短语的情况下无法ssh到localhost&＃xff0c;请执行以下命令&＃xff1a;

$ ssh-keygen -t rsa -P &＃39;&＃39; -f ~/.ssh/id_rsa$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys$ chmod 0600 ~/.ssh/authorized_keys

执行

以下说明是在本地运行MapReduce作业。如果要在YARN上执行作业&＃xff0c;请参阅单节点上的YARN 。

1. 格式化文件系统&＃xff1a;

   $ bin/hdfs namenode -format

2. 启动NameNode守护程序和DataNode守护程序&＃xff1a;

   $ sbin/start-dfs.sh

   hadoop守护程序日志输出将写入$ HADOOP_LOG_DIR目录&＃xff08;默认为$ HADOOP_HOME / logs&＃xff09;。

3. 浏览NameNode的Web界面; 默认情况下&＃xff0c;它可用于&＃xff1a;

   • NameNode -    http://localhost:9870/

4. 创建执行MapReduce作业所需的HDFS目录&＃xff1a;

   $ bin/hdfs dfs -mkdir /user$ bin/hdfs dfs -mkdir /user/

5. 将输入文件复制到分布式文件系统中&＃xff1a;

   $ bin/hdfs dfs -mkdir input$ bin/hdfs dfs -put etc/hadoop/*.xml input

6. 运行一些提供的示例&＃xff1a;

   $ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.0.jar grep input output &＃39;dfs[a-z.]&＃43;&＃39;

7. 检查输出文件&＃xff1a;将输出文件从分布式文件系统复制到本地文件系统并检查它们&＃xff1a;

   $ bin/hdfs dfs -get output output$ cat output/*

   要么

   查看分布式文件系统上的输出文件&＃xff1a;

   $ bin/hdfs dfs -cat output/*

8. 完成后&＃xff0c;停止守护进程&＃xff1a;

   $ sbin/stop-dfs.sh

YARN在单个节点上

您可以通过设置一些参数并运行ResourceManager守护程序和NodeManager守护程序&＃xff0c;以伪分布式模式在YARN上运行MapReduce作业。

以下说明假设已执行上述指令的 1.~4步骤。

1. 配置参数如下&＃xff1a;

   etc/hadoop/mapred-site.xml:

   mapreduce.framework.nameyarn
mapreduce.application.classpath$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*:$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*


   etc/hadoop/yarn-site.xml:

   yarn.nodemanager.aux-servicesmapreduce_shuffleyarn.nodemanager.env-whitelistJAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME


2. 启动ResourceManager守护程序和NodeManager守护程序&＃xff1a;

   $ sbin/start-yarn.sh

3. 浏览ResourceManager的Web界面; 默认情况下&＃xff0c;它可用于&＃xff1a;

   • ResourceManager - http://localhost:8088/

   运行MapReduce作业。

4. 完成后&＃xff0c;停止守护进程&＃xff1a;

   $ sbin/stop-yarn.sh

全分布式操作

有关设置完全分布式&＃xff0c;非平凡群集的信息&＃xff0c;请参阅群集设置。