第7章YARNHA配置

作者：乌海阿斯顿 | 来源：互联网 | 2023-09-25 18:20

目录7.1yarn-site.xm文件配置7.2测试YARN自动故障转移ResourceManager(RM)负责跟踪集群中的资源，以及调度应用程序(例如，MapRedu

7.1 yarn-site.xm文件配置
7.2 测试YARN自动故障转移

ResourceManager (RM)负责跟踪集群中的资源，以及调度应用程序(例如，MapReduce作业)。在Hadoop 2.4之前，集群中只有一个ResourceManager，当其中一个宕机时，将影响整个集群。高可用性特性增加了冗余的形式，即一个主动/备用的ResourceManager对，以便可以进行故障转移。

YARN HA的架构如下图所示：

本例中，各节点的角色分配如下表所示：

节点	角色
centos01	ResourceManager NodeManager
centos02	ResourceManager NodeManager
centos03	NodeManager

下面将逐步讲解YARN HA的配置步骤。

7.1 yarn-site.xm文件配置

（1）修改yarn-site.xm文件，加入以下内容：

   
    
      yarn.resourcemanager.ha.enabled
      true
    
    
      yarn.resourcemanager.cluster-id
      cluster1
    
    
      yarn.resourcemanager.ha.rm-ids
      rm1,rm2
    
    
      yarn.resourcemanager.hostname.rm1
      centos01
    
    
      yarn.resourcemanager.hostname.rm2
      centos02
    
    
      yarn.resourcemanager.webapp.address.rm1
      centos01:8088
    
    
      yarn.resourcemanager.webapp.address.rm2
      centos02:8088
    
    
      yarn.resourcemanager.zk-address
      centos01:2181,centos02:2181,centos03:2181
         
    
      yarn.resourcemanager.recovery.enabled
      true
     
    
      yarn.resourcemanager.store.class
      org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore

上述配置参数解析：
yarn.resourcemanager.ha.enabled：开启RM HA功能。
yarn.resourcemanager.cluster-id：标识集群中的RM。如果设置该选项，需要确保所有的RMs在配置中都有自己的id。
yarn.resourcemanager.ha.rm-ids：RMs的逻辑id列表。可以自定义，此处设置为“rm1，rm2”。后面的配置将引用该id。
yarn.resourcemanager.hostname.rm1：指定RM对应的主机名。另外，可以设置RM的每个服务地址。
yarn.resourcemanager.webapp.address.rm1：指定RM的Web端访问地址。
yarn.resourcemanager.zk-address：指定集成的ZooKeeper的服务地址。
yarn.resourcemanager.recovery.enabled：启用RM重启的功能，默认为false。
yarn.resourcemanager.store.class：用于状态存储的类，默认为org.apache.hadoop.yarn.server.resourcemanager.recovery.FileSystemRMStateStore，基于Hadoop文件系统的实现。还可以为org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore，该类为基于ZooKeeper的实现。此处指定该类。

（2）yarn-site.xm文件配置好后，需要将其发送到集群中其它节点。
（3）接着上一章启动好的HDFS，继续进行启动YARN。
分别在centos01、centos02节点上执行以下命令，启动ResourceManager：

[hadoop@centos01 hadoop-2.7.1]$ sbin/yarn-daemon.sh start resourcemanager

分别在centos01、centos02、centos03节点上执行以下命令，启动nodemanager：

[hadoop@centos01 hadoop-2.7.1]$ sbin/yarn-daemon.sh start nodemanager

（4）YARN启动后，查看各节点Java进程：

[hadoop@centos01 hadoop-2.7.1]$ jps
3360 QuorumPeerMain
4080 DFSZKFailoverController
4321 NodeManager
4834 Jps
3908 JournalNode
3702 DataNode
4541 ResourceManager
3582 NameNode

[hadoop@centos02 hadoop-2.7.1]$ jps
4486 Jps
3815 DFSZKFailoverController
4071 NodeManager
4359 ResourceManager
3480 NameNode
3353 QuorumPeerMain
3657 JournalNode
3563 DataNode

[hadoop@centos03 hadoop-2.7.1]$ jps
3496 JournalNode
4104 Jps
3836 NodeManager
3293 QuorumPeerMain
3390 DataNode

此时浏览器输入地址http://centos01:8088 访问活动状态的ResourceManager，查看YARN的启动状态。如下图所示。

如果访问备份ResourceManager地址：http://centos02:8088 发现自动跳转到了地址http://centos01:8088。这是因为此时活动状态的ResourceManager在centos01节点上。访问备份节点的ResourceManager会自动跳转到活动节点。

7.2 测试YARN自动故障转移

在centos01节点上执行MapReduce默认的WordCount程序，当正在执行map阶段时，新开一个SSH Shell窗口，杀掉centos01的ResourceManager进程，观察程序执行过程。执行MapReduce默认的WordCount程序的命令如下：

[hadoop@centos01 hadoop-2.7.1]$ bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar wordcount /input /output

执行结果如下：

[hadoop@centos01 hadoop-2.7.1]$ bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar wordcount /input /output
18/03/16 10:48:22 INFO input.FileInputFormat: Total input paths to process : 1
18/03/16 10:48:22 INFO mapreduce.JobSubmitter: number of splits:1
18/03/16 10:48:23 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1521168402181_0001
18/03/16 10:48:23 INFO impl.YarnClientImpl: Submitted application application_1521168402181_0001
18/03/16 10:48:23 INFO mapreduce.Job: The url to track the job: http://centos01:8088/proxy/application_1521168402181_0001/
18/03/16 10:48:23 INFO mapreduce.Job: Running job: job_1521168402181_0001
18/03/16 10:48:56 INFO mapreduce.Job: Job job_1521168402181_0001 running in uber mode : false
18/03/16 10:48:57 INFO mapreduce.Job:  map 0% reduce 0%
18/03/16 10:50:21 INFO mapreduce.Job:  map 100% reduce 0%
18/03/16 10:50:32 INFO mapreduce.Job:  map 100% reduce 100%
18/03/16 10:50:36 INFO mapreduce.Job: Job job_1521168402181_0001 completed successfully
18/03/16 10:50:37 INFO mapreduce.Job: Counters: 49
        File System Counters
                FILE: Number of bytes read=1321
                FILE: Number of bytes written=239335
                FILE: Number of read operatiOns=0
                FILE: Number of large read operatiOns=0
                FILE: Number of write operatiOns=0
                HDFS: Number of bytes read=1094
                HDFS: Number of bytes written=971
                HDFS: Number of read operatiOns=6
                HDFS: Number of large read operatiOns=0
                HDFS: Number of write operatiOns=2
        Job Counters 
                Launched map tasks=1
                Launched reduce tasks=1
                Data-local map tasks=1
                Total time spent by all maps in occupied slots (ms)=14130
                Total time spent by all reduces in occupied slots (ms)=7851
                Total time spent by all map tasks (ms)=14130
                Total time spent by all reduce tasks (ms)=7851
                Total vcore-seconds taken by all map tasks=14130
                Total vcore-seconds taken by all reduce tasks=7851
                Total megabyte-seconds taken by all map tasks=14469120
                Total megabyte-seconds taken by all reduce tasks=8039424
        Map-Reduce Framework
                Map input records=29
                Map output records=109
                Map output bytes=1368
                Map output materialized bytes=1321
                Input split bytes=101
                Combine input records=109
                Combine output records=86
                Reduce input groups=86
                Reduce shuffle bytes=1321
                Reduce input records=86
                Reduce output records=86
                Spilled Records=172
                Shuffled Maps =1
                Failed Shuffles=0
                Merged Map outputs=1
                GC time elapsed (ms)=188
                CPU time spent (ms)=1560
                Physical memory (bytes) snapshot=278478848
                Virtual memory (bytes) snapshot=4195344384
                Total committed heap usage (bytes)=140480512
        Shuffle Errors
                BAD_ID=0
                COnNECTION=0
                IO_ERROR=0
                WRONG_LENGTH=0
                WRONG_MAP=0
                WRONG_REDUCE=0
        File Input Format Counters 
                Bytes Read=993
        File Output Format Counters 
                Bytes Written=971

从上述结果中可以看出，虽然ResourceManager进程被杀掉了，但是YARN仍然能够流畅的执行，说明自动故障转移功能生效了，ResourceManager遇到故障后，自动切换到了centos02节点上继续执行。此时浏览器访问备用ResourceManager的Web端地址http://centos02:8088发现可以成功访问了。显示任务成功执行完毕。

到此，YARN HA集群搭建完毕。

原创文章，转载请注明出处！！

推荐阅读

php
Hadoop源码解析1Hadoop工程包架构解析

1 Hadoop中各工程包依赖简述 Google的核心竞争技术是它的计算平台。Google的大牛们用了下面5篇文章，介绍了它们的计算设施。 GoogleCluster：ht ... [详细]

蜡笔小新 2023-10-17 13:28:20
php
每天收获一点点Hadoop概述

一、Hadoop来历Hadoop的思想来源于Google在做搜索引擎的时候出现一个很大的问题就是这么多网页我如何才能以最快的速度来搜索到，由于这个问题Google发明 ... [详细]

蜡笔小新 2023-12-14 18:58:01
import
hadoop学习；block数据块；mapreduce实现样例；UnsupportedClassVersionError异常；关联项目源代码...

对于开源的东东，尤其是刚出来不久，我认为最好的学习方式就是能够看源代码和doc，測试它的样例为了方便查看源代码，关联导入源代 ... [详细]

蜡笔小新 2023-10-17 09:49:38
jar
MR程序的几种提交运行模式

MR程序的几种提交运行模式本地模型运行1在windows的eclipse里面直接运行main方法，就会将job提交给本地执行器localjobrunner执行-- ... [详细]

蜡笔小新 2023-10-16 18:29:26
jar
高校天文共享平台开发过程中的思考与规划

本文介绍了高校天文共享平台的开发过程中的思考和规划。该平台旨在为高校学生提供天象预报、科普知识、观测活动、图片分享等功能。文章分析了项目的技术栈选择、网站前端布局、业务流程、数据库结构等方面，并总结了项目存在的问题，如前后端未分离、代码混乱等。作者表示希望通过记录和规划，能够理清思路，进一步完善该平台。 ... [详细]

蜡笔小新 2023-12-13 18:08:58
jar
Web学习历程记录（七）——Tomcat基本概念和配置

本文介绍了Web学习历程记录中关于Tomcat的基本概念和配置。首先解释了Web静态Web资源和动态Web资源的概念，以及C/S架构和B/S架构的区别。然后介绍了常见的Web服务器，包括Weblogic、WebSphere和Tomcat。接着详细讲解了Tomcat的虚拟主机、web应用和虚拟路径映射的概念和配置过程。最后简要介绍了http协议的作用。本文内容详实，适合初学者了解Tomcat的基础知识。 ... [详细]

蜡笔小新 2023-12-13 17:08:24
jar
flowable工作流流程变量_信也科技工作流平台的技术实践

1背景随着公司业务发展及内部业务流程诉求的增长,目前信息化系统不能够很好满足期望,主要体现如下：目前OA流程引擎无法满足企业特定业务流程需求，且移动端体 ... [详细]

蜡笔小新 2023-12-13 10:17:15
jar
MVP架构模式及其在国庆技术博客中的应用

本文介绍了MVP架构模式及其在国庆技术博客中的应用。MVP架构模式是一种演变自MVC架构的新模式，其中View和Model之间的通信通过Presenter进行。相比MVC架构，MVP架构将交互逻辑放在Presenter内部，而View直接从Model中读取数据而不是通过Controller。本文还探讨了MVP架构在国庆技术博客中的具体应用。 ... [详细]

蜡笔小新 2023-12-11 11:57:58
jar
Activiti7流程定义开发笔记

本文介绍了Activiti7流程定义的开发笔记，包括流程定义的概念、使用activiti-explorer和activiti-eclipse-designer进行建模的方式，以及生成流程图的方法。还介绍了流程定义部署的概念和步骤，包括将bpmn和png文件添加部署到activiti数据库中的方法，以及使用ZIP包进行部署的方式。同时还提到了activiti.cfg.xml文件的作用。 ... [详细]

蜡笔小新 2023-12-10 19:22:56
jsp
ASP.NET Core MVC入门及基础使用教程

本文介绍了ASP.NET Core MVC的入门及基础使用教程，根据微软的文档学习，建议阅读英文文档以便更好理解，微软的工具化使用方便且开发速度快。通过vs2017新建项目，可以创建一个基础的ASP.NET网站，也可以实现动态网站开发。ASP.NET MVC框架及其工具简化了开发过程，包括建立业务的数据模型和控制器等步骤。 ... [详细]

蜡笔小新 2023-12-10 16:58:35
format
大数据Hadoop生态(20)MapReduce框架原理OutputFormat的开发笔记

本文介绍了大数据Hadoop生态(20)MapReduce框架原理OutputFormat的开发笔记，包括outputFormat接口实现类、自定义outputFormat步骤和案例。案例中将包含nty的日志输出到nty.log文件，其他日志输出到other.log文件。同时提供了一些相关网址供参考。 ... [详细]

蜡笔小新 2023-12-10 11:44:06
jar
shiro java配置问题：加入Shiro listener后启动失败

本文讨论了在shiro java配置中加入Shiro listener后启动失败的问题。作者引入了一系列jar包，并在web.xml中配置了相关内容，但启动后却无法正常运行。文章提供了具体引入的jar包和web.xml的配置内容，并指出可能的错误原因。该问题可能与jar包版本不兼容、web.xml配置错误等有关。 ... [详细]

蜡笔小新 2023-12-10 09:43:05
ascii
目录浏览漏洞与目录遍历漏洞的危害及修复方法

本文讨论了目录浏览漏洞与目录遍历漏洞的危害，包括网站结构暴露、隐秘文件访问等。同时介绍了检测方法，如使用漏洞扫描器和搜索关键词。最后提供了针对常见中间件的修复方式，包括关闭目录浏览功能。对于保护网站安全具有一定的参考价值。 ... [详细]

蜡笔小新 2023-12-09 23:30:30
ascii
ASP.global_asax不存在于命名空间ASP中的问题

本文讨论了在ASP中创建RazorFunctions.cshtml文件时出现的问题，即ASP.global_asax不存在于命名空间ASP中。文章提供了解决该问题的代码示例，并详细解释了代码中涉及的关键概念，如HttpContext、Request和RouteData等。通过阅读本文，读者可以了解如何解决该问题并理解相关的ASP概念。 ... [详细]

蜡笔小新 2023-12-09 19:22:03
ascii
windows部署hadoop2.7.0

这里使用自己编译的hadoop-2.7.0版本部署在windows上，记得几年前，部署hadoop需要借助于cygwin，还需要开启ssh服务，最近发现，原来不需要借助cy ... [详细]

蜡笔小新 2023-10-17 21:04:04

乌海阿斯顿

这个家伙很懒，什么也没留下！

Tags | 热门标签

RankList | 热门文章