Flink与YARN的集成

1. 概述

YARN 是 Hadoop 生态系统中用于资源管理和调度的关键组件。对于熟悉 Spark on YARN 的用户来说，Flink on YARN 的配置方式也相对直观。本文将根据官方文档，详细介绍 Flink 如何与 YARN 进行交互。

官方文档链接

2. Flink 与 YARN 的交互机制

为了使 YARN 客户端能够连接到 YARN 和 HDFS，必须确保其能够访问 Hadoop 配置文件。Hadoop 配置文件的路径可以通过以下几种方式设置：

• 通过环境变量 YARN_CONF_DIR、HADOOP_CONF_DIR 或 HADOOP_CONF_PATH 来指定配置文件的位置。
• 如果上述方法无效，可以使用 HADOOP_HOME 环境变量。此时，Hadoop 配置文件可能位于 $HADOOP_HOME/etc/hadoop（适用于 Hadoop 2.x）或 $HADOOP_HOME/conf（适用于 Hadoop 1.x）。

当启动 Flink 并连接到 YARN 时，客户端首先会检查请求的资源（如容器数量和内存大小）是否足够。随后，客户端会将 Flink 程序的 JAR 文件及配置文件上传到 HDFS（步骤1）。

接下来（步骤2），客户端向 YARN 提交一个容器请求，以启动 ApplicationMaster（步骤3）。然后，在 YARN 的调度下，NodeManager 将启动并执行步骤1中上传的 Flink 程序，下载所需的 JAR 文件和配置文件（步骤4）。

JobManager 和 ApplicationMaster 在同一个容器中运行。一旦它们成功启动，ApplicationMaster 将 JobManager 的地址传递给 TaskManagers，并分发 Flink 的配置文件。此外，ApplicationMaster 所在的容器还会启动 Flink 的 Web UI 服务。所有 YARN 端口都是动态分配的，这使得多个 Flink 应用程序可以在 YARN 上并行运行。

最后，ApplicationMaster 启动各个容器中的 TaskManager 实例。TaskManager 是实际执行计算任务的组件，它会从 HDFS 下载 JAR 文件和配置文件。完成这些步骤后，Flink 就准备好接收用户提交的任务了。