深入理解Spark2.2.0集群模式

链接：官方文档

在Spark 2.2.0中，应用程序以独立进程的形式运行于集群环境中。每个Spark应用程序的核心组件是Driver程序，其中包含一个SparkContext对象，该对象负责与集群管理器通信，调度任务，并管理应用程序的生命周期。

Spark应用程序在集群中的启动过程如下：

1. SparkContext首先连接到集群管理器（如Spark自身的Standalone集群管理器、Mesos、YARN或从2.3版本开始支持的Kubernetes），请求资源分配。


2. 一旦连接成功，Spark会向集群管理器请求资源，以启动多个Executor进程，这些进程负责执行具体的计算任务和数据存储。


3. 应用程序的代码（例如JAR文件或Python脚本）被加载到SparkContext中，随后分发给各个Executor。


4. SparkContext将计算任务分发给Executor执行，每个Executor独立运行，处理分配给它的任务。

注意事项：

• 每个Spark应用程序都有独立的Executor进程，这意味着不同应用程序之间不会直接共享数据，除非通过外部存储系统。


• Spark的设计与底层集群管理器无关，这使得它能够灵活地适应不同的环境。


• Driver程序在其整个生命周期内需要保持活跃状态，以便监控和管理其Executor的状态。


• 为了提高性能，建议将Driver程序部署在与Worker节点物理位置相近的节点上，以减少网络延迟。