在SPARK-SUBMIT中,"纱线","纱线簇","纱线 - 客户"部署模式之间有什么区别?
./bin/spark-submit \ --class org.apache.spark.examples.SparkPi \ --master yarn-cluster \ # can also be `yarn-client` for client mode --executor-memory 20G \ --num-executors 50 \ /path/to/examples.jar \ 1000
https://spark.apache.org/docs/1.1.0/submitting-applications.html
对于YARN上的Spark,您可以指定yarn-client或yarn-cluster.Yarn-client在与spark提交相同的JVM中运行驱动程序,而yarn-cluster在NodeManager的一个容器中运行Spark驱动程序.
从文档:https: //spark.apache.org/docs/1.1.0/running-on-yarn.html 有两种部署模式可用于在YARN上启动Spark应用程序.在yarn-cluster模式下,Spark驱动程序在应用程序主进程内运行,该进程由群集上的YARN管理,客户端可以在启动应用程序后消失.在yarn-client模式下,驱动程序在客户端进程中运行,而应用程序主服务器仅用于从YARN请求资源.