我们可以在纱线集群上运行apachespark1.1.0吗？-Canwerunapachespark1.1.0onyarn-cluster?

I am using spark 1.1.0 on ubuntu. While submitting to spark with yarn using below command

我在ubuntu上使用spark 1.1.0。使用以下命令提交给使用纱线的火花

./bin/spark-submit --class path.to.your.Class --master yarn-cluster [options] [app options]

./bin/spark-submit --class path.to.your.Class --master yarn-cluster [options] [app options]

I am getting the error

我收到了错误

Could not load YARN classes. This copy of Spark may not have been compiled with YARN support. Run with --help for usage help or --verbose for debug output

无法加载YARN类。此副本的Spark可能尚未使用YARN支持进行编译。使用--help运行使用帮助或--verbose运行调试输出

The solution I found is running another version of spark which is precompiled with yarn.It will take much effort to migrate project to recent versions. Can I run my jar on yarn cluster with same, spark-1.1.0 version ? If yes, How ?

我找到的解决方案是运行另一个版本的spark,它使用yarn进行预编译。将项目迁移到最新版本需要花费很多精力。我可以用相同的spark-1.1.0版本在纱线集群上运行我的罐子吗?如果是,怎么样?

1 个解决方案