如何在Azure HDInsight上向Apache Hadoop YARN提交Apache Spark作业

我非常高兴HDInsight切换到Hadoop版本2,它通过YARN支持Apache Spark.对于我想要执行的任务,Apache Spark是一个比MapReduce更好的并行编程范例.

我无法找到任何关于如何将Apache Spark作业提交到我的HDInsight群集的文档.对于标准MapReduce作业的远程作业提交,我知道有几个REST端点,如Templeton和Oozie.但至于我能够找到的,通过Templeton无法运行Spark工作.我确实发现将Spark作业纳入Oozie是可能的,但我已经读到这是一件非常繁琐的事情,而且我已经阅读了一些工作失败检测报告在这种情况下不起作用.

可能必须有一种更合适的方式来提交Spark作业.有谁知道如何将Apache Spark作业的远程作业提交到HDInsight？

提前谢谢了!