尝试运行SparkPi示例时ClassNotFoundException

 喝西北风的东北风_711 发布于 2023-01-07 10:25

我正在尝试从文档中运行第一个示例:

Spark运行在Java 6+和Python 2.6+上.对于Scala API,Spark 1.0.0使用Scala 2.10.您需要使用兼容的Scala版本(2.10.x).

运行命令时会发生这种情况:

./bin/run-example examples/src/main/scala/org/apache/spark/examples/SparkPi.scala 10


Exception in thread "main" java.lang.ClassNotFoundException: org.apache.spark.examples.examples/src/main/scala/org/apache/spark/examples/SparkPi.scala
    at java.lang.Class.forName0(Native Method)
    at java.lang.Class.forName(Class.java:270)
    at org.apache.spark.deploy.SparkSubmit$.launch(SparkSubmit.scala:289)
    at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:55)
    at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)

我正在使用该版本 For Hadoop 2 (HDP2, CDH5)

已经尝试过scala 2.9.3,2.10.3和2.11

一些想法?

1 个回答
  • 您需要指定示例类的名称,而不是源文件的路径; 尝试

    ./bin/run-example SparkPi 10
    

    Spark文档的" 运行示例和Shell"部分对此进行了描述.

    2023-01-07 10:27 回答
撰写答案
今天,你开发时遇到什么问题呢?
立即提问
热门标签
PHP1.CN | 中国最专业的PHP中文社区 | PNG素材下载 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有