java + spark:org.apache.spark.SparkException:作业已中止:任务不可序列化:java.io.NotSerializableException

 真实的嘻嘻哈哈 发布于 2023-01-11 16:28

我是新手,并试图运行示例JavaSparkPi.java,它运行良好,但因为我必须在另一个java中使用它我将所有东西从main复制到类中的方法并尝试调用主要方法,它说

org.apache.spark.SparkException:作业已中止:任务不可序列化:java.io.NotSerializableException

代码如下所示:

public class JavaSparkPi {

public void cal(){
    JavaSparkContext jsc = new JavaSparkContext("local", "JavaLogQuery");
    int slices = 2;
    int n = 100000 * slices;

    List l = new ArrayList(n);
    for (int i = 0; i < n; i++) {
        l.add(i);
    }

    JavaRDD dataSet = jsc.parallelize(l, slices);

    System.out.println("count is: "+ dataSet.count());
    dataSet.foreach(new VoidFunction(){
        public void call(Integer i){
            System.out.println(i);
        }
    });

    int count = dataSet.map(new Function() {
        @Override
        public Integer call(Integer integer) throws Exception {
            double x = Math.random() * 2 - 1;
            double y = Math.random() * 2 - 1;
            return (x * x + y * y < 1) ? 1 : 0;
        }
    }).reduce(new Function2() {
        @Override
        public Integer call(Integer integer, Integer integer2) throws Exception {
            return integer + integer2;
        }
    });

    System.out.println("Pi is roughly " + 4.0 * count / n);
}

public static void main(String[] args) throws Exception {

    JavaSparkPi myClass = new JavaSparkPi();
    myClass.cal();
}
}

有谁有这个想法?谢谢!

1 个回答
  • 嵌套函数包含对包含对象(JavaSparkPi)的引用.所以这个对象将被序列化.为此,它需要可序列化.简单易行:

    public class JavaSparkPi implements Serializable {
      ...
    

    2023-01-11 16:30 回答
撰写答案
今天,你开发时遇到什么问题呢?
立即提问
热门标签
PHP1.CN | 中国最专业的PHP中文社区 | PNG素材下载 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有