在本地运行SparkPi时拒绝连接

 信步老街 发布于 2023-01-20 14:40

我正在尝试运行SparkPi示例的简单执行.我启动了主人和一个工人,然后在我的本地"集群"上执行了这项工作,但最终得到的一系列错误都以

Caused by: akka.remote.transport.netty.NettyTransport$$anonfun$associate$1$$anon$2: Connection refused: /127.0.0.1:39398

我最初尝试在没有配置的情况下运行我的主人和工作人员但最终得到了同样的错误 我试图改为127.0.0.1来测试它是否只是一个防火墙问题,因为服务器被锁定在外面的世界.

conf/spark-conf.sh包含以下内容:

export SPARK_MASTER_IP=127.0.0.1

这是我运行的命令和命令:

1)sbin/start-master.sh(启动主人)

2)bin/spark-class org.apache.spark.deploy.worker.Worker spark://127.0.0.1:7077 --ip 127.0.0.1 --port 1111(在同一台机器上的另一个会话中启动从机)

3)bin/run-example org.apache.spark.examples.SparkPi spark://127.0.0.1:7077(在同一台机器上的不同会话中启动作业)

我发现很难相信我已被锁定,因为在本地运行会导致问题.

撰写答案
今天,你开发时遇到什么问题呢?
立即提问
热门标签
PHP1.CN | 中国最专业的PHP中文社区 | PNG素材下载 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有