我正在尝试运行SparkPi示例的简单执行.我启动了主人和一个工人,然后在我的本地"集群"上执行了这项工作,但最终得到的一系列错误都以
Caused by: akka.remote.transport.netty.NettyTransport$$anonfun$associate$1$$anon$2: Connection refused: /127.0.0.1:39398
我最初尝试在没有配置的情况下运行我的主人和工作人员但最终得到了同样的错误 我试图改为127.0.0.1来测试它是否只是一个防火墙问题,因为服务器被锁定在外面的世界.
我conf/spark-conf.sh
包含以下内容:
export SPARK_MASTER_IP=127.0.0.1
这是我运行的命令和命令:
1)sbin/start-master.sh
(启动主人)
2)bin/spark-class org.apache.spark.deploy.worker.Worker spark://127.0.0.1:7077 --ip 127.0.0.1 --port 1111
(在同一台机器上的另一个会话中启动从机)
3)bin/run-example org.apache.spark.examples.SparkPi spark://127.0.0.1:7077
(在同一台机器上的不同会话中启动作业)
我发现很难相信我已被锁定,因为在本地运行会导致问题.