作者:戴晓珊_340 | 来源:互联网 | 2023-10-11 13:59
我已经在Ubuntu服务器上安装了Apache Hadoop,spark,hive(作为嵌入式derby的meta存储)和Scala并分别进行了配置。每当我尝试运行spark-sql时,都会引发错误提示
19/12/12 11:11:02 INFO DataNucleus.Datastore:该类
“ org.apache.hadoop.hive.metastore.model.MResourceUri”被标记为
“仅嵌入式”,因此没有自己的数据存储区表。例外
线程“主” java.lang.RuntimeException:java.net.connectexception:
从namenode.gi.com/127.0.0.1到localhost:9000的呼叫失败
连接异常:java.net.connectexception:连接被拒绝;
有关更多详细信息,请参见:http://wiki.apache.org/hadoop/ConnectionRefused
在org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:522)
在org.apache.spark.sql.hive.thriftserver.SparkSQLCLIDriver $ .main(SparkSQLCLIDriver.scala:133)
在org.apache.spark.sql.hive.thriftserver.SparkSQLCLIDriver.main(SparkSQLCLIDriver.scala)
在sun.reflect.NativeMethodaccessorImpl.invoke0(本机方法)处
在sun.reflect.NativeMethodaccessorImpl.invoke(NativeMethodaccessorImpl.java:62)
在sun.reflect.DelegatingMethodaccessorImpl.invoke(DelegatingMethodaccessorImpl.java:43)
在java.lang.reflect.Method.invoke(Method.java:498)
在org.apache.spark.deploy.JavaMainApplication.start(SparkApplication.scala:52)
在org.apache.spark.deploy.SparkSubmit.org $ apache $ spark $ deploy $ SparkSubmit $$ runmain(SparkSubmit.scala:845)
在org.apache.spark.deploy.SparkSubmit.doRunmain $ 1(SparkSubmit.scala:161)
在org.apache.spark.deploy.SparkSubmit.submit(SparkSubmit.scala:184)
在org.apache.spark.deploy.SparkSubmit.doSubmit(SparkSubmit.scala:86)
在org.apache.spark.deploy.SparkSubmit $$ anon $ 2.doSubmit(SparkSubmit.scala:920)
在org.apache.spark.deploy.SparkSubmit $ .main(SparkSubmit.scala:929)
org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)上的原因:java.net.connectexception:调用来自
连接到namenode.gi.com/127.0.0.1到localhost:9000失败
异常:java.net.connectexception:连接被拒绝;欲了解更多
详细信息,请参见:http://wiki.apache.org/hadoop/ConnectionRefused
在sun.reflect.NativeConstructoraccessorImpl.newInstance0(本机方法)处
在sun.reflect.NativeConstructoraccessorImpl.newInstance(NativeConstructoraccessorImpl.java:62)
在sun.reflect.DelegatingConstructoraccessorImpl.newInstance(DelegatingConstructoraccessorImpl.java:45)
在java.lang.reflect.Constructor.newInstance(Constructor.java:423)
在org.apache.hadoop.net.NetUtils.wrapWithMessage(NetUtils.java:792)
在org.apache.hadoop.net.NetUtils.wrapException(NetUtils.java:732)
在org.apache.hadoop.ipc.Client.call(Client.java:1479)
在org.apache.hadoop.ipc.Client.call(Client.java:1412)
在org.apache.hadoop.ipc.ProtobufRpcEngine $ Invoker.invoke(ProtobufRpcEngine.java:229)
com.sun.proxy。$ Proxy16.getFileInfo(未知来源)
在org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.getFileInfo(ClientNamenodeProtocolTranslatorPB.java:771)
在sun.reflect.NativeMethodaccessorImpl.invoke0(本机方法)处
在sun.reflect.NativeMethodaccessorImpl.invoke(NativeMethodaccessorImpl.java:62)
在sun.reflect.DelegatingMethodaccessorImpl.invoke(DelegatingMethodaccessorImpl.java:43)
在java.lang.reflect.Method.invoke(Method.java:498)
在org.apache.hadoop.io.retry.RetryinvocationHandler.invokeMethod(RetryinvocationHandler.java:191)
在org.apache.hadoop.io.retry.RetryinvocationHandler.invoke(RetryinvocationHandler.java:102)
在com.sun.proxy。$ Proxy17.getFileInfo(未知来源)
在org.apache.hadoop.hdfs.DFSClient.getFileInfo(DFSClient.java:2108)
在org.apache.hadoop.hdfs.DistributedFileSystem $ 22.doCall(DistributedFileSystem.java:1305)
在org.apache.hadoop.hdfs.DistributedFileSystem $ 22.doCall(DistributedFileSystem.java:1301)
在org.apache.hadoop.fs.FileSystemLinkResolver.resolve(FileSystemLinkResolver.java:81)
在org.apache.hadoop.hdfs.DistributedFileSystem.getFileStatus(DistributedFileSystem.java:1317)
在org.apache.hadoop.fs.FileSystem.exists(FileSystem.java:1426)
在org.apache.hadoop.hive.ql.session.SessionState.createRootHDFSDir(SessionState.java:596)
在org.apache.hadoop.hive.ql.session.SessionState.createSessionDirs(SessionState.java:554)
在org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:508)
... 14更多原因:java.net.connectexception:连接被拒绝
在sun.nio.ch.SocketChannelImpl.checkConnect(本机方法)
在sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:717)
在org.apache.hadoop.net.SocketIOWithTimeout.connect(SocketIOWithTimeout.java:206)
在org.apache.hadoop.net.NetUtils.connect(NetUtils.java:531)
在org.apache.hadoop.net.NetUtils.connect(NetUtils.java:495)
在org.apache.hadoop.ipc.Client $ Connection.setupConnection(Client.java:614)
在org.apache.hadoop.ipc.Client $ Connection.setupIOstreams(Client.java:712)
在org.apache.hadoop.ipc.Client $ Connection.access $ 2900(Client.java:375)
在org.apache.hadoop.ipc.Client.getconnection(Client.java:1528)
在org.apache.hadoop.ipc.Client.call(Client.java:1451)
... 34更多19/12/12 11:11:03 INFO util.ShutdownHookManager:名为19/12/12 11:11:03 INFO util.ShutdownHookManager的关闭挂钩:
删除目录/ tmp / spark-ff8f7b7c-58c7-4288-bf06-e9dabb743fd1
我尝试了以下方法:
- 编辑.bashrc文件,设置HADOOP_HOME,SPARK_HOME,HIVE_HOME
- 将/ etc / hosts /配置为服务器的IP
- 在/ spark / conf / folder中添加了hive-site.xml
如何解决此错误?配置文件有任何问题>
当我尝试使用spark-shell配置delta lake时,会出现相同的错误吗?