热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

SparkSQL引发连接异常错误?

我已经在Ubuntu服务器上安装了ApacheHadoop,spark,hive(作为嵌入式derby的meta存储)和Sc

我已经在Ubuntu服务器上安装了Apache Hadoop,spark,hive(作为嵌入式derby的meta存储)和Scala并分别进行了配置。每当我尝试运行spark-sql时,都会引发错误提示


  

19/12/12 11:11:02 INFO DataNucleus.Datastore:该类
  “ org.apache.hadoop.hive.metastore.model.MResourceUri”被标记为
  “仅嵌入式”,因此没有自己的数据存储区表。例外
  线程“主” java.lang.RuntimeException:java.net.connectexception:
  从namenode.gi.com/127.0.0.1到localhost:9000的呼叫失败
  连接异常:java.net.connectexception:连接被拒绝;
  有关更多详细信息,请参见:http://wiki.apache.org/hadoop/ConnectionRefused
          在org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:522)
          在org.apache.spark.sql.hive.thriftserver.SparkSQLCLIDriver $ .main(SparkSQLCLIDriver.scala:133)
          在org.apache.spark.sql.hive.thriftserver.SparkSQLCLIDriver.main(SparkSQLCLIDriver.scala)
          在sun.reflect.NativeMethodaccessorImpl.invoke0(本机方法)处
          在sun.reflect.NativeMethodaccessorImpl.invoke(NativeMethodaccessorImpl.java:62)
          在sun.reflect.DelegatingMethodaccessorImpl.invoke(DelegatingMethodaccessorImpl.java:43)
          在java.lang.reflect.Method.invoke(Method.java:498)
          在org.apache.spark.deploy.JavaMainApplication.start(SparkApplication.scala:52)
          在org.apache.spark.deploy.SparkSubmit.org $ apache $ spark $ deploy $ SparkSubmit $$ runmain(SparkSubmit.scala:845)
          在org.apache.spark.deploy.SparkSubmit.doRunmain $ 1(SparkSubmit.scala:161)
          在org.apache.spark.deploy.SparkSubmit.submit(SparkSubmit.scala:184)
          在org.apache.spark.deploy.SparkSubmit.doSubmit(SparkSubmit.scala:86)
          在org.apache.spark.deploy.SparkSubmit $$ anon $ 2.doSubmit(SparkSubmit.scala:920)
          在org.apache.spark.deploy.SparkSubmit $ .main(SparkSubmit.scala:929)
          org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)上的原因:java.net.connectexception:调用来自
  连接到namenode.gi.com/127.0.0.1到localhost:9000失败
  异常:java.net.connectexception:连接被拒绝;欲了解更多
  详细信息,请参见:http://wiki.apache.org/hadoop/ConnectionRefused
          在sun.reflect.NativeConstructoraccessorImpl.newInstance0(本机方法)处
          在sun.reflect.NativeConstructoraccessorImpl.newInstance(NativeConstructoraccessorImpl.java:62)
          在sun.reflect.DelegatingConstructoraccessorImpl.newInstance(DelegatingConstructoraccessorImpl.java:45)
          在java.lang.reflect.Constructor.newInstance(Constructor.java:423)
          在org.apache.hadoop.net.NetUtils.wrapWithMessage(NetUtils.java:792)
          在org.apache.hadoop.net.NetUtils.wrapException(NetUtils.java:732)
          在org.apache.hadoop.ipc.Client.call(Client.java:1479)
          在org.apache.hadoop.ipc.Client.call(Client.java:1412)
          在org.apache.hadoop.ipc.ProtobufRpcEngine $ Invoker.invoke(ProtobufRpcEngine.java:229)
          com.sun.proxy。$ Proxy16.getFileInfo(未知来源)
          在org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.getFileInfo(ClientNamenodeProtocolTranslatorPB.java:771)
          在sun.reflect.NativeMethodaccessorImpl.invoke0(本机方法)处
          在sun.reflect.NativeMethodaccessorImpl.invoke(NativeMethodaccessorImpl.java:62)
          在sun.reflect.DelegatingMethodaccessorImpl.invoke(DelegatingMethodaccessorImpl.java:43)
          在java.lang.reflect.Method.invoke(Method.java:498)
          在org.apache.hadoop.io.retry.RetryinvocationHandler.invokeMethod(RetryinvocationHandler.java:191)
          在org.apache.hadoop.io.retry.RetryinvocationHandler.invoke(RetryinvocationHandler.java:102)
          在com.sun.proxy。$ Proxy17.getFileInfo(未知来源)
          在org.apache.hadoop.hdfs.DFSClient.getFileInfo(DFSClient.java:2108)
          在org.apache.hadoop.hdfs.DistributedFileSystem $ 22.doCall(DistributedFileSystem.java:1305)
          在org.apache.hadoop.hdfs.DistributedFileSystem $ 22.doCall(DistributedFileSystem.java:1301)
          在org.apache.hadoop.fs.FileSystemLinkResolver.resolve(FileSystemLinkResolver.java:81)
          在org.apache.hadoop.hdfs.DistributedFileSystem.getFileStatus(DistributedFileSystem.java:1317)
          在org.apache.hadoop.fs.FileSystem.exists(FileSystem.java:1426)
          在org.apache.hadoop.hive.ql.session.SessionState.createRootHDFSDir(SessionState.java:596)
          在org.apache.hadoop.hive.ql.session.SessionState.createSessionDirs(SessionState.java:554)
          在org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:508)
          ... 14更多原因:java.net.connectexception:连接被拒绝
          在sun.nio.ch.SocketChannelImpl.checkConnect(本机方法)
          在sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:717)
          在org.apache.hadoop.net.SocketIOWithTimeout.connect(SocketIOWithTimeout.java:206)
          在org.apache.hadoop.net.NetUtils.connect(NetUtils.java:531)
          在org.apache.hadoop.net.NetUtils.connect(NetUtils.java:495)
          在org.apache.hadoop.ipc.Client $ Connection.setupConnection(Client.java:614)
          在org.apache.hadoop.ipc.Client $ Connection.setupIOstreams(Client.java:712)
          在org.apache.hadoop.ipc.Client $ Connection.access $ 2900(Client.java:375)
          在org.apache.hadoop.ipc.Client.getconnection(Client.java:1528)
          在org.apache.hadoop.ipc.Client.call(Client.java:1451)
          ... 34更多19/12/12 11:11:03 INFO util.ShutdownHookManager:名为19/12/12 11:11:03 INFO util.ShutdownHookManager的关闭挂钩:
  删除目录/ tmp / spark-ff8f7b7c-58c7-4288-bf06-e9dabb743fd1

我尝试了以下方法:


  • 编辑.bashrc文件,设置HADOOP_HOME,SPARK_HOME,HIVE_HOME

  • 将/ etc / hosts /配置为服务器的IP

  • 在/ spark / conf / folder中添加了hive-site.xml

如何解决此错误?配置文件有任何问题>
当我尝试使用spark-shell配置delta lake时,会出现相同的错误吗?





推荐阅读
  • ConsumerConfiguration在kafka0.9使用JavaConsumer替代了老版本的scalaConsumer。新版的配置如下:bootstrap. ... [详细]
  • 本文介绍了在Win10上安装WinPythonHadoop的详细步骤,包括安装Python环境、安装JDK8、安装pyspark、安装Hadoop和Spark、设置环境变量、下载winutils.exe等。同时提醒注意Hadoop版本与pyspark版本的一致性,并建议重启电脑以确保安装成功。 ... [详细]
  • 开发笔记:MyBatis学习之逆向工程
    篇首语:本文由编程笔记#小编为大家整理,主要介绍了MyBatis学习之逆向工程相关的知识,希望对你有一定的参考价值。转载:http://w ... [详细]
  • web.py开发web 第八章 Formalchemy 服务端验证方法
    本文介绍了在web.py开发中使用Formalchemy进行服务端表单数据验证的方法。以User表单为例,详细说明了对各字段的验证要求,包括必填、长度限制、唯一性等。同时介绍了如何自定义验证方法来实现验证唯一性和两个密码是否相等的功能。该文提供了相关代码示例。 ... [详细]
  • 本文介绍了如何清除Eclipse中SVN用户的设置。首先需要查看使用的SVN接口,然后根据接口类型找到相应的目录并删除相关文件。最后使用SVN更新或提交来应用更改。 ... [详细]
  • 本文介绍了使用Spark实现低配版高斯朴素贝叶斯模型的原因和原理。随着数据量的增大,单机上运行高斯朴素贝叶斯模型会变得很慢,因此考虑使用Spark来加速运行。然而,Spark的MLlib并没有实现高斯朴素贝叶斯模型,因此需要自己动手实现。文章还介绍了朴素贝叶斯的原理和公式,并对具有多个特征和类别的模型进行了讨论。最后,作者总结了实现低配版高斯朴素贝叶斯模型的步骤。 ... [详细]
  • Java如何导入和导出Excel文件的方法和步骤详解
    本文详细介绍了在SpringBoot中使用Java导入和导出Excel文件的方法和步骤,包括添加操作Excel的依赖、自定义注解等。文章还提供了示例代码,并将代码上传至GitHub供访问。 ... [详细]
  • 本文介绍了禅道作为一款国产开源免费的测试管理工具的特点和功能,并提供了禅道的搭建和调试方法。禅道是一款B/S结构的项目管理工具,可以实现组织管理、后台管理、产品管理、项目管理和测试管理等功能。同时,本文还介绍了其他软件测试相关工具,如功能自动化工具和性能自动化工具,以及白盒测试工具的使用。通过本文的阅读,读者可以了解禅道的基本使用方法和优势,从而更好地进行测试管理工作。 ... [详细]
  • 本文介绍了解决java开源项目apache commons email简单使用报错的方法,包括使用正确的JAR包和正确的代码配置,以及相关参数的设置。详细介绍了如何使用apache commons email发送邮件。 ... [详细]
  • Tomcat安装与配置教程及常见问题解决方法
    本文介绍了Tomcat的安装与配置教程,包括jdk版本的选择、域名解析、war文件的部署和访问、常见问题的解决方法等。其中涉及到的问题包括403问题、数据库连接问题、1130错误、2003错误、Java Runtime版本不兼容问题以及502错误等。最后还提到了项目的前后端连接代码的配置。通过本文的指导,读者可以顺利完成Tomcat的安装与配置,并解决常见的问题。 ... [详细]
  • Struts2+Sring+Hibernate简单配置
    2019独角兽企业重金招聘Python工程师标准Struts2SpringHibernate搭建全解!Struts2SpringHibernate是J2EE的最 ... [详细]
  • 这个问题困扰了我两天,卸载Dr.COM客户端(我们学校上网要装这个客户端登陆服务器,以后只能在网页里输入用户名和密码了),问题解决了。问题的现象:在实验室机台式机上安装openfire和sp ... [详细]
  • spark的任务已经执行完成:scalavallinesc.textFile(hdfs:vm122:9000dblp.rdf)line:org.apache ... [详细]
  • 基于,docker,快速,部署,多,需求,spark ... [详细]
  • 在开发中,有时候一个业务上要求的原子操作不仅仅包括数据库,还可能涉及外部接口或者消息队列。此时,传统的数据库事务无法满足需求。本文介绍了Java中如何利用java.lang.Runtime.addShutdownHook方法来保证业务线程的完整性。通过添加钩子,在程序退出时触发钩子,可以执行一些操作,如循环检查某个线程的状态,直到业务线程正常退出,再结束钩子程序。例子程序展示了如何利用钩子来保证业务线程的完整性。 ... [详细]
author-avatar
戴晓珊_340
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有