热门标签 | HotTags
当前位置:  开发笔记 > 编程语言 > 正文

SparkSQL引发连接异常错误?

我已经在Ubuntu服务器上安装了ApacheHadoop,spark,hive(作为嵌入式derby的meta存储)和Sc

我已经在Ubuntu服务器上安装了Apache Hadoop,spark,hive(作为嵌入式derby的meta存储)和Scala并分别进行了配置。每当我尝试运行spark-sql时,都会引发错误提示


  

19/12/12 11:11:02 INFO DataNucleus.Datastore:该类
  “ org.apache.hadoop.hive.metastore.model.MResourceUri”被标记为
  “仅嵌入式”,因此没有自己的数据存储区表。例外
  线程“主” java.lang.RuntimeException:java.net.connectexception:
  从namenode.gi.com/127.0.0.1到localhost:9000的呼叫失败
  连接异常:java.net.connectexception:连接被拒绝;
  有关更多详细信息,请参见:http://wiki.apache.org/hadoop/ConnectionRefused
          在org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:522)
          在org.apache.spark.sql.hive.thriftserver.SparkSQLCLIDriver $ .main(SparkSQLCLIDriver.scala:133)
          在org.apache.spark.sql.hive.thriftserver.SparkSQLCLIDriver.main(SparkSQLCLIDriver.scala)
          在sun.reflect.NativeMethodaccessorImpl.invoke0(本机方法)处
          在sun.reflect.NativeMethodaccessorImpl.invoke(NativeMethodaccessorImpl.java:62)
          在sun.reflect.DelegatingMethodaccessorImpl.invoke(DelegatingMethodaccessorImpl.java:43)
          在java.lang.reflect.Method.invoke(Method.java:498)
          在org.apache.spark.deploy.JavaMainApplication.start(SparkApplication.scala:52)
          在org.apache.spark.deploy.SparkSubmit.org $ apache $ spark $ deploy $ SparkSubmit $$ runmain(SparkSubmit.scala:845)
          在org.apache.spark.deploy.SparkSubmit.doRunmain $ 1(SparkSubmit.scala:161)
          在org.apache.spark.deploy.SparkSubmit.submit(SparkSubmit.scala:184)
          在org.apache.spark.deploy.SparkSubmit.doSubmit(SparkSubmit.scala:86)
          在org.apache.spark.deploy.SparkSubmit $$ anon $ 2.doSubmit(SparkSubmit.scala:920)
          在org.apache.spark.deploy.SparkSubmit $ .main(SparkSubmit.scala:929)
          org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)上的原因:java.net.connectexception:调用来自
  连接到namenode.gi.com/127.0.0.1到localhost:9000失败
  异常:java.net.connectexception:连接被拒绝;欲了解更多
  详细信息,请参见:http://wiki.apache.org/hadoop/ConnectionRefused
          在sun.reflect.NativeConstructoraccessorImpl.newInstance0(本机方法)处
          在sun.reflect.NativeConstructoraccessorImpl.newInstance(NativeConstructoraccessorImpl.java:62)
          在sun.reflect.DelegatingConstructoraccessorImpl.newInstance(DelegatingConstructoraccessorImpl.java:45)
          在java.lang.reflect.Constructor.newInstance(Constructor.java:423)
          在org.apache.hadoop.net.NetUtils.wrapWithMessage(NetUtils.java:792)
          在org.apache.hadoop.net.NetUtils.wrapException(NetUtils.java:732)
          在org.apache.hadoop.ipc.Client.call(Client.java:1479)
          在org.apache.hadoop.ipc.Client.call(Client.java:1412)
          在org.apache.hadoop.ipc.ProtobufRpcEngine $ Invoker.invoke(ProtobufRpcEngine.java:229)
          com.sun.proxy。$ Proxy16.getFileInfo(未知来源)
          在org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.getFileInfo(ClientNamenodeProtocolTranslatorPB.java:771)
          在sun.reflect.NativeMethodaccessorImpl.invoke0(本机方法)处
          在sun.reflect.NativeMethodaccessorImpl.invoke(NativeMethodaccessorImpl.java:62)
          在sun.reflect.DelegatingMethodaccessorImpl.invoke(DelegatingMethodaccessorImpl.java:43)
          在java.lang.reflect.Method.invoke(Method.java:498)
          在org.apache.hadoop.io.retry.RetryinvocationHandler.invokeMethod(RetryinvocationHandler.java:191)
          在org.apache.hadoop.io.retry.RetryinvocationHandler.invoke(RetryinvocationHandler.java:102)
          在com.sun.proxy。$ Proxy17.getFileInfo(未知来源)
          在org.apache.hadoop.hdfs.DFSClient.getFileInfo(DFSClient.java:2108)
          在org.apache.hadoop.hdfs.DistributedFileSystem $ 22.doCall(DistributedFileSystem.java:1305)
          在org.apache.hadoop.hdfs.DistributedFileSystem $ 22.doCall(DistributedFileSystem.java:1301)
          在org.apache.hadoop.fs.FileSystemLinkResolver.resolve(FileSystemLinkResolver.java:81)
          在org.apache.hadoop.hdfs.DistributedFileSystem.getFileStatus(DistributedFileSystem.java:1317)
          在org.apache.hadoop.fs.FileSystem.exists(FileSystem.java:1426)
          在org.apache.hadoop.hive.ql.session.SessionState.createRootHDFSDir(SessionState.java:596)
          在org.apache.hadoop.hive.ql.session.SessionState.createSessionDirs(SessionState.java:554)
          在org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:508)
          ... 14更多原因:java.net.connectexception:连接被拒绝
          在sun.nio.ch.SocketChannelImpl.checkConnect(本机方法)
          在sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:717)
          在org.apache.hadoop.net.SocketIOWithTimeout.connect(SocketIOWithTimeout.java:206)
          在org.apache.hadoop.net.NetUtils.connect(NetUtils.java:531)
          在org.apache.hadoop.net.NetUtils.connect(NetUtils.java:495)
          在org.apache.hadoop.ipc.Client $ Connection.setupConnection(Client.java:614)
          在org.apache.hadoop.ipc.Client $ Connection.setupIOstreams(Client.java:712)
          在org.apache.hadoop.ipc.Client $ Connection.access $ 2900(Client.java:375)
          在org.apache.hadoop.ipc.Client.getconnection(Client.java:1528)
          在org.apache.hadoop.ipc.Client.call(Client.java:1451)
          ... 34更多19/12/12 11:11:03 INFO util.ShutdownHookManager:名为19/12/12 11:11:03 INFO util.ShutdownHookManager的关闭挂钩:
  删除目录/ tmp / spark-ff8f7b7c-58c7-4288-bf06-e9dabb743fd1

我尝试了以下方法:


  • 编辑.bashrc文件,设置HADOOP_HOME,SPARK_HOME,HIVE_HOME

  • 将/ etc / hosts /配置为服务器的IP

  • 在/ spark / conf / folder中添加了hive-site.xml

如何解决此错误?配置文件有任何问题>
当我尝试使用spark-shell配置delta lake时,会出现相同的错误吗?





推荐阅读
  • 本文介绍了在Linux下安装和配置Kafka的方法,包括安装JDK、下载和解压Kafka、配置Kafka的参数,以及配置Kafka的日志目录、服务器IP和日志存放路径等。同时还提供了单机配置部署的方法和zookeeper地址和端口的配置。通过实操成功的案例,帮助读者快速完成Kafka的安装和配置。 ... [详细]
  • http:my.oschina.netleejun2005blog136820刚看到群里又有同学在说HTTP协议下的Get请求参数长度是有大小限制的,最大不能超过XX ... [详细]
  • 本文介绍了Web学习历程记录中关于Tomcat的基本概念和配置。首先解释了Web静态Web资源和动态Web资源的概念,以及C/S架构和B/S架构的区别。然后介绍了常见的Web服务器,包括Weblogic、WebSphere和Tomcat。接着详细讲解了Tomcat的虚拟主机、web应用和虚拟路径映射的概念和配置过程。最后简要介绍了http协议的作用。本文内容详实,适合初学者了解Tomcat的基础知识。 ... [详细]
  • 本文介绍了作者在开发过程中遇到的问题,即播放框架内容安全策略设置不起作用的错误。作者通过使用编译时依赖注入的方式解决了这个问题,并分享了解决方案。文章详细描述了问题的出现情况、错误输出内容以及解决方案的具体步骤。如果你也遇到了类似的问题,本文可能对你有一定的参考价值。 ... [详细]
  • 在重复造轮子的情况下用ProxyServlet反向代理来减少工作量
    像不少公司内部不同团队都会自己研发自己工具产品,当各个产品逐渐成熟,到达了一定的发展瓶颈,同时每个产品都有着自己的入口,用户 ... [详细]
  • web.py开发web 第八章 Formalchemy 服务端验证方法
    本文介绍了在web.py开发中使用Formalchemy进行服务端表单数据验证的方法。以User表单为例,详细说明了对各字段的验证要求,包括必填、长度限制、唯一性等。同时介绍了如何自定义验证方法来实现验证唯一性和两个密码是否相等的功能。该文提供了相关代码示例。 ... [详细]
  • Imtryingtofigureoutawaytogeneratetorrentfilesfromabucket,usingtheAWSSDKforGo.我正 ... [详细]
  • 如何在php文件中添加图片?
    本文详细解答了如何在php文件中添加图片的问题,包括插入图片的代码、使用PHPword在载入模板中插入图片的方法,以及使用gd库生成不同类型的图像文件的示例。同时还介绍了如何生成一个正方形文件的步骤。希望对大家有所帮助。 ... [详细]
  • Centos7搭建ELK(Elasticsearch、Logstash、Kibana)教程及注意事项
    本文介绍了在Centos7上搭建ELK(Elasticsearch、Logstash、Kibana)的详细步骤,包括下载安装包、安装Elasticsearch、创建用户、修改配置文件等。同时提供了使用华为镜像站下载安装包的方法,并强调了保证版本一致的重要性。 ... [详细]
  • LVS实现负载均衡的原理LVS负载均衡负载均衡集群是LoadBalance集群。是一种将网络上的访问流量分布于各个节点,以降低服务器压力,更好的向客户端 ... [详细]
  • Servlet多用户登录时HttpSession会话信息覆盖问题的解决方案
    本文讨论了在Servlet多用户登录时可能出现的HttpSession会话信息覆盖问题,并提供了解决方案。通过分析JSESSIONID的作用机制和编码方式,我们可以得出每个HttpSession对象都是通过客户端发送的唯一JSESSIONID来识别的,因此无需担心会话信息被覆盖的问题。需要注意的是,本文讨论的是多个客户端级别上的多用户登录,而非同一个浏览器级别上的多用户登录。 ... [详细]
  • 本文介绍了Java后台Jsonp处理方法及其应用场景。首先解释了Jsonp是一个非官方的协议,它允许在服务器端通过Script tags返回至客户端,并通过javascript callback的形式实现跨域访问。然后介绍了JSON系统开发方法,它是一种面向数据结构的分析和设计方法,以活动为中心,将一连串的活动顺序组合成一个完整的工作进程。接着给出了一个客户端示例代码,使用了jQuery的ajax方法请求一个Jsonp数据。 ... [详细]
  • 本文讨论了在使用PHP cURL发送POST请求时,请求体在node.js中没有定义的问题。作者尝试了多种解决方案,但仍然无法解决该问题。同时提供了当前PHP代码示例。 ... [详细]
  • Tomcat安装与配置教程及常见问题解决方法
    本文介绍了Tomcat的安装与配置教程,包括jdk版本的选择、域名解析、war文件的部署和访问、常见问题的解决方法等。其中涉及到的问题包括403问题、数据库连接问题、1130错误、2003错误、Java Runtime版本不兼容问题以及502错误等。最后还提到了项目的前后端连接代码的配置。通过本文的指导,读者可以顺利完成Tomcat的安装与配置,并解决常见的问题。 ... [详细]
  • ZooKeeper 学习
    前言相信大家对ZooKeeper应该不算陌生。但是你真的了解ZooKeeper是个什么东西吗?如果别人面试官让你给他讲讲ZooKeeper是个什么东西, ... [详细]
author-avatar
戴晓珊_340
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有