关于hadoop 2.2.0 maven依赖性的火花0.9.1

 宝宝2502932575 发布于 2023-01-12 16:06

我在pom.xml中设置了Apache Spark maven依赖,如下所示

    
        org.apache.spark
        spark-core_2.10
        0.9.1
    

但我发现这个依赖使用" hadoop-client-1.0.4.jar "和" hadoop-core-1.0.4.jar ",当我运行我的程序时,我收到错误" org.apache.hadoop.ipc. RemoteException:服务器IPC版本9无法与客户端版本4 " 通信,这表明我需要将hadoop版本从1.0.4切换到2.2.0.

更新:

以下解决方案是解决此问题的正确方法吗?

    
        org.apache.spark
        spark-core_2.10
        0.9.1
        
             
                org.apache.hadoop
                hadoop-core
            
             
                org.apache.hadoop
                hadoop-client
            
         
     
    
        org.apache.hadoop
        hadoop-client
        2.2.0
     

非常感谢您的帮助.

撰写答案
今天,你开发时遇到什么问题呢?
立即提问
热门标签
PHP1.CN | 中国最专业的PHP中文社区 | PNG素材下载 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有