Datanode无法正确启动

 广大华软11级软测1班支部 发布于 2023-01-18 19:05

我试图在伪分布式模式下安装Hadoop 2.2.0.当我尝试启动datanode服务时,它显示以下错误,任何人都可以告诉如何解决这个问题?

**2**014-03-11 08:48:15,916 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Block pool  (storage id unknown) service to localhost/127.0.0.1:9000 starting to offer service
2014-03-11 08:48:15,922 INFO org.apache.hadoop.ipc.Server: IPC Server Responder: starting
2014-03-11 08:48:15,922 INFO org.apache.hadoop.ipc.Server: IPC Server listener on 50020: starting
2014-03-11 08:48:16,406 INFO org.apache.hadoop.hdfs.server.common.Storage: Lock on /home/prassanna/usr/local/hadoop/yarn_data/hdfs/datanode/in_use.lock acquired by nodename 3627@prassanna-Studio-1558
2014-03-11 08:48:16,426 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for block pool Block pool BP-611836968-127.0.1.1-1394507838610 (storage id DS-1960076343-127.0.1.1-50010-1394127604582) service to localhost/127.0.0.1:9000
java.io.IOException: Incompatible clusterIDs in /home/prassanna/usr/local/hadoop/yarn_data/hdfs/datanode: namenode clusterID = CID-fb61aa70-4b15-470e-a1d0-12653e357a10; datanode clusterID = CID-8bf63244-0510-4db6-a949-8f74b50f2be9
    at**** org.apache.hadoop.hdfs.server.datanode.DataStorage.doTransition(DataStorage.java:391)
    at org.apache.hadoop.hdfs.server.datanode.DataStorage.recoverTransitionRead(DataStorage.java:191)
    at org.apache.hadoop.hdfs.server.datanode.DataStorage.recoverTransitionRead(DataStorage.java:219)
    at org.apache.hadoop.hdfs.server.datanode.DataNode.initStorage(DataNode.java:837)
    at org.apache.hadoop.hdfs.server.datanode.DataNode.initBlockPool(DataNode.java:808)
    at org.apache.hadoop.hdfs.server.datanode.BPOfferService.verifyAndSetNamespaceInfo(BPOfferService.java:280)
    at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.connectToNNAndHandshake(BPServiceActor.java:222)
    at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.run(BPServiceActor.java:664)
    at java.lang.Thread.run(Thread.java:662)
2014-03-11 08:48:16,427 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Ending block pool service for: Block pool BP-611836968-127.0.1.1-1394507838610 (storage id DS-1960076343-127.0.1.1-50010-1394127604582) service to localhost/127.0.0.1:9000
2014-03-11 08:48:16,532 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Removed Block pool BP-611836968-127.0.1.1-1394507838610 (storage id DS-1960076343-127.0.1.1-50010-1394127604582)
2014-03-11 08:48:18,532 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Exiting Datanode
2014-03-11 08:48:18,534 INFO org.apache.hadoop.util.ExitUtil: Exiting with status 0
2014-03-11 08:48:18,536 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: SHUTDOWN_MSG: 

iceberg.. 78

你可以做以下方法,

复制到剪贴板datanode clusterID为您的示例,CID-8bf63244-0510-4db6-a949-8f74b50f2be9

并在HADOOP_HOME/bin目录下运行以下命令

./hdfs namenode -format -clusterId CID-8bf63244-0510-4db6-a949-8f74b50f2be9

然后这段代码用datanode簇id格式化了namenode.

6 个回答
  • 你可以做以下方法,

    复制到剪贴板datanode clusterID为您的示例,CID-8bf63244-0510-4db6-a949-8f74b50f2be9

    并在HADOOP_HOME/bin目录下运行以下命令

    ./hdfs namenode -format -clusterId CID-8bf63244-0510-4db6-a949-8f74b50f2be9
    

    然后这段代码用datanode簇id格式化了namenode.

    2023-01-18 19:06 回答
  • 你必须这样做:

    bin/stop-all.sh

    rm -Rf /home/prassanna/usr/local/hadoop/yarn_data/hdfs/*

    bin/hadoop namenode -format

    在我在本网站找到答案之前,我遇到了同样的问题.

    2023-01-18 19:06 回答
  • 每当您遇到以下错误时,尝试在从属计算机上启动DN:

    java.io.IOException: Incompatible clusterIDs in /home/hadoop/dfs/data: namenode clusterID= ****; datanode clusterID = ****
    

    这是因为在您设置群集后,无论出于何种原因,您决定重新格式化您的NN.您在奴隶上的DN仍然可以参考旧的NN.

    要解决此问题,只需在本地Linux FS中删除并重新创建该计算机上的数据文件夹,即/ home/hadoop/dfs/data.

    在该计算机上重新启动该DN的守护程序将重新创建数据/文件夹的内容并解决问题.

    2023-01-18 19:06 回答
  • 请执行以下简单步骤

    清除hadoop的数据目录

    再次格式化namenode

    启动集群

    在此之后,如果您没有任何其他配置问题,您的群集将正常启动

    2023-01-18 19:07 回答
  • 我在伪分布式环境中遇到了类似的问题.我先停止了群集,然后从NameNode的版本文件中复制了Cluster ID并将其放入DataNode的版本文件中,然后在重新启动群集后,它就完全正常了.

    我的数据路径在/ usr/local/hadoop/hadoop_store/hdfs/datanode和/ usr/local/hadoop/hadoop_store/hdfs/namenode.

    仅供参考:版本文件位于/ usr/local/hadoop/hadoop_store/hdfs/datanode/current /; 同样适用于NameNode.

    2023-01-18 19:08 回答
  • DataNode因与NameNode相比不兼容的Clusterids而死亡.要解决此问题,您需要删除目录/ tmp/hadoop- [user]/hdfs/data并重新启动hadoop.

    rm -r /tmp/hadoop-[user]/hdfs/data
    

    2023-01-18 19:09 回答
撰写答案
今天,你开发时遇到什么问题呢?
立即提问
热门标签
PHP1.CN | 中国最专业的PHP中文社区 | PNG素材下载 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有