hadoop只显示一个DataNode

已于 2022-10-06 13:42:19 修改
阅读量1.4k 收藏 6
点赞数 1
分类专栏： 大数据笔记 文章标签： hadoop 大数据 hdfs
于 2022-10-06 13:34:21 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zsmxiaoci/article/details/127181809
版权
Hadoop WebUI上只显示一个DataNode，而实际jps显示已正常启动。问题源于多个DataNode的VERSION文件内容冲突。解决方法是修改各DataNode的storageID和datanodeUuid，确保唯一，避免集群冲突。执行同步命令后导致的问题，在修复VERSION文件并重启Hadoop后得以解决。遗留问题是在命令行查看DataNode状态仍显示异常。
摘要由CSDN通过智能技术生成

HadoopWebUI 只显示一个datanode

集群同步错误

问题解析

在这里插入图片描述
DataNodes中 只显示一个datanode 但是jps的是正常启动的在这里插入图片描述

报错截图

下面展示 报错代码片。

2022-10-06 12:26:52,475 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Block pool BP-1925266779-192.168.74.102-1651555264027 (Datanode Uuid 8b363ef9-d949-444a-a679-7a83adfe4cbd) service to hadoop102/192.168.74.102:8020 is shutting down
org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.protocol.UnregisteredNodeException): Data node DatanodeRegistration(192.168.74.102:9866, datanodeUuid=8b363ef9-d949-444a-a679-7a83adfe4cbd, infoPort=9864, infoSecurePort=0, ipcPort=9867, storageInfo=lv=-57;cid=CID-d39e6934-e6a3-4ba1-9d2f
最低0.47元/天 解锁文章
酒安足辞
关注
  • 1
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hadoop中live nodes有三个，但datanode只显示一个
weixin_55784925的博客
11-02 2752
hadoop集群问题
HDFS集群正常启动，但Web页面仅有一个DataNode 主节点的问题
weixin_42227283的博客
11-27 8401
问题描述 三台虚拟机（分别是hadoop02，hadoop03，hadoop04）集群所有数据节点都已经正常启动了，而通过命令hadoop dfsadmin -report 显示的 Live datanodes却只有1个。 ![问题描述图1](https://img-blog.csdnimg.cn/20191127101727362.jpg?x-oss-process=image/waterma...
关于Hadoop在启动时只有一个一个datanode的解决办法
qq_24584471的博客
07-15 4465
[root@slave1 current]# pwd /usr/hadoop/hadoop-2.7.3/hdfs/data/current
hadoop集群只有一个datanode启动问题
weixin_40814247的博客
07-08 2976
之前不懂犯了个低级错误，导致datanode只能启动一个；很是奇怪； 首先，之前多次将namenode格式化，导致namenode和datanode的clusterID不一致无法启动datanode 注：clusterID在/usr/local/hadoop/hdfs/name/current目录下； 解决方案：修改Shadoop1 和 Shadoop2 的data/current目录下的VERS...
hadoop显示只有一个datanode节点启动
weixin_45430750的博客
12-30 2798
问题描述：Hadoop集群启动正常，所有节点正常启动，WebUI 界面正常展示，但是Web界面上只显示一个datanode节点在LIve Nodes 查看配置文件全部没问题，集群三台主机节点正常，数据节点只显示一台，说明集群将三个数据节点识别为一个，那么datanode节点VERSION是一致的 集群设置的临时数据位置在 /opt/module/hadoop-3.1.4/data/tmp/dfs/data/current/ 发现storageID和datanodeUuid是一致的，所以修改stora
hadoop集群不管怎么启动在hadoop管理界面都看到只有一个datanode
热门推荐
愤怒的苹果ext的博客
11-01 1万+
在配置hadoop集群时，由于大多都是复制到每个节点上的，这就导致了datanode的VERSION里面有2个id是一模一样不能共存。datanodeUuid和storageID 只需要稍微修改下这2个id的值重新启动就可以了。 就这样就行了。
为何hadoop集群只有一个datanode呢？
weixin_43377681的博客
04-19 1126
为何hadoop集群只有一个datanode呢？ 1.看配置 hadoop2的看slaves文件配置；hadoop3的看workers文件配置 2.同步的错误 在同步时将hadoop文件夹全部都同步过去了，里面的log日子也同步过去了，这样的的话，就会导致datanode只有一个。 解决办法：删除data和logs文件 然后重新初始化naname ...
关于hadoop集群出现datanode只显示一个并且动不动dead的问题。同时存在使用率动不动爆满问题。
m0_53353946的博客
11-22 616
hadoop集群通过web管理界面只显示一个节点，datanode只启动一个。问题解决！！！
启动Hadoop后 jps 没有出现DataNode进程 的解决方法
KingSuccesHou的博客
02-26 8377
一、出现问题的原因 在启动Hadoop之前，进行了多次的格式化，导致DataNode的ID发生了变化。 二、问题解决方法 我们可以让NameNode的clusterID与DataNode的clusterID一致，这样就可以解决这个问题了。 1.首先去到你的hadoop目录下 2.在进入到 hadoop-2.8.1/tmp目录下 3.在进入到dfs中 ls 4.在进入到目录name中ls 5.在进入到current中ls 6.使用命令（vi或vim）打开VERSI..
Hadoop07：SecondaryNameNode以及DataNode介绍
weixin_40612128的博客
03-02 899
一、SecondaryNameNode介绍 刚才在分析edits日志文件的时候我们已经针对SecondaryNameNode做了介绍，在这里再做一个总结，以示重视。 SecondaryNameNode主要负责定期的把edits文件中的内容合并到fsimage中 这个合并操作称为checkpoint，在合并的时候会对edits中的内容进行转换，生成新的内容保存到fsimage文件中。 注意：在NameNode的HA架构中没有SecondaryNameNode进程，文件合并操作会由standby NameNod
Hadoop完全分布式 小bug -no.1 为啥我的集群只显示一个datanode！
i_m_jack的博客
06-26 2753
问题如标题，先说一下我的搭建步骤1.在主节点主机下，配置好hadoop，yarn，mapred三个env文件以及site文件和salves文件2.确保tmp文件清空的情况下，格式化namenode3.将配置好的Hadoop软件包分发给另外两个克隆机4.用start-dfs.sh命令启动集群。用jps命令确认所需进程是否启动.访问主节点主机Ip：50070网站，把网页tab切换至datanodes，...
hadoop集群通过web管理界面只显示一个节点，datanode只启动一个
weixin_43520450的博客
10-14 8712
hadoop集群通过wab管理界面只显示一个节点，datanode只启动一个 引起该问题最常见的原因，及其解决办法 使用命令hadoop namenode -format对namenode进行了格式化，使得/usr/local/hadoop/tmp/dfs 下的datanode与namenode中的VERSION clusterID不一致了，把全部集群节点的ID号都改为一样的即可。 下图是更改c...
【Hadoop】图形化界面只有1个DataNode
12-06 1984
集群启动后，DataNode，NameNode、SecondaryNameNode都正常启动。但是在图形化界面上看只有一个DataNode。 尝试了删除VERSION、重新格式化NameNode后，都不行。 用hdfs dfsadmin -report命令查看DataNode节点信息，竟然报连接不上的错误 有点疑惑，之前确认过是可以ping通的，再次ping hostname，是通的： 又ping IP，果然是不通的，考虑还是云服务器的安全策略问题，开放9820端口： 重启hd...
hadoop显示只有一个datanode启动
u013077314的博客
12-14 5156
1.datanode无法启动： DataNode(dfs/data/current/VERSION)的clusterID与NameNode(dfs/name/current/VERSION)的不一致，datanode无法启动   解决方法：将NameNode的clusterID复制到DataNode，顺便检查下各个storageID、datanodeUuid是不是不一样的（如果一样需要修改）...
明明启动了三个DataNode，hadoop集群只显示一个datanode监控呢
weixin_45310459的博客
09-02 2551
为什么你的hadoop监控网页，只显示一个DataNode
启动hadoop集群,namenode正常启动，而datanode没有启动或只启动一个，在web端只看到一个datanode的原因及其解决办法
m0_58028961的博客
02-17 3902
启动hadoop集群,namenode正常启动，而datanode没有启动或只启动一个，在web端只看到一个datanode的原因及其解决办法
hadoop图形化界面上只有一个datanode，集群中其他节点没有显示出来
水镜先生的博客
02-21 7023
最近了解一些大数据知识，自己尝试着搭建hadoop集群，但是遇到了很多坑，总结一下。 hadoop-daemon.sh开启集群，设置了3台虚拟机来当作集群，在master节点通过jps命令查看，看到3台集群的DataNode，NameNode、SecondaryNameNode都已启动，在slave节点通过jps命令查看，每台服务器的东西都启动成功。 但是在图形化界面上看只有一个DataNode，...
hadoop主机启动jps缺少datanode
最新发布
03-19
在Hadoop中，DataNode是Hadoop分布式文件系统（HDFS）的一个组件，负责存储和管理数据块。如果在启动Hadoop主机时，发现jps命令缺少DataNode进程，可能有以下几个原因： 1. DataNode进程未正确启动：请确保在启动...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值