hadoop只显示一个DataNode

已于 2022-10-06 13:42:19 修改
阅读量1.3k 收藏 6
点赞数 1
分类专栏： 大数据笔记 文章标签： hadoop 大数据 hdfs
于 2022-10-06 13:34:21 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zsmxiaoci/article/details/127181809
版权

HadoopWebUI 只显示一个datanode

集群同步错误

问题解析

在这里插入图片描述
DataNodes中 只显示一个datanode 但是jps的是正常启动的在这里插入图片描述

报错截图

下面展示 报错代码片。

2022-10-06 12:26:52,475 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Block pool BP-1925266779-192.168.74.102-1651555264027 (Datanode Uuid 8b363ef9-d949-444a-a679-7a83adfe4cbd) service to hadoop102/192.168.74.102:8020 is shutting down
org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.protocol.UnregisteredNodeException): Data node DatanodeRegistration(192.168.74.102:9866, datanodeUuid=8b363ef9-d949-444a-a679-7a83adfe4cbd, infoPort=9864, infoSecurePort=0, ipcPort=9867, storageInfo=lv=-57;cid=CID-d39e6934-e6a3-4ba1-9d2f
最低0.47元/天 解锁文章
酒安足辞
关注
  • 1
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop集群启动后,在web:50070端口只有一个datanode节点
qq_42321843的博客
03-10 2764
Hadoop集群启动后，使用jps查看进程均没问题，但是在Web50070端口上只显示了一个datanode。 解决方法： 1.关闭集群 stop-dfs.sh stop-yarn.sh 2.将集群中每个datanode节点的VERSION删除 （VERSION里面记录着datanodeid信息 路径/hadoop/tmp/dfs/data/current） cd /usr/local/hado...
hadoop 源码解析-DataNode
06-06
Hadoop 作为一个大数据处理框架，其核心组件之一是分布式文件系统（HDFS），而 DataNode 是 HDFS 中的重要组件之一。DataNode 负责存储和管理数据块，提供数据访问服务。本文将对 DataNode 的源码进行解析，了解其...
明明启动了三个DataNode，hadoop集群只显示一个datanode监控呢
weixin_45310459的博客
09-02 2509
为什么你的hadoop监控网页，只显示一个DataNode
hadoop中live nodes有三个，但datanode只显示一个
weixin_55784925的博客
11-02 2629
hadoop集群问题
HDFS集群正常启动，但Web页面仅有一个DataNode 主节点的问题
weixin_42227283的博客
11-27 8065
问题描述 三台虚拟机（分别是hadoop02，hadoop03，hadoop04）集群所有数据节点都已经正常启动了，而通过命令hadoop dfsadmin -report 显示的 Live datanodes却只有1个。 ![问题描述图1](https://img-blog.csdnimg.cn/20191127101727362.jpg?x-oss-process=image/waterma...
启动hadoop集群,namenode正常启动，而datanode没有启动或只启动一个，在web端只看到一个datanode的原因及其解决办法
m0_58028961的博客
02-17 3845
启动hadoop集群,namenode正常启动，而datanode没有启动或只启动一个，在web端只看到一个datanode的原因及其解决办法
【Hadoop】图形化界面只有1个DataNode
12-06 1965
集群启动后，DataNode，NameNode、SecondaryNameNode都正常启动。但是在图形化界面上看只有一个DataNode。 尝试了删除VERSION、重新格式化NameNode后，都不行。 用hdfs dfsadmin -report命令查看DataNode节点信息，竟然报连接不上的错误 有点疑惑，之前确认过是可以ping通的，再次ping hostname，是通的： 又ping IP，果然是不通的，考虑还是云服务器的安全策略问题，开放9820端口： 重启hd...
hadoop显示只有一个datanode启动
u013077314的博客
12-14 5133
1.datanode无法启动： DataNode(dfs/data/current/VERSION)的clusterID与NameNode(dfs/name/current/VERSION)的不一致，datanode无法启动   解决方法：将NameNode的clusterID复制到DataNode，顺便检查下各个storageID、datanodeUuid是不是不一样的（如果一样需要修改）...
hadoop中只有一个datanode启动或者没启动
qq_42239069的博客
10-29 4820
原因:   之前不懂犯了个低级错误，导致datanode只能启动一个；很是奇怪；            一:之前多次将namenode格式化，导致namenode和datanode的clusterID不一致无法启动datanode            二:把datanode内的dn和nn文件内的VESSION删除,导致在java连接是输入流时只能启动一个datanode 解决方法:   ...
Hadoop集群datanode磁盘不均衡的解决方案
02-25
因业务需要搭建一个新hadoop集群，并将老的hadoop集群中的数据迁移至新的hadoop集群，而且datanode节点不能全部上线，其中还可能会出现节点上线或下线的情况，这个时候就很容易出现机器与机器之间磁盘的均衡的情况，...
hadoop client与datanode的通信协议分析
09-05
同时，它还会启动一个ResponseProcessor线程，用于接收DataNode返回的确认信息（ACK）并处理可能出现的错误。这一过程不断循环，直到所有数据包发送完毕。 在写Block的过程中，客户端与DataNode之间的通信主要包括...
Hadoop源码分析- RPC DataNode
04-19
NULL 博文链接：https://zqhxuyuan.iteye.com/blog/1879292
关于hadoop集群出现datanode只显示一个并且动不动dead的问题。同时存在使用率动不动爆满问题。
m0_53353946的博客
11-22 572
hadoop集群通过web管理界面只显示一个节点，datanode只启动一个。问题解决！！！
hadoop集群不管怎么启动在hadoop管理界面都看到只有一个datanode
热门推荐
愤怒的苹果ext的博客
11-01 1万+
在配置hadoop集群时，由于大多都是复制到每个节点上的，这就导致了datanode的VERSION里面有2个id是一模一样不能共存。datanodeUuid和storageID 只需要稍微修改下这2个id的值重新启动就可以了。 就这样就行了。
Hadoop完全分布式 小bug -no.1 为啥我的集群只显示一个datanode！
i_m_jack的博客
06-26 2718
问题如标题，先说一下我的搭建步骤1.在主节点主机下，配置好hadoop，yarn，mapred三个env文件以及site文件和salves文件2.确保tmp文件清空的情况下，格式化namenode3.将配置好的Hadoop软件包分发给另外两个克隆机4.用start-dfs.sh命令启动集群。用jps命令确认所需进程是否启动.访问主节点主机Ip：50070网站，把网页tab切换至datanodes，...
hadoop集群启动时活动节点只启动了一个
weixin_53063015的博客
02-10 3577
hadoop集群启动时活动节点只启动了一个 今天早上启动集群的时候发现自己的集群有一个节点的datanode启动不起来，想到昨天都能启动，怎么突然就启动不起来了，看了很多这个博客都是说这个防火墙没有关闭，跑去查看这个防火墙，是关闭状态啊，又去格式化namenode发现都不行，回去翻看配置文件才发现这个core-site.xml文件的配置不见了，是克隆的前一台虚拟机，前面都有配置后面不知道为什么突然就没了，配置完成后启动hdfs查看这个web页面发现只有一个活动节点（这个节点时不时还会变化），看这些进程已经启
hadoop集群通过web管理界面只显示一个节点，datanode只启动一个
weixin_43520450的博客
10-14 8610
hadoop集群通过wab管理界面只显示一个节点，datanode只启动一个 引起该问题最常见的原因，及其解决办法 使用命令hadoop namenode -format对namenode进行了格式化，使得/usr/local/hadoop/tmp/dfs 下的datanode与namenode中的VERSION clusterID不一致了，把全部集群节点的ID号都改为一样的即可。 下图是更改c...
大数据期末复习——hadoop、hive等基础知识
最新发布
qq_64000756的博客
07-02 1009
Hadoop提供了高可用性的解决方案，如HDFS的NameNode HA(高可用性)机制和VARN的ResourceManager HA机制，确保即使在节点故障的情况下，集群仍能保持高可用性，不影响作业的执行。2）Flume：Flume是一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据。:Hadoop集群提供了丰富的监控和日志记录功能，可以实时监校集群的状态和性能指标，及时发现问题并进行处理，提高集群的稳定性和可靠性，
hadoop主机启动jps缺少datanode
03-19
在Hadoop中，DataNode是Hadoop分布式文件系统（HDFS）的一个组件，负责存储和管理数据块。如果在启动Hadoop主机时，发现jps命令缺少DataNode进程，可能有以下几个原因： 1. DataNode进程未正确启动：请确保在启动...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值