hadoop web查看集群datanode 信息不全

最新推荐文章于 2023-09-21 10:32:50 发布

Shuguang_z

最新推荐文章于 2023-09-21 10:32:50 发布

阅读量3.2k

点赞数

分类专栏：云平台文章标签： hadoop

本文链接：https://blog.csdn.net/zsgsnow1/article/details/44237003

版权

云平台专栏收录该内容

0 篇文章 0 订阅

订阅专栏

环境说明：

同一主机上，两台ubuntu虚拟机

问题

启动Hadoop后，两个节点上的jps查看进程正常，可web登录50070端口，查看的datanode information，只显示的本机上的datanode信息

namenode上jps信息，既作为NameNode也是DataNode

datanode1上jps信息

可web只查看到datanode information 不全

看到这个结果，同事点拨，应该是手动配置的DNS有问题，namdenode的IP不应该是127.0.0.1

查看/etc/hosts，namenode配置了两个IP，删除掉127.0.1.1 namenode这一行

修改后重新启动hadoop，再次查看web，正常了

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Shuguang_z

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
2
评论
hadoop web查看集群datanode 信息不全

记录一次，因/etc/hosts配置问题，导致的启动hadoop后，web查看datanode信息不全
复制链接

扫一扫

专栏目录

解决了上传文件到Hadoop中，部分节点在hadoop网页中的显示Datanode Information中blocks数为0的问题

weixin_43820544的博客

09-11

520

执行命令后到hadoopWeb端一看，发现明明复制副本数设为3，为什么只有其中两个节点有分配到Blocks，其他没有呢？ hdfs dfs -put /root/software/hadoop-3.2.0.tar.gz /user/root 但是输入hdfs fsck / -files -blocks查看节点信息时确实是显示有分配到blocks，难道是网络传输过去的时候出了问题：再次尝试上传，发现出现以下错误： ...

hdfs中DataNode启动未报错，在namenodeweb界面发现DataNode少了一个问题解决

weixin_41684300的博客

12-23

971

首先，查看namenode日志发现大量的相同报错信息 ERROR org.apache.hadoop.hdfs.StateChange: BLOCK* NameSystem.getDatanode: Data node DatanodeRegistration(192.168.216.102:9866, datanodeUuid=d789da46-1139-4fbe-94a6-a4efdb7ae1dc, infoPort=9864, infoSecurePort=0, ipcPort=9867

2 条评论您还未登录，请先登录后发表或查看评论

Datanode Information无信息

a219219219219的博客

07-20

1106

原因是多次格式化namenode，查看/opt/module/hadoop-2.7.2/logs下的某个log文档可知，WARN org.apache.hadoop.hdfs.server.common.Storage: java.io.IOException: Incompatible clusterIDs in /opt/module/hadoop-2.7.2/data/tmp/dfs/data: namenode clusterID = CID-c7995570-ca03-47e1-a3f8-c5fc

Hadoop集群搭建：datanode显示不完整

编程之路

10-09

1242

问题描述搭建Hadoop集群，节点为node01（namenode）、node02、node03。集群启动后，jps检查，各节点服务正常。浏览器访问：http://node01:50070 Overview页面Live Nodes显示为3。Datanodes页面In operation，node只显示node01。 Overview页面截图： Datanodes页面截图：问题原因因为使用...

hadoop搭建--所有datanode信息为0，live nodes 为0；

To-nemy

03-13

3612

—————hadoop搭建–所有datanode信息为0，live nodes 为0怎么办？？？当hadoop配置完成后，然后使用启动命令启动集群，打开50070和8088网页后，发现没有任何信息，50070页面显示为这个样子。输入下面命令， [root@dev9106 bin]# ./hadoop dfsadmin -report 显示 Config...

Hadoop网页查看Datanode Information时只有localhost被管理

fhyhy233的博客

04-12

2217

hadoop启动hdfs后网页登陆9870端口，进入Datanode Information发现只有一台localhost，询问老师后，老师回答配置文件出了问题。仔细查看配置文件后找不到错误，于是反复重写配置文件并删除hadoop-3.3.1文件夹中的data文件夹重启hdfs，多次尝试后仍然无法加载出其他节点。看网页端Datanode Information发现被管理的localhost地址为127.0.0.1，考虑可能是ip地址出了问题查看etc文件夹下的hosts文件发现这里有12

Hadoop3.2.0集群搭建常见注意事项

01-09

在搭建Hadoop 3.2.0集群时，有几点重要的注意事项需要关注，以确保集群的稳定运行和正确配置。以下是对这些要点的详细说明：首先，关于端口的变化是关键。在3.2.0版本中，Namenode的Web界面端口由原来的50070更改...

详解搭建ubuntu版hadoop集群

09-15

【搭建Ubuntu版Hadoop集群详解】在本文中，我们将详细阐述如何在Ubuntu 16.04环境下搭建Hadoop集群。Hadoop是一个开源的分布式计算框架，它允许处理和存储大量数据，尤其适合大数据分析。Ubuntu是Linux发行版中的...

Hadoop集群部署研究.docx

01-04

2.2.3 HDFS 初始化与启动集群配置完成后，格式化 NameNode（hdfs namenode -format），启动 Hadoop 集群，包括 NameNode、DataNode、ResourceManager、NodeManager 等服务。可以通过命令行检查 Hadoop 进程是否正常...

hadoop集群搭建文档资料

11-15

12. **监控与维护**：使用Hadoop自带的Web UI或者第三方工具，如Ambari，对集群进行实时监控，确保其健康运行，及时发现和解决问题。以上内容是Hadoop集群搭建的基础步骤和关键知识点，具体的实施过程中可能需要...

docker一键安装hadoop集群

10-14

【Dockerfile详解】 Dockerfile 是一个文本文件，包含了构建 Docker 映像的指令序列。...通过 Docker 安装 Hadoop 集群，可以在不改变主机系统的情况下快速部署和测试，方便开发者和运维人员进行开发、测试和演示。

Hadoop启动后WEBUI只显示一个datanode的问题

ZhouQiYoung的博客

01-14

1860

最近又摸了一下大数据方面的东西，今天在装hadoop的时候突然遇到了一个小问题，记录一下。这里使用的是JDK1.8，hadoop3.1.4。配置完成后初始化handoop并启动，看起来一切正常 namenode启动正常 secondrynamenode和datanode也启动正常没问题。但是打开webui后只显示了一个datanode节点这里是修改后的正常显示，错误时，只显示了第一个且node为localhosts：127.0.0.1。立刻查阅相关资料发现可能是因为VERSION中datano

启动hdfs后，一个datanode缺失

OliverChrist的博客

08-07

1330

问题描述：start-dfs.sh启动hdfs后，web和hdfs dfsadmin -report都只能看到2个datanode,实际有三个datanode，jps查看三个datanode均正常运行查看三个datanode的hostsname，其中两个slave用了相同的hostname（ip正常，不同）将两个重名的slave中的一个改名将改名后datanode的datanodeUu

hadoop启动中缺少datanode

香蕉的博客

05-17

1282

// 启动 journalnode（在所有 datanode 上执行，也就是 cluster1, cluster2, cluster3） $ hadoop-daemon.sh start journalnode 启动后使用 jps 命令可以看到 JournalNode 进程 // 格式化 HDFS（在 cluster1 上执行） $ hdfs namenode -format // 格式化完毕后可关闭 journalnode（在所有 datanode 上执行） $ hadoop-daemon.sh

Hadoop没有namenode/datanode进程

weixin_43411977的博客

09-18

2725

问题描述前几天新增了两个节点，一直都没问题，今天突然出了问题。刚开始是两个新增的节点上没有datanode进程，nodemanager还有。重启集群后，成了所有的节点（包括master）都没有datanode。之后把hadoop下的hdfs文件夹删除重建，所有的节点上都有了datanode，但是master没了namenode。先后尝试的方法有： 1.单纯格式化namenode。对我的情...

Hadoop datanode正常启动，但是Live nodes中却缺少节点的问题

lsp的博客

09-05

1376

打开配置文件hdfs-site.xml找到dfs.datanode.name.dir这个属性，或者dfs.data.dir具体看你用哪个设置的数据存储路径。分别在master, node1, node2中更改此属性 #master中的值 <property> <name>dfs.datanode.data.dir</name> <value...

node节点没有datanode