hadoop datanode 启动失败，没有任何报错的解决

最新推荐文章于 2024-05-13 21:12:34 发布
最新推荐文章于 2024-05-13 21:12:34 发布
阅读量2.5k 收藏
点赞数
分类专栏： hadoop分布式计算相关技术 文章标签： Hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yu_fu/article/details/16946883
版权
博客主要讲述了在Hadoop环境下，Datanode启动时日志中未显示任何错误，但进程未能正常启动的情况。通过分析Datanode的outlog和errlog，作者推测问题可能出在本地动态库，并提出了重新编译或替换合适动态库作为解决方案。
摘要由CSDN通过智能技术生成

datanode的log日志仅有如下信息，没有报错，但是进程没有起来：

2013-11-25 09:57:01,466 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: STARTUP_MSG:
/************************************************************
STARTUP_MSG: Starting DataNode
STARTUP_MSG:   host = tdw-10-136-149-102/10.136.149.102
STARTUP_MSG:   args = []
STARTUP_MSG:   version = 1.0.4
STARTUP_MSG:   build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.0 -r 1393290; compiled by 'hortonfo' on Wed Oct  3
 05:13:58 UTC 2012
************************************************************/
2013-11-25 09:57:02,013 INFO org.apache.hadoop.metrics2.impl.MetricsConfig: loaded properties from hadoop-metrics2.properties
2013-11-25 09:57:02,028 INFO org.apache.hadoop.metrics2.impl.MetricsSourceAdapter: MBean for source MetricsSystem,sub=Stats registered.
2013-11-25 09:57:02,029 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: Scheduled sna
最低0.47元/天 解锁文章
WentaoMa
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop启动以后，DataNode无法启动，不报错
qq_44176343的博客
11-09 1104
这个就是当我们启动Hadoop时候，查看的时候会发现DataNode启动不了，但是也没有报错，那么这个问题怎么解决呢？ 解决办法 1.先看hdfs-site.xml是否正确 2.打开NameNode下的VERSION文件，复制其cluster ID一行，然后在粘贴到datanode下面的VERSION中。具体步骤如下： 现在就打开了VERSION文件，我们将clusterID一行复制，然后按一下Esc按键，再按“：”，然后输入wq（保存并退出），按回车。 我们再次用jps查看进程，发现进程中已经有D.
Hadoop启动后在进程中没有Datanode的解决方法
m0_67401499的博客
08-16 1631
第三步：vi /opt/hadoop/data/datanode/current/VERSION //打开datanode路径下的current/VERSION文件，将复制的clusterID替换其中的clusterID值。第二步：vi /opt/hadoop/data/namenode/current/VERSION //打开namenode路径下的current/VERSION文件，复制其中的clusterID。第四步：重启服务即可(多台服务器集群需要同样配置clusterID全部保持一致)...
Hadoop datanode启动异常 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode
Kason_iWiki
11-25 2535
发现这两个id不一致，经查阅相关资料，id不一致会导致Initialization failed for Block pool。线上收到hadoop集群datanode掉线告警。然后再次尝试启动datanode进程。发现未存在datanode进程。
启动Hadoop没有dataNode进程的解决办法
m0_67394002的博客
04-11 3893
1.问题现象: 在启动Hadoop时，通过jps目录发现没有datanode进程。 [root@hadoop ~]# jps 1792 SecondaryNameNode 1937 Jps 1650 DataNode 2 解决方案:clusterID不匹配导致的问题 网上搜了下，网上的说法都是由于进行hadoop格式化的时候没有事先结束所有进程，或者多次进行了format导致的datanode的clusterID 和 namenode的clusterID不匹配，从而在启动后没有datanode进程。 解决
hadoop2.7.2中datanode无法启动，日志报错java.net.BindException: Port in use: localhost:0
caoyaqi的博客
07-27 5887
namenode启动正常，每个从节点上nodemanager也正常启动，就是从节点上服务datanode无法全部正常启动，有时候只有一个节点上的datanode起来了，其他都没启动，或者从节点上的datanode全部无法启动，在slave节点上查看日志  vi hadoop-root-datanode-slave2.log 发现日志中报有如下错误： java.net.BindException:
hadoop启动datanode失败
u014052851的博客
08-03 897
hadoop启动失败
Hadoop datanode重新加载失败无法启动解决.docx
09-26
Hadoop datanode重新加载失败无法启动解决 本文将详细讲解Hadoop datanode重新加载失败无法启动解决的知识点，主要包括datanode加载失败的原因、解决方法和步骤。 知识点1: datanode加载失败的原因 datanode加载...
Hadoop datanode启动失败：Hadoop安装目录权限的问题
07-29
### Hadoop Datanode启动失败：Hadoop安装目录权限问题详解 #### 一、问题背景与现象 在部署Hadoop集群的过程中，...通过以上步骤和建议，可以有效地解决Hadoop Datanode启动失败的问题，并确保Hadoop集群稳定运行。
Hadoop集群datanode磁盘不均衡的解决方案
02-25
因业务需要搭建一个新hadoop集群，并将老的hadoop集群中的数据迁移至新的hadoop集群，而且datanode节点不能全部上线，其中还可能会出现节点上线或下线的情况，这个时候就很容易出现机器与机器之间磁盘的均衡的情况，...
启动Hadoop后 没有DataNode进程 的解决方法
09-30
启动Hadoop后 没有DataNode进程 的解决方法。 一篇文章带你快速了解！
hadoop 3.x 案例7: hadoop大数据平台日志
只是甲的博客
01-04 2393
hadoop 大数据平台 查看日志
hadoop集群启动唯独缺少DataNode进程的解决方法
最新发布
2202_75961842的博客
05-13 710
我们可以找到datanode的资料，VERSION文件，然后把所有用到datanode进程的节点上面的VERSION都删除，再在主机上重新进行格式化，再次使用。因为各种原因导致需要快照或重新配置，进入到最后一步格式化过后，开启集群发现主机进程一切正常，从节点其他进程也都有，唯独Datanode进程没有的情况。，datanode进程就可以出来了。可能是因为两次甚至多次的。然后重启Hadoop。
PHP 7.4.x + Apache环境搭建
无为 的专栏
09-07 3823
最近在使用Atlassian 的软件 Bamboo 进行大家 CI/CD 环境，因为软件是 PHP 开发的，所以先要在 Win10下搭建 PHP 运行环境。为了方便保留信息，在此记录了搭建过程，目前先就不安装 MySql了，主要是下载并安装 php-7.4x 和 httpd-2.4.x。 1.下载软件 1）下载php-7.4.10-Win32-vc15-x64.zip，官方网站：https://windows.php.net/downloads/releases/ 2）下载httpd-2.4....
Hadoop启动dataNode失败，却没有任何报错
weixin_30561177的博客
04-02 442
问题描述： centos7,伪分布模式下，启动datanode后，通过JPS查看发现没有相关进程，在日志文件里也没有任何提示。通过百度，网上一堆说什么vesion 的ID不一致，不能解决我的问题。 经过搜索，https://community.hortonworks.com/questions/69227/data-node-not-starting-and-not-showing-an...
hadoop无法启动常见问题
blue1213的专栏
05-23 983
1、启动hadoop，发现namenode未启动，其他进程可正常启动    解决办法--可以将所有服务停掉，然后重新格式化namenode；bin/hadoop namenode -foramt; 2.  每次机器重启了，namenode都启动不了，造成到原因可能是     在core-site.xml配置中hadoop.tmp.dir的目录在系统启动时被清空 [html] vi
Hadoop小知识：DataNode没有启动的原因和解决方法（同浏览器输入master：50070后不显示node节点问题）
L缶神的博客
04-01 5594
问题：我们在使用Hadoop时，如果发现这个问题：图中的Node显示为空的情况。 原因:我们在第一次安装完Hadoop后已经格式化了，但后来我们再次登录又进行格式化，就会形成多次格式化导致这种情况的发生。在配置文件中保存的是第一次格式化时保存的namenode的ID，因此就会造成datanode与namenode之间的id不一致。 解决办法： 1、进入Hadoop的安装目录，在进入logs目录，找到最新的一条日志文件 2、进入这个日志文件 3、复制红框信息 4、...
DataNode起不来检查记录
oufuji的博客
12-17 2663
今天开机启动HDFS，发现一个DataNode在界面上是停止的，尝试手工再次重启，直接报错，但是界面上输出日志不明显。 然后看日志输出目录（有点忘了日志目录了，查查配置） putty去到目录：查看，发现50020端口被占用： 2015-12-17 10:25:45,261 FATAL org.apache.hadoop.hdfs.server.datano
hadoop datanode没有启动
08-07
1. 重新启动Hadoop集群：尝试先关闭整个Hadoop集群，然后逐个启动各个节点，确保datanode节点在启动之前没有任何问题。 2. 检查硬件和网络连接：确保datanode所在的主机硬件正常，并且网络连接稳定。可以尝试重新...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值