重新　format namenode datanode无法启动

最新推荐文章于 2021-08-25 16:00:13 发布
最新推荐文章于 2021-08-25 16:00:13 发布
阅读量1.7k 收藏
点赞数
文章标签： hadoop namenode form
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhouleilei/article/details/8587300
版权

如果有需求要把namenode format的话，那就会出现上述情况

如果数据还有用，那首先要保存元数据，走下面两种方式之一。

如果数据是测试数据，没有也罢，可以放心删除的话

那就直接走下面两种方式吧

此时有两种解法

1、手动删除datanode目录下的全部数据，再重新format

2、将datanode下namespaceID手动修改为和namenode-->current-->VERSION中的 namespaceID改为一致

Mr-zhou
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
重新format namenode后，datanode无法正常启动
weixin_33836874的博客
11-15 130
测试环境，由于测试需求，重新format namenode后，导致datanode无法正常启动。 1. 查看datanode日志，可以发现错误“Initialization failed for Block pool <registering> (Datanode Uuid unassigned)” 1 2 3 4 5 6 7 8 ...
hadoop2.6 每次重启linux 都必须重新format datanode的问题
半路出家，立地为猿
05-06 3497
最近在看hadoop, 本机装的是伪分布模式。 但每次重启linux后，总需要执行hadoop namenode -format重新格式化namenode。 原因是： HDFS把namenode的格式化信息存在了系统的tmp目录下，该目录每次开机会被清空，因此每次重新启动机器，都需要重新格式化HDFS。 如果之前已经往hdfs里放入了一些文件，这显然是不可接受的。 解决方案如下：
HBase配置
chuanwang66的专栏
09-22 106
hadoop启动问题解决方案：   1. service iptables stop || /etc/rc.d/init.d/iptables 2. vi /etc/sysconfig/selinux ==&gt; ...=disabled 3. service sshd start 4. 重启电脑       多次格式化文件系统后，datanode无法启动的问题   摘...
ERROR：格式化hdfs后，datanode只启动了一个
a166244的博客
04-18 327
问题描述：使用dfs-format格式化hdfs之后，出现datanode只启动了一个的错误（原来有3个datanode，2个namenode） 现场还原： 先查看一下namenode中 /$HADOOP_HOME/tmp/dfs/name/current/下的VERSION文件中的clusterID： NameNode1：clusterID=CID-fee4d...
多次NameNode执行format后DataNode启动不了解决方案
hijk7的博客
08-25 85
多次NameNode执行format后DataNode启动不了解决方案
Hadoop datanode重新加载失败无法启动解决.docx
09-26
Hadoop datanode重新加载失败无法启动解决 本文将详细讲解Hadoop datanode重新加载失败无法启动解决的知识点，主要包括datanode加载失败的原因、解决方法和步骤。 知识点1: datanode加载失败的原因 datanode加载...
HDFS体系结构(NameNode、DataNode详解)
03-30
2. `hdfs namenode -format`：格式化NameNode，创建文件系统的命名空间。 3. `hdfs datanode`：运行DataNode，存储和管理数据块。 HDFS体系结构是Hadoop的核心组件，提供了高效、可靠、可扩展的分布式文件系统解决...
hadoop2.0 2个namenode 2个datanode 部署
01-16
在启动服务之前，我们需要格式化 Namenode，使用命令 ${HADOOP_HOME}/bin/hdfs namenode -format -clusterid [clusterID]。然后，在某个 Namenode 上执行 ${HADOOP_HOME}/sbin/，启动服务。 高可用性 在这个部署...
HDFS之NameNode分析
01-30
大家都知道HDFS的架构由NameNode,SecondaryNameNode和DataNodes组成，其源码类图如下图所示：正如上图所示，NameNode和DataNode继承了很多的protocol用于彼此间的通信，其实nameNode还实现了...实现了ClientProtocol...
hadoop运行wordcount实例
05-30
若之前有残留的临时文件，需要先清除，然后重新执行格式化命令 `hadoop namenode -format`。 #### 三、成功运行WordCount实例的步骤 接下来，我们将详细介绍如何在 Hadoop 上成功运行 WordCount 实例： 1. **验证...
hadoop2.x.x格式化遇到的问题
沉潜飞动
10-15 1万+
1 概述   解决hadoop启动hdfs时，datanode无法启动的问题。错误为： java.io.IOException: Incompatible clusterIDs in /home/lxh/hadoop/hdfs/data: namenode clusterID = CID-a3938a0b-57b5-458d-841c-d096e2b7a71c; datanode cluste
hadoop多次格式化后，导致datanode启动不了
03-06 1万+
hadoop namenode -format 多次格式化后，datanode启动不了 0.20.2版本解决方式: 1、查看名称节点上(即在配置文件中配置的hadoop.tmp.dir参数路径)/usr/hadoop0.20.2/hadoop-huanghz/dfs/name/current/文件夹中VERSION文件中的namespaceid； 2、在两个数据节点修改上d
hadoop format之后datanode起不了解决方法
独家记忆
07-26 2825
安装完hadoop集群之后，跑了一些数据，然后format了
[完]Hadoop中DataNode在格式化Namenode后无法启动。
无名的博客
11-18 2964
一般情况下，出现这个问题的原因是namenode和datanode的clusterID不一致。namenode每次格式化时，会更新clusterID，但是datanode只会在首次格式化时确定，因此就造成不一致现象。
HADOOP的HDFS重新format以后datanode连接不上
shiyanshi805的博客
05-24 1399
通过看日志可以看到版本不一致，简单粗暴的方法，先找到日志文件的位置然后找到出错的位置进入到该文件夹删除hdfs文件夹，然后执行hdfs namenode -format指令即可。...
重新格式化HDFS的方法
热门推荐
在路上的学习者
03-19 3万+
重新格式化hdfs系统的方法： （1）查看hdfs-ste.xml： dfs.name.dir /home/hadoop/hdfs/name namenode上存储hdfs名字空间元数据 dfs.data.dir /home/hadoop/hdsf/data datanode上数据块的物理存储位置 将 dfs.name.dir所指定的目录删除、dfs
多次进行hdfs namenode -format命令时，启动DataNode自动死亡的原因
qq_15508167的博客
02-05 2362
1.安装环境，三个节点，在配置的时候不小心忘记配置slaves节点，导致，进行2次 namenode -format 2.进行start-dfs.sh命令时，发现主节点可以启动，但是其他两个从节点，启动以后，立刻死亡，yarn是可以正常启动的，所以定位，问题应该是出在hdfs的格式化问题上 3.原因是我们每次格式化的时候，会产生这个文件夹/tmp/hadoop-hadoop/ 4.我们可以将
【HDFS】datanode注册信息都有啥？
tracymkgld的专栏
01-21 1247
datanode节点在启动的时候，有一个向namenode注册的过程，那么注册的过程中datanode到底向namenode传递了哪些信息？ private void register() throws IOException { if (dnRegistration.getStorageID().equals("")) { setNewStorageID(dnRegis
hadoop namenode -format 重新初始 name 节点的引起的问题。
sunny快乐的生活
12-10 1465
<br />2010-07-21 10:12:11,987 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in /home/admin/joe.wangh/hadoop/data/dfs.data.dir: namenode namespaceID = 898136669; datanode namespaceID = 2127444065 <br /
怎么创建 Hadoop 的 namenode 和 datanode 目录
最新发布
05-29
要创建 Hadoop 的 namenode 和 datanode 目录，可以按照以下步骤进行： 1. 打开终端，进入 Hadoop 的安装目录下的 sbin 目录中，执行以下命令启动 Hadoop： ``` ./start-dfs.sh ``` 2. 执行以下命令创建 namenode 和 datanode 目录： ``` hdfs namenode -format ``` 执行完该命令后，会在 Hadoop 安装目录下的 data 目录中创建一个名为 namenode 的子目录，作为 namenode 目录，以及若干个 datanode 目录。 3. 启动 Hadoop： ``` ./start-dfs.sh ``` 执行完该命令后，Hadoop 就会启动，同时 namenode 和 datanode 目录也会被加载。 注意：在执行以上命令时，需要确保 Hadoop 的配置文件已正确设置，并且当前用户对 namenode 和 datanode 目录有读写权限。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值