hadoop fsck命令及namenode元数据修复.

最新推荐文章于 2025-03-07 20:58:13 发布

zhangyingchengqi

最新推荐文章于 2025-03-07 20:58:13 发布

阅读量1.6k

点赞数 1

分类专栏： hadoop 文章标签： hadoop

本文链接：https://blog.csdn.net/zhangyingchengqi/article/details/119559461

版权

hadoop 专栏收录该内容

8 篇文章

订阅专栏

博客内容讲述了HDFS中遇到的FATAL错误，问题源于namenode元数据损坏。解决方案是执行hadoop namenode –recover命令进行恢复。此外，介绍了fsck命令的使用，用于检查HDFS的健康状况，包括文件、目录、block块的状态，并列举了各种参数的含义和作用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

报错如下:

FATAL org.apache.hadoop.hdfs.server.namenode.FSEditLog: Error: recoverUnfinalizedSegments failed for required journal (JournalAndStream(mgr=QJM to [192.168.76.201:8485, 192.168.76.202:8485, 192.168.76.203:8485], stream=null))
java.lang.AssertionError: Decided to synchronize log to startTxId: 48138
endTxId: 48144
isInProgress: true
 but logger 192.168.76.203:8485 had seen txid 50119 committed

原因：
namenode元数据被破坏，需要修复

解决：
恢复一下namenode

hadoop namenode –recover

在HDFS中，提供了fsck命令，用于检查HDFS上文件和目录的健康状态、获取文件的block块信息和位置信息等。

具体命令介绍：
-move: 移动损坏的文件到/lost+found目录下
-delete: 删除损坏的文件
-openforwrite: 输出检测中的正在被写的文件
-list-corruptfileblocks: 输出损坏的块及其所属的文件
-files: 输出正在被检测的文件
-blocks: 输出block的详细报告（需要和-files参数一起使用）
-locations: 输出block的位置信息（需要和-files参数一起使用）
-racks: 输出文件块位置所在的机架信息（需要和-files参数一起使用）

使用 hadoop fsck / 对hadoop磁盘进行检测时，输出的结果详细解释:
参数解释：
status：代表这次hdfs上block检测的结果
Total size: 代表/目录下文件总大小
Total dirs：代表检测的目录下总共有多少个目录
Total files：代表检测的目录下总共有多少文件
Total symlinks：代表检测的目录下有多少个符号连接
Total blocks(validated)：代表检测的目录下有多少个block块是有效的
Minimally replicated blocks：代表拷贝的最小block块数
Over-replicated blocks：指的是副本数大于指定副本数的block数量
Under-replicated blocks：指的是副本数小于指定副本数的block数量
Mis-replicated blocks：指丢失的block块数量
Default replication factor: 3 指默认的副本数是3份（自身一份，需要拷贝两份）
Missing replicas：丢失的副本数
Number of data-nodes：有多少个节点
Number of racks：有多少个机架