Hdfs系列之：查看hdfs文件状态，判断文件是否损坏，修复hdfs损坏文件

最新推荐文章于 2023-11-11 16:00:48 发布
最新推荐文章于 2023-11-11 16:00:48 发布
阅读量2.4k 收藏
点赞数 2
分类专栏： 大数据 文章标签： Hdfs系列 查看文件状态 判断文件是否损坏
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhengzaifeidelushang/article/details/123858650
版权
大数据 专栏收录该内容
537 篇文章 545 订阅 ¥49.90 ¥99.00
订阅专栏
本文介绍了如何查看HDFS文件状态，理解相关参数，如存储块大小、复制因子等，并详细阐述了判断文件是否损坏的方法。当发现坏块时，提供了修复HDFS损坏文件的命令，帮助维护集群的健康状态。
摘要由CSDN通过智能技术生成

Hdfs系列之：查看hdfs文件状态，判断文件是否损坏，修复hdfs损坏文件

一、查看Hdfs文件状态

命令格式为：

  • hdfs fsck path -openforwrite：打印hdfs文件状态
hdfs fsck /optics_prod/order/1h/20220123/13/debezium-flume-001.prod-flumedata.1648026226340.gz -openforwrite

输出如下所示：

Status: HEALTHY
 Number of data-nodes:	85
 Number of racks:		1
 Total dirs:			0
 Total symlinks:		0

Replicated Blocks:
 Total size:	5088 B
 Total files:	1
 Total blocks
了解本专栏 订阅专栏 解锁全文
快乐骑行^_^
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
flume系列之：Error while trying to hflushOrSync，查看hdfs生成的文件发现文件损坏
zhengzaifeidelushang的博客
03-30 1699
一、flume完整报错如下所示 flume日志一直报如下错误： 13 Mar 2022 10:45:30,319 ERROR [hdfs-sink1-call-runner-400] (org.apache.flume.sink.hdfs.AbstractHDFSWriter.hflushOrS ync:269) - Error while trying to hflushOrSync! 264 25 Mar 2022 10:45:30,319 WARN [hdfs-sink1-roll-t
hadoop fsck命令详解
B11050101的博客
11-10 5363
HDFS健康的标准：如果所有的文件满足最小副本的要求，那么就认为文件系统是健康的。 （HDFS is considered healthy if—and only if—all files have a minimum number of replicas available）检查HDFS的健康情况：hadoop提供了fsck tool来对整个文件系统或者单独的文件、目录来进行健康状态的检查。
【排错/运维】修复HDFS丢失、损坏以及副本数的问题
hiliang521的博客
09-30 4187
【排错/运维】修复HDFS丢失、损坏以及副本数的问题
检查HDFS的健康状态
早睡早起的Hadooper
02-18 5511
首先需要明确的问题是：HDFS健康的标准是什么样的呢？ 如果所有的文件满足最小副本的要求，那么就认为文件系统是健康的。 （HDFS is considered healthy if—and only if—all files have a minimum number of replicas available） 如何检查HDFS的健康情况呢？ hadoop提供了fsck tool来对整个文
查看 hdfs 上文件的文件状态、所属块信息等
初阳
10-24 2473
执行 hdfs fsck 可以得到如下帮助信息： Usage: hdfs fsck <path> [-list-corruptfileblocks | [-move | -delete | -openforwrite] [-files [-blocks [-locations | -racks]]]] [-includeSnapshots] [-storagepolicies] [-blockId <blk_Id>] <path> start che
HDFS上查看文件信息
m0_52680439的博客
11-11 659
3.若查出为损坏的块，将损坏的文件移动至/lost+found目录（ -move）目录下，并查找文件块的位置和机架信息，将查找出来的信息保存至本地的。7.打印文件块的位置信息（-locations），需要和。6.打印文件的Block报告（-blocks），需要和。8.打印文件块位置所在的机架信息（-racks）5.检查并列出所有文件状态（-files）目录上传至 HDFS中。
hadoop fs -stat 查看文件状态
weixin_30378623的博客
09-19 286
转载来自：https://blog.csdn.net/knowledgeaaa/article/details/24394287 当向HDFS上写文件时，可以通过设置dfs.block.size配置项来设置文件的block size，这导致HDFS上不同文件的block size是不同的。有时候我们需要知道HDFS上某个文件的block size，比如想知道该该文件作为job的输...
hdfs-compress:hdfs 文件 压缩
05-23
hdfs-compress 压缩hdfs文件 一般压缩hdfs指 ，数据文件的压缩 和 mapred 中间结果压缩 工程只做数据压缩，至于MR中间结果压缩减少网络IO，只需要配置 mapred-site.xml 即可，网上资料很多。 工程只实现了lzo的压缩...
java查看hdfs文件是否已打开,有什么方法可以检查Hadoop文件是否已经打开以进行写入？...
weixin_29507477的博客
02-16 183
Multiple Java instances are running on my machine and I want to check whether the Hadoop file is already opened in write (fs.create(file) or fs.append(file)) mode in any of the instances.I Tried in Fi...
获取hdfs没有正常关闭的文件并删除
zhoujj303030的专栏
03-17 2915
由于hdfs文件系统中存在损坏的文件导致mapreducejob执行出错： 使用以下命令搜索HDFS文件没有正常关闭的文件： hadoop fsck /logs/ -files -openforwrite | grep "MISSING" 将搜索到的文件写入文件： hadoop fsck /logs/ -files -openforwrite | grep "MIS
Hadoop集群硬盘故障分析与自动化修复
weixin_34177064的博客
07-15 198
Hadoop集群硬盘故障分析与自动化修复摘要：硬盘在服务器中起着至关重要的作用，因为硬盘里面存储的是数据，随着制造业技术的提高，硬盘的类型也在逐渐的改变。对于硬盘的管理是IAAS部门的责任，但作为业务运维也需要懂得相关的技术。有的公司采用LVM来管理硬盘，这样做方便扩缩容，也有的公司直接用裸盘来存数据，这样做的好处是不会因LVM而损失掉一部分硬盘I/O速度。需要根据不同的场景...
hadoop文件损坏解决办法
weiweiyixiaocsdn的专栏
04-11 1708
今天把集群重新扩容了一下，把之前的两台电脑重新装了系统，结果启动hadoop发现报错了 问题原因：在hdfs-site中配置的副本书为1，而且把两台机子的文件给清理了，导致一部分数据丢失，而且无法恢复，报错导致hbase无法访问60010端口 解决办法：使用 hadoop fsck / 列出损坏文件，损坏的文件无法恢复，只能删除损坏的文件   hadoop fsck -delete
[原创][脚本]解决hdfs openforwrite租约问题，定时检查
百里长庭的博客
03-25 2772
异常信息 hdfs fsck命令排查异常文件 hdfs recoverLease命令释放租约 脚本
五、Hadoop核心组件之HDFS
象在舞的技术专栏
07-25 2624
上篇博客介绍了Hadoop的本地模式和伪分布式，本篇主要介绍Hadoop的完全分布式，关注专栏《from zero to hero（Hadoop篇）》查看相关系列的文章~ 一、HDFS的产生背景 随着数据量越来越大，一个操作系统存不下所有的数据，那么就需要分配到更多的操作系统中，但是这样不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统，而HDFS正式分布式文件管理系统中的一种。 二、HDFS的定义 HDFS（Hadoop D...
HDFS故障类型和检测方法
09-15 1471
读数据时，namenode会返回所有datanode的位置，如果从某个datanode无法读数据，会跳过该datanode并选择其他datanode读数据。写数据未收到应答，会跳过该datanode,写入其他datanode,稍后等namenode处理此datanode。1.2 datanode 3秒 发送心跳信号，如果 namenode 未接收到心跳信号，datanode 挂。移除故障datanode,并指定其他datanode拷贝数据。未接受到应答则认为通讯故障。3.datanode故障。
hdfs openforwrite recoverLease
hua_ed的专栏
11-12 745
hdfs fsck /xx/origin_table_files/ods_event/pt_date=20191016 -openforwrite | grep -v ".tmp" cat 3.txt | sed 's/OPENFORWRITE:/\n/g'| grep -o "pt_date=.* bytes" | sed 's/: MISSING/\n/g' | sed 's/.\+...
51浅析建设工程全过程造价管理.docx
最新发布
09-12
51浅析建设工程全过程造价管理
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

快乐骑行^_^

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值