Hdfs系列之：查看hdfs文件状态，判断文件是否损坏，修复hdfs损坏文件

最新推荐文章于 2023-11-11 16:00:48 发布
最新推荐文章于 2023-11-11 16:00:48 发布
阅读量2.2k 收藏
点赞数 1
分类专栏： 大数据 文章标签： Hdfs系列 查看文件状态 判断文件是否损坏
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhengzaifeidelushang/article/details/123858650
版权
大数据 专栏收录该内容
527 篇文章 524 订阅 ¥49.90 ¥99.00
订阅专栏

Hdfs系列之：查看hdfs文件状态，判断文件是否损坏，修复hdfs损坏文件

一、查看Hdfs文件状态

命令格式为：

  • hdfs fsck path -openforwrite：打印hdfs文件状态
hdfs fsck /optics_prod/order/1h/20220123/13/debezium-flume-001.prod-flumedata.1648026226340.gz -openforwrite

输出如下所示：

Status: HEALTHY
 Number of data-nodes:	85
 Number of racks:		1
 Total dirs:			0
 Total symlinks:		0

Replicated Blocks:
 Total size:	5088 B
 Tota
了解本专栏 订阅专栏 解锁全文
最笨的羊羊
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
HDFS判断文件或目录是否存在——Shell命令实现 + Java代码实现
01-20
一、Shell命令实现 第一步，启动Hadoop： start-dfs.sh 第二步，检测文件或目录是否存在： hdfs dfs -test -e 文件或目录名 第三步，查看检测结果： echo $? 若输出结果为0，则说明文件或目录存在，若为1，则说明文件或目录不存在。 二、Java代码实现 import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; public class HDFSFileIfExist {
HDFS文件的查看
05-21
hdfs文件的查看 hdfs fs -cat /文件名
深入理解HDFS：Hadoop分布式文件系统
02-24
在现代的企业环境中，单机容量往往无法存储大量数据，需要跨机器存储。统一管理分布在集群上的文件系统称为分布式文件系统。而一旦在系统中，引入网络，就不可避免地引入了所有网络编程的复杂性，例如挑战之一是如果保证在节点不可用的时候数据不丢失。传统的网络文件系统（NFS）虽然也称为分布式文件系统，但是其存在一些限制。由于NFS中，文件是存储在单机上，因此无法提供可靠性保证，当很多客户端同时访问NFSServer时，很容易造成服务器压力，造成性能瓶颈。另外如果要对NFS中的文件中进行操作，需要首先同步到本地，这些修改在同步到服务端之前，其他客户端是不可见的。某种程度上，NFS不是一种典型的分布式系统，虽然
hadoop fsck命令详解
B11050101的博客
11-10 4973
HDFS健康的标准：如果所有的文件满足最小副本的要求，那么就认为文件系统是健康的。 （HDFS is considered healthy if—and only if—all files have a minimum number of replicas available）检查HDFS的健康情况：hadoop提供了fsck tool来对整个文件系统或者单独的文件、目录来进行健康状态的检查。
hadoop2.6修复openforwrite块
It-Self Blog
06-06 921
azkaban任务在日志解析时卡住，来公司后看到如下错误，fsck文件后发现一个块处于openforwrite状态，无法读。同事说昨天重启过节点，猜测是flume采集日志落盘在hdfs时未正常关闭块产生的问题，文件未损坏，只是租约未释放，2.7上有恢复命令（hdfs debug recoverlease），but我们用的是2.6，于是网上找了段代码，执行成功，特此留念。 代码： mk...
hadoop fsck详解
热门推荐
mnasd的博客
08-28 1万+
我们知道fsck是用来检测hdfs上文件、block信息的，但是fsck输出的结果我们是否能看明白呢？   下面我们来看一个fsck输出的结果 hadoop fsck / ########################## 情况一 #################### Status: HEALTHY Total size: 3107919020687 B Total dirs:...
hadoop fsck / -openforwrite 命令解释
weixin_44646794的博客
11-29 625
hadoop命令解释
HDFS上查看文件信息
m0_52680439的博客
11-11 314
3.若查出为损坏的块，将损坏的文件移动至/lost+found目录（ -move）目录下，并查找文件块的位置和机架信息，将查找出来的信息保存至本地的。7.打印文件块的位置信息（-locations），需要和。6.打印文件的Block报告（-blocks），需要和。8.打印文件块位置所在的机架信息（-racks）5.检查并列出所有文件状态（-files）目录上传至 HDFS中。
【排错/运维】修复HDFS丢失、损坏以及副本数的问题
hiliang521的博客
09-30 3747
【排错/运维】修复HDFS丢失、损坏以及副本数的问题
HDFS详解一
open_bigData的博客
01-05 271
block bolck块一般默认为128M,运行一个文件会把这个文件分成一个一个的块来运行 比如160M大小的文件会分成俩个块,第一个是占满的,而剩下的就给第二个块,也就是第一个块128M,第二个快32M 那这时我们想一个问题,文件小而且多会造成什么问题? 比如我们有1亿个小文件,每个文件250个字节,假设我们的namenode是4个g,这时就会把它挤爆,所以我们必须要把小文件给合并成一个差不多的...
hdfs-compress:hdfs 文件 压缩
05-23
hdfs-compress 压缩hdfs文件 一般压缩hdfs指 ，数据文件的压缩 和 mapred 中间结果压缩 工程只做数据压缩，至于MR中间结果压缩减少网络IO，只需要配置 mapred-site.xml 即可，网上资料很多。 工程只实现了lzo的压缩...
hadoop fsck命令分析 + 源码解析
yukikaze_nanoda的博客
08-25 1627
fsck命令分析 HDFS支持fsck命令用以检查各种不一致。fsck用以报告各种文件问题，如block丢失或缺少block等。fack命令用法如下： $HADOOP_HOME/bin/hdfs fsck [-move | -delete | -openforwrite] [-files [-blocks [-locations | -racks]]] <path> 检查的起始目录 -move 将损坏的文件移动到/lost+found下面 -delete
Hadoop 中的Hadoop fsck
金鳞踏雨
09-17 910
我们知道fsck是用来检测hdfs上文件、block信息的，但是fsck输出的结果我们是否能看明白呢？ 参数解释： status：代表这次hdfs上block检测的结果 Total size: 代表/目录下文件总大小 Total dirs：代表检测的目录下总共有多少个目录 Total files：代表检测的目录下总共有多少文件 Total symlinks：代表检测的目录下有多少个符号连接 Total blocks(validated)：代表检测的目录下有多少个block块是有效的 Min
[原创][脚本]解决hdfs openforwrite租约问题，定时检查
百里长庭的博客
03-25 2701
异常信息 hdfs fsck命令排查异常文件 hdfs recoverLease命令释放租约 脚本
hadoop之hdfs生产数据块损坏修复方法
luo981695830的博客
11-28 3385
hadoop之hdfs生产数据块损坏修复方法
查看 hdfs 上文件的文件状态、所属块信息等
初阳
10-24 2329
执行 hdfs fsck 可以得到如下帮助信息： Usage: hdfs fsck <path> [-list-corruptfileblocks | [-move | -delete | -openforwrite] [-files [-blocks [-locations | -racks]]]] [-includeSnapshots] [-storagepolicies] [-blockId <blk_Id>] <path> start che
HDFS故障类型和检测方法
09-15 1375
读数据时，namenode会返回所有datanode的位置，如果从某个datanode无法读数据，会跳过该datanode并选择其他datanode读数据。写数据未收到应答，会跳过该datanode,写入其他datanode,稍后等namenode处理此datanode。1.2 datanode 3秒 发送心跳信号，如果 namenode 未接收到心跳信号，datanode 挂。移除故障datanode,并指定其他datanode拷贝数据。未接受到应答则认为通讯故障。3.datanode故障。
大数据平台运维之HDFS
数字男孩的博客
04-20 460
大数据系列之运维（自主搭建的大数据平台） （1）HDFS运维 在 HDFS 文件系统的根目录下创建递归目录“1daoyun/file”，将附件中的BigDataSkills.txt 文件，上传到 1daoyun/file 目录中，使用相关命令查看文件系统中 1daoyun/file 目录的文件列表信息。使用 HDFS 文件系统检查工具检查文件是否受损。 [root@master ~]# had...
钢筋混凝土污水池及提升泵站施工方案.doc
最新发布
05-03
课程设计污水处理
hdfs java api 读写文件操作_HDFS教程：使用Java API读写命令
05-28
好的，让我来回答您的问题。 使用Java API读写HDFS文件，需要进行以下步骤： 1. 创建Configuration对象，并设置HDFS的URI和文件系统类型。 ```java Configuration conf = new Configuration(); conf.set("fs.defaultFS", "hdfs://localhost:9000"); conf.set("fs.hdfs.impl", org.apache.hadoop.hdfs.DistributedFileSystem.class.getName()); ``` 2. 获取FileSystem对象，并指定使用的文件系统类型。 ```java FileSystem fs = FileSystem.get(conf); ``` 3. 创建Path对象，指定读写的HDFS文件路径。 ```java Path filePath = new Path("/user/hadoop/test.txt"); ``` 4. 使用FSDataInputStream读取HDFS文件内容。 ```java FSDataInputStream inStream = fs.open(filePath); byte[] buffer = new byte[256]; int bytesRead = 0; while ((bytesRead = inStream.read(buffer)) > 0) { System.out.println(new String(buffer, 0, bytesRead)); } inStream.close(); ``` 5. 使用FSDataOutputStream写入HDFS文件内容。 ```java FSDataOutputStream outStream = fs.create(filePath); outStream.writeBytes("Hello, world!"); outStream.close(); ``` 以上就是使用Java API读写HDFS文件的基本步骤。希望能够帮助到您！

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

最笨的羊羊

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值