flume系列之：Error while trying to hflushOrSync，查看hdfs生成的文件发现文件损坏

快乐骑行^_^

已于 2024-09-30 10:45:27 修改

阅读量1.8k

点赞数 1

分类专栏： flume 文章标签： flume系列 hflushOrSync 文件损坏

于 2022-03-30 21:56:49 首次发布

本文链接：https://blog.csdn.net/zhengzaifeidelushang/article/details/123852644

版权

flume 专栏收录该内容

70 篇文章 20 订阅 ¥29.90 ¥99.00

订阅专栏

博客详细记录了使用Flume时遇到的hflushOrSync错误，以及由此导致的HDFS文件损坏问题。在分析了报错日志和HDFS文件状态后，发现文件的平均块复制数为0，可能是由于HDFS服务重启而未正确关闭文件。文件损坏可能因HDFS租约未释放造成，但这种损坏是可修复的。解决方案包括特定的HDFS命令来恢复损坏文件。

摘要由CSDN通过智能技术生成

flume系列之：Error while trying to hflushOrSync，查看hdfs生成的文件发现文件损坏

一、flume完整报错如下所示
二、追查报错原因
三、问题产生原因总结
四、报错解决方法

一、flume完整报错如下所示

flume日志一直报如下错误：
13 Mar 2022 10:45:30,319 ERROR [hdfs-sink1-call-runner-400] (org.apache.flume.sink.hdfs.AbstractHDFSWriter.hflushOrS ync:269) - Error while trying to hflushOrSync!
264 25 Mar 2022 10:45:30,319 WARN [hdfs-sink1-roll-timer-3] (org.apache.flume.sink.hdfs.BucketWriter$CloseHandler.close :396) - Closing file: {path}.gz.tmp failed. Will retry again in 180 seconds.
265 java.io.IOException: Failing write. Tried pipeline recovery 5 times without success.
266 at org.apache.hadoop.hdfs.DataStreamer.processDatanodeOrExternalError(DataStreamer.java:1250)
267 at org.apache.hadoop.hdfs.DataStreamer.run(DataStreamer.java:667)

查看Hdfs生成文件报错如下所示：
Cannot obtain block l

了解本专栏