flume系列之：Closing file: gz.tmpfailed. Will retry again in 180 seconds.

已于 2024-09-30 10:50:30 修改
阅读量624 收藏 1
点赞数 3
分类专栏： flume 文章标签： flume
于 2022-11-06 18:50:53 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhengzaifeidelushang/article/details/127719129
版权
flume 专栏收录该内容
70 篇文章 20 订阅 ¥29.90 ¥99.00
订阅专栏
这篇博客介绍了Apache Flume在处理数据时遇到的'Closing file: gz.tmp failed. Will retry again in 180 seconds.'警告的详细情况。问题源于HDFS压力过大导致文件关闭超时。文章解释了错误原因，即HDFS操作超时，并解析了配置参数'hdfs.callTimeout'的作用。提供了解决方案，包括增加该参数的值以及修改源码来解决此问题。
摘要由CSDN通过智能技术生成

flume系列之：Closing file: gz.tmpfailed. Will retry again in 180 seconds.

一、完整报错

  • 05 Nov 2022 15:25:03,244 WARN [hdfs-sink1-roll-timer-4] (org.apache.flume.sink.hdfs.BucketWriter$CloseHandler.close:396) - Closing file: {hdfsPath}.tmp failed. Will retry again in 180 seconds.
  • java.nio.channels.ClosedChannelException

二、错误原因

  • HDFS压力大，无法在指定时间范围内，成功关闭tmp文件

三、参数理解

  • hdfs.callTimeout
  • 默认值：10000
  • 允许HDFS操作的毫秒数，例如：open，write, flush, close。如果很多HFDS操作超时，这个配置应该增大。

四、解决方法

方法一：

修改flume配置文件：

  • 增大参数hdfs.callTimeout的值
  • teflume_prod2.sinks.sink1.hdfs.callTimeout = 300000

方法2二ÿ

了解本专栏 订阅专栏 解锁全文
快乐骑行^_^
关注
专栏目录
订阅专栏
flume系列之：解决报错Closing file: ....gz.tmp failed. Will retry again in 180 seconds.ClosedChannelException
zhengzaifeidelushang的博客
09-18 140
flume系列之：解决报错Closing file: ....gz.tmp failed. Will retry again in 180 seconds.java.nio.channels.ClosedChannelException at
flume系列之：监控flume有没有关闭上个小时的临时文件gz.tmp，并发送告警信息
zhengzaifeidelushang的博客
03-31 1936
flume系列之：监控flume有没有关闭上个小时的gz.tmp文件一、flume落到hdfs文件格式二、本地登陆远程服务器代码三、获取当前时间和上个小时时间四、访问hdfs执行kerberos认证五、查找上个小时是否有tmp文件的命令六、执行查找tmp文件命令代码七、告警信息部分代码八、存在未关闭tmp文件发送告警信息九、完整详细注释代码如下所示十、手动关闭上个小时未关闭的临时文件 一、flume落到hdfs文件格式 设置flume落到hdfs文件格式： sinks.sink1.hdfs.codeC s
flume-异常Closing file:log.xxxtmp failed. Will retry again in 180 seconds
program哲学
12-10 2336
文章目录现象原因解决方案 现象 21/12/10 16:54:34 ERROR hdfs.HDFSEventSink: process failed java.lang.InterruptedException: Timed out before HDFS call was made. Your hdfs.callTimeout might be set too low or HDFS calls are taking too long. at org.apache.flume.sink.hdfs.Buck
flume系列之：清理HDFS上的tmp文件，把.gz.tmp文件变为.gz文件
zhengzaifeidelushang的博客
02-08 1706
flume出现异常，hdfs上生成的gz.tmp文件没有正常关闭，需要把这些gz.tmp格式的文件转变为gz文件，可以写一个脚本找出所有的tmp文件，然后再执行hadoop fs -mv命令把所有的.gz.tmp文件变为.gz文件。 一、查找hdfs指定目录下的tmp文件 查找hdfs指定目录下的tmp文件 生成hadoop fs -mv filename.gz.tmp filename.gz命令存放到脚本cleanTemp.sh中 执行sh cleanTemp.sh把所有的.gz.tmp文件变为.gz
Flume - Error while trying to hflushOrSync异常处理
baidu_31618421的博客
05-19 3064
文档编写目的记录Flume的Error while trying to hflushOrSync异常处理流程集群环境CDH5.16.21问题描述业务场景采用Flume消费Kafka的一个...
Flume-常见错误
迷路剑客个人博客
08-16 2700
Flume-常见错误 1 Closing file failed. Will retry again in 120 seconds. 1.1 报错现象和解决 详细报错信息如下： 09 Aug 2019 17:00:31,787 WARN [SinkRunner-PollingRunner-DefaultSinkProcessor] (org.apache.flume.sink.hdfs.Buck...
Flume中的小文件问题
最新发布
m0_74903429的博客
05-16 419
在Flume的官方文档中可以看出, flume是存在小文件问题的(默认10个Event,或者1kb在Hdfs上创建一个文件;
flume系列之：flume基于kafka.topics和kafka.topics.regex两种方式匹配Kafka Topic
zhengzaifeidelushang的博客
08-29 723
flume系列之：flume基于kafka.topics和kafka.topics.regex两种方式匹配Kafka Topic
flume系列之：Error while trying to hflushOrSync，查看hdfs生成的文件发现文件损坏
zhengzaifeidelushang的博客
03-30 1801
一、flume完整报错如下所示 flume日志一直报如下错误： 13 Mar 2022 10:45:30,319 ERROR [hdfs-sink1-call-runner-400] (org.apache.flume.sink.hdfs.AbstractHDFSWriter.hflushOrS ync:269) - Error while trying to hflushOrSync! 264 25 Mar 2022 10:45:30,319 WARN [hdfs-sink1-roll-t
flume系列之：Error while trying to hflushOrSync和Lease. Holder: DFSClient_NONMAPREDUCE
zhengzaifeidelushang的博客
11-01 1157
flume系列之：Error while trying to hflushOrSync和Lease. Holder: DFSClient_NONMAPREDUCE
Hive外部分区表加载flume打到hdfs上文件读不到.tmp文件怎么办-方法一
张伟的专栏
08-24 773
flume打到hdfs上时，按照文件大小生成文件，在达到指定大小之前数据都是以.tmp文件形式保存在hdfs上，hive外部表也会加载这些文件，但是当文件完成后.tmp会消失，这时候hive会报找不到文件的错误。这篇文章主要介绍Hive外部分区表加载flume打到hdfs上文件读不到.tmp文件怎么办，文中介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们一定要看完！
flume常见报错记录
SW_LCC的博客
06-18 2103
1.java.nio.channels.ClosedChannelException Unexpected exception from downstream 一般来说，这种错误是source往channel写入数据时错误才有的异常，因此只需根据实际情况去处理就行。但有另一种错误，我们配置zabbix监控flume端口时，会每隔固定时间往source端口建立一个tcp连接但并没有发送具体数据。查看...
flume使用中的一些常见错误解决办法 （地址已经使用）
张国荣家的弟弟
12-16 3839
原因：因为不断的启动flume ，而且flume没有关闭，还在后台。 kill -9 15199 2.必须要flume对应的版本，或者参数不能错 重启 flume-ng agent --conf conf/ --name a1 --conf-file job/flume-telnet-logger.conf -Dflume.root.logger=INFO,console ...
flume的配置文件书写
weixin_69402201的博客
05-22 1420
首先进入flume官网 flume.apache.org，这里可以看到flume已经很久没有更新了最新版还是19年一月的（说明flume基本已经没啥可优化的了），以最新版为例。 1.进入flume的文档。 2.翻到官方给的样例先复制到一个文本编辑器中，照着这个改就行，这里我用sublime来写。 3.根据需求修改配置文件，这里以flume作为数据通道，将用户行为数据由Flume从Kafka直接同步到HDFS为例说明。 4.按照规划，该Flume需将Kafka中topic_log的
解决flume1.6中因cdh重启等导致的hdfs文件未关闭问题
eric_lee的专栏
01-08 2711
flume源码修改部分,修改BucketWriter .java /**  * Licensed to the Apache Software Foundation (ASF) under one  * or more contributor license agreements.  See the NOTICE file  * distributed with this work
flume常见异常汇总以及解决方案
weixin_34306676的博客
11-13 3028
 　　　　　　　　　　　　　　　　　　　　　　flume常见异常汇总以及解决方案 　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。     　　实际生产环境中，我用flume将kafka的数据定期的往hdfs集群中上传数据，也遇到过一系列的坑，我在这里做个记录，如果你也遇到同样的错误，可以参考一下...
解决flume运行中的一个异常问题！
weixin_34239169的博客
02-20 1815
今天在本地测试flume的exec  监控文件   分割的问题！！！遇到各种141异常问题！   怀疑是在切割文件的时候超过了监控文本的时间，导致flume异常退出，，，所以增加了keep-alive 时长，，，他的默认值是3秒，，我把它设置为30秒，，，之后运行，，，，他不再异常！！！ 解决：设置agent1.channels.<channel_name>.keep-alive ...
bash: flume-ng: 未找到命令...
04-11
这个错误是指在bash中执行flume-ng命令时出现了找不到命令的错误。可能是因为flume-ng命令没有正确安装或者没有添加到系统环境变量中。您可以尝试重新安装flume-ng命令或者将其添加到系统环境变量中来解决这个问题。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

快乐骑行^_^

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值