flume系列之：解决报错Closing file: ....gz.tmp failed. Will retry again in 180 seconds.ClosedChannelException

于 2024-09-18 17:39:48 发布
阅读量10 收藏
点赞数
分类专栏： flume 文章标签： flume 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhengzaifeidelushang/article/details/142338990
版权
flume 专栏收录该内容
66 篇文章 18 订阅 ¥29.90 ¥99.00
订阅专栏

flume系列之：解决报错Closing file: ....gz.tmp failed. Will retry again in 180 seconds.java.nio.channels.ClosedChannelException at

一、完整报错

  • 18 Sep 2024 15:34:28,434 WARN [hdfs-sink1-roll-timer-0] (org.apache.flume.sink.hdfs.BucketWriter$CloseHandler.close:396) - Closing file: /prod/raw/kafka/debezium-prod/optics_prod/product/1h/20240905/17/flume-001.gz.tmp failed. Will retry again in 180 seconds.
    java.nio.channels.ClosedChannelException
    at org.apache.hadoop.hdfs.ExceptionLastSeen.throwException4Close(ExceptionLastSeen.java:73)
    at org.apache.hadoop.hdfs.DFSOutputStream.checkClosed(DFSOutputStream.java:153)
    at org.apache.hadoop.hdfs.DFSOutputStream.flushOrSync(DFSOutputStream.java:625)
    at org.apache.hadoop.hdfs.DFSOutputStream.hflush(DFSOutputStream.java:580)
    at org.apache.hadoop.fs.FSDataOutputStream.hflush(FSDataOutputStream.java:13
了解本专栏 订阅专栏 解锁全文
快乐骑行^_^
关注
专栏目录
订阅专栏
flume系列之：Closing file: gz.tmpfailed. Will retry again in 180 seconds.
zhengzaifeidelushang的博客
11-06 579
flume系列之：Closing file: gz.tmpfailed. Will retry again in 180 seconds.
flume系列之：清理HDFS上的tmp文件，把.gz.tmp文件变为.gz文件
zhengzaifeidelushang的博客
02-08 1663
flume出现异常，hdfs上生成的gz.tmp文件没有正常关闭，需要把这些gz.tmp格式的文件转变为gz文件，可以写一个脚本找出所有的tmp文件，然后再执行hadoop fs -mv命令把所有的.gz.tmp文件变为.gz文件。 一、查找hdfs指定目录下的tmp文件 查找hdfs指定目录下的tmp文件 生成hadoop fs -mv filename.gz.tmp filename.gz命令存放到脚本cleanTemp.sh中 执行sh cleanTemp.sh把所有的.gz.tmp文件变为.gz
flume-异常Closing file:log.xxxtmp failed. Will retry again in 180 seconds
program哲学
12-10 2289
文章目录现象原因解决方案 现象 21/12/10 16:54:34 ERROR hdfs.HDFSEventSink: process failed java.lang.InterruptedException: Timed out before HDFS call was made. Your hdfs.callTimeout might be set too low or HDFS calls are taking too long. at org.apache.flume.sink.hdfs.Buck
flume系列之：监控flume有没有关闭上个小时的临时文件gz.tmp，并发送告警信息
zhengzaifeidelushang的博客
03-31 1878
flume系列之：监控flume有没有关闭上个小时的gz.tmp文件一、flume落到hdfs文件格式二、本地登陆远程服务器代码三、获取当前时间和上个小时时间四、访问hdfs执行kerberos认证五、查找上个小时是否有tmp文件的命令六、执行查找tmp文件命令代码七、告警信息部分代码八、存在未关闭tmp文件发送告警信息九、完整详细注释代码如下所示十、手动关闭上个小时未关闭的临时文件 一、flume落到hdfs文件格式 设置flume落到hdfs文件格式： sinks.sink1.hdfs.codeC s
flume报java.io.IOException: Not a data file的ERROR
Nicole Cao的博客
11-13 2876
flume清洗时报错 java.io.IOException: Not a data file，错误如下图： opening file 的文件明明是一个数据文件，非要说不是数据文件。没办法，追踪错误，查找源码去。。。 结果在 package org.apache.avro.file 中的 DataFileStream 类的 initialize(InputStreamin)
关于flume使用lzo出现java.lang.IllegalArgumentException: Compression codec com.hadoop.compression.lzo.的问题总结
yuyuyuxiaolei的博客
01-30 2516
使用flume抽取日志数据使用flume拦截器将数据发送到kafka不同的topic中，使用flume作为kafka的消费者将不同topic中的数据使用LZO压缩方式将数据sink到hdfs中出现以下错误： 2020-01-30 22:04:11,378 (conf-file-poller-0) [WARN - org.apache.hadoop.util.NativeCodeLoader.&...
flume系列之：java.lang.IllegalArgumentException: Can‘t get Kerberos realm
zhengzaifeidelushang的博客
09-01 1811
flume系列之：java.lang.IllegalArgumentException: Can't get Kerberos realm
flume 时报 NoSuchMethodError: com.google.common.base.Preconditions.checkArgument
yang灬仔
07-07 1342
问题 服务器上环境hadoop 3.0、flume 1.9 运行flume报错： 2020-07-07 16:39:56,359 (SinkRunner-PollingRunner-DefaultSinkProcessor) [ERROR - org.apache.flume.sink.hdfs.HDFSEventSink.process(HDFSEventSink.java:459)] process failed java.lang.NoSuchMethodError: com.google.c.
Kafka报错：org.apache.flume.ChannelException: Take failed due to IO error [channel=c1]
Silver_Sword的博客
08-09 2362
2018-08-09 11:32:06,186 (SinkRunner-PollingRunner-DefaultSinkProcessor) [INFO - org.apache.flume.channel.file.LogFile$RandomReader.checkOut(LogFile.java:560)] Opening /home/bigdata/flume/data/log-2 fo...
解决Flume启动报错 java.lang.ClassNotFoundException: org.apache.zookeeper.KeeperException
Young Lee
05-25 4960
nohup: ignoring input Info: Including Hive libraries found via () for Hive access + exec /opt/jdk1.8.0_221/bin/java -Xmx20m -Dflume.root.logger=INFO,console -cp 'conf:/opt/apache-flume-1.9.0-bin/lib/*:/lib/*' -Djava.library.path= org.apache.flume.node.Appl
flume系列之：flume基于kafka.topics和kafka.topics.regex两种方式匹配Kafka Topic
zhengzaifeidelushang的博客
08-29 695
flume系列之：flume基于kafka.topics和kafka.topics.regex两种方式匹配Kafka Topic
flume系列之：配置kafka用户名密码flume_jass.conf
zhengzaifeidelushang的博客
01-19 996
flume系列之：配置kafka用户名密码flume_jass.conf cat flume_jass.conf KafkaClient { org.apache.kafka.common.security.plain.PlainLoginModule required username="optics" password="optics123"; };
flume系列之：消费Kafka集群Topic报错java.io.IOException: Can‘t resolve address: data03:9092
zhengzaifeidelushang的博客
09-21 576
flume系列之：消费Kafka集群Topic报错java.io.IOException: Can't resolve address: data03:9092。
flume系列之：Error while trying to hflushOrSync和Lease. Holder: DFSClient_NONMAPREDUCE
zhengzaifeidelushang的博客
11-01 1090
flume系列之：Error while trying to hflushOrSync和Lease. Holder: DFSClient_NONMAPREDUCE
Flume：大规模日志收集与数据传输的利器
Casual_Lei的博客
09-14 1035
是一个分布式、可靠、可扩展的日志收集和聚合系统，设计的初衷是用于高效收集和传输大量日志数据。它通常用于将数据从各种数据源，如日志文件、应用服务器、甚至是消息队列，实时传输到大数据处理系统（如 Hadoop 的 HDFS、HBase 或 Kafka）。Flume 的一个重要特点是其“可插拔性”，可以灵活地配置不同的数据源（Source）和目标存储（Sink），通过中间通道（Channel）来实现可靠的数据传输。Apache Flume 是一个非常强大的工具，适用于大规模日志数据的实时收集和传输。
消息中间件有哪些常见类型
最新发布
weixin_57763462的博客
09-15 605
需要注意的是，这些类型并不是严格互斥的，有些消息中间件可能支持多种消息传递模式或结合了多种类型的特点。在这种模型中，消息被发送到特定的队列中，消费者从队列中取出并处理消息。在发布/订阅模型中，消息被发布到特定的主题（Topic）上，所有订阅了该主题的消费者都可以接收到这个消息。消息代理是一种更通用的概念，它涵盖了上述的点对点和发布/订阅模型，以及可能的其他消息传递模式。消息代理作为消息的存储和转发中心，负责消息的路由、过滤、持久化等功能。这类消息系统使用日志结构来存储消息，提供了极高的吞吐量和可扩展性。
从AI到大数据，数字技术服务平台全栈赋能企业升级
smjt2024的博客
09-11 678
海量的数据中蕴含着丰富的信息和价值，数字技术服务平台能够收集、整理和分析这些数据，为企业提供精准的市场洞察和决策支持。企业可以通过参加树莓集团举办的培训课程和研讨会，了解最新的数字技术趋势和应用案例，提升自身的数字技术水平。从技术咨询、解决方案设计到系统实施和运维，数字技术服务平台为企业提供一站式的服务，让企业无需担心技术难题，专注于自身的核心业务。树莓集团的数字技术服务平台，以其先进的技术、专业的服务和丰富的经验，为企业提供了全栈赋能。在数字时代，让我们共同利用数字技术服务平台，开启企业升级的新篇章。
大数据-132 - Flink SQL 基本介绍 与 HelloWorld案例
永远好奇，无限进步！
09-12 2500
Flink SQL 是 Apache Flink 提供的一种高层次的查询语言接口，它基于 SQL 标准，为开发者提供了处理流式数据和批处理数据的能力。Flink SQL 允许用户使用标准 SQL 查询语言在数据流和数据表上执行复杂的操作，适用于多种应用场景，如实时分析、数据流处理、机器学习等。Flink SQL 的一大特点是流处理和批处理的统一性。通过同一套 SQL 语法，用户可以同时处理静态数据（批处理）和动态数据（流处理）。这使得应用程序的开发更加简化，因为可以用相同的逻辑编写实时流数据处理和历史数据的
【大数据】探索怎么从一段话中解析关键信息（寄件人相关信息）
一个不断前行的程序者
09-12 623
通过使用Spacy的NLP功能，我们成功实现了从文本中提取姓名、地址和电话号码的功能。需要注意的是，这个简单的示例可能在处理复杂文本时效果不佳，实际应用中可能需要进一步的优化和训练。此外，对于电话号码的识别，我们简单地使用了数字长度作为判断依据，这并不准确。在实际应用中，我们可以使用正则表达式来更准确地识别电话号码。希望这个博客能够帮助你了解如何使用NLP技术实现文本信息解析功能。如果有任何疑问，欢迎在评论区留言讨论！
flume 报错 java.nio.charset.MalformedInputException:Input lenth =1怎么解决
10-19
flume报错java.nio.charset.MalformedInputException: Input length = 1通常是由于flume接收到的数据编码格式不正确导致的。解决方案如下： 1.检查flume配置文件中的编码格式是否正确。 2.检查flume接收到的数据是否符合指定的编码格式。 3.尝试使用其他编码格式进行解析。 4.如果以上方法都无法解决问题，可以考虑使用第三方库进行解析。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

快乐骑行^_^

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值