flume系列之：监控flume有没有关闭上个小时的临时文件gz.tmp，并发送告警信息

已于 2022-03-31 12:24:23 修改
阅读量1.9k 收藏 1
点赞数 1
分类专栏： flume 文章标签： flume系列 监控flume 临时文件gz.tmp 告警信息
于 2022-03-31 09:25:05 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhengzaifeidelushang/article/details/123862504
版权
flume 专栏收录该内容
70 篇文章 20 订阅 ¥29.90 ¥99.00
订阅专栏
博客介绍了如何监控Flume在HDFS上生成的gz.tmp临时文件是否在上个小时被正确关闭。通过设置Flume配置，文件达到128M时滚动为gz。博客内容包括：登陆远程服务器、获取时间、Kerberos认证、查找tmp文件、执行告警及手动关闭文件的方法，并提供了相关博客链接。
摘要由CSDN通过智能技术生成

flume系列之：监控flume有没有关闭上个小时的gz.tmp文件

一、flume落到hdfs文件格式

设置flume落到hdfs文件格式：

  • sinks.sink1.hdfs.codeC sinks.sink1.hdfs.codeC = gzip
  • 文件压缩格式，包括：gzip,bzip2, lzo, lzop, snappy

设置flume落到hdfs文件大小：

  • sinks.sink1.hdfs.rollSize
  • sinks.sink1.hdfs.rollSize = 134217728
  • 默认值1024字节
  • 当临时文件达到该大小（单位：bytes）时，滚动成目标文件
    这里设置128M

这样flume落到hdfs文件格式为：gz.tmp，当文件大小达到128M时，会关闭临时文件gz.tmp为gz。下个小时开始会把上个小时生成的gz.tmp文件全部关闭。

监控上个小时的临时文件gz.tmp是否全部关闭，确保flume生成的文件可以正常读取。

二、登陆远程服务器代码

    #生产服务器环境不需要代理去掉，本地运行程序打开代理
了解本专栏 订阅专栏 解锁全文
快乐骑行^_^
关注
专栏目录
订阅专栏
Flume监控：实时检测零字节文件并发送告警通知
DevEnigma的博客
08-16 111
我们通过编写自定义拦截器类，并在Flume配置文件中引入该拦截器，实现了对生成的零字节文件的监控。同时，通过发送告警信息的方式，我们可以及时通知运维人员并采取相应的处理措施。然而，在实际应用中，我们经常需要监控Flume的运行状态，包括检测是否有生成零字节大小的文件。通过以上步骤，我们实现了对Flume生成零字节文件的实时监控，并通过发送告警信息的方式提醒运维人员。最后，我们可以启动Flume，并观察运行结果。如果Flume生成了零字节文件，将会触发自定义拦截器中的告警逻辑，从而发送告警信息给运维人员。
flume系列之：Closing file: gz.tmpfailed. Will retry again in 180 seconds.
zhengzaifeidelushang的博客
11-06 624
flume系列之：Closing file: gz.tmpfailed. Will retry again in 180 seconds.
监控Flume的log日志并钉钉告警
lihuazaizheli的博客
09-08 597
文章目录1.撰写监控脚本2.传入监控目录并crontab定时调度3.效果 1.撰写监控脚本 #!/bin/bash now=`date '+%Y-%m-%d %H:%M:%S'` # 传入要遍历的目录 root_dir="$1" # 初始化监控文件,通过getdir方法得到 monitor_file= # 错误记录到mysql function error_storage(){ /usr/bin/mysql -uXXX -pxxx -h XXX -P 3306 -e \ "use hadoop;
flume系列之：清理HDFS上的tmp文件，把.gz.tmp文件变为.gz文件
zhengzaifeidelushang的博客
02-08 1706
flume出现异常，hdfs上生成的gz.tmp文件没有正常关闭，需要把这些gz.tmp格式的文件转变为gz文件，可以写一个脚本找出所有的tmp文件，然后再执行hadoop fs -mv命令把所有的.gz.tmp文件变为.gz文件。 一、查找hdfs指定目录下的tmp文件 查找hdfs指定目录下的tmp文件 生成hadoop fs -mv filename.gz.tmp filename.gz命令存放到脚本cleanTemp.sh中 执行sh cleanTemp.sh把所有的.gz.tmp文件变为.gz
Flume-数据监控
m0_57697768的博客
03-19 1203
flume事务，flume组件结构，flumeSource类型
flume系列之：解决报错Closing file: ....gz.tmp failed. Will retry again in 180 seconds.ClosedChannelException
zhengzaifeidelushang的博客
09-18 140
flume系列之：解决报错Closing file: ....gz.tmp failed. Will retry again in 180 seconds.java.nio.channels.ClosedChannelException at
Flume系列：清理HDFS上的临时文件，将“.gz.tmp“文件转为“.gz“文件
2301_79366177的博客
08-21 171
在使用Flume时，有时会出现一些临时文件（以".gz.tmp"为例），它们需要被清理并转换为最终的文件格式（例如".gz"）。综上所述，我们通过使用Hadoop的Java API和Flume，可以清理HDFS上的临时文件并将其转换为最终的文件格式。Flume系列：清理HDFS上的临时文件，将".gz.tmp"文件转为".gz"文件。方法，我们检查文件名是否以".gz.tmp"结尾。在上述代码中，我们遍历了目录中的每个文件，并获取文件名。方法去掉".tmp"部分，得到新的文件名。获取该目录下的文件列表。
flume系列之：Error while trying to hflushOrSync，查看hdfs生成的文件发现文件损坏
zhengzaifeidelushang的博客
03-30 1801
一、flume完整报错如下所示 flume日志一直报如下错误： 13 Mar 2022 10:45:30,319 ERROR [hdfs-sink1-call-runner-400] (org.apache.flume.sink.hdfs.AbstractHDFSWriter.hflushOrS ync:269) - Error while trying to hflushOrSync! 264 25 Mar 2022 10:45:30,319 WARN [hdfs-sink1-roll-t
flume系列之：Unexpected error java.util.concurrent.RejectedExecutionException: Task java.util.concurrent
最新发布
zhengzaifeidelushang的博客
11-06 31
flume系列之：ERROR [hdfs-sink1-roll-timer-1] org.apache.flume.sink.hdfs.BucketWriter$2.call:340 - Unexpected error java.util.concurrent.RejectedExecutionException: Task java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask@308e7e22 rejected fro
Flume
qq_31827693的博客
08-23 129
conf文件下 vim **.conf a1.sources = r1 a1.channels= c1 a1.sinks = s1 #监控此目录的变化 a1.sources.r1.type = spooldir a1.sources.r1.spoolDir = /data/zebradata #增加拦截器 处理读取的数据 a1.sources.r1.interceptors = i1 #增加事件戳...
基于 Flume+Kafka+Spark Streaming 实现实时监控输出日志的报警系统的 Spark Streaming 程序代码
08-01
基于 Flume+Kafka+Spark Streaming 实现实时监控输出日志的报警系统的 Spark Streaming 程序代码，博客链接： https://blog.csdn.net/linge1995/article/details/81326146
Flume之实时监控目录下的多个追加文件
weixin_49063354的博客
08-24 807
1.实时监控目录下的多个追加文件 ​ Exec source适用于监控一个实时追加的文件，不能实现断点续传；Spooldir Source适合用于同步新 文件，但不适合对实时追加日志的文件进行监听并同步；而Taildir Source适合用于监听多个实时追加 的文件，并且能够实现断点续传。 1）案例需求:使用Flume监听整个目录的实时追加文件，并上传至HDFS 2）需求分析: （1）创建符合条件的flume配置文件 （2）执行配置文件，开启监控 （3）向监控文件追加内容 ​ echo 1111 >&
flume：支持重命名、移动文件的roll file sink升级版
始终不够
09-01 9678
flume roll file sink升级版，支持以下特性： 支持针对已处理完成文件重命名 支持已处理完成文件移动 支持空文件删除（当进行文件移动或文件重命名时，如文件为空，则执行delete()操作） 支持文件多路复制
清理HDFS上的临时文件，将.gz.tmp文件转化为.gz文件
2301_79366177的博客
08-12 246
本文将介绍如何使用Flume和Hadoop命令行工具来清理HDFS上的临时文件，并将以".gz.tmp"结尾的文件转化为以".gz"结尾的文件。接下来，我们需要使用Hadoop命令行工具来将".gz.tmp"文件转化为以".gz"结尾的文件。然后，我们将文件移动到HDFS的另一个目录中。上述脚本会遍历指定目录中的所有".gz.tmp"文件，并将它们移动到相同目录下，并将文件从".gz.tmp"重命名为".gz"。上述命令将临时文件从一个目录移动到另一个目录，并将文件从".gz.tmp"重命名为".gz"。
08_Flume之HDFS Sink 的参数解析及异常处理
weixin_40727028的博客
04-15 671
设置为0，如果flume程序突然宕机，就会导致 hdfs上的 .tmp后缀的文件无法会更改为完成的文件，造成一种假象，以为该文件正在写入。当程序重启时，就会有两个 .tmp文件。需要注意的是，这些jar包的版本要和你的Hadoop集群的版本保持一致，否则可能会出现不兼容等问题。rollInterval、rollSize、rollCount是基于文件的条件限制滚动生成文件的，基于文件而言的。rollInterval、rollSize、rollCount是基于文件的条件限制滚动生成文件的，基于文件而言的。
Flume相关总结
菲比之屋
08-04 218
1. Flume组成，Put事务，Take事务 1）Flume组成，Put事务，Take事务 Taildir Source：断点续传、多目录。Flume1.6以前需要自己自定义Source记录每次读取文件位置，实现断点续传。 File Channel：数据存储在磁盘，宕机数据可以保存。但是传输速率慢。适合对数据传输可靠性要求高的场景，比如，金融行业。 ...
日志监控告警系统的设计与实现
热门推荐
朱培(知浅_ZLH)
06-13 5万+
日志监控告警系统 基于的日志进行监控，监控需要一定规则，对触发监控规则的日志信息进行告警，告警的方式，是短信和邮件。 log4j---->error,info,debug 应用程序程序的日志 error级别 TimeOutException 角标越界IndexXXXException ......Error com.alibaba.jstorm.daemon.worker.Wo...
Flume监控
qq_27710549的博客
09-11 3002
Flume提供了四种监控方式：JMX Reporting、Ganglia Reporting、JSON Reporting、Custom Reporting，选择最简单的JSON Reporting方式，监控方案是 JSON Reporting + flume_exporter + Prometheus + Grafana。 JSON Reporting请参考官方文档 http://flume.a...
大数据实时案例--实时日志监控告警系统
weixin_42229056的博客
09-29 2万+
本次介绍使用Flume+kafka+storm+mysql的实时日志监控告警系统，代码部分比较多，会放在一个下载的连接里面，可以免费下载。 需求 在软件开发中国，上线运行时经常会出现一些报错，但是我们如果不能进行有效的实时监控，及时的处理，经常会带来巨大损失。为了保证异常的即使处理，我们设计一套系统，对产生的日志进行实时的监控，放出现异常或者指定的信息的时候，给我们的对应工作人员发送邮件和短信提...
Flume 1.6.0版本特性：高效文件数据监控解决方案
文件监控是 Flume 中的一个重要应用场景，它允许用户监控文件系统的变化，一旦有新文件或文件内容发生变化，Flume 就可以被配置来捕捉这些变化并将数据传输到指定的目的地。这对于日志聚合系统尤其有用，因为它们...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

快乐骑行^_^

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值