flume系列之：监控flume上个小时生成的HDFS文件是否有损毁，并发送告警信息

快乐骑行^_^

已于 2022-06-23 12:53:50 修改

阅读量2.5k

点赞数 1

分类专栏： flume 文章标签： flume系列损毁文件

于 2022-03-31 12:41:51 首次发布

本文链接：https://blog.csdn.net/zhengzaifeidelushang/article/details/123868852

版权

flume 专栏收录该内容

70 篇文章 20 订阅 ¥29.90 ¥99.00

订阅专栏

该博客介绍了一个使用Flume监控HDFS上一个小时生成的文件是否损毁的方案。通过登陆远程服务器，执行HDFS命令进行kerberos认证，查找并判断上个小时是否有损坏文件，一旦发现损毁文件，即发送告警信息。内容涉及HDFS文件状态检查、SSH连接、Kerberos认证和告警机制。

摘要由CSDN通过智能技术生成

flume系列之：监控flume上个小时生成的HDFS文件是否有损毁，并发送告警信息

一、查看HDFS文件状态背景知识
二、登陆远程服务器代码
三、获取当前时间和上个小时时间
四、访问hdfs执行kerberos认证
五、查找上个小时是否有损毁文件的命令
六、执行查找损毁文件命令代码
七、告警信息部分代码
八、存在损毁文件发送告警信息
九、完整详细注释代码如下所示

一、查看HDFS文件状态背景知识

相关背景知识参考博主下面两篇博客：

Hdfs系列之：查看hdfs文件状态，判断文件是否损坏，修复hdfs损坏文件
flume系列之：Error while trying to hflushOrSync，查看hdfs生成的文件发现文件损坏

二、登陆远程服务器代码

    #生产服务器环境不需要代理去掉，本地运行程序打开代理
    socks.set_default_proxy(socks.HTTP

了解本专栏

订阅专栏解锁全文

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

快乐骑行^_^

关注关注

1
点赞
踩
0

收藏

觉得还不错? 一键收藏
打赏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

订阅专栏

Flume14：Flume的进程监控

weixin_40612128的博客

03-04

1356

一、Flume的进程监控 Flume的Agent服务是一个独立的进程，假设我们使用source->channel->sink实现了一个数据采集落盘的功能，如果这个采集进程被误操作干掉了，这个时候我们是发现不了的，什么时候会发现呢？可能第二天，产品经理找到你了，说昨天的这个指标值有点偏低啊，你来看下怎么回事，然后你就一顿操作猛如虎，结果发现原始数据少了一半多，那是因为Flume的采集程序在昨天下午的时候被误操作干掉了。找到问题之后，你就苦巴巴的手工去补数据，重跑计算程序，最后再找产品经理确认数

flume系列之：Error while trying to hflushOrSync，查看hdfs生成的文件发现文件损坏

zhengzaifeidelushang的博客

03-30

1801

一、flume完整报错如下所示 flume日志一直报如下错误： 13 Mar 2022 10:45:30,319 ERROR [hdfs-sink1-call-runner-400] (org.apache.flume.sink.hdfs.AbstractHDFSWriter.hflushOrS ync:269) - Error while trying to hflushOrSync! 264 25 Mar 2022 10:45:30,319 WARN [hdfs-sink1-roll-t

参与评论您还未登录，请先登录后发表或查看评论

第1节 flume：7、flume的监控文件夹，实现数据收集到hdfs上

dengmanzhou3124的博客

06-24

219

1.2.2 采集案例 1、采集目录到HDFS 需求分析结构示意图：采集需求：某服务器的某特定目录下，会不断产生新的文件，每当有新文件出现，就需要把文件采集到HDFS中去根据需求，首先定义以下3大要素 l 数据源组件，即source ——监控文件目录 : spooldir spooldir特性： 1、监视一个目录，只要目录中出现新文件...

监控Flume的log日志并钉钉告警

lihuazaizheli的博客

09-08

597

文章目录1.撰写监控脚本2.传入监控目录并crontab定时调度3.效果 1.撰写监控脚本 #!/bin/bash now=`date '+%Y-%m-%d %H:%M:%S'` # 传入要遍历的目录 root_dir="$1" # 初始化监控文件,通过getdir方法得到 monitor_file= # 错误记录到mysql function error_storage(){ /usr/bin/mysql -uXXX -pxxx -h XXX -P 3306 -e \ "use hadoop;

(3)Flume监控端口,读取本地文件到HDFS,读取目录文件到HDFS

张不帅

11-01

1190

文章目录监控端口数据实时读取本地文件到HDFS 监控端口数据案例首先启动Flume任务，监控本机44444端口服务端: 通过netcat工具向本机44444端口发送消息客户端:Flume将监听的数据实时显示在控制台 1．安装netcat工具 yum install -y nc 2.判断44444端口是否被占用 netstat -tunlp | grep 44444 功能描述：netst...

Flume案例之监控某个文件的变化，把变化的内容存储的hdfs上

weixin_47068172的博客

02-19

757

文章目录前言一、创建exec-hdfs.conf，进行配置1、打开官网，有相关的采集方案2、配置文件内容二、写shell脚本，并监控它的变化，存储到hdfs上1.shell脚本2.启动flume3.测试4.上传到hdfs成功总结前言下面主要介绍flume监控某个文件的变化，把变化的内容存储的hdfs上的案例。提示：以下是本篇文章正文内容，下面案例可供参考一、创建exec-hdfs.conf，进行配置 1、打开官网，有相关的采集方案 2、配置文件内容二、写shell脚本，并监控它的变化，

flume系列之：清理HDFS上的0字节文件

zhengzaifeidelushang的博客

02-08

1329

flume系列之：清理HDFS上的0字节文件一、使用脚本找出0字节文件二、删除0字节文件 HDFS上有时会生成0字节的文件，需要把这些文件从hdfs上清理掉，可以使用脚本批量清理指定目录下0字节文件。思路是先找到这些0字节文件，再批量执行hadoop fs -rm filename命令从hdfs上删除0字节文件。一、使用脚本找出0字节文件查找hdfs指定目录下的0字节文件生成hadoop fs -rm filename命令存放到脚本cleanZeroFile.sh中执行sh cleanZeroFi

flume系列之：定位flume没有关闭某个时间点生成的tmp文件的原因，并制定解决方案