flume系列之：监控flume有没有生成0字节大小的文件，并发送告警信息

已于 2022-03-31 12:42:32 修改
阅读量2.2k 收藏
点赞数 1
分类专栏： 大数据 文章标签： flume系列 0字节大小文件
于 2022-03-31 12:28:19 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhengzaifeidelushang/article/details/123868689
版权
大数据 专栏收录该内容
550 篇文章 554 订阅 ¥49.90 ¥99.00
订阅专栏
该博客详细介绍了如何使用Flume监控HDFS，检查是否存在0字节大小的文件，并在发现此类文件时发送告警信息。通过Python脚本进行远程服务器连接、Kerberos认证、时间计算以及执行HDFS命令，同时提供了告警信息的发送方法。
摘要由CSDN通过智能技术生成

flume系列之：监控flume有没有生成0字节大小的文件，并发送告警信息

一、清理HDFS上0字节文件

清理HDFS上0字节文件详细资料请参考博主的这篇博客：

二、登陆远程服务器代码

    #生产服务器环境不需要代理去掉，本地运行程序打开代理
    socks.set_default_proxy(socks.HTTP, "opticslinux.nj.optics.com", 8080)
    socket
了解本专栏 订阅专栏 解锁全文
快乐骑行^_^
关注
专栏目录
订阅专栏
flume系列之：清理HDFS上的0字节文件
zhengzaifeidelushang的博客
02-08 1313
flume系列之：清理HDFS上的0字节文件一、使用脚本找出0字节文件二、删除0字节文件 HDFS上有时会生成0字节的文件，需要把这些文件从hdfs上清理掉，可以使用脚本批量清理指定目录下0字节文件。思路是先找到这些0字节文件，再批量执行hadoop fs -rm filename命令从hdfs上删除0字节文件。 一、使用脚本找出0字节文件 查找hdfs指定目录下的0字节文件 生成hadoop fs -rm filename命令存放到脚本cleanZeroFile.sh中 执行sh cleanZeroFi
Flume 从0到高手一站式养成记
Amo Xiang的博客
08-07 824
文章目录一、学前必备知识二、极速入门 Flume三、极速上手 Flume 使用3.1 案例：Flume 的 Hello World!3.2 案例：采集文件内容上传至 HDFS3.3 案例：采集网站日志上传至 HDFS四、Flume 高级组件4.1 Source Interceptors4.2 Channel Selectors4.3 Sink Processors4.4 Failover Sink Processor五、Flume 出神入化篇 一、学前必备知识 2021年 全网最细大数据学习笔记（一）：初
hdfs上传文件大小为零问题解决
cht0112的博客
06-08 5927
问题描述： 搭建了一个Hadoop集群，1Master+2Slave。完成后从客户端上传文件，上传后，文件创建，但文件大小为0。Hadoop的log信息如下： java.io.IOException: File /uploadResource/Resource_103/20170607162133115video.mp4 could only be replicated to 0
HDFS上传文件大小为0问题
低头敲代码的博客
11-20 3835
问题： 在win主机上使用api向Linux的Hadoop集群上传文件时报错： org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /wc/indata/data1.txt could only be replicated to 0 nodes instead of minReplication (=1).  Th...
flume采集数据到hdfs上产生的问题解决
Mirror_w的博客
06-26 3881
解决Flume采集数据时在HDFS上产生大量小文件的问题 flume指定HDFS类型的Sink时，采集数据至HDFS指定目录，会产生大量小文件。 解决方案： 去掉round时间系列参数，并将rollSize和rollCount置0， 表示不根据临时文件大小和event数量来滚动文件（滚动文件即指将HDFS上生成的以.tmp结尾的临时文件转换为实际存储文件）。 当然，也可以调大rollSize参数...
Flume运维
weixin_42660202的博客
08-08 5469
Flume使用与监控
Flume Channel原理与代码实例讲解
AI天才研究院
07-08 727
Flume Channel原理与代码实例讲解 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming / TextGenWebUILLM Flume Channel原理与代码实例讲解
基于SparkStreaming的实时网络流量监控与分析
AI天才研究院
08-09 745
基于SparkStreaming的实时网络流量监控与分析 1. 背景介绍 在当今高度互联的数字世界中,网络已成为各行各业不可或缺的基础设施。随着网络规模的不断扩大和复杂度的增加,实时监控和分析网络流量变得至关重要。传统的批处理方法已经无法满足实时性和海量数据处理的需
flume采集文件写hdfs不能创建目录的问题
qq_39954916的博客
10-30 1772
用exec source运行flume-ng agent后hdfs上不能创建指定的文件目录，可能的三种情况如下 一、配置文件中的监听端口和hadoop下的core-site.xml中的端口不一致 在我新建的.conf文件里面，需要配置hdfs的路径 hdfs://192.168.122.102:9000/flume/upload/%Y%m%d/%H 注意：此处端口号应该和hadoop下的core-site.xml里面的配置一样，否则写入不到Hdfs，这里最为致命 然后，开启flume监听端口。
flume的Spoolingdir下有多个空文件，监控失败的bug
fwzjhbmc的专栏
04-08 1091
今天发现测试机上的flume突然bugo
linux 系统 flume 的安装与使用
weixin_44804824的博客
04-06 1838
目录linux系统flume的安装和使用安装Flume下载安装Flume配置相关文件配置环境变量配置文件启动FLame实例使用Flume接收来自AvroSource的信息使用Flume接收来自NetcatSource的信息 linux系统flume的安装和使用 数据采集是大数据分析全流程中的重要环节，典型的数据采集工具包括ETL工具、日志采集工具（如Flume和Kafla）、数据迁移工具（如Sqoop）等。 本次选择了具有代表性的数据采集工具进行介绍，即日志采集工具Flume。详细介绍了这个工具的安装和使用
Flume输出（sink）至hdfs没有生成文件夹
累迹的博客
04-28 2201
问题描述 Flume运行时，没有链接上hdfs，也没有报出异常。 问题解决 查看官方文档显示 hdfs.path – HDFS directory path (eg hdfs://namenode/flume/webdata/) 在配置conf文件时，需要指定namenode的端口，去hadoop文件下查看core-site.xml文件，这个端口号是配置hadoop时设置的。 vim etc/hadoop/core-site.xml # 这里我配置的端口号是8020 <property>
HDFS产生小文件解决
moose_killer的博客
03-23 252
使用flume将数据写到HDFS上，出现大量的不到1kb的小文件。 危害：占用NameNode内存 n*150字节 （采用har归档：hadoop archive -archiveName **.har -p /输入路径 /输出路径） 　　　 增加切片个数 n个maptask 产生原因： hdfs.rollInterval 30 默认30s产生下一个文件 （优化配置：3600s） 　　　　　或 　　　　　hdfs.rollSize 1024 默认1024节大小产生一个文件 （优化
基于Matlab面板版的卡尔曼小球运动跟踪[Matlab面板版].zip
10-16
大模型实战教程
Day01(1).py
10-16
Day01(1).py
面试-PHP高频面试题整理-面试题合集.zip
最新发布
10-16
面试_PHP高频面试题整理_面试题合集
Apache Flume 1.5.0 教程：安装、配置与案例解析
"Flume1.5.0入门：安装、部署、及flume的案例" Apache Flume 是一个专门用于高效、可靠地收集、聚合和移动大量日志数据的工具。它最初由Cloudera开发，后来成为Apache软件基金会的一个项目。Flume 1.5.0是其某个...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

快乐骑行^_^

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值