flume系列之：监控flume上个小时生成的HDFS文件是否有损毁，并发送告警信息

已于 2022-06-23 12:53:50 修改
阅读量2.2k 收藏
点赞数 1
分类专栏： flume 文章标签： flume系列 损毁文件
于 2022-03-31 12:41:51 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhengzaifeidelushang/article/details/123868852
版权
flume 专栏收录该内容
57 篇文章 15 订阅 ¥29.90 ¥99.00
订阅专栏

flume系列之：监控flume上个小时生成的HDFS文件是否有损毁，并发送告警信息

一、查看HDFS文件状态背景知识

相关背景知识参考博主下面两篇博客：

了解本专栏 订阅专栏 解锁全文
最笨的羊羊
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
flume系列之：监控flume有没有关闭上个小时的临时文件gz.tmp，并发送告警信息
zhengzaifeidelushang的博客
03-31 1765
flume系列之：监控flume有没有关闭上个小时的gz.tmp文件一、flume落到hdfs文件格式二、本地登陆远程服务器代码三、获取当前时间和上个小时时间四、访问hdfs执行kerberos认证五、查找上个小时是否有tmp文件的命令六、执行查找tmp文件命令代码七、告警信息部分代码八、存在未关闭tmp文件发送告警信息九、完整详细注释代码如下所示十、手动关闭上个小时未关闭的临时文件 一、flume落到hdfs文件格式 设置flume落到hdfs文件格式： sinks.sink1.hdfs.codeC s
zabbix_monitor_flume_es:监控flumekafkaelasticsearch通过zabbix
05-16
zabbix_monitor_flume_es monitor flume/kafka/elasticsearch by zabbix script description 功能 名称 类型 作用 传递参数 说明 脚本 apm_process_discovery.py 自动发现脚本 获取进程名称，最终传递给监控脚本，用于监控young gc、collector物理内存cpu使用情况需要的进程名参数。 无 collecot、gc监控脚本使用 apm_property_get_discovery.py 自动发现脚本 获取flume(端口、对象、属性)、kafka（topic、端口）、ES(node)等参数。 无 获取flume\kafka\es等监控脚本的参数 system_diskio_discovery.pl 自动发现脚本 获取操作系统所有disk分区。 无 用于监控磁盘io apm_p
Flume监控之Ganglia
01-07
Ganglia简介 Ganglia是UC Berkeley发起的一个开源集群监视可视化工具，设计用于测量数以千计的节点。Ganglia的核心包含gmond、gmetad以及一个Web前端。主要是用来监控系统性能，如：cpu 、mem、硬盘利用率， I/O负载、网络流量情况等，通过曲线很容易见到每个节点的工作状态，对合理调整、分配系统资源，提高系统整体性能起到重要作用。 其详细介绍和工作原理请参考百度百科，地址:https://baike.baidu.com/item/Ganglia/1283012?fr=aladdin 一. Ganglia的安装与部署 1. 安装httpd服务与php [ro
基于 Flume+ Kafka+ Spark Streaming 实现实时监控输出日志的报警系统的 Spark Streaming 程序代码
04-01
基于 Flume+ Kafka+ Spark Streaming 实现实时监控输出日志的报警系统的 Spark Streaming 程序代码。 基于 Flume+Kafka+Spark Streaming 实现实时监控输出日志的报警系统的 Spark Streaming 程序代码，博客链接： https://blog.csdn.net/linge1995/article/details/81326146 Spark Stream 实时监控
大数据架构：flume-ng+Kafka+Storm+HDFS实时系统组合
02-25
本文来自于csdn,大数据我们都知道hadoop，但并不都是hadoop.我们该如何构建大数据库项目。对于离线处理，hadoop还是比较适合的，但是对于实时性比较强的，数据量比较大的，我们可以采用Storm，那么Storm和什么技术搭配，才能够做一个适合自己的项目。直以来都想接触Storm实时计算这块的东西，最近在群里看到上海一哥们罗宝写的Flume+Kafka+Storm的实时日志流系统的搭建文档，自己也跟着整了一遍，之前罗宝的文章中有一些要注意点没提到的，以后一些写错的点，在这边我会做修正；内容应该说绝大部分引用罗宝的文章的，这里要谢谢罗宝兄弟，还有写这篇文章@晨色星空J2EE也给了我很大
flume系列之：Error while trying to hflushOrSync，查看hdfs生成的文件发现文件损坏
zhengzaifeidelushang的博客
03-30 1556
一、flume完整报错如下所示 flume日志一直报如下错误： 13 Mar 2022 10:45:30,319 ERROR [hdfs-sink1-call-runner-400] (org.apache.flume.sink.hdfs.AbstractHDFSWriter.hflushOrS ync:269) - Error while trying to hflushOrSync! 264 25 Mar 2022 10:45:30,319 WARN [hdfs-sink1-roll-t
ERROR org.apache.flume.sink.hdfs.AbstractHDFSWriter: Error while trying to hflushOrSync!
m0_64670604的博客
11-21 785
flume.sink.hdfs.AbstractHDFSWriter
flume sink hdfs异常
linux_ja的专栏
08-26 9118
1、异常消息如下： 016-08-26 14:19:17,704 (hdfs-sink1-call-runner-2) [ERROR - org.apache.flume.sink.hdfs.AbstractHDFSWriter.hflushOrSync(AbstractHDFSWriter.java:267)] Error while trying to hflushOrSync! 2016-
Flume-常见错误
迷路剑客个人博客
08-16 2574
Flume-常见错误 1 Closing file failed. Will retry again in 120 seconds. 1.1 报错现象和解决 详细报错信息如下： 09 Aug 2019 17:00:31,787 WARN [SinkRunner-PollingRunner-DefaultSinkProcessor] (org.apache.flume.sink.hdfs.Buck...
Flume基础知识（五）：Flume实战之实时监控目录下多个新文件
最新发布
zuodingquan666的博客
01-04 987
说明：在使用 Spooling Directory Source 时，不要在监控目录中创建并持续修改文件；被监控文件夹每 500 毫秒扫描一次文件变动。在/opt/module/flume 目录下创建 upload 文件夹。（1）创建配置文件 flume-dir-hdfs.conf。使用 Flume 监听整个目录的文件，并上传至 HDFS。（3）向 upload 文件夹中添加文件。向 upload 文件夹中添加文件。（4）查看 HDFS 上的数据。（2）启动监控文件夹命令。
【Flume中间件】（5）实时监控多个文件实现断点续传
CSDN 精品推荐
06-09 260
实时监控多个文件实现断点续传 我们之前使用的是exec进行监控一个文件是否有追加数据，这时候会面临问题就是一旦该机器宕机，那么该阶段的数据就会丢失，也不是丢失，就是如果flume停止了，但是此时数据还在进行追加，因为tail -F是读取文件的最后10行，那么之前的数据就会没有读取到，但是更改tail 的参数让flume从头读，这样是不会丢失数据，但是会产生重复数据。 所以有一种解决办法就是我们监控的同时记录下当前读取文件的位置信息，并把它保存到磁盘，这样flume任务再次开启时，就会读取该json文件，继续
Flume写入HDFS报错
jhfcgy的博客
06-25 369
这个报错说明hadoop的auava.jar包与flume的不同。1.删除低版本的jar包(这里我的是flume版本低)2.将高版本的jar复制到flume中。
flume-异常Closing file:log.xxxtmp failed. Will retry again in 180 seconds
program哲学
12-10 2184
文章目录现象原因解决方案 现象 21/12/10 16:54:34 ERROR hdfs.HDFSEventSink: process failed java.lang.InterruptedException: Timed out before HDFS call was made. Your hdfs.callTimeout might be set too low or HDFS calls are taking too long. at org.apache.flume.sink.hdfs.Buck
Flume 源码解析：HDFS Sink
augus_one的博客
11-12 554
文章目录Flume 源码解析：HDFS SinkSink 组件的生命周期HDFS Sink 模块中的类配置与启动处理数据Channel 事务查找或创建 BucketWriter写入数据并刷新文件滚动关闭与停止 转自: https://blog.csdn.net/zjerryj/article/details/82937232 Flume 源码解析：HDFS Sink Apache Flume 数据...
Flume消费Kafka数据写入HDFS
Why Do You Run
03-12 518
主要是消费kafka中不同topic落入不同的文件夹上 这里仅作为参考 因为我是在华为云上使用Flume消费Kafka数据到OBS（华为云的对象存储产品 s3a）适当做了修改 Flume版本1.6.0 #这里Source1、2 channel01 sink02 随便写 只需要在后面引用的时候对应起来就好 server.sources = Source1 Source2 server.channe...
flume与hdfs集成排雷指南
半斤米粉闯天下的博客
02-20 1338
先说一下环境，flume 1.9.0，hadoop 3.2.1，兼容没有问题，官方文档没什么好说的，足够详细，每一项后面都附带有例子，好评。但是在配置sink to hdfs的时候足足趟了不少雷，记录下来希望可以帮到更多的人。 错误最常见的还是java.lang.NoClassDefFoundError异常，出现这个提示100%是因为flume缺少相应的组件包，下面分别说一下缺少的内容，找到对应...
让你快速认识flume及安装和使用flume1.5传输数据(日志)到hadoop2.2
热门推荐
lskyne的专栏
07-07 2万+
转自：http://www.aboutyun.com/thread-7949-1-1.html 问题导读： 1.什么是flume？ 2.如何安装flume？ 3.flume的配置文件与其它软件有什么不同？ 一、认识flume 1.flume是什么？ 这里简单介绍一下，它是Cloudera的一个产品 2.flume是干什么的？ 收集日志的 3.flume如何搜
记一次 Flume v1.9.0启动报错ERROR - org.apache.flume.sink.hdfs.HDFSEventSink.process(HDFSEventSink.java:459)
一花一世界
01-04 4718
报错内容 ERROR - org.apache.flume.sink.hdfs.HDFSEventSink.process(HDFSEventSink.java:459) java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;) 报错如下图 集群背景（基于 Hadoop 3.3.0 集群安装部署 Flume 1.9.0） 1、H
flume 采集hdfs上的文件
06-01
要使用Flume采集HDFS上的文件，你需要使用Flume的Spooling Directory Source。这个source会监视一个指定目录中的文件，当有新的文件到达时，会将文件内容读取到Flume的Event中，然后将这些Event发送到指定的Channel中。 以下是一个简单的Flume配置文件示例，用于采集HDFS上的文件： ``` # 定义一个agent agent.sources = spoolDir agent.channels = memoryChannel agent.sinks = hdfsSink # 配置spoolDir source agent.sources.spoolDir.type = spooldir agent.sources.spoolDir.spoolDir = /path/to/hdfs/directory agent.sources.spoolDir.fileHeader = true agent.sources.spoolDir.basenameHeader = true agent.sources.spoolDir.batchSize = 1000 agent.sources.spoolDir.batchTimeout = 1000 # 配置memoryChannel channel agent.channels.memoryChannel.type = memory agent.channels.memoryChannel.capacity = 10000 agent.channels.memoryChannel.transactionCapacity = 1000 # 配置hdfsSink sink agent.sinks.hdfsSink.type = hdfs agent.sinks.hdfsSink.hdfs.path = hdfs://namenode:8020/path/to/hdfs/directory agent.sinks.hdfsSink.hdfs.filePrefix = %{basename} agent.sinks.hdfsSink.hdfs.useLocalTimeStamp = true agent.sinks.hdfsSink.hdfs.fileType = DataStream agent.sinks.hdfsSink.hdfs.writeFormat = Text agent.sinks.hdfsSink.hdfs.rollInterval = 3600 agent.sinks.hdfsSink.hdfs.rollSize = 0 agent.sinks.hdfsSink.hdfs.rollCount = 0 # 配置source和sink之间的channel agent.sources.spoolDir.channels = memoryChannel agent.sinks.hdfsSink.channel = memoryChannel ``` 在这个示例中，我们使用Spooling Directory Source来监视HDFS上的一个目录。当有新的文件到达时，Flume会将文件内容读取到Event中，并将这些Event发送到Memory Channel中。然后，HDFS Sink会从Memory Channel中读取Event，并将其写入HDFS文件中。 注意，这个示例中的配置文件只是一个简单的示例。你需要根据实际情况对其进行修改，以适应你的具体需求。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

最笨的羊羊

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值