flume系列之:定位flume没有关闭某个时间点生成的tmp文件的原因,并制定解决方案

65 篇文章 17 订阅 ¥29.90 ¥99.00

flume系列之:定位flume没有关闭某个时间点生成的tmp文件的原因,并制定解决方案

一、背景

  • flume没有关闭生成的tmp文件
  • 临时解决方案是批量关闭tmp文件
  • 下一步深入定位分析原因

二、分析tmp文件

  • 观察tmp文件,发现tmp文件的时间点都是10点28分一个时间点,并且所有tmp文件都是有flume2机器节点生成,因此去flume2机器agent日志,并对比flume1、flume3机器上的agent日志

三、定位原因

flume2机器上看到下面的报错:

  • 15 Aug 2024 10:00:55,099 ERROR [[channel=channel1] - CheckpointBackUpThread] (org.apache.flume.channel.file.Serialization.copyFile:160) - Error while attempting to copy /data/datum/flume-prod/teflume_prod8/channel1/checkpoint/checkpoint to /data/datum/flume-prod/teflume_prod8/channel1/checkpoint_backup/checkpoint.
  • java.io.IOException: Cannot allocate memory
    at java.io.RandomAccessFil
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

快乐骑行^_^

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值