flume系列之：记录一次消费大量Debezium数据，数据包含dml语句比较大，造成数据堆积在channel的解决方法

最新推荐文章于 2023-08-28 23:35:39 发布
最新推荐文章于 2023-08-28 23:35:39 发布
阅读量814 收藏 1
点赞数 1
分类专栏： flume 文章标签： flume系列 消费大量Debezium数据 数据包含dml语句比较大 造成数据堆积在channel 解决方法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhengzaifeidelushang/article/details/132549716
版权
flume 专栏收录该内容
57 篇文章 15 订阅 ¥29.90 ¥99.00
订阅专栏

flume系列之：记录一次消费大量Debezium数据，数据包含dml语句比较大，造成数据堆积在channel的解决方法

一、背景

  • Debezium采集了大量的数据，数据包含DMl语句，数据本身比较大。
  • flume消费了大量的Kafka Topic数据，数据堆积在了channel中，造成数据sink到HDFS的时间比较晚。
  • 此时延迟检测指标org_apache_flume_channel_channel1_channelfillpercentage的数据比较大，达到了80以上。
  • 现在需要快速消化完堆积的数据，保证数据的时效性

二、相关技术博客

了解本专栏 订阅专栏 解锁全文
最笨的羊羊
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
Flume系列之：记录一次上游数据库产生大量数据导致flume agent数据堆积和服务器IO打满，严重影响下游任务的快速应对处理方法
zhengzaifeidelushang的博客
03-26 1043
Prod环境和Stg环境要严格分开，prod flume agent只接入prod环境的数据库，stg flume agent只接入stg环境的数据库，并且prod的flume agent和stg的flume agent需要部署在不同的服务器上。服务器做条带划分，例如申请4块盘做条带化，那么iops和吞吐量都可以达到4倍，能够明显的提高flume agent读写文件的能力。
实时大数据采集框架Flume详解（视频+课件+代码+工具）
02-15
01_Flume的介绍及其架构组成 02_Flume的安装部署 03_Flume的测试运行 04_Flume中配置使用file channel及HDFS sink 05_Flume中配置HDFS文件生成大小及时间分区 06_Flume中配置Spooling Dir的使用 07_Flume中...
生产案例：突然产生大量的归档日志，导致磁盘空间满了无法登陆数据库
qq_45678201的博客
12-14 1204
早上吃完早饭打开电脑，突然告知数据库无法登陆，马上打开终端连接数据库，报如下错误 sqlplus / as sysdba ERROR: ORA-09817: Write to audit file failed. SVR4 Error: 28: No space left on device ORA-01075: you are currently logged on 很明显几个单词NO SPACE，赶忙看系统df -h 果然100%没了，第一反应，是归档日志占满了空间，数据库不会增长那么快，所以到归
Debezium系列之：Debezium数据包含dml语句，造成connector消费binlog文件比较慢，甚至造成下游消费阻塞的解决方法
最新发布
zhengzaifeidelushang的博客
08-28 471
Debezium系列之：Debezium数据包含dml语句，造成connector消费binlog文件比较慢，甚至造成下游消费阻塞的解决方法
数据仓库笔记
皮肤
10-31 3723
数据仓库(DataWarehouse)是一个面向主题的(Subject Oriented)、集成的(Integrated)、相对稳定的(Non-Volatile)、反映历史变化的(Time Variant)数据集合，用于支持管理决策(Decision-Making Support)。数据库与数据仓库的区别实际讲的是 OLTP 与 OLAP
Flume采集数据到Kafka,然后从kafka取数据存储到HDFS的方法思路和完整步骤
03-08
自己研究大数据多年，写的一个日志数据采集方案笔记，可快速熟悉Flume，Kafka，Hdfs的操作使用，以及相互的操作接口。
大数据采集技术期末试卷及答案（仅供参考）
12-14
大数据采集技术Flume/Kafka 1.请列举5种常见的Flume source 2.当flume启动的时候报错如下，5555 port already use，请描述下遇到此问题的解决思路 3.大数据分析过程按照顺序一般分为那四个步骤？ 4.简述大数据常用的...
Hive数据仓库之垃圾分类数据分析系统
08-14
（1）Flume数据采集，HDFS数据储存 （2）hive数据仓库分层设计，包含ODS、DWD、ADS层 （3）sqoop数据迁移，完成HIve与MySQL数据库中的数据交互 （4）Echarts搭建动态可视化大屏 （5）SpringBoot搭建可视化后台系统，...
基于Ansible和Flume的海量数据自动化采集系统
01-12
随着国产数据库技术的发展，电网企业对相应数据库及中间件的应用逐步增多，业务中产生的大量的运维信息对国产数据库的自动化运维技术要求也随之提高。针对国产数据库和中间件产生的海量运维数据和日志，文中提出一种...
flume系列之：hdfs.timeZone设置中国北京或上海时区
zhengzaifeidelushang的博客
12-23 2508
flume：hdfs.timeZone设置中国北京或上海时区查看服务器时间flume设置中国时区 查看服务器时间 date 2021年 12月 23日 星期四 10:09:49 CST hdfs.timeZone设置中国北京或上海时区后，生成的路径时间与服务器时间保持一致。 /optics/raw/kafka/debezium-optics-prod/optics-prod/order/1h/20211223/10/optics-flumedata.1640224834375.gz flume设置中国
flume系列之：监控flume上个小时生成的HDFS文件是否有损毁，并发送告警信息
zhengzaifeidelushang的博客
03-31 2299
flume系列之：监控flume上个小时生成的HDFS文件是否有损毁，并发送告警信息一、查看HDFS文件状态背景知识二、登陆远程服务器代码三、获取当前时间和上个小时时间四、访问hdfs执行kerberos认证五、查找上个小时是否有损毁文件的命令六、执行查找损毁文件命令代码七、告警信息部分代码八、存在损毁文件发送告警信息九、完整详细注释代码如下所示 一、查看HDFS文件状态背景知识 相关背景知识参考博主下面两篇博客： Hdfs系列之：查看hdfs文件状态，判断文件是否损坏，修复hdfs损坏文件 flume系
Ansible模块：systemd模块实现自动重启flume服务
zhengzaifeidelushang的博客
12-30 1929
Ansible模块：systemd模块实现自动重启flume服务一、systemd模块参数详解二、systemd模块用法三、systemd模块实现自动重启flume服务1.编写flume服务的systemd脚本2.通过ansible模块template部署flume服务的systemd脚本3.通过ansible模块systemd重启flume四、systemd脚本命令详解 一、systemd模块参数详解 systemd模块： 管理远程节点上的systemd服务，相当于systemctl，可以对服务的是否开
flume系列之：监控Systemctl托管的flume agent组
zhengzaifeidelushang的博客
08-10 1892
flume系列之：监控Systemctl托管的flume agent组
flume报错：java.lang.NoClassDefFoundError: org/apache/hadoop/conf/Configuration
zhengzaifeidelushang的博客
08-03 1886
flume报错：java.lang.NoClassDefFoundError: org/apache/hadoop/conf/Configuration Failed to start agent because dependencies were not found in classpath. Error follows. java.lang.NoClassDefFoundError:org/apache/hadoop/conf/Configuration at org.apache.flume.sin
flume系列之：监控flume有没有关闭上个小时的临时文件gz.tmp，并发送告警信息
zhengzaifeidelushang的博客
03-31 1768
flume系列之：监控flume有没有关闭上个小时的gz.tmp文件一、flume落到hdfs文件格式二、本地登陆远程服务器代码三、获取当前时间和上个小时时间四、访问hdfs执行kerberos认证五、查找上个小时是否有tmp文件的命令六、执行查找tmp文件命令代码七、告警信息部分代码八、存在未关闭tmp文件发送告警信息九、完整详细注释代码如下所示十、手动关闭上个小时未关闭的临时文件 一、flume落到hdfs文件格式 设置flume落到hdfs文件格式： sinks.sink1.hdfs.codeC s
could only be written to 0 of the 1 minReplication nodes. There are 1 datanode(s) running and 1 node
zhengzaifeidelushang的博客
08-13 1695
flume往HDFS写入数据报错如下所示： could only be written to 0 of the 1 minReplication nodes. There are 1 datanode(s) running and 1 node 错误原因是： 没有可用的datanode了，hdfs空间满了 错误解决方法是： HDFS磁盘扩容 清理HDFS上冗余文件 ...
flume系列之：查看flume进程号和进程
zhengzaifeidelushang的博客
01-14 1675
flume系列之：查看flume进程号和agent名称 ps -ef | grep flume | awk '{print $2 " " $22}' 15253 agent-optics-stg
flume系列之：java.lang.IllegalArgumentException: Can‘t get Kerberos realm
zhengzaifeidelushang的博客
09-01 1608
flume系列之：java.lang.IllegalArgumentException: Can't get Kerberos realm
flume在一次处理数据的过程出现失败的数据，依然会完成数据传递 吗
06-13
在Flume中，如果在一次处理数据的过程中出现了失败的数据，这些数据不会被丢弃，而是会根据配置的策略进行处理。 具体来说，Flume提供了多种不同的错误处理策略，可以根据具体的需求选择不同的策略。例如，可以将错误的数据保存到本地文件中，等待后续重新发送；也可以将错误的数据发送到特定的sink中进行处理；还可以将错误的数据发送到另一个channel中，等待后续再次处理。 需要注意的是，如果出现大量的错误数据，可能会导致channel缓存区溢出，从而影响整个系统的性能和可靠性。因此，在配置Flume时，需要根据具体的场景选择合适的channel类型和大小，以及合理的错误处理策略，以充分利用系统资源，保证数据的可靠传输。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

最笨的羊羊

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值