flume系列之：记录一次消费大量Debezium数据，数据包含dml语句比较大，造成数据堆积在channel的解决方法

最新推荐文章于 2024-10-22 17:46:24 发布
最新推荐文章于 2024-10-22 17:46:24 发布
阅读量884 收藏 1
点赞数 1
分类专栏： flume 文章标签： flume系列 消费大量Debezium数据 数据包含dml语句比较大 造成数据堆积在channel 解决方法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhengzaifeidelushang/article/details/132549716
版权
flume 专栏收录该内容
70 篇文章 20 订阅 ¥29.90 ¥99.00
订阅专栏
本文介绍了当Flume在处理包含大型DML语句的Debezium数据时，出现数据堆积在channel的情况。通过背景分析，提出了从Flume层面和Debezium数据采集层面的解决方案，包括监控和调整Flume agent的Topic接入，以及在Debezium配置中排除DML信息以减少数据大小。
摘要由CSDN通过智能技术生成

flume系列之：记录一次消费大量Debezium数据，数据包含dml语句比较大，造成数据堆积在channel的解决方法

一、背景

  • Debezium采集了大量的数据，数据包含DMl语句，数据本身比较大。
  • flume消费了大量的Kafka Topic数据，数据堆积在了channel中，造成数据sink到HDFS的时间比较晚。
  • 此时延迟检测指标org_apache_flume_channel_channel1_channelfillpercentage的数据比较大，达到了80以上。
  • 现在需要快速消化完堆积的数据，保证数据的时效性

二、相关技术博客

了解本专栏 订阅专栏 解锁全文
快乐骑行^_^
关注
专栏目录
订阅专栏
Flume系列之：记录一次上游数据库产生大量数据导致flume agent数据堆积和服务器IO打满，严重影响下游任务的快速应对处理方法
zhengzaifeidelushang的博客
03-26 1131
Prod环境和Stg环境要严格分开，prod flume agent只接入prod环境的数据库，stg flume agent只接入stg环境的数据库，并且prod的flume agent和stg的flume agent需要部署在不同的服务器上。服务器做条带划分，例如申请4块盘做条带化，那么iops和吞吐量都可以达到4倍，能够明显的提高flume agent读写文件的能力。
Debezium系列之：Debezium数据包含dml语句，造成connector消费binlog文件比较慢，甚至造成下游消费阻塞的解决方法
zhengzaifeidelushang的博客
08-28 549
Debezium系列之：Debezium数据包含dml语句，造成connector消费binlog文件比较慢，甚至造成下游消费阻塞的解决方法
Flume之 各种 Channel 的介绍及参数解析
weixin_40727028的博客
04-06 6997
一、Channel介绍 Channel被设计为Event中转临时缓冲区，存储Source收集并且没有被Sink读取的Event，为平衡Source收集和Sink读取数据的速度，可视为Flume内部的消息队列。Channel线程安全并且具有事务性，支持source写失败重复写和sink读失败重复读等操作。 常用的Channel类型有Memory Channel、File Channel、KafkaChannel等。 1、Memory Channel 对比Channel, Memory Channel读写速度快
Debezium Kafka 全量同步，处理大量写入问题
最新发布
qq_38148090的博客
10-22 615
Kafka 一个主题可以有多个分区，每个分区都可以被一个线程所消费，因为要写入消息到MySQL ，批量插入比单次插入效率高很多，如果还是单次插入到MySQL，那么引入这个Kafka就没什么用，还是那么慢，所以我们决定多开几个线程批量拉取Kafka里的数据，并批量插入到MySQL，因为当前我们程序每秒能单次插入1700多条数据到Kafka，所以我们的Kafka 一个主题开4个分区，每个分区都有一个线程批量拉取消息进行消费，到此消息消费速度刚好赶上了消息生成速度了。最终我们决定使用 Kafka。
生产案例：突然产生大量的归档日志，导致磁盘空间满了无法登陆数据库
qq_45678201的博客
12-14 1344
早上吃完早饭打开电脑，突然告知数据库无法登陆，马上打开终端连接数据库，报如下错误 sqlplus / as sysdba ERROR: ORA-09817: Write to audit file failed. SVR4 Error: 28: No space left on device ORA-01075: you are currently logged on 很明显几个单词NO SPACE，赶忙看系统df -h 果然100%没了，第一反应，是归档日志占满了空间，数据库不会增长那么快，所以到归
flume遇到的问题一
04-10 1143
1、 [ERROR - org.apache.thrift.server.AbstractNonblockingServer$FrameBuffer.invoke(AbstractNonblockingServer.java:484)] Unexpected throwable while invoking! java.lang.OutOfMemoryError: Java heap space ...
Debezium系列之：Debezium JDBC 连接器支持批量同步数据
zhengzaifeidelushang的博客
12-21 1271
在图 4 中，我们观察 Debezium JDBC 连接器使用 org.apache.kafka.connect.json.JsonConverter 转换器并使用不同的 batch.size 设置写入 MySQL 的行为。值得注意的是，在我们的测试配置中，batch.size 的最佳值为 1000，从而实现最快的处理时间。尽管batch.size和consumer.max.poll.records的默认值都设置为500，但由于有效负载大小的考虑，观察到的实际大小被减少到337条记录。这引起了我们的担忧。
【学习笔记】尚硅谷大数据项目之Flink实时数仓---数据采集
prague6695的博客
07-14 4376
【学习笔记】尚硅谷大数据项目之Flink实时数仓---数据采集
Doris实战——结合Flink构建极速易用的实时数仓
爱吃辣条的博客
02-25 5748
Doris实战——结合Flink构建极速易用的实时数仓
Hadoop详解(七)——Hive的原理和安装配置和UDF，flume的安装和配置以及简单使用，flume+hive+Hadoop进行日志处理
09-05 3046
hive简介什么是hive？① hive是建立在Hadoop上的数据仓库基础架构。它提供了一系列的工具，可以用来进行数据提取转换加载(ETL)，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive定义了简单的类似于SQL的查询语言称为QL，它允许熟悉SQL的用户查询数据。同时这种语言也允许熟悉MapReduce的开发者进行开发自定义的mapper和reducer来处理内建的
生产环境中的flume海量数据传输性能优化
小麒麟的成长之路
09-01 5084
Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统, 优化方法 java环境 channel类型 sink类型与个数 是否压缩 source已经接收到的事件总数量 写入速度 成功写入channel且提交的事件总数量 sink成功读取的channel事件的总数量 sink成功写出到存储的事件总数量 ch
Flume一个数据源对应多个channel，多个sink
panguoyuan的专栏
10-10 1万+
一、概述 1、现在有三台机器，分别是：Hadoop1，Hadoop2，Hadoop3，以Hadoop1为日志汇总 2、Hadoop1汇总的同时往多个目标进行输出 3、Flume一个数据源对应多个channel，多个sink，是在consolidation-accepter.conf文件里配置的 二、部署Flume来采集日志和汇总日志 1、在Hadoop1上运行fl
记录Flume使用KafkaSource的时候Channel队列满了之后发生的怪异问题
大数据训练营
06-19 1万+
Flume的这个问题纠结了2个月，因为之前实在太忙了，没有时间来研究这个问题产生的原理，今天终于研究出来了，找出了这个问题所在。 先来描述一下这个问题的现象： Flume的Source用的是KafkaSource，Sink用的是Custom Sink，由于这个Custom Sink写的有一点小问题，比如batchSize是5000次，第4000条就会发生exception，这样每次都会写入40
Flume数据采集各种配置详解
热门推荐
重点在于记录
06-07 1万+
Flume简介 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 系统功能 日志收集 Flume最早是Cloudera提供的日志收集系统，目前是Apache下的一个孵化项目，Fl...
kafka接flume遇到的问题
yyqq188的博客
03-22 4027
同事遇到点问题，抛出来了4个问题，如下 1  flume的source是kafka，sink是hdfs，怎样判断flume是否堆积，或者是说怎么样保证落地的速度和消费的速度是平衡的 2  怎么判断flume的agent程序是否挂掉 3  挂掉时tmp文件爱呢怎么处理（hdfs上的tmp文件） 4  我遇到一个问题，当agent是6个时，一小时约生成26.5G文件，当有3个agent时，一小
【Flume】flume中transactionCapacity和batchSize概念的具体分析和解惑
三也_攻城狮
03-12 1万+
不知道各位用过flume的读者对这两个概念是否熟悉了解 一开始本人的确有点迷惑，觉得这是不是重复了啊？ 没感觉到transactionCapacity的作用啊？ batchSize又是干啥的啊？ …… …… 带着这些问题，我们深入源码来看一下： batchSize batchSize这个概念首先它出现在哪里呢？ kafkaSink的process方法 HDFS Sink
flume系列之：批量并行启动、停止、重启flume agent组
zhengzaifeidelushang的博客
08-30 6143
【代码】flume系列之：批量并行启动、停止、重启flume agent组。
flume系列之：hdfs.timeZone设置中国北京或上海时区
zhengzaifeidelushang的博客
12-23 2824
flume：hdfs.timeZone设置中国北京或上海时区查看服务器时间flume设置中国时区 查看服务器时间 date 2021年 12月 23日 星期四 10:09:49 CST hdfs.timeZone设置中国北京或上海时区后，生成的路径时间与服务器时间保持一致。 /optics/raw/kafka/debezium-optics-prod/optics-prod/order/1h/20211223/10/optics-flumedata.1640224834375.gz flume设置中国
Flume大数据采集实战：从入门到精通
本教程是一套全面讲解Flume在大数据领域的应用的视频课程，旨在帮助初学者和有一定经验的技术人员深入理解和掌握Flume这一强大的数据采集和迁移工具。课程内容涵盖Flume的基础知识、企业级部署策略、全场景业务案例...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

快乐骑行^_^

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值