Debezium系列之:优化集群参数和支持debezium connector个性化设置

334 篇文章 311 订阅 ¥99.90 ¥299.90
本文介绍了如何优化Debezium集群参数以解决在大量DML操作下消费binlog慢的问题。提供了两种优化方式,包括全局配置文件修改和针对单个connector的局部设置。同时,讲解了通过connector.client.config.override.policy参数实现connector的个性化配置,以提高消费速率。
摘要由CSDN通过智能技术生成

Debezium系列之:优化集群参数和支持debezium connector个性化设置

一、背景

目前debezium存在一系列问题,比较明显的问题是:

  • 数据库有大量DML操作时,消费binlog文件比较慢,可能需要几十分钟、甚至几个小时消费DML数据

为了增强debezium消费能力,可能需要调整集群的参数,与debezium消费能力相关重要的jmx参数可以参考博主下面这篇博客:

优化Debezium集群参数设置有两种方式:

  • 方式一:配置文件中修改debezium参数,重启debezium集群使配置生效,这是一种全局方式,配置对每个debezium connector都生效。
  • 方式二:单独为每个debezium connector增加配置,这是一种局部方式,配置只对单个debezium connector生效。

二、优化集群参数

详细参考博主下面这篇博客,这片博客中是多轮优化后,debezium集群现在使用的

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

快乐骑行^_^

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值