Debezium系列之:优化集群参数和支持debezium connector个性化设置
一、背景
目前debezium存在一系列问题,比较明显的问题是:
- 数据库有大量DML操作时,消费binlog文件比较慢,可能需要几十分钟、甚至几个小时消费DML数据
为了增强debezium消费能力,可能需要调整集群的参数,与debezium消费能力相关重要的jmx参数可以参考博主下面这篇博客:
优化Debezium集群参数设置有两种方式:
- 方式一:配置文件中修改debezium参数,重启debezium集群使配置生效,这是一种全局方式,配置对每个debezium connector都生效。
- 方式二:单独为每个debezium connector增加配置,这是一种局部方式,配置只对单个debezium connector生效。
二、优化集群参数
详细参考博主下面这篇博客,这片博客中是多轮优化后,debezium集群现在使用的