Debezium系列之:使用逻辑命名空间对接入的表对应的Kafka Topic做个性化设置
一、需求背景
- debezium接入数据库,一张表对应一个kafka topic,大多数topic使用默认配置创建3副本、3分区、设置数据保存的时间等即可。
- 对于一些表,例如要保证数据的顺序性,只能使用单分区。
- 对于数据量大的表,要使用多个分区,增加吞吐量,提高数据写入消费的能力。
- 针对这种数据库接入的表对应的kafka topic需要具有不同设置的情况下,需要考虑使用多个逻辑空间为不同的表做个性化配置。
- 逻辑空间下通过多种方式匹配设置的表。
二、默认命名空间
默认命名能够实现以下功能:
- 默认命名空间主要用于kafka topic全局配置
- 设置副本数
- 设置分区
- 设置kafka topic数据压缩模式
- 设置kafka topic数据清理策略
- 设置kafka topic数据保留时间
- 以及更多与kafka相关的参数
查看默认命名空间的使用方式入下所示:
"topic.creation.default.replication.factor": 3,
"topic.creation.default.partitions": 10,
"topic.creation.default.cle