Debezium系列之:使用逻辑命名空间对接入的表对应的Kafka Topic做个性化设置

348 篇文章 319 订阅 ¥99.90 ¥299.90
本文介绍了如何使用Debezium的逻辑命名空间来为不同的数据库表配置个性化的Kafka Topic。内容包括需求背景、默认命名空间的设置、逻辑命名空间的创建及使用方式,以及查看和验证命名空间效果的方法。该功能适用于确保数据顺序性和提高高流量表的吞吐量。
摘要由CSDN通过智能技术生成

一、需求背景

  • debezium接入数据库,一张表对应一个kafka topic,大多数topic使用默认配置创建3副本、3分区、设置数据保存的时间等即可。
  • 对于一些表,例如要保证数据的顺序性,只能使用单分区。
  • 对于数据量大的表,要使用多个分区,增加吞吐量,提高数据写入消费的能力。
  • 针对这种数据库接入的表对应的kafka topic需要具有不同设置的情况下,需要考虑使用多个逻辑空间为不同的表做个性化配置。
  • 逻辑空间下通过多种方式匹配设置的表。

二、默认命名空间

默认命名能够实现以下功能:

  • 默认命名空间主要用于kafka topic全局配置
  • 设置副本数
  • 设置分区
  • 设置kafka topic数据压缩模式
  • 设置kafka topic数据清理策略
  • 设置kafka topic数据保留时间
  • 以及更多与kafka相关的参数

查看默认命名空间的使用方式入下所示:

"topic.creation.default.replication.factor": 3,
"topic.creation.default.partitions": 10,
"topic.creation.default.cle
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

快乐骑行^_^

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值