Debezium分享系列之:Debezium2.6稳定版本SQLSerer数据库Debezium connector核心知识点
一、综述
Debezium SQL Server 连接器基于 SQL Server 2016 Service Pack 1 (SP1) 及更高版本的标准版或企业版中提供的更改数据捕获功能。 SQL Server 捕获进程监视指定的数据库和表,并将更改存储到专门创建的具有存储过程外观的更改表中。
要使 Debezium SQL Server 连接器能够捕获数据库操作的更改事件记录,必须首先在 SQL Server 数据库上启用更改数据捕获。必须在数据库和要捕获的每个表上启用 CDC。在源数据库上设置 CDC 后,连接器可以捕获数据库中发生的行级 INSERT、UPDATE 和 DELETE 操作。连接器将每个源表的事件记录写入专门用于该表的 Kafka 主题。每个捕获的表都存在一个主题。客户端应用程序读取它们所遵循的数据库表的 Kafka 主题,并可以响应它们从这些主题消耗的行级事件。
连接器第一次连接到 SQL Server 数据库或集群时,它会为配置为捕获更改的所有表拍摄一致的架构快照,并将此状态流式传输到 Kafka。快照完成后,连接器会持续捕获后续发生的行级别更改。通过首先建立所有数据的一致视图,连接器可以继续读取,而不会丢失发生快照时所做的任何更改。
Debezium SQL Server 连接器可以容忍故障。当连接器读取更改并生成事件时,它会定期记录数据库日志中事件的位置(LSN / 日志序列号)。如果连接器因任何原因(包括通信故障、网络问题或崩溃)而停止,则在重新启动后,连接器将从上次读取的点继续读取 SQL Server CDC 表。
容错也适用于快照。也就是说,如果连接器在快照期间停止,连接器将在重新启动时开始新的快照。