Debezium系列之:实现增量快照incremental技术的详细步骤

325 篇文章 299 订阅 ¥99.90 ¥299.90

一、Debezium增量快照技术

  • 为了提供管理快照的灵活性,Debezium 包括一个补充快照机制,称为增量快照。增量快照依赖 Debezium 机制将信号发送到 Debezium 连接器。

  • 在增量快照中,Debezium 不是像在初始快照中那样一次捕获数据库的完整状态,而是在一系列可配置的块中分阶段捕获每个表。您可以指定希望快照捕获的表以及每个块的大小。块大小决定了在对数据库执行每次提取操作期间快照收集的行数。增量快照的默认块大小为 1 KB。

  • 随着增量快照的进行,Debezium 使用水印来跟踪其进度,维护它捕获的每个表行的记录。与标准的初始快照过程相比,这种分阶段的数据捕获方法具有以下优势:

  • 您可以在捕获流式数据的同时运行增量快照,而不是将流式传输推迟到快照完成。在整个快照过程中,连接器继续从更改日志中捕获近乎实时的事件,并且两个操作都不会阻塞另一个。

  • 如果增量快照的进度中断,您可以在不丢失任何数据的情况下恢复它。进程恢复后,快照从它停止的位置开始,而不是从头重新捕获表。

  • 您可以

  • 1
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

最笨的羊羊

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值