Debezium系列之：记录一次快速处理生产环境debezium connector故障，并使用debezium补缺失的数据

一、背景

debezium生产环境connector故障了，需要快速处理才能不影响后续数据开发任务，同时需要确保数据不会有遗漏。出现数据遗漏需要把遗漏的数据补充完整。

• debezium connector状态是正常的，但是发现debezium没有采集数据库数据
• 生产环境需要快速使connector恢复工作采集数据
• 解决思路是：先恢复connector实现实时采集数据，再通过debezium补历史遗漏数据

二、快速恢复connector

• connector状态正常，但就是无法采集数据，直接删除debezium故障的connector
• 提交一个新的debezium connector，可以使用新的history topic，创建新的history topic，使用新的connector名称
• 使用的模式是schema_only，如提示需要使用schema_only_recovery，则更新模式为schema_only_recovery，或者直接删除connector，使用schema_only_recovery
• 查看connector状态，确保状态成功，并确保数据正常采集

三、使用debezium补缺失的数据

最简单的方式就是新提交一个debezium connector，模式使用initial或initial_only。
生产环境不可以使用initial或initial_only模式的情况下，则可以根据消费到的binlog位置，实现补缺失的历史数据。

• 找到数据遗漏前消费到的