Debezium系列之:记录一次快速处理生产环境debezium connector故障,并使用debezium补缺失的数据

361 篇文章 330 订阅 ¥99.90 ¥299.90
本文档详细记录了一次生产环境中Debezium Connector遇到故障时的处理过程,包括如何快速恢复Connector使其重新采集数据,以及利用Debezium补偿缺失的历史数据,确保数据完整性。
摘要由CSDN通过智能技术生成

Debezium系列之:记录一次快速处理生产环境debezium connector故障,并使用debezium补缺失的数据

一、背景

debezium生产环境connector故障了,需要快速处理才能不影响后续数据开发任务,同时需要确保数据不会有遗漏。出现数据遗漏需要把遗漏的数据补充完整。

  • debezium connector状态是正常的,但是发现debezium没有采集数据库数据
  • 生产环境需要快速使connector恢复工作采集数据
  • 解决思路是:先恢复connector实现实时采集数据,再通过debezium补历史遗漏数据

二、快速恢复connector

  • connector状态正常,但就是无法采集数据,直接删除debezium故障的connector
  • 提交一个新的debezium connector,可以使用新的history topic,创建新的history topic,使用新的connector名称
  • 使用的模式是schema_only,如提示需要使用schema_only_recovery,则更新模式为schema_only_recovery,或者直接删除connector,使用schema_only_recovery
  • 查看connector状态,确保状态成功,并确保数据正常采集

三、使

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

快乐骑行^_^

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值