Debezium系列之：深入理解kafka connector在不同场景下的再平衡策略

最笨的羊羊

已于 2022-06-02 15:20:14 修改

阅读量2.5k

点赞数 2

分类专栏： debezium 文章标签： Debezium系列 kafka connector 在不同场景下的再平衡策略

于 2022-06-02 15:08:26 首次发布

本文链接：https://blog.csdn.net/zhengzaifeidelushang/article/details/125101021

版权

330 篇文章 299 订阅 ¥99.90 ¥299.90

订阅专栏

本文深入探讨了Kafka Connector集群在不同场景下的再平衡策略，包括新worker加入、现有worker跳出和永久离职的情况。分析了再平衡对任务分配的影响，以及如何通过配置参数控制延迟，确保集群稳定性和数据传输的连续性。

摘要由CSDN通过智能技术生成

Kafka Connector集群由3个worker组成。Kafka Connect 中连接任务是新线程：

第一个提供增量协作再平衡协议的 Kafka 客户端是 Kafka Connect，在 Kafka Connect 中，worker 之间平衡的资源是连接器及其任务。连接器是一个特殊的组件，主要与外部数据系统进行连接，并充当 Kafka 记录的源或接收器。连接任务是执行实际数据传输的结构。
尽管 Connect 任务通常不会在本地存储状态，并且可以在从 Kafka 恢复状态后快速停止和恢复执行，但在每次重新平衡时停止集群可能会导致严重的延迟。在某些情况下（也称为重新平衡风暴），它可能会使集群进入连续重新平衡状态，并且 Connect 集群可能需要几分钟才能稳定。

下面列举几个典型场景，结合图文深入理解kafka connector在不同场景下的再平衡策略。

一、新的worker加入

在这里插入图片描述

一个新的工人加入（图 1）。在第一次重新平衡期间，领导者 (Worker1) 会计算一个新的全局分配，这会导致从每个现有的工作人员 (Worker1 和 Worker2) 中撤销一个任务。因为这第一轮重新平衡包括任务撤销，所以第一次重新平衡之后立即进行第二次重新平衡，在此期间，被撤销的任务被分配给组的新成员 (Worker3)。在两次重新平衡期间，未受影响的任务将继续运行而不会中断。