Debezium日常分享系列之：Debezium 2.7.0.Alpha1发布

最笨的羊羊

于 2024-04-29 10:17:14 发布

阅读量796

点赞数 22

分类专栏：日常分享专栏文章标签： Debezium日常分享系列 Debezium 2.7.0.Alpha1 发布

本文链接：https://blog.csdn.net/zhengzaifeidelushang/article/details/138302334

版权

454 篇文章 74 订阅

订阅专栏

一、重大改变

据发现，在某些通信失败的情况下，某些 JDBC 查询可能会无限期地阻塞。为了解决此问题，可以使用新的可配置超时选项 query.timeout.ms 来设置 JDBC 查询在终止之前可以执行的最长时间。

SQL Server 连接器先前处理了在单个数据库往返期间捕获的所有事务。此行为是可配置的，并且基于 max.iterations.transactions，默认处理所有事务（值为 0）。如果您的数据库有大量事务，这可能会导致意外的内存不足情况。
为了解决这些用例的这个问题，max.iterations.transactions 的默认值已更改为 500，以便对这些开箱即用的部署用例更具弹性。如果您想返回到以前的行为，只需将此配置选项添加到您的连接器，并将值设置为 0。

为了改进 Debezium Operator 的部署，可以通过 https://charts.debezium.io 上的 Helm Chart 来安装它。这避免了将操作器安装到单独的命名空间中的过于复杂的部署模型，从而最大限度地降低了在 Kubernetes 上管理多个 Debezium Server 部署的复杂性。

增量快照过程是各种恢复情况下从源表或集合收集全部或部分数据集的重要部分。关系连接器长期以来一直支持在增量快照信号上提供附加条件值以限制数据集的想法，从而提供特定数据行的有针对性的重新同步。
我们很高兴地宣布，现在 MongoDB可以实现这一点。与关系数据库不同，附加条件应以 JSON 格式提供。它将使用查找操作应用于指定的集合，以获取要增量快照的文档的子集列表。

Debezium 2.5 引入了对 MariaDB 的官方支持，作为现有 MySQL 连接器的一部分。这一演变的下一步就在这里，为 MariaDB提供了新的独立连接器实现。

这里有几件事值得注意：

MariaDB 和 MySQL 都对一个名为 debezium-connector-binlog 的新抽象连接器有共同的依赖关系，它为这两种基于 binlog 的连接器提供了通用框架。
现在，每个独立连接器都专门针对其目标数据库进行定制，因此 MySQL 用户应使用 MySQL，MariaDB 用户应使用 MariaDB。因此，connection.adapter 配置选项已被删除，jdbc.protocol 配置选项现在仅特定于某些 MySQL 用例，MariaDB 不使用。

该连接器的文档仍在开发中，并将在将来添加。目前，可以参考 MySQL 连接器文档来了解与 MariaDB 相关的大部分内容。

在 MongoDB ExtractNewDocumentState 单一消息转换的先前版本中，删除事件未提供标识符作为有效负载的一部分。这降低了删除事件的意义，因为向消费者提供的数据不足以对这些事件采取行动。此行为已得到改进，删除事件现在在有效负载中包含 _id 属性。

在某些管道中，排序对于消费应用程序至关重要。有些场景可能会影响数据管道的这方面，例如发生 Kafka 重新分区时。这会导致事后尝试重建排序时容易出错的问题。
现在，当启用事务元数据时，这些元数据事件还将对其事务顺序进行编码，因此，如果发生 Kafka 重新分区或其他改变排序语义的场景，消费者可以简单地使用新的编码排序字段来获得确定性交易排序。

在某些用例中，增量快照信号需要转义完全限定表名称中的某些字符。这导致了阻塞快照的一些问题，因为解析哪些表要创建快照的过程使用了稍微不同的机制。在 Debezium 2.7 中，我们统一了这种方法，您现在可以在适用的情况下使用带有阻塞快照的转义表名称。

Cassandra 连接器在 Debezium 2.7 中也发生了一些变化，特别是性能优化。 KafkaRecordEmitter 的实现依赖于线程同步块，这会降低吞吐量。此外，该实现还执行了一些不必要的刷新，这也影响了性能。此代码已被重写，以提高吞吐量并减少不必要的刷新调用。

虽然 Oracle 建议用户避免使用基于 RAW 的列，但出于向后兼容性的原因，这些列仍广泛用于标准 Oracle 表中。但在某些业务用例中，继续使用 RAW 列而不是其他数据类型是有意义的。
Debezium 2.7 引入了一个专门针对 Oracle 的新自定义转换器，称为 RawToStringConverter。此自定义转换器旨在允许您使用 STRING 架构类型快速将 RAW 列的字节数组内容转换为基于字符串的字段。这对于使用 RAW 列存储不需要 VARCHAR2 排序规则开销的字符数据的情况很有用，但您仍然需要将此字段作为基于字符串的数据发送给使用者。

安装 Debezium 2.7 Oracle 连接器时，您可能会注意到一个新的依赖项 orai18n.jar。此依赖项会自动分发，以便为某些方言提供扩展字符集支持。

Debezium 关系连接器依赖配置选项 time. precision.mode 来控制如何添加时间值来更改事件。在某些情况下，您可能希望使用与 Kafka 类型一致的模式，即连接模式。在其他情况下，您可能更愿意使用默认的自适应毫秒模式来避免精度损失。
Debezium for Vitess 连接器传统上不遵循此模型，而是将时间值作为基于字符串的类型发出。虽然这有助于避免使用连接模式时出现精度损失问题，但这会增加消费者解析和操作这些值的不必要的开销。
在 Debezium 2.7 中，Vitess 将此行为与其他关系连接器保持一致，使用 time. precision.mode 来控制时间值的发送方式。默认情况下，它将使用自适应毫秒模式，但如果您愿意，您可以自定义它以使用连接模式。基于字符串的时间值的发射已被删除。

关注