Debezium日常分享系列之：Debezium 通知

最新推荐文章于 2024-03-23 20:49:32 发布
最新推荐文章于 2024-03-23 20:49:32 发布
阅读量1k 收藏 28
点赞数 20
分类专栏： 日常分享专栏 文章标签： Debezium日常分享系列 Debezium 通知
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhengzaifeidelushang/article/details/135327446
版权

Debezium日常分享系列之：Debezium 通知

一、概论

Debezium 通知提供了一种获取有关连接器状态信息的机制。通知可以发送到以下渠道：

  • 接收器通知通道：通过 Connect API 将通知发送到配置的主题。
  • 日志通知通道：通知会附加到日志中。
  • JmxNotificationChannel：通知作为 JMX bean 中的属性公开。
  • 定制：通知将发送到您实施的自定义渠道。

二、Debezium通知格式

通知消息包含以下信息：

属性描述
id分配给通知的唯一标识符。对于增量快照通知，id 与使用执行快照信号发送的相同。
aggregate_type快照类型
type提供有关在aggregate_type 字段中指定的事件的状态信息。
additional_data包含有关通知的详细信息的 Map<String,String>。
timestamp创建通知的时间。 Epoch unix 时间戳（以毫秒为单位）

三、Debezium 有关初始快照状态的通知

以下示例显示了提供初始快照状态的典型通知：

{
    "id": "5563ae14-49f8-4579-9641-c1bbc2d76f99",
    "aggregate_type": "Initial Snapshot",
    "type": "COMPLETED", 
    "additional_data" : {
        "connector_name": "myConnector"
    },
    "timestamp": "1695817046353"
}

类型字段可以包含以下值之一：

  • STARTED
  • IN_PROGRESS
  • TABLE_SCAN_COMPLETED
  • COMPLETED
  • ABORTED
  • SKIPPED

下表显示了报告初始快照状态的通知中可能存在的不同负载的示例：

  • STARTED
{
      "id":"ff81ba59-15ea-42ae-b5d0-4d74f1f4038f",
      "aggregate_type":"Initial Snapshot",
      "type":"STARTED",
      "additional_data":{
         "connector_name":"my-connector"
      },
      "timestamp": "1695817046353"
}
  • IN_PROGRESS
{
   "id":"6d82a3ec-ba86-4b36-9168-7423b0dd5c1d",
   "aggregate_type":"Initial Snapshot",
   "type":"IN_PROGRESS",
   "additional_data":{
      "connector_name":"my-connector",
      "data_collections":"table1, table2",
      "current_collection_in_progress":"table1"
   },
   "timestamp": "1695817046353"
}

Mongo 连接器当前不支持字段 data_collection

  • TABLE_SCAN_COMPLETED
   "id":"6d82a3ec-ba86-4b36-9168-7423b0dd5c1d",
   "aggregate_type":"Initial Snapshot",
   "type":"TABLE_SCAN_COMPLETED",
   "additional_data":{
      "connector_name":"my-connector",
      "data_collection":"table1, table2",
      "scanned_collection":"table1",
      "total_rows_scanned":"100",
      "status":"SUCCEEDED"
   },
   "timestamp": "1695817046353"
}

在前面的示例中，additional_data.status 字段可以包含以下值之一：

SQL_异常：执行快照时发生 SQL 异常。

成功了：快照成功完成。

Mongo 连接器当前不支持字段total_rows_scanned 和data_collection

  • COMPLETED
{
      "id":"ff81ba59-15ea-42ae-b5d0-4d74f1f4038f",
      "aggregate_type":"Initial Snapshot",
      "type":"COMPLETED",
      "additional_data":{
         "connector_name":"my-connector"
      },
      "timestamp": "1695817046353"
}
  • ABORTED
{
      "id":"ff81ba59-15ea-42ae-b5d0-4d74f1f4038f",
      "aggregate_type":"Initial Snapshot",
      "type":"ABORTED",
      "additional_data":{
         "connector_name":"my-connector"
      },
      "timestamp": "1695817046353"
}
  • SKIPPED
{
      "id":"ff81ba59-15ea-42ae-b5d0-4d74f1f4038f",
      "aggregate_type":"Initial Snapshot",
      "type":"SKIPPED",
      "additional_data":{
         "connector_name":"my-connector"
      },
      "timestamp": "1695817046353"
}

四、Debezium 有关增量快照进度的通知

下表显示了报告增量快照状态的通知中可能存在的不同负载的示例：

  • Start
{
      "id":"ff81ba59-15ea-42ae-b5d0-4d74f1f4038f",
      "aggregate_type":"Incremental Snapshot",
      "type":"STARTED",
      "additional_data":{
         "connector_name":"my-connector",
         "data_collections":"table1, table2"
      },
      "timestamp": "1695817046353"
}
  • Paused
{
      "id":"068d07a5-d16b-4c4a-b95f-8ad061a69d51",
      "aggregate_type":"Incremental Snapshot",
      "type":"PAUSED",
      "additional_data":{
         "connector_name":"my-connector",
         "data_collections":"table1, table2"
      },
      "timestamp": "1695817046353"
}
  • Resumed
{
   "id":"a9468204-769d-430f-96d2-b0933d4839f3",
   "aggregate_type":"Incremental Snapshot",
   "type":"RESUMED",
   "additional_data":{
      "connector_name":"my-connector",
      "data_collections":"table1, table2"
   },
   "timestamp": "1695817046353"
}
  • Stopped
{
   "id":"83fb3d6c-190b-4e40-96eb-f8f427bf482c",
   "aggregate_type":"Incremental Snapshot",
   "type":"ABORTED",
   "additional_data":{
      "connector_name":"my-connector"
   },
   "timestamp": "1695817046353"
}
  • Processing chunk
{
   "id":"d02047d6-377f-4a21-a4e9-cb6e817cf744",
   "aggregate_type":"Incremental Snapshot",
   "type":"IN_PROGRESS",
   "additional_data":{
      "connector_name":"my-connector",
      "data_collections":"table1, table2",
      "current_collection_in_progress":"table1",
      "maximum_key":"100",
      "last_processed_key":"50"
   },
   "timestamp": "1695817046353"
}
  • Snapshot completed for a table
{
   "id":"6d82a3ec-ba86-4b36-9168-7423b0dd5c1d",
   "aggregate_type":"Incremental Snapshot",
   "type":"TABLE_SCAN_COMPLETED",
   "additional_data":{
      "connector_name":"my-connector",
      "data_collection":"table1, table2",
      "scanned_collection":"table1",
      "total_rows_scanned":"100",
      "status":"SUCCEEDED"
   },
   "timestamp": "1695817046353"
}

在前面的示例中，additional_data.status 字段可以包含以下值之一：

EMPTY：该表不包含任何值。

NO_PRIMARY_KEY：无法完成快照；表没有主键。

SKIPPED：无法完成此类表的快照。有关详细信息，请参阅日志。

SQL_EXCEPTION：执行快照时发生 SQL 异常。

SUCCEEDED：快照成功完成。

UNKNOWN_SCHEMA：找不到该表的架构。检查日志中已知表的列表。

  • Completed
{
   "id":"6d82a3ec-ba86-4b36-9168-7423b0dd5c1d",
   "aggregate_type":"Incremental Snapshot",
   "type":"COMPLETED",
   "additional_data":{
      "connector_name":"my-connector"
   },
   "timestamp": "1695817046353"
}

五、启用 Debezium 通知

要使 Debezium 能够发出通知，请通过设置 notification.enabled.channels 配置属性来指定通知通道列表。默认情况下，以下通知渠道可用：

  • sink
  • log
  • jmx

重要的：要使用接收器通知通道，还必须将 notification.sink.topic.name 配置属性设置为希望 Debezium 发送通知的主题的名称。

六、访问 Debezium JMX 通知

要使 Debezium 能够报告通过 JMX beans 公开的事件，请完成以下配置步骤：

  • 启用 JMX MBean 服务器以公开通知 bean。
  • 将 jmx 添加到连接器配置中的 notification.enabled.channels 属性中。
  • 将首选的 JMX 客户端连接到 MBean 服务器。

通知通过名称为 debezium..management.notifications. 的 bean 的“Notifications”属性公开。

下图显示了报告增量快照开始的通知：

在这里插入图片描述
要放弃通知，请对 bean 调用重置操作。

通知还公开为 debezium.notification 类型的 JMX 通知。要使应用程序能够侦听 MBean 发出的 JMX 通知，请为应用程序订阅通知。

七、自定义通知渠道

通知机制被设计为可扩展的。可以根据需要实施渠道，以最适合的环境的方式传递通知。添加通知通道涉及几个步骤：

  • 为通道创建一个Java项目来实现通道，并添加Debezium Core作为依赖项。
  • 部署通知通道。
  • 通过修改连接器配置，使连接器能够使用自定义通知通道。

配置自定义通知渠道

自定义通知通道是实现 io.debezium.pipeline.notification.channels.NotificationChannel 服务提供者接口 (SPI) 的 Java 类。例如：

public interface NotificationChannel {

    String name(); 1

    void init(CommonConnectorConfig config); 2

    void send(Notification notification); 3

    void close(); 4
}
  • 频道的名称。要使 Debezium 能够使用该通道，请在连接器的 notification.enabled.channels 属性中指定此名称。
  • 初始化通道所需的特定配置、变量或连接。
  • 在频道上发送通知。 Debezium 调用此方法来报告其状态。
  • 关闭所有分配的资源。 Debezium 在连接器停止时调用此方法。

Debezium 核心模块依赖项

自定义通知通道 Java 项目具有对 Debezium 核心模块的编译依赖项。必须将这些编译依赖项包含在项目的 pom.xml 文件中，如以下示例所示：

<dependency>
    <groupId>io.debezium</groupId>
    <artifactId>debezium-core</artifactId>
    <version>${version.debezium}</version> 
</dependency>

${version.debezium} 表示 Debezium 连接器的版本。

在 META-INF/services/io.debezium.pipeline.notification.channels.NotificationChannel 文件中声明您的实现。

部署自定义通知渠道

先决条件：有一个自定义通知通道 Java 程序。

程序：要将通知通道与 Debezium 连接器结合使用，请将 Java 项目导出到 JAR 文件，然后将该文件复制到包含要与其一起使用的每个 Debezium 连接器的 JAR 文件的目录。

例如，在典型部署中，Debezium 连接器文件存储在 Kafka Connect 目录 (/kafka/connect) 的子目录中，每个连接器 JAR 位于其自己的子目录中 (/kafka/connect/debezium-connector-db2、/kafka /connect/debezium-connector-mysql 等）。要将信号通道与连接器一起使用，请将转换器 JAR 文件添加到连接器的子目录中。

注意：要将自定义通知通道与多个连接器一起使用，必须将通知通道 JAR 文件的副本放置在每个连接器子目录中。

配置连接器以使用自定义通知通道：在连接器配置中，将自定义通知通道的名称添加到 notification.enabled.channels 属性中。

八、应用案例

更多Debezium实战应用可以参考博主Debezium专栏：

最笨的羊羊
关注
  • 20
    点赞
  • 踩
  • 28
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Debezium实战-第6章 API与SPI
Kettle实战
04-29 2933
6 API与SPI 6.1 Debezium引擎 Debezium 连接器通常通过将它们部署到 Kafka Connect 服务并配置一个或多个连接器来监控上游数据库并为它们在上游数据库中看到的所有更改生成数据更改事件来操作。这些数据更改事件被写入 Kafka，在那里它们可以被许多不同的应用程序独立使用。Kafka Connect 提供出色的容错性和可扩展性，因为它作为分布式服务运行，并确保所有已注册和配置的连接器始终运行。例如，即使集群中的一个 Kafka Connect 端点出现故障，其余的 Kafka
debezium-demo-apb:用于配置Debezium演示的Ansible剧本
05-04
目录 欢迎PR！ 信息 Ansible剧本，用于使用我的作为“整体”来配置演示。 配置为使用。 该是连接到MySQL数据库的简单Spring Boot应用程序。 我们将使用Kafka connect安装3个副本的Kafka集群，然后安装。...
debezium-datetime-converter:Debezium自定义转换器用于处理mysql datetime类型的问题
03-15
debezium-datetime-converter Debezium自定义转换器用于处理mysql datetime类型的问题 MySQL的 Binlog连接器 德比兹 德比兹图式 日期（2021-01-28） 本地日期（2021-01-28） 整数（18655） 碘化氢时间日期 时间（17:29:04） 期间（PT17H29M4S） 长（62944000000） （（持续时间）数据）.toNanos（）/ 1_000 时间戳记（2021-01-28 17:29:04） ZonedDateTime （2021-01-28T09：29：04Z） 细绳（2021-01-28T09：29：04Z） io.debezium.ZoneedTimestamp 约会时间（2021-01-28 17:29:04） LocalDateTime （2021-01-28T17：29
springboot+debezium捕获数据库变更（mysql、sql-server、mongodb、oracle.........）
胖虎儿的博客
07-04 1万+
如何捕获数据库数据变更？使用canal? 但是canal只能捕获mysql啊，我要捕获MongoDB、sqlServer呢？使用debezium即可！
Debezium日常分享系列之：Debezium2.5稳定版本之MySQL连接器配置示例和Connector参数详解
最新发布
zhengzaifeidelushang的博客
03-23 1745
Debezium日常分享系列之：Debezium2.5稳定版本之MySQL连接器配置示例和Connector参数详解 Debezium技术专栏。
Debezium是什么
热门推荐
fengfengzai0101的博客
01-15 1万+
Debezium是什么 Debezium是一个用来捕获数据库数据变更的分布式服务，你的应用可以看到这些数据变更，以及处理他们。Debezium以更改事件流的形式记录每张表的行级变更。 然后应用可以以事件流产生的顺序读取事件流变更记录。 目前支持的Source Connectors是Mysql，MongoDB，PostgresSQL、Oracle、SQL Server、Db2、Cassamdra、Vitesss。 目前Cassandra、Vitess处于孵化阶段。 说明：孵化连接器发版用于预览目的，对于孵
CDC工具之Debezium
datacreating的博客
11-30 5874
Debezium是一组分布式服务，用于捕获数据库中的更改，以便您的应用程序可以看到这些更改并做出响应。
Debezium简介
justlpf的专栏
09-15 2768
参考：Debezium是一个开源项目，为捕获数据更改(change data capture,CDC)提供了一个低延迟的流式处理平台。你可以安装并且配置Debezium去监控你的数据库，然后你的应用就可以消费对数据库的每一个行级别(row-level)的更改。只有已提交的更改才是可见的，所以你的应用不用担心事务(transaction)或者更改被回滚(roll back)。Debezium为所有的数据库更改事件提供了一个统一的模型，所以你的应用不用担心每一种数据库管理系统的错综复杂性。
实时数据同步利器debezium教程
数智技术
11-08 9746
1 debezium概述 Debezium是一个开源项目，为捕获数据更改(change data capture,CDC)提供了一个低延迟的流式处理平台。你可以安装并且配置Debezium去监控你的数据库，然后你的应用就可以消费对数据库的每一个行级别(row-level)的更改。 只有已提交的更改才是可见的，所以你的应用不用担心事务(transaction)或者更改被回滚(roll back)。Debezium为所有的数据库更改事件提供了一个统一的模型，所以你的应用不用担心每一种数据库管理系统的错综复杂性。
pinot-debezium-basic-example:这是使用 Debezium 摄取实时 MySQL 更改日志的基本 Apache Pinot 示例
05-29
MySQL 的 Apache Pinot 和 Debezium 示例这是一个基本的 Apache Pinot 示例，用于使用 Debezium 摄取实时 MySQL 更改日志。 要开始，请按照以下说明操作。 该示例是使用Docker compose进行启动和运行的参考。 请提供...
debezium-k8s:Debezium具有调控器和MySQL
04-18
debezium-k8s Debezium具有调控器和MySQL
debezium-examples:运行Debezium的示例（配置，Docker Compose文件等）
04-30
版权Debezium作者。 根据。 Debezium示例 该存储库包含使用Debezium的多个示例，例如配置文件，Docker Compose文件，OpenShift模板。 入门 要开始使用，请查看。
Debezium实现大数据变更状态捕获
长沙老码农
09-06 1811
1、简介 Debezium是用于捕获变更数据的开源分布式平台。可以响应数据库的所有插入，更新和删除操作。Debezium依赖于kafka上，所以在安装Debezium时需要提前安装好Zookeeper，Kafka，以及Kakfa Connect，可以处理的数据源有很多，包括关系型数据库如MySQL,Oracle，SQL Server等，NoSQL数据如MongoDB，Cassandra等,是一个优秀的CDC工具。 类似框架还有阿里Canal，也支持与消息中间件处理大数据响应的处理手段，学习路径可参考我的
Debezium迁移和同步Oracle数据
fayeestone的博客
10-19 4600
Debezium迁移和同步Oracle数据概览特点部署先决条件部署流程快照connector默认流程--创建初始快照即席快照增量快照算法实现kafka topic对事务的支持数据变化事件keyvalue 概览 Debezium是RedHat开源的一个将多种数据源实时变更数据捕获，形成数据流输出的开源工具。当前支持MySQL、PostgreSQL、SQL Server、Oracle、Db2等常用数据库。Debezium Oracle connector是基于kafka conect的一种实现，用于捕获并记录O
Debezium系列之：Debezium 通知
zhengzaifeidelushang的博客
06-26 305
Debezium 通知提供了一种获取有关连接器状态信息的机制。接收器通知通道：通过 Connect API 将通知发送到配置的主题。日志通知通道：通知会附加到日志中。JmxNotificationChannel：通知作为 JMX bean 中的属性公开。Custom：通知将发送到您实施的自定义渠道。通知机制被设计为可扩展的。您可以根据需要实施渠道，以最适合您的环境的方式传递通知。为通道创建一个Java项目来实现通道，并添加Debezium Core作为依赖项。部署通知通道。
Debezium 简介
weixin_43564627的博客
07-21 1万+
Debezium 简介 Debezium 是一个分布式平台，可将您现有的数据库转换为事件流，因此应用程序可以查看并立即响应数据库中的每个行级更改。 Debezium 构建在Apache Kafka之上，并提供与Kafka Connect兼容的连接器，用于监控特定的数据库管理系统。Debezium 在 Kafka 日志中记录数据更改的历史记录，从您的应用程序使用它们的位置。这使您的应用程序可以轻松正确且完整地使用所有事件。即使您的应用程序意外停止，它也不会错过任何内容：当应用程序重新启动时，它将继续使用它停止
大数据技术之Debezium
weixin_40898246的博客
08-31 1万+
Debezium概述 Debezium是用于捕获变更数据的开源分布式平台。可以响应数据库的所有插入，更新和删除操作。Debezium依赖于kafka上，所以在安装Debezium时需要提前安装好Zookeeper，Kafka，以及Kakfa Connect。 Kafka Connect Kafka Connect用于在Apache Kafka和其他系统之间可扩展且可靠地数据流传输数据的工具，连接器可以轻松地将大量数据导入或导出。 Kafka Connect当前支持两种模式，standalone和dist
Debezium系列之：监控 Debezium
zhengzaifeidelushang的博客
06-27 1031
您可以使用 Apache Zookeeper、Apache Kafka 和 Kafka Connect 提供的 JMX 指标来监控 Debezium。要使用这些指标，您必须在启动 Zookeeper、Kafka 和 Kafka Connect 服务时启用它们。启用 JMX 涉及设置正确的环境变量。您必须设置的环境变量取决于您是在本地安装还是在 Docker 容器中运行 Zookeeper、Kafka 和 Kafka Connect。
Debezium同步之自定义转换器
06-10
Debezium 是一个开源的数据变更捕捉和传递平台，支持多种数据源和消息队列，可以用于构建实时数据流处理系统。在 Debezium 中，转换器（Converter）是一个非常重要的概念，用于将数据库中的数据转换为特定的格式并发送到消息队列中。 如果 Debezium 中提供的默认转换器无法满足需求，可以使用自定义转换器来实现特定的数据转换。自定义转换器需要实现 `org.apache.kafka.connect.storage.Converter` 接口，并在 Debezium 配置文件中进行相应的配置。 自定义转换器一般需要关注以下几个方面： 1. 数据格式：自定义转换器需要定义特定的数据格式，例如 JSON、AVRO 等。 2. 序列化和反序列化：自定义转换器需要实现数据的序列化和反序列化方法，将数据格式转换为字节数组或从字节数组中解析出数据。 3. 数据转换：自定义转换器需要根据具体需求实现数据转换逻辑，例如将数据库中的数据转换为特定的 JSON 格式。 使用自定义转换器可以灵活地实现特定的数据转换需求，提高 Debezium 的适用性和扩展性。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

最笨的羊羊

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值