Debezium系列之：监控 Debezium

最新推荐文章于 2024-05-18 11:08:34 发布
最新推荐文章于 2024-05-18 11:08:34 发布
阅读量1k 收藏 1
点赞数 1
分类专栏： 日常分享专栏 文章标签： Debezium系列 监控 Debezium
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhengzaifeidelushang/article/details/131408393
版权

Debezium系列之：监控 Debezium

Debezium JMX相关的技术博客：

更多内容请阅读博主Debezium专栏，博主会持续更新Debezium专栏：

Docker相关技术可以参考博主下面几篇技术博客：

一、概述

您可以使用 Apache Zookeeper、Apache Kafka 和 Kafka Connect 提供的 JMX 指标来监控 Debezium。要使用这些指标，您必须在启动 Zookeeper、Kafka 和 Kafka Connect 服务时启用它们。启用 JMX 涉及设置正确的环境变量。您必须设置的环境变量取决于您是在本地安装还是在 Docker 容器中运行 Zookeeper、Kafka 和 Kafka Connect。

注意：

  • 如果您在同一台计算机上运行多个服务，请确保为每个服务使用不同的 JMX 端口。

二、用于监控 Debezium 连接器的指标

除了 Kafka、Zookeeper 和 Kafka Connect 中对 JMX 指标的内置支持之外，每个连接器还提供其他指标，您可以使用这些指标来监控其活动。

  • Db2 connector metrics
  • MongoDB connector metrics
  • MySQL connector metrics
  • Oracle connector metrics
  • PostgreSQL connector metrics
  • SQL Server connector metrics
  • Cassandra connector metrics

三、在本地安装中启用 JMX

使用 Zookeeper、Kafka 和 Kafka Connect，您可以通过在启动每个服务时设置适当的环境变量来启用 JMX。

1.Zookeeper JMX 环境变量

Zookeeper 内置了对 JMX 的支持。使用本地安装运行 Zookeeper 时，zkServer.sh 脚本可识别以下环境变量：

  • JMXPORT：启用 JMX 并指定将用于 JMX 的端口号。该值用于指定 JVM 参数 -Dcom.sun.management.jmxremote.port=$JMXPORT。
  • JMXAUTH：JMX 客户端在连接时是否必须使用密码身份验证。必须是真或假。默认为 false。该值用于指定 JVM 参数 -Dcom.sun.management.jmxremote.authenticate=$JMXAUTH。
  • JMXSSL：JMX 客户端是否使用 SSL/TLS 进行连接。必须是真或假。默认为 false。该值用于指定 JVM 参数 -Dcom.sun.management.jmxremote.ssl=$JMXSSL。
  • JMXLOG4J：是否应禁用 Log4J JMX MBean。必须为 true（默认）或 false。默认为 true。该值用于指定 JVM 参数 -Dzookeeper.jmx.log4j.disable=$JMXLOG4J。

2.KafkaJMX环境变量

使用本地安装运行 Kafka 时，kafka-server-start.sh 脚本可识别以下环境变量：

  • JMX_PORT：启用 JMX 并指定将用于 JMX 的端口号。该值用于指定 JVM 参数 -Dcom.sun.management.jmxremote.port=$JMX_PORT。
  • KAFKA_JMX_OPTS：JMX 选项，在启动期间直接传递到 JVM。默认选项是：
    • -Dcom.sun.management.jmxremote
    • -Dcom.sun.management.jmxremote.authenticate=false
    • -Dcom.sun.management.jmxremote.ssl=false

3.Kafka Connect JMX 环境变量

使用本地安装运行 Kafka 时，connect-distributed.sh 脚本可识别以下环境变量：

  • JMX_PORT：启用 JMX 并指定将用于 JMX 的端口号。该值用于指定 JVM 参数 -Dcom.sun.management.jmxremote.port=$JMX_PORT。
  • KAFKA_JMX_OPTS：JMX 选项，在启动期间直接传递到 JVM。默认选项是：
    • -Dcom.sun.management.jmxremote
    • -Dcom.sun.management.jmxremote.authenticate=false
    • -Dcom.sun.management.jmxremote.ssl=false

四、在 Docker 中启用 JMX

如果您通过 Debezium 容器映像运行 Apache Zookeeper、Kafka 和 Kafka Connect，则启用 JMX 需要几个额外的环境变量，而在本地计算机上运行时通常不需要这些变量。这是因为 JVM 需要主机名来向 JMX 客户端通告自己。因此，Debezium 的 Zookeeper、Kafka 和 Kafka Connect 容器映像使用多个环境变量来启用和配置 JMX。所有图像的大多数环境变量都是相同的，但也有一些细微的差异。

1.Docker 中的 Zookeeper JMX 环境变量

debezium/zookeeper 映像可识别以下与 JMX 相关的环境变量：

JMXPORT（必填）
将用于 JMX 的端口号。该值用于指定以下 JVM 参数：

  • -Dcom.sun.management.jmxremote.port=$JMXPORT
  • -Dcom.sun.management.jmxremote.rmi.port=$JMXPORT

JMXHOST（必填）

  • Docker 主机的 IP 地址或可解析主机名，JMX 使用它来构造发送到 JMX 客户端的 URL。 localhost 或 127.0.0.1 值将不起作用。通常，可以使用 0.0.0.0。该值用于指定 JVM 参数 -Djava.rmi.server.hostname=$JMXHOST。

JMX认证

  • JMX 客户端在连接时是否必须使用密码身份验证。必须是真或假。默认为 false。该值用于指定 JVM 参数 -Dcom.sun.management.jmxremote.authenticate=$JMXAUTH。

JMXSSL

  • JMX 客户端是否使用 SSL/TLS 进行连接。必须是真或假。默认为 false。该值用于指定 JVM 参数 -Dcom.sun.management.jmxremote.ssl=$JMXSSL。

JMXLOG4J

  • 是否应禁用 Log4J JMX MBean。必须是真或假。默认为 true。该值用于指定 JVM 参数 -Dzookeeper.jmx.log4j.disable=$JMXLOG4J。

示例 1. 在 Zookeeper Docker 容器中启用 JMX
以下示例 Docker 命令使用 debezium/zookeeper 映像以及 JMXPORT 和 JMXHOST 环境变量的值启动容器，并将 Docker 主机的端口 9010 映射到容器的 JMX 端口：

docker run -it --rm --name zookeeper 
-p 2181:2181 -p 2888:2888 
-p 3888:3888 
-p 9010:9010 
-e JMXPORT=9010 
-e JMXHOST=10.0.1.10 
quay.io/debezium/zookeeper:latest

2.Docker 中的 Kafka JMX 环境变量

debezium/kafka 映像可识别以下与 JMX 相关的环境变量：

JMXPORT（必填）
将用于 JMX 的端口号。该值用于指定以下 JVM 参数：

  • -Dcom.sun.management.jmxremote.port=$JMXPORT
  • -Dcom.sun.management.jmxremote.rmi.port=$JMXPORT

JMXHOST（必填）

  • Docker 主机的 IP 地址或可解析主机名，JMX 使用它来构造发送到 JMX 客户端的 URL。 localhost 或 127.0.0.1 值将不起作用。通常，可以使用 0.0.0.0。该值用于指定 JVM 参数 -Djava.rmi.server.hostname=$JMXHOST。

JMXAUTH

  • JMX 客户端在连接时是否必须使用密码身份验证。必须是真或假。默认为 false。该值用于指定 JVM 参数 -Dcom.sun.management.jmxremote.authenticate=$JMXAUTH。

JMXSSL

  • JMX 客户端是否使用 SSL/TLS 进行连接。必须是真或假。默认为 false。该值用于指定 JVM 参数 -Dcom.sun.management.jmxremote.ssl=$JMXSSL。

示例 2. 在 Kafka Docker 容器中启用 JMX

以下示例 Docker 命令使用 debezium/kafka 映像以及 JMXPORT 和 HOST_NAME 环境变量的值启动容器，并将 Docker 主机的端口 9011 映射到容器的 JMX 端口：

docker run -it --rm --name kafka 
-p 9092:9092 
-p 9011:9011 
-e JMXPORT=9011 
-e JMXHOST=10.0.1.10 
--link zookeeper:zookeeper quay.io/debezium/kafka:latest

3.Docker 中的 Kafka Connect JMX 环境变量

debezium/connect 映像可识别以下与 JMX 相关的环境变量：

JMXPORT (Required)
将用于 JMX 的端口号。该值用于指定以下 JVM 参数：

  • -Dcom.sun.management.jmxremote.port=$JMXPORT
  • -Dcom.sun.management.jmxremote.rmi.port=$JMXPORT

JMXHOST（必填）

  • Docker 主机的 IP 地址或可解析主机名，JMX 使用它来构造发送到 JMX 客户端的 URL。 localhost 或 127.0.0.1 值将不起作用。通常，可以使用 0.0.0.0。该值用于指定 JVM 参数 -Djava.rmi.server.hostname=$JMXHOST。

JMXAUTH

  • JMX 客户端在连接时是否必须使用密码身份验证。必须是真或假。默认为 false。该值用于指定 JVM 参数 -Dcom.sun.management.jmxremote.authenticate=$JMXAUTH。

JMXSSL

  • JMX 客户端是否使用 SSL/TLS 进行连接。必须是真或假。默认为 false。该值用于指定 JVM 参数 -Dcom.sun.management.jmxremote.ssl=$JMXSSL。

示例 3. 在 Kafka Connect Docker 容器中启用 JMX

以下示例 Docker 命令使用 debezium/connect 映像以及 JMXPORT 和 JMXHOST 环境变量的值启动容器，并将 Docker 主机的端口 9012 映射到容器的 JMX 端口：

docker run -it --rm --name connect \
  -p 8083:8083 -p 9012:9012 \
  -e JMXPORT=9012 -e JMXHOST=10.0.1.10 \
  -e GROUP_ID=1 \
  -e CONFIG_STORAGE_TOPIC=my_connect_configs \
  -e OFFSET_STORAGE_TOPIC=my_connect_offsets \
  -e STATUS_STORAGE_TOPIC=my_connect_statuses \
  --link zookeeper:zookeeper \
  --link kafka:kafka \
  --link mysql:mysql \
  quay.io/debezium/connect:latest

五、使用 Prometheus 和 Grafana

Debezium 和 Kafka 公开的指标可以通过 Prometheus 和 Grafana 导出和显示。

更多内容参考博主下面这篇技术博客：

更详细的实现步骤，可以移步博主Debezium专栏。

六、Java Flight Recording

Kafka Connect 的 Debezium 容器映像还为 JDK Flight Recorder 提供易于使用的支持。要启用记录，需要设置环境变量 ENABLE_JFR=true。然后，容器启动时将自动开始录制。默认情况下，记录处于启用状态，即使用默认设置完成连续记录，然后您可以使用 jcmd 或 JDK Mission Control 转储记录。

可以修改记录器的行为。为此，您需要设置以 JFR_RECORDING_ 为前缀的环境变量来设置录制参数。前缀后面的部分转换为小写，下划线替换为破折号，因此 JFR_RECORDING_PATH_TO_GC_ROOTS=true 变为 path-to-gc-roots=true。

Flight Recorder控制选项可以通过 JFR_OPT_ 前缀的环境变量进行配置。

最笨的羊羊
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
debezium-k8s:Debezium具有调控器和MySQL
04-18
它能够监控数据库的事务日志，将数据库的变更事件转化为可消费的消息，进而传递给其他系统。这种方式使得应用程序能够实时响应数据库的更新，而无需轮询或重复查询。 **Kubernetes集成** Kubernetes（简称K8s）是云...
Spring Boot集成Debezium快速入门demo
HBLOG
03-20 851
1.Debezium介绍Debezium是一个用来捕获数据库数据变更的分布式服务，你的应用可以看到这些数据变更，以及处理他们。Debezium以更改事件流的形式记录每张表的行级变更。然后应用可以以事件流产生的顺序读取事件流变更记录。目前支持的Source Connectors是Mysql，MongoDB，PostgresSQL、Oracle、SQL Server、Db2、Cassamdra、Vit...
Debezium是什么
热门推荐
fengfengzai0101的博客
01-15 1万+
Debezium是什么 Debezium是一个用来捕获数据库数据变更的分布式服务，你的应用可以看到这些数据变更，以及处理他们。Debezium以更改事件流的形式记录每张表的行级变更。 然后应用可以以事件流产生的顺序读取事件流变更记录。 目前支持的Source Connectors是Mysql，MongoDB，PostgresSQL、Oracle、SQL Server、Db2、Cassamdra、Vitesss。 目前Cassandra、Vitess处于孵化阶段。 说明：孵化连接器发版用于预览目的，对于孵
debezium学习
最新发布
喜欢学习新知识
05-18 513
打开一个新终端，并使用它启动 watch-topic 实用程序，从主题的开头开始监视 dbserver1.inventory.customers 主题。由于您在启动它们时使用了 --rm 选项，因此 Docker 也会删除它们。ZooKeeper 和 Kafka 通常会将其数据存储在本地容器中，这需要您将目录作为卷挂载到主机上。但是，本教程将跳过此设置 - 当容器停止时，所有持久化数据都将丢失。下载完成后进行安装，只能装在C盘，不支持更改安装目录。这样，当容器停止时，持久化的数据将保留。
CDC工具之Debezium
datacreating的博客
11-30 6134
Debezium是一组分布式服务，用于捕获数据库中的更改，以便您的应用程序可以看到这些更改并做出响应。
Debezium简介
justlpf的专栏
09-15 2797
参考：Debezium是一个开源项目，为捕获数据更改(change data capture,CDC)提供了一个低延迟的流式处理平台。你可以安装并且配置Debezium去监控你的数据库，然后你的应用就可以消费对数据库的每一个行级别(row-level)的更改。只有已提交的更改才是可见的，所以你的应用不用担心事务(transaction)或者更改被回滚(roll back)。Debezium为所有的数据库更改事件提供了一个统一的模型，所以你的应用不用担心每一种数据库管理系统的错综复杂性。
实时数据同步利器debezium教程
数智技术
11-08 1万+
1 debezium概述 Debezium是一个开源项目，为捕获数据更改(change data capture,CDC)提供了一个低延迟的流式处理平台。你可以安装并且配置Debezium去监控你的数据库，然后你的应用就可以消费对数据库的每一个行级别(row-level)的更改。 只有已提交的更改才是可见的，所以你的应用不用担心事务(transaction)或者更改被回滚(roll back)。Debezium为所有的数据库更改事件提供了一个统一的模型，所以你的应用不用担心每一种数据库管理系统的错综复杂性。
Debezium日常分享系列之：Debezium 通知
zhengzaifeidelushang的博客
01-01 1172
通知机制被设计为可扩展的。可以根据需要实施渠道，以最适合的环境的方式传递通知。为通道创建一个Java项目来实现通道，并添加Debezium Core作为依赖项。部署通知通道。通过修改连接器配置，使连接器能够使用自定义通知通道。配置自定义通知渠道自定义通知通道是实现 io.debezium.pipeline.notification.channels.NotificationChannel 服务提供者接口 (SPI) 的 Java 类。1234频道的名称。
debezium-debezium-connector-mongodb-2.0.0.Final
11-23
8. **监控和管理**：通过Debezium的API或控制台，可以监控连接器的状态，查看已处理的事件数量，以及错误和警告信息。 9. **安全性**：连接器支持使用MongoDB认证和授权，确保数据的安全传输。 10. **性能优化**：...
debezium：更改各种数据库的数据捕获。 请在https：issues.redhat.combrowseDBZ上记录问题
02-04
版权Debezium作者。 根据。 debezium-ddl-parser模块中的Antlr语法是根据。 英文| 德比兹 Debezium是一个开源项目，为更改数据捕获（CDC）提供了低延迟的数据流平台。 您设置并配置Debezium来监视数据库，然后您的...
debezium-server-pubsubplus
02-09
9. **Monitoring and Management**：通过Google Cloud Console或API，用户可以轻松监控和管理数据流，查看消息传递性能，以及设置警报和通知。 10. **Flexibility**：支持多种编程语言的客户端库，使得开发者可以...
debezium-connector-oracle-1.6.0.Alpha1-plugin.tar.gz
06-22
Debezium是基于Apache Kafka Connect构建的数据复制平台，它可以监控多个数据库并捕获其更改，然后将这些更改发布到Kafka主题，以便其他应用程序可以订阅并处理这些事件。这使得数据集成、实时分析和数据仓库的更新...
jaegertracing:Express + Prisma + Debezium + Kafka + Jaeger OpenTracing
03-10
在 TypeScript 应用中，Jaeger 提供的客户端库可以帮助创建和传播追踪上下文，使得每个服务都能参与到全局的追踪之中。OpenTracing 允许开发者以标准化的方式添加自定义标记和元数据，以便于故障排查和性能分析。 ...
Pulsar集群 监听mysql8的binlog java代码
04-04
当你需要将MySQL数据库的变更实时同步到Pulsar集群时，通常会采用像Debezium这样的工具。以下是关于这个主题的详细知识： 1. **Apache Pulsar**：Pulsar是Apache软件基金会的顶级项目，它是一个高吞吐、低延迟、可...
Debezium是一个开源项目，为捕获数据更改(change data capture,CDC)提供了一个低延迟的流式处理平台
01-09
你可以安装并且配置Debezium去监控你的数据库，然后你的应用就可以消费对数据库的每一个行级别(row-level)的更改。只有已提交的更改才是可见的，所以你的应用不用担心事务(transaction)或者更改被回滚(roll back)。...
实时监控数据库变化
01-11
4. **监听技术**：对于MySQL，可以监听binlog，当binlog中有新的写入操作时，通过binlog解析工具（如Debezium）转化为可消费的消息，供应用程序订阅。 在实际开发中，选择哪种方法取决于具体需求，如性能、实时性、...
Debezium实现大数据变更状态捕获
长沙老码农
09-06 1886
1、简介 Debezium是用于捕获变更数据的开源分布式平台。可以响应数据库的所有插入，更新和删除操作。Debezium依赖于kafka上，所以在安装Debezium时需要提前安装好Zookeeper，Kafka，以及Kakfa Connect，可以处理的数据源有很多，包括关系型数据库如MySQL,Oracle，SQL Server等，NoSQL数据如MongoDB，Cassandra等,是一个优秀的CDC工具。 类似框架还有阿里Canal，也支持与消息中间件处理大数据响应的处理手段，学习路径可参考我的
Debezium迁移和同步Oracle数据
fayeestone的博客
10-19 4816
Debezium迁移和同步Oracle数据概览特点部署先决条件部署流程快照connector默认流程--创建初始快照即席快照增量快照算法实现kafka topic对事务的支持数据变化事件keyvalue 概览 Debezium是RedHat开源的一个将多种数据源实时变更数据捕获，形成数据流输出的开源工具。当前支持MySQL、PostgreSQL、SQL Server、Oracle、Db2等常用数据库。Debezium Oracle connector是基于kafka conect的一种实现，用于捕获并记录O
Debezium系列 生产者参数配追
02-23
Debezium是一个开源的分布式数据变更捕获平台，它可以监控数据库的变更并将这些变更以事件的形式发布出来。Debezium提供了一系列的生产者参数配置，用于配置和定制数据变更事件的生成和传输。 以下是一些常用的Debezium生产者参数配置： 1. `database.hostname`：指定数据库的主机名或IP地址。 2. `database.port`：指定数据库的端口号。 3. `database.user`：指定连接数据库所需的用户名。 4. `database.password`：指定连接数据库所需的密码。 5. `database.dbname`：指定要监控的数据库名称。 6. `database.server.name`：指定Kafka主题的名称，用于存储数据库变更事件。 7. `database.history.kafka.bootstrap.servers`：指定Kafka集群的地址，用于存储数据库变更事件的历史记录。 8. `database.history.kafka.topic`：指定存储数据库变更事件历史记录的Kafka主题名称。 9. `table.include.list`：指定要监控的表名列表，多个表名之间使用逗号分隔。 10. `table.exclude.list`：指定不需要监控的表名列表，多个表名之间使用逗号分隔。 这些参数配置可以根据具体需求进行调整和扩展，以满足不同场景下的数据变更捕获和传输需求。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

最笨的羊羊

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值