Debezium系列之：为Debezium集群JMX页面增加监控，JMX页面出现异常时发送飞书告警，确保任务能够获取debezium集群指标

最新推荐文章于 2024-07-05 15:40:28 发布
最新推荐文章于 2024-07-05 15:40:28 发布
阅读量632 收藏 1
点赞数 1
分类专栏： debezium 文章标签： Debezium系列 JMX页面 发送飞书告警
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhengzaifeidelushang/article/details/131211732
版权
本文介绍了如何监控Debezium集群的JMX页面，当页面出现异常时通过Python脚本发送飞书告警。内容包括监控JMX页面状态的Python代码，发送飞书告警的示例，以及定时执行脚本的设置。告警不仅显示在飞书，还能@特定负责人，确保任务能及时获取到Debezium集群指标。
摘要由CSDN通过智能技术生成

Debezium系列之：为Debezium集群JMX页面增加监控，JMX页面出现异常时发送飞书告警，确保任务能够获取debezium集群指标

一、需求背景

  • 下游任务需要使用Debezium集群指标，因此需要监控Debezium集群的JMX页面，在JMX页面出现异常无法打开等情况时，需要及时发送飞书告警
  • 具体分为两种场景：
    • 对jmx页面状态的监控
    • 对debezium connector状态的监控

JMX页面如下所示：
在这里插入图片描述

这里主要是对JMX页面状态的监控

二、相关技术博客

Debezium JMX导出和重要的JMX指标可以参考博主下面的技术博客：

了解本专栏 订阅专栏 解锁全文
快乐骑行^_^
关注
专栏目录
订阅专栏
Debezium系列之：安装jmx导出器监控debezium指标
zhengzaifeidelushang的博客
07-27 1034
安装jmx导出器监控debezium指标一、kafka-connector打开JMX二、安装JMX导出器三、创建jmx导出配置文件四、将JMX导出添加到kafka连接二进制文件中五、重新启动分布式连接服务六、验证JMX代理七、服务器获取debezium指标八、浏览器查看debezium指标 一、kafka-connector打开JMX 使用jmx导出器监控debezium指标可以详细参考这篇博客为kafka-connector打开JMX： Debezium启动kafka-connector：https:/
Debezium系列之：监控Debezium集群状态，自动化运维Debezium集群
zhengzaifeidelushang的博客
07-18 327
Debezium系列之：监控Debezium集群状态，自动化运维Debezium集群
Debezium系列之：基于Debezium实现Cassandra数据库数据实时接入Kafka集群的详细流程步骤
zhengzaifeidelushang的博客
04-05 586
Debezium系列之：基于Debezium实现Cassandra数据库数据实时接入Kafka集群的详细流程步骤
Debezium系列之：使用Debezium接入SQL Server数据库数据到Kafka集群的详细技术文档
zhengzaifeidelushang的博客
10-12 2604
Debezium系列之：使用Debezium接入SQL Server数据库数据到Kafka集群的详细技术文档
Debezium系列之：Debezium单集群优化和多集群优化
zhengzaifeidelushang的博客
07-11 975
Debezium系列之：Debezium单集群优化和多集群优化
Debezium系列之：优化集群参数和支持debezium connector个性化设置
zhengzaifeidelushang的博客
07-18 921
Debezium系列之：优化集群参数和支持debezium connector个性化设置
Debezium系列之：debezium同步postgresql数据库数据到kafka集群
zhengzaifeidelushang的博客
07-27 925
debezium同步postgresql数据库数据到kafka集群 Debezium启动kafka-connector：https://blog.csdn.net/zhengzaifeidelushang/article/details/119153978 debezium同步mysql数据库数据到kafka集群： https://blog.csdn.net/zhengzaifeidelushang/article/details/119152017 一、测试kafka集群能否连接postgresql数
Debezium系列之：debezium同步mysql数据库数据到kafka集群
zhengzaifeidelushang的博客
07-27 791
debezium同步mysql数据库数据到kafka集群 一、修改connect-distributed.sh配置 #!/bin/bash #打开JMX监控 export JMX_PORT=9010 #JVM参数配置优化 export KAFKA_HEAP_OPTS="-Djava.security.auth.login.config=/moudle/debezium/kafka_2.13-2.7.0/config/connect-jaas.conf -Xms28G -Xmx28G -XX:NewSiz
Debezium系列之：实现接入上千Mysql、Sqlserver、MongoDB、Postgresql数据库的Debezium集群从Debezium1.X版本升级到Debezium2.X版本
zhengzaifeidelushang的博客
04-30 1262
Debezium系列之：实现接入上千Mysql、Sqlserver、MongoDB、Postgresql数据库的Debezium集群从Debezium1.X版本升级到Debezium2.X版本
Debezium系列之：JVM参数详解和Debezium集群JVM监控看板制作
最新发布
zhengzaifeidelushang的博客
07-05 224
Debezium集群监控看板
Debezium报错处理系列三：Access denied； you need (at least one of) the SUPER, REPLICATION CLIENT privilege(s)
zhengzaifeidelushang的博客
12-29 5820
Debezium报错处理系列三：Access denied; you need (at least one of) the SUPER, REPLICATION CLIENT privilege(s) 一、debezium报错 Access denied; you need (at least one of) the SUPER, REPLICATION CLIENT privilege(s)) 二、报错产生原因 数据库账号没有复制binlog权限 三、解决方法 数据库账号添加权限 给账号opt
debezium系列之：理解database.server.name和database.history.kafka.topic
zhengzaifeidelushang的博客
01-25 5323
debezium系列之：理解database.server.name和database.history.kafka.topic debezium捕获数据库表结构更改事件，并把这些事件写入到kafka名称为database.server.name的topic中。 topic消息包括： ddl：提供导致架构更改的 SQL CREATE、ALTER 或 DROP 语句。 databaseName：应用 DDL 语句的数据库的名称。 databaseName 的值用作消息键。 pos：语句出现在 binlog 中
Debezium系列之：安装部署debezium详细步骤，并把debezium服务托管到systemctl
zhengzaifeidelushang的博客
04-25 4258
Debezium系列之：安装部署debezium详细步骤，并把debezium服务托管到systemctl一、安装部署Kafka集群二、安装debezium三、修改kafka connect-distributed.properties四、手动启动kafka connect五、把debezium服务托管到systemctl 一、安装部署Kafka集群 CentOS7搭建Kafka2.7分布式集群 二、安装debezium Debezium下载地址：https://debezium.io/releases/
Debezium报错处理系列一：The db history topic is missing.
zhengzaifeidelushang的博客
12-21 3894
Debezium报错处理系列一：The db history topic is missing. You may attempt to recover it by reconfiguring the connector to SCHEMA_ONLY_RECOVERY debezium报错： The db history topic is missing. You may attempt to recover it by reconfiguring the connector to SCHEMA_ONLY_
Debezium系列之：把数据库中多张表的数据发送到一个Kafka topic中
zhengzaifeidelushang的博客
05-11 3714
Debezium系列之：把多个数据库中多张表的数据发送到一个Kafka topic中一、Debezium专栏博客每周更新计划二、需求描述三、参数设置四、提交debezium connector参数示例 一、Debezium专栏博客每周更新计划 后续每周在日常更新Debezium技术文章的同时，会以一定频率同步更新Debezium源码阅读系列文章，欢迎与博主交流Debezium相关技术，一起加油。 二、需求描述 需求1: 需要把一个数据库中的多张表的数据，全部导入同一个kafka topic中 需求2:
Debezium报错处理系列十一：Data row is smaller than a column index, internal schema representation is probabl
zhengzaifeidelushang的博客
03-28 3497
Data row is smaller than a column index, internal schema representation is probably out of sync with real database schema
debezium报错：Caused by: io.debezium.DebeziumException:whose schema isn‘t known to this connector
zhengzaifeidelushang的博客
07-27 3482
debezium报错：Caused by: io.debezium.DebeziumException:whose schema isn’t known to this connector “trace”:"org.apache.kafka.connect.errors.ConnectException: An exception occurred in the change event producer. This connector will be stopped. Caused by: io.deb
Debezium系列之：记录一次快速处理生产环境debezium connector故障，并使用debezium补缺失的数据
zhengzaifeidelushang的博客
05-19 3418
Debezium系列之：记录一次快速处理生产环境debezium connector故障一、背景二、快速恢复connector三、使用debezium补缺失的数据 一、背景 debezium生产环境connector故障了，需要快速处理才能不影响后续数据开发任务，同时需要确保数据不会有遗漏。出现数据遗漏需要把遗漏的数据补充完整。 二、快速恢复connector 删除debezium故障的connector 使用一个新的history topic，创建新的history topic，使用新的connecto
Java JMX规范解析与分布式监控应用
妻子（管理者）可以通过手机（JMX工具）实时监控丈夫（系统）的位置和行为，当发现异常情况时，可以及时介入（调用MBean操作）。这个例子形象地展示了JMX在分布式环境中如何帮助远程监控和管理系统的功能。 在Java...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

快乐骑行^_^

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值