Debezium系列之：永久保存history topic中的数据

已于 2022-09-26 00:29:14 修改
阅读量611 收藏 1
点赞数 1
分类专栏： debezium 文章标签： Debezium系列 永久保存 history topic 数据
于 2022-09-26 00:25:05 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhengzaifeidelushang/article/details/127045300
版权
debezium 专栏收录该内容
334 篇文章 317 订阅 ¥99.90 ¥299.90
订阅专栏
本文介绍了如何在Debezium中永久保存history topic中的数据库DDL信息，以防connector故障时恢复状态。内容涉及背景介绍、潜在问题分析，以及通过Kafka命令和Java代码实现数据持久化的详细步骤。
摘要由CSDN通过智能技术生成

Debezium系列之：永久保存history topic中的数据

一、背景

更多关于Debezium Topic相关的设置可以参考博主下面这篇博客：

  • Debezium系列之：深入理解 Debezium Topic的设置要求
  • debezium使用database.history.kafka.topic对应的kafka topic保存数据库的ddl信息
  • 可以设置永久保存topic中的数据库ddl信息，这样在debezium connector出现故障时，可以使用history topic中的数据恢复debezium connector状态正常运行
  • debezium connector正常运行的时候会在内存中维护一份最新的表结构信息

二、潜在问题

  • 如果出现history topic的数据量很大的情形，永久保存history topic中的数据，在debezium connector出现故障时会导致debezium connector在短时间内无法恢复，但是正常使用的过程中，理论上history topic中的数据量不会太大。
  • 当出现异常导致history topic数据量增长很快时，可以考虑在debezium connector中增加如下配置，从而保证异常的ddl信息不会被
了解本专栏 订阅专栏 解锁全文
快乐骑行^_^
关注
专栏目录
订阅专栏
Debezium系列之：手动创建存放ddl database.history.kafka.topic对应的topic
zhengzaifeidelushang的博客
04-22 1590
debezium系列之：手动创建存放ddl database.history.kafka.topic对应的topic一、理解database.history.kafka.topic二、创建debezium history topic三、kafka客户端代码 一、理解database.history.kafka.topic database.history.kafka.topic存放ddl表结构变化数据 database.history.kafka.topic不能分区，为了使数据库历史主题正确运行，必须保持
debezium系列之：理解database.server.name和database.history.kafka.topic
zhengzaifeidelushang的博客
01-25 5314
debezium系列之：理解database.server.name和database.history.kafka.topic debezium捕获数据库表结构更改事件，并把这些事件写入到kafka名称为database.server.name的topic中。 topic消息包括： ddl：提供导致架构更改的 SQL CREATE、ALTER 或 DROP 语句。 databaseName：应用 DDL 语句的数据库的名称。 databaseName 的值用作消息键。 pos：语句出现在 binlog 中
Debezium实现大数据变更状态捕获
长沙老码农
09-06 2008
1、简介 Debezium是用于捕获变更数据的开源分布式平台。可以响应数据库的所有插入，更新和删除操作。Debezium依赖于kafka上，所以在安装Debezium时需要提前安装好Zookeeper，Kafka，以及Kakfa Connect，可以处理的数据源有很多，包括关系型数据库如MySQL,Oracle，SQL Server等，NoSQL数据如MongoDB，Cassandra等,是一个优秀的CDC工具。 类似框架还有阿里Canal，也支持与消息中间件处理大数据响应的处理手段，学习路径可参考我的
[debezium 源码分析] debezium history topic
laomei
09-30 2867
概述 对于mysql, debezium提供了一个history topic，history topic的配置比较特殊，过期策略为delete，过期时间非常大，一般我设置为Long - 1（只要数据不删除即可），分区个数必须为1。具体原因会在之后给出。 对于dbz mysql connector，一般来说history topic是必须的，不可省略。 History Topic 机制 dbz hi...
让命令历史永久保存并加时间戳
InfiniteIdea_Go的博客
10-15 544
#!/bin/sh grep HISTTIMEFORMAT /etc/bashrc || echo 'export HISTTIMEFORMAT="%Y-%m-%d %H:%M:%S "' >>/etc/bashrc for U in `grep -v shutdown /etc/passwd|awk -F: '$NF~/sh/&&$NF!~/no/{print $1...
Linux 系统history命令保存
03-01
所有用户执行的命令实时保存在一个文件中，文件内容如下： 2016-03-01 17:34:42 ##### USER:root IP:172.16.50.146 8160 22 PS:/dev/pts/1 ppid=2037 pwd=/root #### wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gz 2016-03-01 17:35:23 ##### USER:root IP:172.16.50.146 8077 22 PS:/dev/pts/0 ppid=1993 pwd=/home #### . /etc/profile 2016-03-01 17:35:29 ##### USER:root IP:172.16.50.146 8077 22 PS:/dev/pts/0 ppid=1993 pwd=/home #### pwd 2016-03-01 17:35:31 ##### USER:root IP:172.16.50.146 8077 22 PS:/dev/pts/0 ppid=1993 pwd=/root #### cd 2016-03-01 17:36:21 ##### USER:root IP:172.16.50.146 8077 22 PS:/dev/pts/0 ppid=1993 pwd=/root #### reboot
Debezium报错处理系列之三十四：The db history topic or its content is fully or partially missing. Please check d
zhengzaifeidelushang的博客
11-17 2208
Debezium报错处理系列之三十四：io.debezium.DebeziumException: The db history topic or its content is fully or partially missing. Please check database history topic configuration and re-execute the snapshot.
Debezium报错处理系列之第102篇：解决Flink CDC报错The db history topic or its content is fully or partially missing
最新发布
zhengzaifeidelushang的博客
05-10 849
Debezium报错处理系列之第101篇：解决Flink CDC报错The db history topic or its content is fully or partially missing
Debezium报错处理系列一：The db history topic is missing.
zhengzaifeidelushang的博客
12-21 3886
Debezium报错处理系列一：The db history topic is missing. You may attempt to recover it by reconfiguring the connector to SCHEMA_ONLY_RECOVERY debezium报错： The db history topic is missing. You may attempt to recover it by reconfiguring the connector to SCHEMA_ONLY_
Debezium系列之：支持数据库ddl和dml数据发往同一个Kafka Topic
zhengzaifeidelushang的博客
12-07 1337
Debezium系列之：支持数据库ddl和dml数据发往同一个Kafka Topic
Debezium系列之：记录数据库升级对Debezium的影响
zhengzaifeidelushang的博客
07-11 680
Debezium系列之：记录数据库升级对Debezium的影响
FlinkCdc--Debezium实现Kafka实时监控mysql binlog日志
atguigu_Jack的博客
11-23 3930
不管是什么大数据组件大部分都分单机和集群模式，这次我配置的是kafka集群监控mysql binlog日志 一.Zookeeper和Kafka集群部署 我的服务器是三台节点aliyun-bigdata-01aliyun-bigdata-02aliyun-bigdata-03 1.第一步实现kafka集群部署和zookeeper集群部署先启动zookeeper再启动kafka,涉及的相关组件如下图所示，去网盘下载 debezium-connector-mysql-1.4.0.Final-p...
Debezium的基本使用（以MySQL为例）
老叶茶馆
11-09 3815
Debezium介绍基本使用MySQL的准备工作编写程序测试总结一、Debezium介绍摘自官网:Debezium is a set of distributed services to capture changes in your databases so that your applications can see those changes and respond to them. Deb...
DEBEZIUM启动出错
cainiao1412的博客
08-31 2694
这种错误将 debezium props 配置中的 snapshot.mode 设置为 schema_only_recovery。
Debezium报错处理系列之十八：解决无法获取表结构问题
zhengzaifeidelushang的博客
06-20 569
提交debezium connector使用如下两个参数：针对现有的debezium connector，
Debezium报错处理系列之三十一：Caused by: com.microsoft.sqlserver.jdbc.SQLServerException: 为过程或函数 cdc.fn_cdc
zhengzaifeidelushang的博客
11-06 1057
Debezium报错处理系列之三十一：Caused by: com.microsoft.sqlserver.jdbc.SQLServerException: 为过程或函数 cdc.fn_cdc_get_all_changes_ ... 提供的参数数目不足。
kafka操作API（获取topic列表、创建topic、修改topic、删除topic以及消费组的操作等）
热门推荐
face light~
06-20 2万+
实现kafka的管理端操作API步骤如下： 1.添加pom依赖： <dependency> <groupId>org.springframework.kafka</groupId>
干货 | Debezium实现Mysql到Elasticsearch高效实时同步
铭毅天下Elasticsearch
02-23 1万+
题记 来自Elasticsearch中文社区的问题—— MySQL中表无唯一递增字段，也无唯一递增时间字段，该怎么使用logstash实现MySQL实时增量导数据到es中？ logstash和kafka_connector都仅支持基于自增id或者时间戳更新的方式增量同步数据。 回到问题本身：如果库表里没有相关字段，该如何处理呢？ 本文给出相关探讨和解决方案。 1、 binlog认知 1.1 啥...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

快乐骑行^_^

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值