Debezium系列之：基于内容路由实现把数据库表中的数据按照数据类型分发到不同的topic

于 2023-08-11 22:40:22 发布
阅读量221 收藏 1
点赞数 1
分类专栏： debezium 文章标签： Debezium系列 基于内容路由 实现把数据库表中的数据 按照数据类型 分发到不同的topic
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhengzaifeidelushang/article/details/132240529
版权
debezium 专栏收录该内容
300 篇文章 270 订阅 ¥99.90 ¥99.00
订阅专栏

Debezium系列之：基于内容路由实现把数据库表中的数据按照数据类型分发到不同的topic

一、需求背景

  • 一张表中存有各个超市门店的订单信息，例如超市门店1、超市门店2、超市门店3，现在希望超市门店1的订单数据发送到topic1，超市门店2的订单数据发送到topic2，超市门店3的订单数据发送到topic3
  • 难点在于超市门店1的增删改数据都要发送到topic1,超市门店2的增删改数据都要发送到topic2,超市门店3的增删改数据都要发送到topic3

二、创建表



CREATE TABLE dw.address (
  `
了解本专栏 订阅专栏 解锁全文
最笨的羊羊
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
MQ - 39 Serverless : 基于MQ和Serverless设计事件驱动架构
小工匠
10-09 4198
为了更好地理解它，我们先来回顾两个知识点。MQ - 07 基础篇_消费者客户端SDK设计(上)消费数据时 Push 模型的实时性是最高的MQ - 38 Serverless : 基于Serverless架构实现流式数据处理事件源数据的触发方式有一种是事件触发。从技术上来看，这两个知识点都是事件驱动架构的一种实现。接下来我们就详细了解一下什么是事件驱动架构，它有什么用，以及它的架构和底层运行原理。事件驱动架构，英文是 Event Driven Architecture，简称 EDA。
Android模块化中数据传递/路由跳转实现示例
01-04
虽然说模块通信、路由协议在Android已经不新鲜了，但是如果脱离了那些优秀的开源库我们从零开始自己造一个库，有时候重复造轮子会让自己对所谓”车”的原理懂得更透彻。 直接上造完的轮子地址： https://github.com/Neacy/NeacyComponent 这个轮子有两个大功能分别是模块通信以及路由跳转： 模块通信 首先，统一声明姿势： public interface IComponent { String getName(); void startComponent(ComponentParam param); } 也就是说，在各自的维护的模块内若想提供一个类供别
Debezium系列之：Debezium2.X之Debezium JDBC连接器
zhengzaifeidelushang的博客
05-03 1672
Debezium系列之：Debezium2.X之Debezium JDBC连接器
【硬刚大数据】大数据同步工具之FlinkCDC/Canal/Debezium对比
微信搜：import_bigdata，大数据领域硬核原创作者
10-23 8433
欢迎关注博客主页：微信搜：import_bigdata，大数据领域硬核原创作者_王知无(import_bigdata)_CSDN博客 欢迎点赞、收藏、留言 ，欢迎留言交流！本文由【王知无】原创，首发于 CSDN博客！本文首发CSDN论坛，未经过官方和本人允许，严禁转载！ 《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》 前言 数据准实时复制（CDC）是目前行内实时数据需求大量使用的技术，随着国产化的需求，我们也逐步考虑基于开源产品进行准实时数据同步工具的相关开发，逐步实现对商..
大数据时代，数据实时同步解决方案的思考—最全的数据同步总结
03-30 4440
1、 早期关系型数据库之间的数据同步 1）、全量同步 比如从oracle数据库中同步一张表的数据到Mysql中，通常的做法就是 分页查询源端的表，然后通过 jdbc的batch 方式插入到目标表，这个地方需要注意的是，分页查询时，一定要按照主键id来排序分页，避免重复插入。 2）、基于数据文件导出和导入的全量同步，这种同步方式一般只适用于同种数据库之间的同步，如果是不同的数据库，这种方式可能会存在问题。 3）、基于触发器的增量同步 增量同步一般是做实时的同步，早期很多数据同步都是基于关系型
Spring数据库多数据源路由配置过程图解
08-18
主要介绍了Spring数据库多数据源路由配置过程图解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
PHP获取数据库表中的数据插入新的表再原删除数据方法
12-19
1, 路由 我使用 get (1) 控制器 public function a(Request $request){ //获取指定的id $id = $request->id; $rs=R::find($id); //仓库中 $re=$rs->rfid; //判断仓库中的是否与数据库的rf在线的是否相等 $...
基于MyBatis的数据库切分框架，可实现数据的水平切分和垂直切分
最新发布
04-06
在垂直切分中,您可能将不同类型的数据表,如用户信息表、订单表等,存储到不同的数据库节点上。这样可以减轻单个数据库的压力,同时也方便了对不同业务的管理和维护。在实现时,您可能需要在 MyBatis 的配置文件中,定义...
内容分发网络中基于相关内容吸引的缓存算法
02-24
内容分发网络中基于内容名的缓存算法会导致路由表规模随网络增长而膨胀,将严重影响网络路由效率和性能。针对该问题,提出一种基于相关内容吸引的节点缓存算法。利用本地缓存算法,通过节点已缓存内容对其他内容的吸引...
Debezium报错处理系列三：Access denied； you need (at least one of) the SUPER, REPLICATION CLIENT privilege(s)
zhengzaifeidelushang的博客
12-29 5599
Debezium报错处理系列三：Access denied; you need (at least one of) the SUPER, REPLICATION CLIENT privilege(s) 一、debezium报错 Access denied; you need (at least one of) the SUPER, REPLICATION CLIENT privilege(s)) 二、报错产生原因 数据库账号没有复制binlog权限 三、解决方法 数据库账号添加权限 给账号opt
debezium系列之：理解database.server.name和database.history.kafka.topic
zhengzaifeidelushang的博客
01-25 5197
debezium系列之：理解database.server.name和database.history.kafka.topic debezium捕获数据库表结构更改事件，并把这些事件写入到kafka名称为database.server.name的topic中。 topic消息包括： ddl：提供导致架构更改的 SQL CREATE、ALTER 或 DROP 语句。 databaseName：应用 DDL 语句的数据库的名称。 databaseName 的值用作消息键。 pos：语句出现在 binlog 中
Debezium系列之：安装部署debezium详细步骤，并把debezium服务托管到systemctl
zhengzaifeidelushang的博客
04-25 3864
Debezium系列之：安装部署debezium详细步骤，并把debezium服务托管到systemctl一、安装部署Kafka集群二、安装debezium三、修改kafka connect-distributed.properties四、手动启动kafka connect五、把debezium服务托管到systemctl 一、安装部署Kafka集群 CentOS7搭建Kafka2.7分布式集群 二、安装debezium Debezium下载地址：https://debezium.io/releases/
Debezium系列之：把数据库中多张表的数据发送到一个Kafka topic中
zhengzaifeidelushang的博客
05-11 3571
Debezium系列之：把多个数据库中多张表的数据发送到一个Kafka topic中一、Debezium专栏博客每周更新计划二、需求描述三、参数设置四、提交debezium connector参数示例 一、Debezium专栏博客每周更新计划 后续每周在日常更新Debezium技术文章的同时，会以一定频率同步更新Debezium源码阅读系列文章，欢迎与博主交流Debezium相关技术，一起加油。 二、需求描述 需求1: 需要把一个数据库中的多张表的数据，全部导入同一个kafka topic中 需求2:
Debezium报错处理系列一：The db history topic is missing.
zhengzaifeidelushang的博客
12-21 3445
Debezium报错处理系列一：The db history topic is missing. You may attempt to recover it by reconfiguring the connector to SCHEMA_ONLY_RECOVERY debezium报错： The db history topic is missing. You may attempt to recover it by reconfiguring the connector to SCHEMA_ONLY_
Debezium系列之：记录一次快速处理生产环境debezium connector故障，并使用debezium补缺失的数据
zhengzaifeidelushang的博客
05-19 3315
Debezium系列之：记录一次快速处理生产环境debezium connector故障一、背景二、快速恢复connector三、使用debezium补缺失的数据 一、背景 debezium生产环境connector故障了，需要快速处理才能不影响后续数据开发任务，同时需要确保数据不会有遗漏。出现数据遗漏需要把遗漏的数据补充完整。 二、快速恢复connector 删除debezium故障的connector 使用一个新的history topic，创建新的history topic，使用新的connecto
数据库安装部署系列之：部署Mongodb5.0.6高可用集群详细步骤
zhengzaifeidelushang的博客
02-21 3284
解压mongodb压缩包 tar -zxvf mongodb-linux-x86_64-rhel70-5.0.6.tgz -C /data/src 重命名 mv /data/src/mongodb-linux-x86_64-rhel70-5.0.6/ /data/src/mongodb mkdir -p /data/src/mongodb/conf mkdir -p /data/src/mongodb/mongos/log mkdir -p /data/src/mongodb/config/data
debezium报错：Caused by: io.debezium.DebeziumException:whose schema isn‘t known to this connector
zhengzaifeidelushang的博客
07-27 3239
debezium报错：Caused by: io.debezium.DebeziumException:whose schema isn’t known to this connector “trace”:"org.apache.kafka.connect.errors.ConnectException: An exception occurred in the change event producer. This connector will be stopped. Caused by: io.deb
Debezium报错处理系列十一：Data row is smaller than a column index, internal schema representation is probabl
zhengzaifeidelushang的博客
03-28 3145
Data row is smaller than a column index, internal schema representation is probably out of sync with real database schema
vue 前后端开发,如何实现一个查询界面,从mysql数据库表中查询数据,并逐条确认或者
08-18
在Vue前后端开发中，实现一个查询界面并从MySQL数据库表中查询数据，可以按照以下步骤进行操作： 1. 后端实现：首先需要创建一个后端接口，用于与MySQL数据库进行交互。可以使用Node.js搭建一个服务器，使用MySQL...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

最笨的羊羊

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值