Debezium系列之：多张表按照指定的字段分发数据到Kafka Topic，并保证多张表指定字段相同的值始终出现在相同分区

于 2023-06-13 10:44:57 发布
阅读量1.8k 收藏 1
点赞数 1
分类专栏： debezium 文章标签： Debezium系列 指定的字段 分发数据 相同的值始终出现在相同分区
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhengzaifeidelushang/article/details/131182356
版权
debezium 专栏收录该内容
321 篇文章 296 订阅 ¥99.90 ¥99.00
订阅专栏

Debezium系列之：多张表按照指定的字段分发数据到Kafka Topic，并保证多张表指定字段相同的值始终出现在相同分区

一、需求背景

  • 根据productInfo和productorder两张表的productId分发数据，相同productId的数据始终出现在相同分区，并且希望两张表相同的订单数据也始终出现在相同分区。
  • 例如关于productInfo表1206827245738502144这个订单的增删改数据始终出现在分区2，那productorder这个表1206827245738502144这个订单的增删改数据也始终出现在分区2。

二、相关实现技术

按照指定字段分发数据详细实现细节可以参考博主下面两篇技术博客：

三、创建表

创建productInfo表

CREATE TABLE productInfo (
  id INTEGER
了解本专栏 订阅专栏 解锁全文
最笨的羊羊
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
Debezium系列之：实现不同表中的数据始终发往对应的kafka topic分区，支持根据表中任意字段分发数据到Kafka topic多个分区
zhengzaifeidelushang的博客
12-11 948
Debezium系列之：实现不同表中的数据始终发往对应的kafka topic分区，支持根据表中任意字段分发数据到Kafka topic多个分区
Debezium系列之：把数据库中多张表的数据发送到一个Kafka topic中
zhengzaifeidelushang的博客
05-11 3624
Debezium系列之：把多个数据库中多张表的数据发送到一个Kafka topic中一、Debezium专栏博客每周更新计划二、需求描述三、参数设置四、提交debezium connector参数示例 一、Debezium专栏博客每周更新计划 后续每周在日常更新Debezium技术文章的同时，会以一定频率同步更新Debezium源码阅读系列文章，欢迎与博主交流Debezium相关技术，一起加油。 二、需求描述 需求1: 需要把一个数据库中的多张表的数据，全部导入同一个kafka topic中 需求2:
使用debezium、kafka-connect将postgres数据实时同步到kafka中，表topic重新路由
LeoHan
08-10 2482
使用debezium和kafka-connect实现postgres数据库实时同步到kafka中
大数据技术之Debezium
热门推荐
weixin_40898246的博客
08-31 1万+
Debezium概述 Debezium是用于捕获变更数据的开源分布式平台。可以响应数据库的所有插入，更新和删除操作。Debezium依赖于kafka上，所以在安装Debezium时需要提前安装好Zookeeper，Kafka，以及Kakfa Connect。 Kafka Connect Kafka Connect用于在Apache Kafka和其他系统之间可扩展且可靠地数据流传输数据的工具，连接器可以轻松地将大量数据导入或导出。 Kafka Connect当前支持两种模式，standalone和dist
oracle 将多张表中的列合并到一张表中
09-09
在Oracle数据库中，有时我们需要将来自多个表的列合并到一张新表中，以便于数据分析或报表生成。本文将详细讲解如何使用Oracle SQL语句来实现这个目标。 首先，我们回顾一下问题背景：假设我们有两个表，表A和表B，...
php+mysqli批量查询多张表数据的方法
10-24
主要介绍了php+mysqli批量查询多张表数据的方法,涉及multi_query、store_result及more_results等函数的使用技巧,需要的朋友可以参考下
解析如何查看Oracle数据库中某张表的字段个数
12-16
在Oracle数据库中，查询特定表的字段个数通常需要使用SQL语句来完成。一个有效的方法是查询`USER_TAB_COLUMNS`系统视图，这个视图包含了用户拥有的所有表的列信息。例如，如果你想知道`T_B_AUDITOR`表的字段数，可以...
mysql数据库全文多库多表查找，查询所有数据库中包含指定字符的数据。
06-07
mysql数据库全文查找，查询所有数据库中包含指定字符的数据。 一、支持功能： 1、支持所有数据库查询字符串，或者指定一个或者多个数据库查询字符串； 2、支持本地使用或者指定远程数据库地址； 3、支持命令行指定...
AA.rar_jdbc crud_jdbc多张表项目_structs1_项目管理
09-23
标题中的"AA.rar_jdbc crud_jdbc多张表项目_structs1_项目管理"表明这是一个基于JDBC技术，使用Structs1框架开发的项目管理应用，涵盖了数据的增删改查（CRUD）操作，并且涉及到多张数据库表的交互。这个项目的主要...
Debezium系列之：记录源库表增加字段，debezium采集的数据丢失新增字段的原因和相对应的解决方法
zhengzaifeidelushang的博客
06-10 1102
Debezium系列之：记录源库表增加字段，debezium采集的数据丢失新增字段的原因和相对应的解决方法
Debezium同步之Kafka Connect 自动创建主题的自定义
Auspicious航的博客
06-09 755
Kafka 提供了两种自动创建主题的机制。您可以为 Kafka 代理启用自动主题创建，并且从 Kafka 2.6.0 开始，您还可以启用 Kafka Connect 来创建主题。Kafka 代理使用该属性来控制自动主题创建。在 Kafka Connect 中，该属性指定是否允许 Kafka Connect 创建主题。在这两种情况下，属性的默认设置都会启用自动主题创建。启用自动创建主题后，如果 Debezium 源连接器为已不存在目标主题的表发出更改事件记录，则在将事件记录摄取到 Kafka 时在运行时创建主
基于 Kafka 与 Debezium 构建实时数据同步
wenyusuran的专栏
09-09 3457
起源 在进行架构转型与分库分表之前，我们一直采用非常典型的单体应用架构：主服务是一个 Java WebApp，使用 Nginx 并选择 Session Sticky 分发策略做负载均衡和会话保持；背后是一个 MySQL 主实例，接了若干 Slave 做读写分离。在整个转型开始之前，我们就知道这会是一块难啃的硬骨头：我们要在全线业务飞速地扩张迭代的同时完成架构转型，因为这是实实在在的”给高速行驶的汽车换轮胎”。 为了最大限度地减少服务拆分与分库分表给业务带来的影响（不影响业务开发也是架构转型的前提），我们
Debezium报错处理系列三：Access denied； you need (at least one of) the SUPER, REPLICATION CLIENT privilege(s)
zhengzaifeidelushang的博客
12-29 5656
Debezium报错处理系列三：Access denied; you need (at least one of) the SUPER, REPLICATION CLIENT privilege(s) 一、debezium报错 Access denied; you need (at least one of) the SUPER, REPLICATION CLIENT privilege(s)) 二、报错产生原因 数据库账号没有复制binlog权限 三、解决方法 数据库账号添加权限 给账号opt
debezium系列之：理解database.server.name和database.history.kafka.topic
zhengzaifeidelushang的博客
01-25 5255
debezium系列之：理解database.server.name和database.history.kafka.topic debezium捕获数据库表结构更改事件，并把这些事件写入到kafka名称为database.server.name的topic中。 topic消息包括： ddl：提供导致架构更改的 SQL CREATE、ALTER 或 DROP 语句。 databaseName：应用 DDL 语句的数据库的名称。 databaseName 的值用作消息键。 pos：语句出现在 binlog 中
Debezium系列之：安装部署debezium详细步骤，并把debezium服务托管到systemctl
zhengzaifeidelushang的博客
04-25 4038
Debezium系列之：安装部署debezium详细步骤，并把debezium服务托管到systemctl一、安装部署Kafka集群二、安装debezium三、修改kafka connect-distributed.properties四、手动启动kafka connect五、把debezium服务托管到systemctl 一、安装部署Kafka集群 CentOS7搭建Kafka2.7分布式集群 二、安装debezium Debezium下载地址：https://debezium.io/releases/
Debezium报错处理系列一：The db history topic is missing.
zhengzaifeidelushang的博客
12-21 3662
Debezium报错处理系列一：The db history topic is missing. You may attempt to recover it by reconfiguring the connector to SCHEMA_ONLY_RECOVERY debezium报错： The db history topic is missing. You may attempt to recover it by reconfiguring the connector to SCHEMA_ONLY_
Debezium系列之：记录一次快速处理生产环境debezium connector故障，并使用debezium补缺失的数据
zhengzaifeidelushang的博客
05-19 3369
Debezium系列之：记录一次快速处理生产环境debezium connector故障一、背景二、快速恢复connector三、使用debezium补缺失的数据 一、背景 debezium生产环境connector故障了，需要快速处理才能不影响后续数据开发任务，同时需要确保数据不会有遗漏。出现数据遗漏需要把遗漏的数据补充完整。 二、快速恢复connector 删除debezium故障的connector 使用一个新的history topic，创建新的history topic，使用新的connecto
debezium报错：Caused by: io.debezium.DebeziumException:whose schema isn‘t known to this connector
zhengzaifeidelushang的博客
07-27 3347
debezium报错：Caused by: io.debezium.DebeziumException:whose schema isn’t known to this connector “trace”:"org.apache.kafka.connect.errors.ConnectException: An exception occurred in the change event producer. This connector will be stopped. Caused by: io.deb
数据库安装部署系列之：部署Mongodb5.0.6高可用集群详细步骤
zhengzaifeidelushang的博客
02-21 3326
解压mongodb压缩包 tar -zxvf mongodb-linux-x86_64-rhel70-5.0.6.tgz -C /data/src 重命名 mv /data/src/mongodb-linux-x86_64-rhel70-5.0.6/ /data/src/mongodb mkdir -p /data/src/mongodb/conf mkdir -p /data/src/mongodb/mongos/log mkdir -p /data/src/mongodb/config/data
my sql 多张表合并查询方法 多张表字段相同
最新发布
08-14
### 回答1： 如果多张表的字段相同，可以使用 `UNION` 语句将它们合并查询。`UNION` 语句可以将多个 `SELECT` 语句的结果合并在一起，生成一个包含所有结果的表。 以下是一个简单的例子，假设我们有三张表 `table1`、`table2` 和 `table3`，它们都包含 `id` 和 `name` 两列： ```sql SELECT id, name FROM table1 UNION SELECT id, name FROM table2 UNION SELECT id, name FROM table3; ``` 在上面的 SQL 语句中，我们使用了三个 `SELECT` 语句，分别从三张表中选择了 `id` 和 `name` 两列。然后我们使用 `UNION` 语句将这三个 `SELECT` 语句的结果合并在一起，并去除了重复的行。最终，我们得到了一个包含所有结果的表。 需要注意的是，使用 `UNION` 语句合并查询的表必须具有相同的列数和数据类型。如果两个 `SELECT` 语句的列数不同，或者列的数据类型不同，那么查询将会失败。同时，使用 `UNION` 语句进行多张表的合并查询时，需要注意性能问题，因为 `UNION` 语句会将所有结果合并在一起，如果数据量很大，查询性能可能会很差。 ### 回答2： 在MySQL中，可以通过使用JOIN语句来合并多张表进行查询。当多张表具有相同的字段时，可以通过这些字段来进行表之间的连接。 首先，需要确定用于连接表的字段，假设这个字段是id。然后，可以使用INNER JOIN来连接表，并选择需要查询的字段。 以下是一个示例查询，假设有两张表：表A和表B，它们都有一个id字段且相同，其他字段为name和age。 ``` SELECT A.id, A.name, A.age, B.name, B.age FROM tableA AS A INNER JOIN tableB AS B ON A.id = B.id; ``` 在这个查询中，使用了INNER JOIN来连接两张表。使用ON关键字可以指定两个表之间的连接条件，这里使用了id字段来进行连接。通过选择需要查询的字段，可以选择指定表的字段。 上述查询将返回两张表中id相同的记录，并显示表A和表B中的name和age字段。 请注意，除了INNER JOIN外，还有其他类型的连接，例如LEFT JOIN、RIGHT JOIN和FULL JOIN，可以根据具体的需求选择适合的连接方式。 总结起来，使用JOIN语句并指定连接条件，可以合并多张表进行查询。通过选择需要查询的字段，可以从连接的结果中获取所需的数据。 ### 回答3： 在MySQL中，可以使用多种方法将多张表合并进行查询，只需确保这些表具有相同的字段。 一种常用的方法是使用“UNION”操作符来合并查询结果。例如，假设我们有两张名为“table1”和“table2”的表，它们有相同的字段（例如，字段名为“id”和“name”），我们可以使用以下查询来合并查询结果： ``` SELECT id, name FROM table1 UNION SELECT id, name FROM table2; ``` 上述查询将返回合并了“table1”和“table2”的结果集。 另一种方法是使用“JOIN”操作符来合并查询多个表。使用“JOIN”语句时，必须指定表之间的连接条件。例如，假设我们有两张名为“table1”和“table2”的表，它们有相同的字段（例如，字段名为“id”和“name”），并且它们通过“id”字段进行连接，则可以使用以下查询来合并查询结果： ``` SELECT t1.id, t1.name, t2.name FROM table1 t1 JOIN table2 t2 ON t1.id = t2.id; ``` 上述查询将返回合并了“table1”和“table2”的结果集，并通过“id”字段进行连接。 无论是使用“UNION”操作符还是“JOIN”操作符，都可以根据需要进行嵌套、筛选和排序等操作，以满足具体的查询需求。 需要注意的是，在合并查询多张表时，必须确保表的结构和字段相同，否则可能会出现错误或者无法得到预期的结果。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

最笨的羊羊

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值