Debezium系列之：把value中指定字段的键值对放到key中，进一步实现key中只保留指定字段的值

已于 2024-10-08 08:54:23 修改
阅读量1.5k 收藏
点赞数 1
分类专栏： debezium 文章标签： Debezium系列 指定字段 键值对放到key中 key中只保留指定字段的值
于 2023-06-19 23:25:54 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhengzaifeidelushang/article/details/131296759
版权
debezium 专栏收录该内容
348 篇文章 319 订阅 ¥99.90 ¥299.90
订阅专栏
本文详细介绍了如何使用Debezium的SMT功能，将value中的特定字段(cdc_code, product)移动到key中，并进一步实现key仅包含指定字段的值。通过配置unwrap, ValueToKey等转换器，实现数据扁平化和键值对的重新分布，以优化数据处理和消费。" 80506133,7657366,AMD R9 Nano显卡OpenCL参数获取指南,"['GPU编程', 'OpenCL框架', 'AMD硬件', '图形处理']
摘要由CSDN通过智能技术生成

Debezium系列之：把value中指定字段的键值对放到key中，进一步实现key中只保留指定字段的值

一、需求背景

  • 需要把value中的指定的键值对放到key中
  • 例如需要把产品代号cdc_code和产品名称product放到key中，效果如下所示：
key=b'{
    "schema":{
        "type":"struct",
        "fields":[
            {
                "type":"string",
                "optional":false,
                "field":"cdc_code"
            },
            {
                "type":"string",
                "optional":false,
                "field":"product"
            },
            {
                "type
了解本专栏 订阅专栏 解锁全文
快乐骑行^_^
关注
专栏目录
订阅专栏
Debezium系列之：把value中指定字段的键值对移动到headers中，再从headers中把指定字段移动到value中
zhengzaifeidelushang的博客
06-21 226
Debezium系列之：把value中指定字段的键值对移动到headers中，再从headers中把指定字段移动到value中
Debezium系列之：把value中指定字段的值移动或者复制到headers中
zhengzaifeidelushang的博客
06-21 236
Debezium系列之：把value中指定字段的值移动或者复制到headers中
debezium 从指定 binlog position 同步事件消息
xukai5265的博客
03-25 2622
debezium 从指定 binlog position 同步事件消息 背景 最近在公司中做 cdc (change data capture) 从canal 切换到 debezium 平台。在迁移过程中遇到运行在 canal 上的instance 如何无损迁移到debezium 上？ 这里无损是指：debezium connector 接着canal instance 停止时记录在zk 的pos...
Debezium 简介
热门推荐
weixin_43564627的博客
07-21 1万+
Debezium 简介 Debezium 是一个分布式平台，可将您现有的数据库转换为事件流，因此应用程序可以查看并立即响应数据库中的每个行级更改。 Debezium 构建在Apache Kafka之上，并提供与Kafka Connect兼容的连接器，用于监控特定的数据库管理系统。Debezium 在 Kafka 日志中记录数据更改的历史记录，从您的应用程序使用它们的位置。这使您的应用程序可以轻松正确且完整地使用所有事件。即使您的应用程序意外停止，它也不会错过任何内容：当应用程序重新启动时，它将继续使用它停止
Debezium系列之：使用Debezium接入SQL Server数据库数据到Kafka集群的详细技术文档
zhengzaifeidelushang的博客
10-12 2628
Debezium系列之：使用Debezium接入SQL Server数据库数据到Kafka集群的详细技术文档
Debezium系列之：Debezium2.X之PostgreSQL数据库的Debezium连接器
zhengzaifeidelushang的博客
06-01 1728
PostgreSQL 的逻辑解码特性是在 9.4 版本中引入的。它是一种允许提取提交给事务日志的更改并借助输出插件以用户友好的方式处理这些更改的机制。输出插件使客户端能够使用更改。一个逻辑解码输出插件。可能需要安装选择使用的输出插件。在运行 PostgreSQL 服务器之前，必须配置一个使用选择的输出插件的复制槽。插件可以是以下之一：decoderbufs基于 Protobuf 并由 Debezium 社区维护。pgoutput是PostgreSQL 10+标准的逻辑解码输出插件。
Js读取Cookie中指定字段的值，Js中读取某个Cookie，Js中根据Cookie的key得到对应的value，Js正则表达式匹配指定的Cookie
Scluis的博客
04-12 1955
Js中想要读取Cookie中指定字段的值，可以遍历Cookie根据指定Key提取Cookie，或者使用正则表达式匹配Cookie，代码如下： /** * @description: 遍历cookie得到指定cookie * @param {string} cookieName * @return {*} */ function getCookie(cookieName) { const strCookie = document.cookie const cookieList = strCoo
Debezium系列之：使用Debezium接入PostgreSQL数据库数据到Kafka集群的详细技术文档
zhengzaifeidelushang的博客
09-01 2795
Debezium系列之：PostgreSQL数据库的Debezium连接器
Debezium日常分享系列之：Debezium2.5稳定版本之Mysql连接器的工作原理
zhengzaifeidelushang的博客
03-13 1523
MySQL 有一个二进制日志（binlog），它按照提交到数据库的顺序记录所有操作。这包括对表架构的更改以及对表中数据的更改。 MySQL 使用 binlog 进行复制和恢复。Debezium MySQL 连接器读取 binlog，为行级 INSERT、UPDATE 和 DELETE 操作生成更改事件，并将更改事件发送到 Kafka 主题。客户端应用程序读取这些 Kafka 主题。由于 MySQL 通常设置为在指定时间段后清除二进制日志，因此 MySQL 连接器会对每个数据库执行初始一致快照。 MySQL
Java-Java对象或Map的指定字段设置值和取值
最新发布
兴趣是最好的老师
08-26 134
接受一个 Map<List<String>, Object> 类型的参数，其中键是字段路径列表，值是要设置的值。为了支持设置 Java 对象的指定字段的值，包括处理嵌套对象的情况，我们可以扩展 FieldUtil 工具。为了进一步增强 FieldUtil 工具类的功能，我们可以添加一些额外的方法来支持更多的操作，比如。通过这样的工具类，我们可以方便地为 Java 对象或 Map 的指定字段设置值和取出值，提高了代。通过这样的工具类，我们可以方便地为 Java 对象的指定字段设置值，包括处理嵌套对象的情况，
Debezium报错处理系列三：Access denied； you need (at least one of) the SUPER, REPLICATION CLIENT privilege(s)
zhengzaifeidelushang的博客
12-29 5871
Debezium报错处理系列三：Access denied; you need (at least one of) the SUPER, REPLICATION CLIENT privilege(s) 一、debezium报错 Access denied; you need (at least one of) the SUPER, REPLICATION CLIENT privilege(s)) 二、报错产生原因 数据库账号没有复制binlog权限 三、解决方法 数据库账号添加权限 给账号opt
debezium系列之：理解database.server.name和database.history.kafka.topic
zhengzaifeidelushang的博客
01-25 5334
debezium系列之：理解database.server.name和database.history.kafka.topic debezium捕获数据库表结构更改事件，并把这些事件写入到kafka名称为database.server.name的topic中。 topic消息包括： ddl：提供导致架构更改的 SQL CREATE、ALTER 或 DROP 语句。 databaseName：应用 DDL 语句的数据库的名称。 databaseName 的值用作消息键。 pos：语句出现在 binlog 中
Debezium系列之：安装部署debezium详细步骤，并把debezium服务托管到systemctl
zhengzaifeidelushang的博客
04-25 4290
Debezium系列之：安装部署debezium详细步骤，并把debezium服务托管到systemctl一、安装部署Kafka集群二、安装debezium三、修改kafka connect-distributed.properties四、手动启动kafka connect五、把debezium服务托管到systemctl 一、安装部署Kafka集群 CentOS7搭建Kafka2.7分布式集群 二、安装debezium Debezium下载地址：https://debezium.io/releases/
Debezium报错处理系列一：The db history topic is missing.
zhengzaifeidelushang的博客
12-21 3944
Debezium报错处理系列一：The db history topic is missing. You may attempt to recover it by reconfiguring the connector to SCHEMA_ONLY_RECOVERY debezium报错： The db history topic is missing. You may attempt to recover it by reconfiguring the connector to SCHEMA_ONLY_
Debezium系列之：把数据库中多张表的数据发送到一个Kafka topic中
zhengzaifeidelushang的博客
05-11 3731
Debezium系列之：把多个数据库中多张表的数据发送到一个Kafka topic中一、Debezium专栏博客每周更新计划二、需求描述三、参数设置四、提交debezium connector参数示例 一、Debezium专栏博客每周更新计划 后续每周在日常更新Debezium技术文章的同时，会以一定频率同步更新Debezium源码阅读系列文章，欢迎与博主交流Debezium相关技术，一起加油。 二、需求描述 需求1: 需要把一个数据库中的多张表的数据，全部导入同一个kafka topic中 需求2:
Debezium报错处理系列十一：Data row is smaller than a column index, internal schema representation is probabl
zhengzaifeidelushang的博客
03-28 3523
Data row is smaller than a column index, internal schema representation is probably out of sync with real database schema
debezium报错：Caused by: io.debezium.DebeziumException:whose schema isn‘t known to this connector
zhengzaifeidelushang的博客
07-27 3516
debezium报错：Caused by: io.debezium.DebeziumException:whose schema isn’t known to this connector “trace”:"org.apache.kafka.connect.errors.ConnectException: An exception occurred in the change event producer. This connector will be stopped. Caused by: io.deb
Debezium系列之：记录一次快速处理生产环境debezium connector故障，并使用debezium补缺失的数据
zhengzaifeidelushang的博客
05-19 3427
Debezium系列之：记录一次快速处理生产环境debezium connector故障一、背景二、快速恢复connector三、使用debezium补缺失的数据 一、背景 debezium生产环境connector故障了，需要快速处理才能不影响后续数据开发任务，同时需要确保数据不会有遗漏。出现数据遗漏需要把遗漏的数据补充完整。 二、快速恢复connector 删除debezium故障的connector 使用一个新的history topic，创建新的history topic，使用新的connecto
数据库安装部署系列之：部署Mongodb5.0.6高可用集群详细步骤
zhengzaifeidelushang的博客
02-21 3375
解压mongodb压缩包 tar -zxvf mongodb-linux-x86_64-rhel70-5.0.6.tgz -C /data/src 重命名 mv /data/src/mongodb-linux-x86_64-rhel70-5.0.6/ /data/src/mongodb mkdir -p /data/src/mongodb/conf mkdir -p /data/src/mongodb/mongos/log mkdir -p /data/src/mongodb/config/data
redis中的hash
10-12
Redis中的hash是一种键值对存储结构，其中的值又是一个键值对集合。可以使用hash来存储对象，比如用户信息、商品信息等。 在Redis中，可以使用以下命令来操作hash： 1. HSET key field value：设置hash中指定字段的值。 2. HGET key field：获取hash中指定字段的值。 3. HGETALL key：获取hash中所有字段和值。 4. HDEL key field [field ...]：删除hash中指定字段。 5. HEXISTS key field：判断hash中是否存在指定字段。 6. HKEYS key：获取hash中所有字段。 7. HVALS key：获取hash中所有值。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

快乐骑行^_^

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值