Debezium系列之：处理decimal数据类型org.apache.kafka.connect.data.Decimal

已于 2023-05-02 22:25:22 修改
阅读量1.2k 收藏 3
点赞数 2
分类专栏： debezium 文章标签： Debezium系列 decimal数据类型 kafka.connect data.Decimal
于 2023-05-02 22:18:49 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhengzaifeidelushang/article/details/130467483
版权
debezium 专栏收录该内容
348 篇文章 319 订阅 ¥99.90 ¥299.90
订阅专栏
本文介绍了在使用Debezium时遇到decimal数据类型转换的问题，详细讨论了decimal.handling.mode的三种处理方式：precise、double和string。重点解析了precise模式下，字段类型和数据样式，例如id字段类型为`org.apache.kafka.connect.data.Decimal`，值显示为`Ag==`。通过代码处理，成功将`Ag==`恢复为原始的整数2。
摘要由CSDN通过智能技术生成

Debezium系列之：处理decimal数据类型org.apache.kafka.connect.data.Decimal

一、背景

  • 源库id字段类型是DECIMAL[(M[,D])]，id的值是2
  • debezium采集后数据类型变为bytes，id的值是Ag==
  • 这是由设置的Debezium处理decimal数据类型的模式决定的，模式设置为了decimal.handling.mode=precise
  • 现在消费数据需要把id的值从Ag==转换回为2

二、Debezium处理decimal数据类型三种方式

Debezium处理decimal数据类型支持以下三种方式：

  • decimal.handling.mode=precise
  • decimal.handling.mode=double
  • decimal.handling.mode=string

decimal.handling.mode=precise

<
mysql类型 文字类型 语义类型
NUMERIC[(M[,D])] BYTES org.apache.kafka.connect.data.Decimal，scale 模式参数包含一个整数，表示小数点移动了多少位。
了解本专栏 订阅专栏 解锁全文
快乐骑行^_^
关注
专栏目录
订阅专栏
C#中Convert.ToDecimal()报错问题的解决
08-29
在C#编程中，`Convert.ToDecimal()`方法是一个用于将各种数据类型转换为decimal类型的静态方法。然而，在实际应用中，我们可能会遇到`Convert.ToDecimal()`在处理某些特定输入时抛出异常的问题。这个问题通常出现在...
debezium详解decimal.handling.mode
大蚊子
12-20 1755
decimal.handling.mode配置的作用，是配置数据库中浮点类型映射类型，这个配置项在debezium的版本迭代中几乎没有变化。下面提供一些示例数据，及数据使用方法。欢迎关注留言，我是收集整理小能手。precise（默认值）
为什么Flink-CDC读取Decimal等数值类型变成了非数值字符串
bale_的博客
07-19 4763
为什么Flink-CDC读取Decimal等数值类型变成了非数值字符串
Debezium connector for MySQL 基本概念
xuejianxinokok的专栏
05-10 2550
Debezium connector for MySQL MySQL 的 binlog 会按照事务提交的顺序记录所有的操作变更。这些变更既包含 表 schema的变更也包含 数据的变更。MySQL 使用binlog来复制和恢复数据。 Debezium MySQL 连接器读取 binlog，为行级INSERT,UPDATE和DELETE操作生成更改事件，并将更改事件发送到 Kafka 主题。客户端应用程序读取这些 Kafka 主题。 由于 MySQL 通常设置为在指定时间段后清除 binlog，因此 MySQ
Debezium：数据类型numeric、decimal由PostgreSql输出到kafka后类型不匹配问题
高矮
10-30 2925
环境： Debezium版本：0.8.3 PostgreSql版本：9.5 Kafka版本：CDK3.1.0(KAFKA:1.0.1) 问题：Debezium从postgresql解析数据到kafka后，发现numeric类型数据输出格式异常，如下： {"scale":0,"value":"F3A="} 原值为6000 解决：需要配置参数，更新kafka连接器配置 "decim...
kafka mysql cdc_debezium关于cdc的使用(下)
weixin_39781209的博客
01-21 330
简介debezium在debezium关于cdc的使用(上)中有做介绍。具体可以跳到上文查看。本篇主要讲述使用kafka connector方式来同步数据。而kafka connector实际上也有提供其他的sink(Kafka Connect JDBC)来同步数据，但是没有delete事件。所以在这里选择了Debezium MySQL CDC Connector方式来同步。本文需要使用Avro方...
Debezium日常分享系列之：Debezium2.5稳定版本之数据类型映射
最新发布
zhengzaifeidelushang的博客
03-21 1873
Debezium MySQL 连接器表示对带有事件的行的更改，这些事件的结构类似于该行所在的表。该事件包含每个列值的字段。该列的 MySQL 数据类型决定 Debezium 如何表示事件中的值。MySQL 中使用字符集和排序规则定义存储字符串的列。MySQL 连接器在读取二进制日志事件中列值的二进制表示形式时使用列的字符集。连接器可以将 MySQL 数据类型映射到文字类型和语义类型。如果默认的数据类型转换不能满足您的需求，您可以为连接器创建自定义转换器。
mysql数据类型共2页.pdf.zip
11-22
MySQL 数据类型是数据库管理系统中非常基础且重要的概念，它们决定了数据在存储和处理时的格式。MySQL 提供了丰富的数据类型，以满足不同场景下的需求。在这个“mysql数据类型共2页.pdf.zip”压缩包中，很显然，我们...
11.ESQL／C程序中使用DECIMAL数据类型.doc
03-18
在 ESQL/C 应用开发中，DECIMAL 数据类型被广泛应用于需要高精度数值处理的场景中。本章节将深入探讨 DECIMAL 数据类型的各个方面，包括其基本概念、如何在 C 语言中正确地定义宿主变量来存储 DECIMAL 类型的值、...
decimal.js - JavaScript的任意精度Decimal类型-javascript
06-21
decimal.js - JavaScript的任意精度Decimal类型 JavaScript 的任意精度 Decimal 类型。 特性 整数和浮点数 简单但功能齐全的 API 复制了 JavaScript 的 Number.prototype 和 Math 对象的许多方法 还处理十六进制、...
ramda-decimal:Ramda包装器到Decimal.js
05-06
Ramda包装器到Decimal.js 在Ramda风格中使用Decimal.js任意精度数学。 一成不变的。 可组合的。 可咖喱。 大多数Ramda数学函数的直接替换。 const R = require('ramda); const RD = require('ramda-decimal); ...
Debezium监控Oracle数据库遇到的坑
XAGU_的博客
10-29 6572
Debezium监控Oracle数据库遇到的坑 1.Oracle JDBC 驱动版本一定要是8！！！！！ 部署Debezium Oracle Connecter需要将odbc的驱动包放到kafka的lib目录下。由于之前使用的cdc程序不是Debezium，当时程序使用的是ojdbc版本是7，但是官方版本要求是odbc8。由于自己的粗心，导致启动一直报错，以致于被这个问题困惑了许久。 2.数字类型解析到kafka格式异常 number类型的数字到kafka中格式出现异常 查阅官方文档得知Debezium默
Kafka-connect JDBC Source Connector
tom_fans的博客
04-03 1769
kafka-connect在连接MySQL的时候可以看上一篇的文章，通过https://debezium.io 开发的MySQL connector jar来抽取MySQL binlog. 但是对于像ORACLE, SQL SERVER等数据库，没有一个很好的开源JAR来处理，https://debezium.io公司也开发了相关的数据库的JAR，有些还在开发当中，有些操作非常复杂，我也没有去...
【flink1.16.2启动任务失败,缺少kafka-connect依赖包】
home_haobinjie的博客
11-10 261
flink启动任务报错信息
Java/scala使用内置嵌入式embedded debezium全量和增量同步Mysql binlog数据
Bulut0907
07-25 4443
目录1. 背景2. 添加依赖3. 同步代码 1. 背景 Debezium通常基于Kafka启动一个Kafka Connect服务，之后可以向Debezium提交Mysql、PostgresSQL等connector任务进行同步数据，数据被保存到Kafka中。分布式的Kafka Connect服务能提供容错性和可拓展性 但是我们有时不想部署一套Kafka集群和Debezium的Kafka Connect服务。而是通过一种更轻量级的方式，将Debezium的Mysql、PostgresSQL等connector
Java代码操作Kafka
凉茶铺的博客
12-04 2077
介绍了使用JavaAPI以及SpringBoot方式操作kafka
MySQL 的 Debezium 连接器-中文版
三毛码代码
07-16 2582
MySQL 有一个二进制日志（binlog），它按照提交到数据库的顺序记录所有操作。这包括对表模式的更改以及对表中数据的更改。MySQL 使用 binlog 进行复制和恢复。Debezium MySQL 连接器读取 binlog，为行级、、和操作生成更改事件，并将更改事件发送到 Kafka 主题。客户端应用程序读取这些 Kafka 主题。由于 MySQL 通常设置为在指定时间段后清除 binlog，因此 MySQL 连接器会对您的每个数据库执行初始一致快照。MySQL 连接器从创建快照的位置读取 binlo
Debezium系列之：处理Timestamp类型、BigDecimal类型、带时域的时间
zhengzaifeidelushang的博客
01-29 553
Debezium系列之：处理Timestamp类型、BigDecimal类型、带时域的时间
org.apache.poi.hpsf.Decimal
07-27
org.apache.poi.hpsf.Decimal 是 Apache POI 库中的一个类，用于表示一个十进制数值。它提供了一些方法来操作和转换十进制数。你可以使用它来处理 Excel 文件中的十进制数据。例如，你可以使用 Decimal 类将一个十进制数值转换为其他数据类型，或者对十进制数值进行四舍五入等操作。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

快乐骑行^_^

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值