Debezium系列之：采集数据库数据实现对表指定的字段进行加密，下游实现对表加密后的字段进行解密

最新推荐文章于 2024-05-15 09:05:28 发布
最新推荐文章于 2024-05-15 09:05:28 发布
阅读量389 收藏 1
点赞数 1
分类专栏： debezium 文章标签： Debezium系列 采集数据库数据 实现对表指定的字段进行加密 对表加密后的字段进行解密
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhengzaifeidelushang/article/details/133322427
版权

Debezium系列之：采集数据库数据实现对表指定的字段进行加密，下游实现对表加密后的字段进行解密

一、需求背景

  • 实际应用中，采集数据库表的数据，需要对数据库表中重要的字段进行加密，例如身份证、地址、工资等敏感信息，只有申请了字段权限，下游消费的时候才能对这些敏感字段进行解密。
  • 例如产品代码实际值是12345，加密后的值是KAE7msoB+7guGRgeXN+puviWZ+7Wtbi+Q+wnZdU/liFUfI2z0UIG0Qwwsm15LWRlbW8tc2VjcmV0LWtleS0xMrNrsQ==

二、创建表

-- dw.retail_order_detail3 definition

CREATE TABLE `retail_order_detail3` (
  `id` bigint(
了解本专栏 订阅专栏 解锁全文
最笨的羊羊
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
Debezium系列之：源码阅读之SnapshotReader
zhengzaifeidelushang的博客
07-06 531
脏读：不可重复读：幻读： 2.设置数据库全局锁 3.启动事务一致性读 4.加锁成果，读取binlog文件名和位点 readBinlogPosition代码如下所示： 5.获取快照表 6.表级加锁 数据库全局加锁失败，则对每个表加表级别锁，再调用readBinlogPosition方法 7.获取表结构 得到每张表的表结构，如下所示： 8.数据库解锁 9.获取表的数据 获取表的数据量......
Debezium报错处理系列三：Access denied； you need (at least one of) the SUPER, REPLICATION CLIENT privilege(s)
zhengzaifeidelushang的博客
12-29 5665
Debezium报错处理系列三：Access denied; you need (at least one of) the SUPER, REPLICATION CLIENT privilege(s) 一、debezium报错 Access denied; you need (at least one of) the SUPER, REPLICATION CLIENT privilege(s)) 二、报错产生原因 数据库账号没有复制binlog权限 三、解决方法 数据库账号添加权限 给账号opt
Debezium同步MySql数据锁表
一个不安分的程序员
12-24 2939
问题描述： 开启Debezium同步MySql数据任务后，发现查询某个表特别慢，结果迟迟不能返回. 通过 select * from information_schema.`PROCESSLIST` t where t.user = 'username' 查看发现，有大量查询处于 Waiting for table flush 状态 解决方法： 设置snapshot.locking.mode = none解决. 但有丢数据风险，具体详情可以参考这个issue ...
Debezium日常分享系列之：Debezium 2.7.0.Alpha2发布
最新发布
zhengzaifeidelushang的博客
05-15 562
在 Debezium 的早期版本中，Oracle 连接器经过严格设计，在连接器用户帐户的默认表空间中创建 LogMiner 刷新表。在用户的默认表空间可能不是理想目标并且 DBA 希望该表存在于单独的表空间中的情况下，这并不总是有用。以前，用户需要修改用户帐户或使用具有正确表空间的新用户才能在正确的表空间位置创建表。在 Debezium 2.7 中，不再需要这样做，您可以安全地将目标模式/表空间的名称包含在配置中。
Debezium系列- snapshot锁表流程详解
数据新玩法
10-19 3433
背景 采用Debezium 同步MySQL表的时候，同一张表有时候有时会锁表，有时不会锁表。为了弄清楚原因梳理了snapshot的流程 snapshot 流程图 如何排查Debezium锁问题引起的主从延迟？ 谁持有的锁？继续查询information_schema.innodb_locks、innodb_lock_waits、innodb_trx表 select * from information_schema.innodb_locks; select * from information_schem
enuciados.zip_加密解密_SQL_
08-11
6. **透明数据加密（TDE）**：MySQL Enterprise版提供了TDE特性，能够自动对表的数据进行全盘加密，无需修改应用程序代码。 7. **查询性能**：加密数据可能导致查询性能下降，因为数据库必须对每个查询执行解密操作...
oracle数据库中RSA算法的应用.pdf
10-09
根据RSA加密算法的原理，编写相应的解密算法，对Oracle数据库中加密的字段进行解密处理，最后将解密后的二进制数据还原为原始的可读varchar数据。在这个过程中，Oracle数据库不仅提供了数据转化和加密的功能，还允许...
ThinkPHP-数据库备份
01-29
1. 加密备份：为了保护敏感数据，可以考虑在备份文件上进行加密，再解密还原。 2. 分块备份：大数据库可能需要分批备份，避免单个文件过大导致的问题。 3. 验证备份：备份过程中应进行错误检查，确保备份文件的...
Access 2000数据库系统设计(PDF)---025
02-23
724.2 理解关系型数据库 744.3 使用Access数据库文件和表 754.3.1 Access系统数据库 754.3.2 Access 库数据库 754.4 创建一个新数据库 754.5 理解表和字段的属性 774.6 选择字段数据类型、大小和格式 804.6.1 为数值...
Access 2000数据库系统设计(PDF)---002
02-23
724.2 理解关系型数据库 744.3 使用Access数据库文件和表 754.3.1 Access系统数据库 754.3.2 Access 库数据库 754.4 创建一个新数据库 754.5 理解表和字段的属性 774.6 选择字段数据类型、大小和格式 804.6.1 为数值...
debezium系列之：理解database.server.name和database.history.kafka.topic
zhengzaifeidelushang的博客
01-25 5257
debezium系列之：理解database.server.name和database.history.kafka.topic debezium捕获数据库表结构更改事件，并把这些事件写入到kafka名称为database.server.name的topic中。 topic消息包括： ddl：提供导致架构更改的 SQL CREATE、ALTER 或 DROP 语句。 databaseName：应用 DDL 语句的数据库的名称。 databaseName 的值用作消息键。 pos：语句出现在 binlog 中
Debezium系列之：安装部署debezium详细步骤，并把debezium服务托管到systemctl
zhengzaifeidelushang的博客
04-25 4052
Debezium系列之：安装部署debezium详细步骤，并把debezium服务托管到systemctl一、安装部署Kafka集群二、安装debezium三、修改kafka connect-distributed.properties四、手动启动kafka connect五、把debezium服务托管到systemctl 一、安装部署Kafka集群 CentOS7搭建Kafka2.7分布式集群 二、安装debezium Debezium下载地址：https://debezium.io/releases/
Debezium报错处理系列一：The db history topic is missing.
zhengzaifeidelushang的博客
12-21 3672
Debezium报错处理系列一：The db history topic is missing. You may attempt to recover it by reconfiguring the connector to SCHEMA_ONLY_RECOVERY debezium报错： The db history topic is missing. You may attempt to recover it by reconfiguring the connector to SCHEMA_ONLY_
Debezium系列之：把数据库中多张表的数据发送到一个Kafka topic中
zhengzaifeidelushang的博客
05-11 3629
Debezium系列之：把多个数据库中多张表的数据发送到一个Kafka topic中一、Debezium专栏博客每周更新计划二、需求描述三、参数设置四、提交debezium connector参数示例 一、Debezium专栏博客每周更新计划 后续每周在日常更新Debezium技术文章的同时，会以一定频率同步更新Debezium源码阅读系列文章，欢迎与博主交流Debezium相关技术，一起加油。 二、需求描述 需求1: 需要把一个数据库中的多张表的数据，全部导入同一个kafka topic中 需求2:
Debezium系列之：记录一次快速处理生产环境debezium connector故障，并使用debezium补缺失的数据
zhengzaifeidelushang的博客
05-19 3372
Debezium系列之：记录一次快速处理生产环境debezium connector故障一、背景二、快速恢复connector三、使用debezium补缺失的数据 一、背景 debezium生产环境connector故障了，需要快速处理才能不影响后续数据开发任务，同时需要确保数据不会有遗漏。出现数据遗漏需要把遗漏的数据补充完整。 二、快速恢复connector 删除debezium故障的connector 使用一个新的history topic，创建新的history topic，使用新的connecto
debezium报错：Caused by: io.debezium.DebeziumException:whose schema isn‘t known to this connector
zhengzaifeidelushang的博客
07-27 3353
debezium报错：Caused by: io.debezium.DebeziumException:whose schema isn’t known to this connector “trace”:"org.apache.kafka.connect.errors.ConnectException: An exception occurred in the change event producer. This connector will be stopped. Caused by: io.deb
数据库安装部署系列之：部署Mongodb5.0.6高可用集群详细步骤
zhengzaifeidelushang的博客
02-21 3331
解压mongodb压缩包 tar -zxvf mongodb-linux-x86_64-rhel70-5.0.6.tgz -C /data/src 重命名 mv /data/src/mongodb-linux-x86_64-rhel70-5.0.6/ /data/src/mongodb mkdir -p /data/src/mongodb/conf mkdir -p /data/src/mongodb/mongos/log mkdir -p /data/src/mongodb/config/data
Debezium报错处理系列十一：Data row is smaller than a column index, internal schema representation is probabl
zhengzaifeidelushang的博客
03-28 3296
Data row is smaller than a column index, internal schema representation is probably out of sync with real database schema
ORACLE 21C如何对表中的NUMBER数据类型的列进行加密
05-24
Oracle 21c提供了Transparent Data Encryption (TDE)功能来对数据库中的数据进行加密，包括NUMBER数据类型的列。以下是对表中的NUMBER数据类型的列进行加密的步骤： 1. 在Oracle 21c中启用TDE功能。可以使用以下命令： ``` SQL> ALTER SYSTEM SET ENCRYPTION KEY IDENTIFIED BY "encryption_password"; ``` 2. 创建一个加密密钥。可以使用以下命令： ``` SQL> CREATE KEYSTORE keystore IDENTIFIED BY "keystore_password" WITH ENCRYPTION; ``` 3. 在表中创建一个NUMBER数据类型的列，例如： ``` SQL> CREATE TABLE myTable (id NUMBER, sensitive_data NUMBER); ``` 4. 使用ALTER TABLE语句来加密sensitive_data列。可以使用以下命令： ``` SQL> ALTER TABLE myTable MODIFY sensitive_data ENCRYPT; ``` 5. 确认sensitive_data列已经被加密。可以使用以下命令： ``` SQL> SELECT column_name, encryption_alg FROM user_enc_columns WHERE table_name = 'myTable'; ``` 这将显示myTable表中列的加密状态。 现在，当你向myTable表中插入敏感信息时，sensitive_data列将自动加密。同样，当你从myTable表中检索数据时，sensitive_data列也将自动解密。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

最笨的羊羊

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值