Flink CDC系列之：Oracle CDC Connector

已于 2023-08-19 22:52:15 修改
阅读量1.6k 收藏 4
点赞数 1
分类专栏： 大数据 文章标签： Flink CDC系列 Oracle CDC Connector
于 2023-08-19 22:41:01 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhengzaifeidelushang/article/details/132382296
版权
大数据 专栏收录该内容
550 篇文章 552 订阅 ¥49.90 ¥99.00
订阅专栏
本文档详细介绍了如何配置和使用Flink CDC连接器从Oracle数据库中读取快照和增量数据。内容包括设置Oracle CDC的依赖、数据库配置、创建CDC表、连接器选项、限制、元数据、特性以及数据类型映射。此外，还提到了Oracle CDC导入Elasticsearch的案例。
摘要由CSDN通过智能技术生成

Flink CDC系列之：Oracle CDC Connector

Oracle CDC 连接器允许从 Oracle 数据库读取快照数据和增量数据。本文档介绍如何设置 Oracle CDC 连接器以针对 Oracle 数据库运行 SQL 查询。

一、依赖关系

为了设置 Oracle CDC 连接器，下表提供了使用构建自动化工具（例如 Maven 或 SBT）的项目和带有 SQL JAR 包的 SQL 客户端的依赖关系信息。

<dependency>
  <groupId>com.ververica</groupId>
了解本专栏 订阅专栏 解锁全文
快乐骑行^_^
关注
专栏目录
订阅专栏
Flink CDC系列之：深入理解MySQL CDC Connector的原理和实际应用MySQL CDC实现流式数据处理后同步到Elasticsearch数据库、StarRocks数据库
zhengzaifeidelushang的博客
08-13 491
Flink CDC系列之：深入理解MySQL CDC Connector的原理和实际应用MySQL CDC实现流式数据处理后同步到Elasticsearch数据库、StarRocks数据库
Flink connector Oracle CDC 实时同步数据到MySQL（Oracle19c）
Denny辉的博客
07-27 6508
注意不要使用Oracle的SYS和SYSTEM用户做为CDC用户。因为这两个用户能够捕获到大量Oracle数据库内部的变更信息，对于业务数据来说是不必要的。Debezium会过滤掉这两个用户捕获到的变更内容。'/opt/oracle/oradata/recovery_area'这个路径如果不存在的话需要自己手动去创建（Oracle用户下创建）FlinkconnectorOracleCDC实时数据同步到MySQL的操作就完成了；在这一步需要配置Oracle。创建从相应数据库表中捕获更改数据的表。......
Flink Oracle CDC Connector源码解读
IT_xhf的专栏
04-25 3801
flink cdc是在flink的基础上对oracle的数据进行实时采集，底层使用的是debezium框架来实现，debezium使用oracle自带的logminer技术来实现。logminer的采集需要对数据库和采集表添加补充日志，由于oracle18c不支持对数据添加补充日志，所以目前支持的oracle11、12、19三个版本。
Flink CDC同步Oracle无主键表
最新发布
weixin_60438717的博客
08-28 445
但是在实际使用过程中还是会有些不足之处，比如说同步Oracle数据库中无主键以及唯一键的表时，关于目标端的幂等性时无法保证的。修改源码如下，使之携带ROWID信息传入flink程序中，并且在目标端建表时将ROWID设置为主键。在Oracle数据库中，表中有一个伪列ROWID，而在CDC同步过来的数据中是不包含此列的。Flink CDC是一种很强大且实用的实时数据同步工具，官网如下。
使用Flink CDC实现 Oracle数据库数据同步（非SQL）
老码农的博客
06-28 2264
Flink CDC 是一个基于流的数据集成工具，旨在为用户提供一套功能更加全面的编程接口（API）。该工具使得用户能够以 YAML 配置文件的形式实现数据库同步，同时也提供了Flink CDC Source Connector API。
2024年Flink CDC-Oracle CDC配置及DataStream API实现代码，腾讯架构师首发
2401_84164672的博客
05-09 683
既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新需要这份系统化资料的朋友，可以戳这里获取由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新需要这份系统化资料的朋友，可以戳这里获取。
Flink CDC 系列 - 实时抽取 Oracle 数据，排雷和调优实践
Ververica的博客
12-15 5585
▼ 关注「ApacheFlink」视频号，遇见更多大咖▼摘要：本文作者为中国农业银行研发中心丁杨，在 Flink CDC 2.1 版本发布后第一时间下载使用，并成功实现了对 Oracle...
Flink CDC-Oracle CDC配置及DataStream API实现代码
2401_84160361的博客
04-08 1144
出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新**
flink oracle cdc实时同步（超详细）
阿甘兄
07-26 1万+
超详细讲解Oracle CDC实时同步
flink-cdc-connectors：更改Apache Flink的数据捕获（CDC）连接器
02-05
Flink CDC连接器 Flink CDC连接器是Apache Flink的一组源连接器，使用更改数据捕获（CDC）从不同的数据库中提取更改。 Flink CDC连接器将Debezium集成为引擎来捕获数据更改。 因此，它可以充分利用Debezium的功能。 ...
flink-sql-connector-mysql-cdc-1.1.1.jar
03-12
flink-sql-connector-mysql-cdc-1.1.1.jar
flink-sql-connector-oracle-cdc-2.5-SNAPSHOT.jar
08-15
flink-sql-connector-oracle-cdc 2.5-SNAPSHOT
flinkcdc抽取oracle数据（oracle cdc详细文档）
ask_baidu的博客
01-01 8260
flinkcdc集成说明文档、oraclecdc详细文档、全量+增量同步oracle数据
Flink oracle cdc - Oracle Logminer CDC性能问题
qiuqiufangfang1314的博客
02-18 5267
Flink Oracle CDC 性能
Flink CDC Oracle 完整踩坑指南
热门推荐
qq_33824503的博客
04-06 1万+
FlinkCDC完整踩坑指南
FlinkCDC读取Oracle原理
qq_42488390的博客
06-28 2292
其中在这个方法里面两个主要的属性engine，debeziumChangeFetcher，这两个采用了生产者和消费者的概念来读取Oraclecdc的数据，其中engine，这个属于是生产者的角色，debeziumChangeFetcher是消费者的角色，生产者将数据读取出来放到一个Handover，这个类里面，之后由消费者角色来进行读取，生产数据，并且将数据发送给消费者（在Java线程里面就是将消费者线程唤醒）进入到Handover这个类里面，这里面由两个重要的方法，如下所示，可以看到最主要的一个类是。
Flink CDC-Oracle CDC配置及DataStream API实现代码...可实现监控采集一个数据库的多个表
aof
09-12 2656
Flink CDC-Oracle CDC配置及DataStream API实现代码...可实现监控采集一个数据库的多个表
flinkcdc oracle
yy的博客
07-15 1408
flink-cdc github issue地址: https://github.com/ververica/flink-cdc-connectors/issues 官方说看oracle的需求多不多,多的话而且不麻烦就顺便做了. 请大家给个star 顺便 添加个issue推动一下. 2021.7.15目前不支持oracle. ...
flink cdc oracle
08-19
Flink CDC Oracle是基于Flink的Oracle Change Data Capture（CDC）功能，用于实时采集Oracle数据库的数据变更。它使用了debezium框架，并利用Oracle数据库自带的logminer技术来实现数据采集。 在配置Flink CDC Oracle时，需要注意的是，如果Oracle的dbName配置的是SID而不是service_name，可能会导致连接失败。解决这个问题的方法是将jdbc链接字符串改为jdbc:oracle:thin:@localhost:1521:sid的方式。你可以通过API方式或Flink SQL方式手动指定这个链接字符串，例如使用基于API的方式可以设置properties.put("database.url","jdbc:oracle:thin:@localhost:1521:sid")。 总结来说，Flink CDC Oracle是用于实时采集Oracle数据库数据变更的工具，它基于Flink并使用debezium和Oracle的logminer技术实现。在配置时需要注意正确设置链接字符串，特别是当dbName配置为SID时。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [flink1.14.3 cdc jar包](https://download.csdn.net/download/weixin_46661903/84678566)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] - *2* *3* [Flink Oracle CDC Connector源码解读](https://blog.csdn.net/IT_xhf/article/details/130364090)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

快乐骑行^_^

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值