Flink系列之：基于Flink CDC2.0实现海量数据的实时同步和转换

最新推荐文章于 2024-03-03 15:35:09 发布
最新推荐文章于 2024-03-03 15:35:09 发布
阅读量1.3k 收藏 2
点赞数 1
分类专栏： 大数据 Flink 文章标签： Flink系列 Flink CDC2.0 实现海量数据的实时同步和转换
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhengzaifeidelushang/article/details/127143441
版权
大数据 同时被 2 个专栏收录
526 篇文章 522 订阅 ¥49.90 ¥99.00
订阅专栏
Flink
56 篇文章 13 订阅
订阅专栏
了解本专栏 订阅专栏 解锁全文
最笨的羊羊
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
基于 Flink CDC 实现海量数据的实时同步和转换.pdf
03-21
基于 Flink CDC 实现海量数据的实时同步和转换.pdf
Flink官网实例：基于DataStream API 实现欺诈检测，完整实现
02-07
Flink官网实例： 1.基于DataStream API 实现欺诈检测，完整实现； 2.补充自定义数据源； 3.IDEA开发环境。
Flink CDC 详解 Flink CDC介绍
最新发布
很多时候犯错都是在不知情的情况下发生的
03-03 317
什么是 CDC?CDC 是 Change Data Capture（变更数据获取）的简称。核心思想是，监测并捕获数据库的变动（包括数据或数据表的插入、更新以及删除等），将这些变更按发生的顺序完整记录下来，写入到消息中间件中以供其他服务进行订阅及消费。CDC 的种类基于查询的 CDC基于 Binlog 的 CDC开源产品执行模式BatchStreaming是否可以捕获所有数据变化否是延迟性高延迟低延迟是否增加数据库压力是否关于 Flink-CDC。
使用flink-connector-sqlserver-cdc 2.3.0把数据从SQL Server实时同步到MySQL中
06-25
使用flink-connector-sqlserver-cdc 2.3.0把数据从SQL Server实时同步到MySQL中。
基于flink-cdc实现监控数据源的实时变更数据捕获
06-06
cdc技术分析文章，基于flink-cdc做监控数据源的实时变更数据捕获。该文从基础定义、使用场景、分析、实际使用流程、源码分析、常见问题及解决方式等几个方向讲解了这个技术栈。如果公司有要使用搜索方案，涉及到业务库数据同步至搜索库的业务需求可以下载看一下，相信对你会有一些帮助。具体公司的使用场景，需要在此方案上进行扩展。博主手中有基于flink-cdc、elasticSerach、kafka、zookeeper、nacos、Redis、springboot+springcloud、MySQL、mybatis-plus、jdk1.8等技术栈以及版本做的适用于公司搜索业务的自研代码，感兴趣的可以给我留言或者发私信，具体价格可以商量。
基于 Flink CDC 高效实现海量数据实时入湖入仓.pdf
01-25
基于 Flink CDC 高效实现海量数据实时入湖入仓.pdf
flink cdc笔记（一）：flink cdc简介
热门推荐
YiRan_Zhao的博客
09-20 2万+
flink cdc
Flink CDC 详解
在森林里麋了鹿
04-11 1万+
Flink CDC介绍
一文弄懂Flink CDC
a805814077的博客
07-25 7063
Flink CDC的详解，一文就能理解透彻
FlinkCDC
大数据知识梳理
01-11 4815
FlinkCDC
Flink CDC详细教程（介绍、原理、代码样例）
少说，多做
06-24 1万+
CDC 是变更数据捕获（Change Data Capture）技术的缩写，它可以将源数据库（Source）的增量变动记录，同步到一个或多个数据目的（Sink）。在同步过程中，还可以对数据进行一定的处理，例如分组（GROUP BY）、多表的关联（JOIN）等。例如对于电商平台，用户的订单会实时写入到某个源数据库；A 部门需要将每分钟的实时数据简单聚合处理后保存到 Redis 中以供查询，B 部门需要将当天的数据暂存到 Elasticsearch 一份来做报表展示，C 部门也需要一份数据到 ClickHous
Flink SQL CDC 13 条生产实践经验
yang灬仔
09-04 3255
摘要：7月，Flink 1.11 新版发布，在生态及易用性上有大幅提升，其中 Table & SQL 开始支持 Change Data Capture（CDC）。CDC 被广泛使用在复制数据、更新缓存、微服务间同步数据、审计日志等场景，本文由社区由曾庆东同学分享，主要介绍 Flink SQL CDC 在生产环境的落地实践以及总结的实战经验，文章分为以下几部分： 项目背景 解决方案 项目运行环境与现状 具体实现 踩过的坑和学到的经验 总结 .
基于 Flink CDC 实现海量数据的实时同步和转换
Ververica的博客
07-20 4599
徐榜江在 5.21 Flink CDC Meetup 的分享。
flink的datastream基本转换
格格颜心
04-06 396
深入解读flink sql cdc的使用以及源码分析
公众号[大数据技术与应用实战]，分享大数据实战案例
09-14 1764
DC,Change Data Capture,变更数据获取的简称，使用CDC我们可以从数据库中获取已提交的更改并将这些更改发送到下游，供下游使用。这些变更可以包括INSERT,DELETE,UPDATE等. 用户可以在如下的场景使用cdc： 实时数据同步：比如我们将mysql库中的数据同步到我们的数仓中。 数据库的实时物化视图。 flink提供了两种方式来处理cdc的数据，一种是直接消费kafka中cdc的数据，一种是直接读取数据库的日志然后进行处理
大数据技术之 Flink-CDC
骚戴的博客
03-13 6348
大数据技术之 Flink-CDC
FlinkCDC详解
百看不如一RUN
02-20 4891
flink的cdc详解
FlinkCDC简介
m0_61607827的博客
02-26 1万+
目录 一. Flink CDC介绍 二.Flink CDC 实操 2.1 MySQL配置 2.2 pom文件 2.3 Java代码 2.4 测试结果 一. Flink CDC介绍 CDC主要分为基于查询和基于Binlog两种方式，我们主要了解一下这两种之间的区别： FlinkCDC其实和canal差不多，只不过就是flink社区开发的组件，用起来更方便一些。   Flink在1.11版本中新增了CDC的特性，简称 改变数据捕获。名称来看有点乱，我们先从之前的数据架构来看CDC的内容
FlinkCDC原理详解+复制即用使用教程
iusedbelieve的博客
05-02 9512
FlinkCDC原理详解+复制即用使用教程,一篇文章搞定FlinkCDC
flink cdc 实时同步 oracle
09-15
要实现Flink CDC实时同步Oracle，需要采取以下步骤： 1. 确保Oracle中相关表已开启归档日志和补充日志。因为Flink CDC基于Debezium的LogMiner实现，LogMiner需要使用Oracle的归档日志和补充日志来获取变更数据。 2. 在Flink程序中创建Oracle CDC连接器，并设置连接器的相关配置。首先，确保在连接器中使用的Oracle字段名大写，这是因为Oracle对于大小写敏感。如果字段名不大写，Oracle的变更数据可能无法正确获取。 3. 在项目的pom.xml文件中添加Flink Oracle CDC依赖。示例依赖如下： ```xml <dependency> <groupId>com.ververica</groupId> <artifactId>flink-connector-oracle-cdc</artifactId> <version>2.2-SNAPSHOT</version> <!-- 此处依赖需要设置为 scope，其他 flink 依赖需设置为 provided --> <scope>compile</scope> </dependency> ``` 4. 使用Flink的Table API或SQL API来定义Oracle CDC连接器的数据源表和目标表。可以使用类似下面的代码来创建Oracle CDC数据源表： ```java tEnv.executeSql("CREATE TABLE oracleSource (\n" "PK BIGINT,\n" "BRANCHID VARCHAR,\n" "PRIMARY KEY(PK) NOT ENFORCED\n" ") WITH (\n" "'connector' = 'oracle-cdc',\n" "'hostname' = 'xxx',n" "'port' = '1521',\n" "'username' = 'xxx',\n" "'password' = 'xxx',\n" "'database-name' = 'xxx',\n" "'schema-name' = 'xxx',\n" "'table-name' = 'xxx',\n" "'scan.startup.mode' = 'initial'\n" ")"); ``` 请根据实际情况修改连接器的配置信息，比如主机名、端口号、用户名、密码、数据库名、模式名和表名等。 5. 定义Oracle CDC数据源表和目标表之间的转换逻辑。可以使用Flink提供的各种转换算子来对变更数据进行处理和转换，比如过滤、投影、聚合、连接等。 6. 将转换后的数据写入到目标表或其他外部系统中。可以使用Flink的Table API或SQL API提供的写入操作将数据写入到目标表或其他外部系统。 通过以上步骤，你可以实现Flink CDC实时同步Oracle的功能。请根据具体需求和情况进行配置和调整。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

最笨的羊羊

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值