flink cdc实践

最新推荐文章于 2024-11-28 11:10:35 发布

zhdan~

最新推荐文章于 2024-11-28 11:10:35 发布

阅读量933

点赞数 1

分类专栏： flink 文章标签： flink kafka mysql

本文链接：https://blog.csdn.net/zhangdongan1991/article/details/120701812

版权

本文介绍了使用Flink CDC 1.2.0从MySQL 7+实时捕获binlog并将其发送到Kafka的实践过程。在遇到公司大数据平台的实时ETL服务问题后，选择Flink CDC基于Debezium实现，详细阐述了配置MySQL binlog、处理权限问题以及设置Flink SQL的步骤，并提到了数据可以进一步写入下游系统如Kafka。

摘要由CSDN通过智能技术生成

flink 1.12.1
flink-cdc 1.2.0
mysql 7+

最近使用公司的大数据平台做实时ETL，发现平台提供的实时消费binlog到kafka的服务有点坑，莫名其妙失败重启，日志也没有效的信息，于是打算另辟蹊径。主要考虑能控制整个流程，能查看完整日志，不新增技术栈，最好还是基于flink，于是选择了flink-cdc，它底层基于debezium。

sterp 1
首先需要确保MySQL开启binlog，并且有采集binlog的全限

#需要的mysql配置
log-bin = on #开启BINLOG
binlog-format = ROW #选择ROW模式
gtid_mode = ON #开启GTID

#可以使用数据库用户执行以下命令确认是否有采集binlog全限
#1、是否打开binlog特性，on表示开启
show global variables where Variable_name = 'log_bin'
#2、是否为row模式，row表示已开启row模式
show global variables where Variable_name = 'binlog_format'
#3、是否打开gtid特性，on表示开启
show global variables where Variable_name = 'gtid_mode'