Debezium系列之第100篇文章:阶段性详细总结对Debezium使用方式的优化,详细介绍对Debezium集群和Kafka集群做的一系列优化

322 篇文章 298 订阅 ¥99.90 ¥299.90

Debezium专栏的第100篇文章,作出阶段性详细总结,针对Debezium的使用方式做了重大的优化,分享出来,可以帮助使用Debezium的小伙伴少走弯路,提高数据接入的稳定性和可靠性。

分享一张周末出去玩拍的照片:

  • 努力工作学习的同时,不要忘记多运动运动,多去外面看看风景,走遍祖国的大好河山

在这里插入图片描述

一、介绍完整的数据链路

数据接入的整个链路:

  1. 数据库:mysql数据库、sqlserver等关系型数据库和mongodb等非关系型数据库
  2. Debezium:针对上百个数据库,采用了多个debezium集群维护
  3. Kafka:debezium专用的kafka集群
  4. Flume:flume集群消费kafka集群
  5. HDFS:flume数据落入hdfs的raw层
  6. HIVE:解析hdfs raw的数据存入hive数据库

二、需求背景和方案选择

需求背景:

  • 已经接入上百个数据库,随着接入数据库的不断增加,Debezium集群、Kafka集群、flume集群对资源的需求不断增加,数据链路的稳定性和可靠性不断经受着考验

为了提高数据链路的稳定性和可靠性可以采取的措施:

  • 可以考虑分多个debezium集群接入数据库,可以根据业
  • 1
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

最笨的羊羊

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值