kafka connector 配置 Debezium

1、环境介绍
操作系统:centos 7.9
jdk版本:11.0.12
kafka版本:2.8.0
Debezium版本:1.6
Debezium兼容性列表:
在这里插入图片描述
Debezium数据库插件下载地址:
https://debezium.io/documentation/reference/1.6/install.html
在这里插入图片描述
2、架构
在这里插入图片描述
注意:Debezium部署依赖kafka connector,需要提前完成zookeeper集群安装,kafka集群部署,kafka connector部署
数据库(作为数据源)也要提前部署

3、安装jdk
参考:
https://blog.csdn.net/zyj81092211/article/details/118055068

4、安装zookeeper集群
参考:
https://blog.csdn.net/zyj81092211/article/details/118066724

5、安装kafka集群
注意:应为debezium 需要java 11,请替换kafka集群中的jdk
参考:
https://blog.csdn.net/zyj81092211/article/details/119326105

6、安装kafka connector
https://blog.csdn.net/zyj81092211/article/details/119647591

7、上传并解压debezium数据库插件到扩展插件目录
注:经常使用的数据库,其他请另行下载,插件目录为kafka connector配置文件中中的plugin.path
更改plugin.path配置如下:

plugin.path=/data/kafka-connect/plugins,/data/kafka-connect/plugins/debezium-connector-mysql,/data/kafka-connect/plugins/debezium-connector-mongodb/*,/data/kafka-connect/plugins/debezium-connector-oracle,/data/kafka-connect/plugins/debezium-connector-postgres,/data/kafka-connect/plugins/debezium-connector-sqlserver

另:mongodb插件目录需配置成这样:data/kafka-connect/plugins/debezium-connector-mongodb/*
要不一直报错,找不到类

在这里插入图片描述

tar -xvf debezium-connector-mysql-1.6.1.Final-plugin.tar.gz -C /data/kafka-connect/plugins/
tar -xvf debezium-connector-oracle-1.6.1.Final-plugin.tar.gz -C /data/kafka-connect/plugins/
tar -xvf debezium-connector-postgres-1.6.1.Final-plugin.tar.gz -C /data/kafka-connect/plugins/
tar -xvf debezium-connector-mongodb-1.6.1.Final-plugin.tar.gz -C /data/kafka-connect/plugins/
tar -xvf debezium-connector-sqlserver-1.6.1.Final-plugin.tar.gz -C /data/kafka-connect/plugins/

在这里插入图片描述
8、查看插件加载情况
在这里插入图片描述
9、建立连接器
mysql参考:
https://blog.csdn.net/zyj81092211/article/details/119848646
sqlserver参考:
https://blog.csdn.net/zyj81092211/article/details/119932982
oracle参考
https://blog.csdn.net/zyj81092211/article/details/120115850

  • 0
    点赞
  • 11
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
首先,Kafka是一个分布式流处理平台,用于在高吞吐量的情况下处理大量的实时数据流。Hive是一个基于Hadoop的数据仓库工具,用于存储和查询大规模结构化和半结构化数据。 要将Kafka写入Hive,需要使用Debezium它是一个开源的、基于事件的可信变更数据捕获(CDC)平台。Debezium可以将数据库的变更事件转换为Kafka主题中的实时流,并且可以实时监控数据库中的变动。 要实现Kafka写入Hive,首先需要配置Debezium将数据库的变更事件连接到Kafka中。Debezium会以JSON格式将变更事件转换为Kafka消息,并将其写入指定的主题中。 然后,可以使用Kafka Connect来读取Kafka主题中的消息,并将其写入Hive中。Kafka Connect是Kafka提供的一组工具,用于将Kafka主题与外部数据系统进行连接。 在Kafka Connect中,可以使用HDFS Connector来将Kafka消息写入Hive。HDFS Connector会将Kafka消息转换为Hive支持的格式,并将其写入Hive表中。 需要配置HDFS Connector的连接器以指定Kafka主题、Hive表和目标位置。连接器会自动将Kafka消息转换为Hive表的列,并将其写入Hive表中的对应位置。 一旦连接器配置完成并启动,Kafka中的变更事件就会实时地写入Hive表中。可以通过查询Hive表来获取Kafka中的数据,并根据需要进行分析和处理。 总而言之,要将Kafka写入Hive,可以使用Debezium将数据库变更事件转换为Kafka消息,并使用Kafka Connect的HDFS ConnectorKafka消息写入Hive表中。这样就能实现将实时数据流从Kafka写入Hive的目的。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值