kafka connect 分布式部署

最新推荐文章于 2024-08-15 11:27:04 发布
最新推荐文章于 2024-08-15 11:27:04 发布
阅读量2.2k 收藏 11
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zyj81092211/article/details/119647591
版权

1、环境介绍
操作系统：centos 7.9
jdk版本：8u291
kafka版本：2.8.0
kafka下载地址：
https://kafka.apache.org/downloads

节点清单：
10.99.27.111 kafkac01.wtown.com 4核心 8G内存 500G硬盘
10.99.27.112 kafkac02.wtown.com 4核心 8G内存 500G硬盘
10.99.27.113 kafkac03.wtown.com 4核心 8G内存 500G硬盘

在这里插入图片描述

2、设置主机名及host文件（三台机器）

10.99.27.111	kafkac01.wtown.com
10.99.27.112	kafkac02.wtown.com
10.99.27.113	kafkac03.wtown.com
10.99.27.11		zk01.wtown.com
10.99.27.12		zk02.wtown.com
10.99.27.13		zk03.wtown.co

3、关闭防火墙和selinux（三台机器）
在这里插入图片描述
4、创建数据目录/data，并挂载数据盘（三台机器）

mkdir /data

https://blog.csdn.net/zyj81092211/article/details/118054000

5、配置jdk
https://blog.csdn.net/zyj81092211/article/details/118055068

6、创建zookeeper集群
https://blog.csdn.net/zyj81092211/article/details/118066724

7、上传软件到服务器解压并重命名为kafka-connect（三台机器）
在这里插入图片描述
8、创建软连接到 /usr/local下（三台机器）

ln -s /data/kafka-connect /usr/local/kafka-connect

9、更改配置文件（三台机器）
编辑配置文件server.properties，替换文件内容为下

vi /data/kafka-connect/config/server.properties

kafakac01.wtown.com:

broker.id=111
listeners=PLAINTEXT://kafkac01.wtown.com:9092
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/data/kafka/logs
num.partitions=1
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connect=zk01.wtown.com:2181,zk02.wtown.com:2181,zk03.wtown.com:2181/kafka-connect01
zookeeper.connection.timeout.ms=18000
group.initial.rebalance.delay.ms=0

kafakac02.wtown.com:

broker.id=112
listeners=PLAINTEXT://kafkac02.wtown.com:9092
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/data/kafka/logs
num.partitions=1
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connect=zk01.wtown.com:2181,zk02.wtown.com:2181,zk03.wtown.com:2181/kafka-connect01
zookeeper.connection.timeout.ms=18000
group.initial.rebalance.delay.ms=0

kafakac03.wtown.com:

broker.id=113
listeners=PLAINTEXT://kafkac03.wtown.com:9092
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/data/kafka/logs
num.partitions=1
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connect=zk01.wtown.com:2181,zk02.wtown.com:2181,zk03.wtown.com:2181/kafka-connect01
zookeeper.connection.timeout.ms=18000
group.initial.rebalance.delay.ms=

10、添加环境变量（三台机器）

# kafka environment
export KAFKA_HOME=/data/kafka-connect
export PATH=$PATH:$KAFKA_HOME/bin

11、启动kafka集群（三台机器）

kafka-server-start.sh -daemon /data/kafka-connect/config/server.properties

12、kafka集群状态
在这里插入图片描述
zookeeper状态：
在这里插入图片描述
13、创建插件目录

mkdir /data/kafka-connect/plugins

14、修改connector配置文件connect-distributed.properties（三台机器配置一样）
在这里插入图片描述

bootstrap.servers=kafkac01.wtown.com:9092,kafkac02.wtown.com:9092,kafkac03.wtown.com:9092
group.id=connect-cluster-01
key.converter=org.apache.kafka.connect.json.JsonConverter
value.converter=org.apache.kafka.connect.json.JsonConverter
key.converter.schemas.enable=true
value.converter.schemas.enable=true
offset.storage.topic=connect-offsets
offset.storage.replication.factor=1
config.storage.topic=connect-configs
config.storage.replication.factor=1
status.storage.topic=connect-status
status.storage.replication.factor=1
offset.flush.interval.ms=10000
plugin.path=/data/kafka-connect/plugins

15、启动kafka connector

connect-distributed.sh -daemon /data/kafka-connect/config/connect-distributed.properties

16、查看kafka connector状态
在这里插入图片描述
查看kafka topic信息

kafka-topics.sh --list --zookeeper zk01.wtown.com:2181,zk02.wtown.com:2181,zk03.wtown.com:2181/kafka-connect01

在这里插入图片描述
可以看到已经自动创建了配置文件中的topic connect-configs

17、测试样例
（1）创建测试目录和文件

mkdir /data/test
touch /data/test/in.txt
touch /data/test/out.txt

（2）获取插件信息

curl http://kafkac01.wtown.com:8083/connector-plugins

在这里插入图片描述
可以在https://www.sojson.com/格式化json数据（或者直接使用postman请求）
在这里插入图片描述
（3）建立source connector

curl -i -k  -H "Content-type: application/json" -X POST -d '{"name":"in","config":{"connector.class":"org.apache.kafka.connect.file.FileStreamSourceConnector","tasks.max":"1","file":"/data/test/in.txt","topic":"localfiles"}}' http://kafkac01.wtown.com:8083/connectors

（4）查看source connector

curl http://kafkac01.wtown.com:8083/connectors/in/status

在这里插入图片描述
注意这里，测试程序是本地file获取，所以应该上connector运行的节点上进行文件输入操作，即10.99.27.112上
（5）查看topic

kafka-topics.sh --list --zookeeper zk01.wtown.com:2181,zk02.wtown.com:2181,zk03.wtown.com:2181/kafka-connect01

在这里插入图片描述
（6）模拟消费者

kafka-console-consumer.sh --bootstrap-server kafkac01.wtown.com:9092,kafkac02.wtown.com:9092,kafkac03.wtown.com:9092 --topic localfiles

到10.99.27.112（connector运行的节点上）输入数据到int.txt
在这里插入图片描述

消费者这边已经接到数据
在这里插入图片描述

（7）创建sink connector

curl -i -k  -H "Content-type: application/json" -X POST -d '{"name":"out","config":{"connector.class":"org.apache.kafka.connect.file.FileStreamSinkConnector","tasks.max":"1","topics":"localfiles","file":"/data/test/out.txt"}}' http://kafkac01.wtown.com:8083/connectors

（8）查看sink connector

curl http://kafkac01.wtown.com:8083/connectors/out/status

在这里插入图片描述
（9）查看out输出文件（还是要到connector运行节点上去看）
在这里插入图片描述

水彩橘子
关注
专栏目录
Kafka系列之：详细介绍部署Kafka Connect分布式集群
zhengzaifeidelushang的博客
11-26 1266
Kafka系列之：详细介绍部署Kafka Connect分布式集群
十三：kafka分布式部署
weizhonggui的博客
01-30 654
一：kafka概述： 就一个消息中间件，当前官网叫做：分布式流平台a distributed streaming platform： A streaming platform has three key capabilities: 1.Publish and subscribe to streams of records, similar to a message queue or enterpr...
Kafka Connect 分布式部署方案
Tu_maimes
12-30 1665
前言：Zookeeper、Kafak的集群部署这里不过多说明。 版本：Kafka2.3。 一 、 kafak Connect的分布式配置文件 ## # Licensed to the Apache Software Foundation (ASF) under one or more # contributor license agreements. See the NOTIC...
Kafka系列之：Kafka Connect深入探讨 - 错误处理和死信队列
最新发布
zhengzaifeidelushang的博客
08-15 1059
Kafka Connect是Apache Kafka®的一部分，是一个构建Kafka和其他技术之间流水线的强大框架。它可以用于从多个位置（包括数据库、消息队列和平面文件）将数据流式传输到Kafka，也可以将数据从Kafka流式传输到目标，如文档存储、NoSQL数据库、对象存储等。在完美的世界中，不会出现任何问题，但当出现问题时，我们希望我们的流水线能够尽可能地优雅地处理。一个常见的例子是在特定序列化（期望为Avro时却收到JSON，反之亦然）的主题上收到消息。
Strimzi从入门到精通系列之三：部署Kafka Connect
zhengzaifeidelushang的博客
06-28 1632
Kafka Connect 是一个用于在 Apache Kafka 和其他系统之间传输数据的工具。例如，Kafka Connect 可能会将 Kafka 与外部数据库或存储和消息传递系统集成。在Strimzi中，Kafka Connect以分布式方式部署。Kafka Connect 也可以在独立模式下工作，但 Strimzi 不支持。使用连接器的概念，Kafka Connect 提供了一个框架，用于将大量数据移入和移出 Kafka 集群，同时保持可扩展性和可靠性。
kafka学习--kafka connect部署
wjandy0211的博客
08-27 1328
1. 部署独立模式的kafka connect 在独立模式下，所有工作都在一个进程中执行。这种配置更容易设置和开始，但是不会从kafka connect集群特性中获益。 启动脚本如下： > bin/connect-standalone.sh config/connect-standalone.properties connector1.properties [connector2....
kafka k8s部署kafka connect(以kafka-connector-hana插件为例)
github_39319229的博客
04-19 706
【代码】kafka k8s部署kafka connect(以kafka-connector-hana插件为例)
Kafka connect介绍、部署及开发
weixin_33976072的博客
10-25 1644
为什么80%的码农都做不了架构师？>>> ...
kafka 部署
Terry Tsang
08-20 145
目的 部署 kafka 集群 提供 falcon-transfer 使用 kafka 需要使用 zookeeper 集群 共享 hadoop 使用中的 zookeeper 即可 参考 zookeeper 集群部署方法 软件下载 官方网站 下载 kafka_2.13-2.6.0.tgz 参考信息 需求 java 环境 Zookeeper 环境 参考 zookeeper 集群部署方法 部署 kafka 环境变量 /etc/profile KAFKA_HOME=/apps/svr/kafka PATH=$
Kafka Connect ：构建强大分布式数据集成方案
晓晓的天空
12-07 1502
在本篇文章中，深入探讨了 Kafka Connect 的核心架构、实战应用以及高级特性。通过详细的示例代码，展示了如何灵活应用 Kafka Connect 进行数据集成，连接多种数据源，实现实时数据流处理，并利用高级特性如Exactly Once语义、数据变换与清洗以及Connector的动态加载，解决了实际业务中的复杂挑战。
Kafka分布式集群部署
Rachel的博客
09-13 4616
1：概念和特点 >>是一个消息队列，符合先进先出的原则，它是一个处理流数据的消息系统 >>实时高效的流处理，也就要求支持高吞吐量，需要支持多并发的消费者消费 >>分布式集群，存储在kafka上的数据，和HDFS一样，有副本机制。 >>依赖分布式协调服务zookeeper，包括hadoop生态圈中的HDFS,yarn,Hbase都要依赖zook...
Kafka connect 源码分析之 ConnectDistributed
woshiyizhiyu0的博客
10-18 1327
Kafka connect 源码分析之 ConnectDistributed
kafka connect简介以及部署
weixin_30888413的博客
08-20 819
https://blog.csdn.net/u011687037/article/details/57411790 1、什么是kafka connect？ 根据官方介绍，Kafka Connect是一种用于在Kafka和其他系统之间可扩展的、可靠的流式传输数据的工具。它使得能够快速定义将大量数据集合移入和移出Kafka的连接器变得简单。 Kafka Connect可以...
kafka connect分布式安装
weixin_34416754的博客
12-10 980
为什么80%的码农都做不了架构师？>>> ...
利用Kafka-connect分布式模式实现mysql数据库存储到topic，并从topic取数据到mysql数据库
qq_38650808的博客
07-29 880
一、搭建kafka 二、下载connect jar和mysql-connect包到kafka目录下的lib文件夹并配置connect-distributed.properties 记得先关防火墙 #建表 CREATE TABLE `users_input` ( `uid` int(11) NOT NULL AUTO_INCREMENT, `name` varchar(20) NOT NULL, `age` int(11) NOT NULL, PRIMARY KEY (`uid`) ) E
Kafka集群部署教程
程序园@大Null
06-03 1159
Kafka部署需要Java环境，可以使用CentOS自带的或者自己重新安装新版本 首先准备好安装包，官网下载地址： http://kafka.apache.org/downloads 我这里下载的2.8.0的版本，目前为止最新的版本，一共三台服务器，依次上传上去并解压 tar -zxvf kafka_2.12-2.8.0.tgz 解压之后，可以看到下面的内容 然后先建立zookeeper集群，我这里使用的是kafka自带的，修改config目录下的zookeeper.properties文件 #.
Kafka集群部署（手把手部署图文详细版）
CloudJourney的博客
07-04 3228
在node02上执行以下命令，拷贝kafka_2.11-0.10.1.1到node03、4的“/usr/local”目录下。在node02、3、4上执行以下命令，都可以查看到上一步骤创建的topic主题。添加完成后，执行命令source /etc/profile，使环境变量生效。添加完成后，执行命令source /etc/profile，使环境变量生效。该命令执行后，就会消费topic数据，此窗口不要再做其他操作，不要关闭。在node03或node04上执行命令，创建消费者，模拟目标系统。
kafka connect 怎么部署、可以单独部署kafka connect吗？
beOkWithAnything
10-15 549
是否能不依赖 kafka 集群，部署 kafka connect？ Connect随着Kafka一起发布，所以无需单独安装。 如果你打算在生产环境使用 Connect 来移动大量的数据，或者打算运行多个连接器，那么 最好把 Connect 部署在独立于 broker 的服务器上。在所有的机器上安装 Kafka，并在部分服务器上启动 broker，然后在其他服务器上启动 Connect —— 《kafka权威指南》 ...
Kafka(一)、Kafka集群部署与原理
雨后是冰雹
07-31 579
**kafka集群部署**1、zookeeper 集群安装2、kafka集群的安装Kafka原理1、主要对象2、Kafka四个核心API3、Kafka基本架构4、Product发送消息5、kafka索引检索过程6、Kafka消息清理策略7、高可用架构之Leader选举 Kafka 是 Linkedin 使用Scala 编写具有高水平扩展和高吞吐量的分布式消息系统。 kafka 对消息保存时根据 Topic 进行归类，发送消息者为 Producer，消息接收为 Consumer，此外Kafka 集群由多个K.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值