linux安装kafka

已于 2022-07-26 01:50:01 修改
阅读量2.1k 收藏 8
点赞数 3
分类专栏： 大数据-kafka 文章标签： kafka java 大数据
于 2022-06-30 00:49:10 首次发布
lyz
本文链接：https://blog.csdn.net/zhaozhao121a/article/details/125532280
版权

目录

下载

kafka配置文件介绍

一、单机模式

1.安装及修改配置文件

二、集群模式/zookeeper-集群模式

1.安装及修改配置文件

2.安装后效果展示

3.kafka报错处理

三、Kafka-Kraft-集群模式

1.安装及修改配置文件

2.安装后效果展示

四、安装kafkalytic插件

kafka命令行操作请看：http://t.csdn.cn/JfUrW

下载

官方下载地址：Apache Kafka

kafka配置文件介绍

kafka3.0.0稳定版本，配置文件介绍

kafka配置文件介绍
文件文件功能描述
connect-*kafka传输连接工具，（一般使用flume进行连接）
consumer.properties消费者的配置文件（（默认本地），一般不修改
kraftkafka不依赖zookeeper的集群配置（下文会讲）
log4j.properties日志文件默认级别info
producer.properties生产者的配置文件（默认本地），一般不修改
server.properties服务配置文件
tools-log4j.properties工具日志文件默认级别info
trogdor.conf版权所有权的额外信息的文件
zookeeper.propertieszookeeper配置文件，作为kafka交给zookeeper启动的zk配置，如连接zk端口等


一、单机模式

1.安装及修改配置文件

因为kafka是单节点启动，所以配置与集群模式类似

下载、解压文件

tar -zxvf kafka_2.12-3.0.0.tgz -C /opt/root/kafka 

进入kafka配置文件

[root@liuyizhao01 kafka]# cd config/

修改kafka配置文件server.properties

[root@liuyizhao01 config]# vim server.properties

修改：

log.dirs=/opt/root/kafka/datas #kafka数据存储目录

zookeeper.connect=192.168.xx.xxx:2181 #配置连接Zookeeper地址（在zk根目录下创建/kafka，方便管理），2181zookeeper端口

二、集群模式/zookeeper-集群模式

因为kafka开始时，就是通过zookeeper连接集群，到kafka大火才开始引入自己的集群配置kafka-kraft，所以大部分是以zookeeper-kafka集群模式

1.安装及修改配置文件

1.去kafka官网下载linux安装包,kafka3.0.0版本,2.12是scala版本

tar -zxvf kafka_2.12-3.0.0.tgz -C /opt/root/kafka

2.修改kafka配置文件

[root@liuyizhao01 kafka]# cd config/

3.修改kafka配置文件server.properties

[root@liuyizhao01 config]# vim server.properties

4.通过zookeeper管理kafka集群修改文件server.properties，同时修改kafka所有节点的配置文件，其他一样只修改broker.id=（数字：1,2,3...）：

broker.id=0 #broker的全局唯一编号，不能重复，只能是数字,作为集群的唯一编号

num.network.threads=3 #处理网络请求的线程数量

num.io.threads=8 #用来处理磁盘IO的线程数量

socket.send.buffer.bytes=102400 #发送套接字的缓冲区大小

socket.receive.buffer.bytes=102400 #接收套接字的缓冲区大小

socket.request.max.bytes=104857600 #请求套接字的缓冲区大小

log.dirs=/opt/root/kafka/datas #kafka数据存储目录

num.partitions=1 #topic在当前broker上的分区个数

num.recovery.threads.per.data.dir=1 #用来恢复和清理data下数据的线程数量

offsets.topic.replication.factor=1 # 每个topic创建时的副本数，默认时1个副本

log.retention.hours=168 #segment文件保留的最长时间，超时将被删

log.segment.bytes=1073741824 #每个segment文件的大小，默认最大1G

log.retention.check.interval.ms=300000 # 检查过期数据的时间，默认5分钟检查一次是否数据过期

zookeeper.connect=192.168.xx.xxx:2181,192.168.xx.xxx:2181,192.168.xx.xxx:2181/kafka #配置连接Zookeeper集群地址（在zk根目录下创建/kafka，方便管理），2181zookeeper端口

5.配置kafka环境变量

在/etc/profile.d/my_env.sh文件中增加kafka环境变量配置，my_env.sh是自己创建的自定义环境变量文件。

[root@liuyizhao01 /]# vim /etc/profile.d/my_env.sh

增加如下内容：

#KAFKA_HOME

export KAFKA_HOME=/opt/module/kafka

export PATH=$PATH:$KAFKA_HOME/bin

刷新一下环境变量：

[root@liuyizhao01 /]# source /etc/profile

6.启动kafka命令

前提：先启动zookeeper

kafka-server-start.sh 脚本启动，配置文件 server.properties

[root@liuyizhao01 kafka]$ bin/kafka-server-start.sh -daemon /opt/module/kafka/config/server.properties

[root@liuyizhao02 kafka]$ bin/kafka-server-start.sh -daemon /opt/module/kafka/config/server.properties

[root@liuyizhao03 kafka]$ bin/kafka-server-start.sh -daemon /opt/module/kafka/config/server.properties

2.安装后效果展示

1.查看所有topic

 2.在first主题下，生产并消费数据

 

3.kafka报错处理

1.需要删除/kafka/config/server.properties 下定义的 log.dirs  kafka数据存储目录

log.dirs=/opt/root/kafka/datas #kafka数据存储目录

2.删除logs目录

3.删除zookeeper 下的节点 /kafka 节点node

1.打开zookeeper client

[root@liuyizhao01 zookeeper-3.5.7]# bin/zkCli.sh

2.递归删除节点

[zk: localhost:2181(CONNECTED) 0] deleteall /kafka

三、Kafka-Kraft-集群模式

1.安装及修改配置文件

1.去kafka官网下载linux安装包

tar -zxvf kafka_2.12-3.0.0.tgz -C /opt/root/kafka

2.修改kafka/config/kraft/server.properties配置文件

[root@liuyizhao kraft]# cd kafka/config/kraft

[root@liuyizhao kraft]# vim server.properties

3. 集群其他kafka上需要对node.id相应改变，值需要和controller.quorum.voters对应，同时修改kafka所有节点的配置文件，其他一样只修改broker.id=（数字：2,3...）

process.roles=broker, controller  #kafka的角色（controller相当于主机、broker节点相当于从机，主机类似zk功能）

node.id=2 #节点ID

controller.listener.names=CONTROLLER #controller服务协议别名

controller.quorum.voters=2@192.168.xx.xxx:9093,3@192.168.xx.xxx:9093,4@192.168.xx.xxx:9093 #全Controller列表

listeners=PLAINTEXT://:9092,CONTROLLER://:9093 #不同服务器绑定的端口

inter.broker.listener.name=PLAINTEXT #broker服务协议别名

advertised.Listeners=PLAINTEXT://192.168.xx.xxx:9092 #broker对外暴露的地址

listener.security.protocol.map=CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT

,SSL:SSL,SASL_PLAINTEXT:SASL_PLAINTEXT,SASL_SSL:SASL_SSL #协议别名到安全协议的映射

log.dirs=/opt/module/kafka/data  #kafka数据存储目录

5.配置kafka环境变量

在/etc/profile.d/my_env.sh文件中增加kafka环境变量配置，my_env.sh是自己创建的自定义环境变量文件。

[root@liuyizhao /]# vim /etc/profile.d/my_env.sh

增加如下内容：

#KAFKA_HOME

export KAFKA_HOME=/opt/module/kafka

export PATH=$PATH:$KAFKA_HOME/bin

刷新一下环境变量：

[root@liuyizhao /]# source /etc/profile

6.启动kafka命令

注意：

1.不需要启动 zookeeper

2.如果之前启动过kafka-zookeeper模式对node.id相应改变，值需要和controller.quorum.voters对应。需要根据各自的主机名称（所有机器），修改相应的advertised.Listeners地址。

1.初始化集群数据目录

1.首先生成存储目录唯一ID（整个集群唯一）

[root@liuyizhao01 kafka2]# bin/kafka-storage.sh random-uuid

得到数据（每次每个人是不一样的）：J7s9e8PPTKOO47PxzI39VA

2.用该ID格式化kafka存储目录（集群所有节点）

[root@liuyizhao01 kafka2]# bin/kafka-storage.sh format -t J7s9e8PPTKOO47PxzI39VA -c

[root@liuyizhao02 kafka2]# bin/kafka-storage.sh format -t J7s9e8PPTKOO47PxzI39VA -c

[root@liuyizhao03 kafka2]# bin/kafka-storage.sh format -t J7s9e8PPTKOO47PxzI39VA -c

2.启动

kafka-server-start.sh 脚本启动，配置文件 server.properties

[root@liuyizhao01 kafka2]# bin/kafka-server-start.sh -daemon config/kraft/server.properties

[root@liuyizhao02 kafka2]# bin/kafka-server-start.sh -daemon config/kraft/server.properties

[root@liuyizhao03 kafka2]# bin/kafka-server-start.sh -daemon config/kraft/server.properties

2.安装后效果展示

四、安装kafkalytic插件

1.File/Settings/Plugins 搜索kafkalytic

 2.kafkalytic介绍

3.kafka tool也不错

唯月作伴
关注
  • 3
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
Linux安装kafka
L_2297630265的博客
11-15 222
一、kafka伪分布式安装，使用kafka自带zookeeper 1.下载kafka安装包 https://www.apache.org/dyn/closer.cgi?path=/kafka/2.3.0/kafka_2.12-2.3.0.tgz 2.在Linux系统中解压kafka安装包 tar -xzf kafka_2.12-2.3.0.tgz 3.解压完成后会出现kafka_2.12-2....
Linux安装Kafka
perturb的博客
04-07 2509
kafka简介： kafka是一款分布式、支持分区的、多副本，基于zookeeper协调的分布式消息系统。最大的特性就是可以实时处理大量数据来满足需求。 kafka的安装： 1.下载kafka到本地（tgz版本） 官网：Apache Kafka 2.在usr/local中新建kafka文件夹 mkdir kafka 3.将下载好的包拖入kafka文件夹中 4.解压kafka_2.11-2.4.0.tgz [root@VM-16-8-centos local]# c...
linux环境kafka安装及配置
热门推荐
W_StackOverFlow_W的博客
10-20 1万+
linux环境kafka安装及配置过程（含zookeeper）
手把手教你 在linux上安装kafka
向热爱自己一样，热爱这个世界。
03-17 6507
手把手教你 在linux上安装kafka
Linux下安装Kafka
NAMELI的博客
06-29 1018
zookeeper.connect：申明kafka所连接的zookeeper的地址，需配置为zookeeper的地址，由于本次使用的是kafka高版本中自带zookeeper，使用默认配置即可。添加开放端口：firewall-cmd --zone=public --add-port=80/tcp --premanent （–premanent永久生效，没有此参数，重启后失效）查看开放端口：firewall-cmd --list-port。重新载入规则：firewall-cmd --reload。
Kafka在linux中的安装
Andy的java博客
07-07 3230
本篇讲解以下kafka集群的搭建，这里搭建了两种Kafka集群，一种是使用ZK的传统集群，一种是不需要ZK的实验版集群，后期Kafka将会废弃ZK，但是现阶段还是推荐使用带有ZK的，因为不需要ZK的还处于实验性质Kafka的共识机制KRaft，仍然处于预览机制。未来KRaft将作为Apache Kafka的内置共识机制将取代Zookeeper，该模式在2.8版本当中就已经发布了体验版本，在3.X系列中KRaft是一个稳定release版本。
linux安装kafka教程
qq_52183856的博客
11-08 2929
linux安装kafka教程
linux安装kafka监控EFAK安装.docx
07-19
在Linux环境中，对Apache Kafka进行监控是确保系统稳定运行的关键步骤。EFAK（原名为Kafka Eagle）是一个专门用于Kafka集群监控的开源工具，它提供了丰富的可视化界面，可以帮助管理员轻松地监控Kafka节点的状态、...
Linux下Kafka分布式集群安装教程
09-15
主要为大家详细介绍了Linux下Kafka分布式集群安装教程，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
Linux下Kafka单机安装配置方法(图文)
09-15
Kafka是一个分布式的、可分区的、可复制的消息系统。它提供了普通消息系统的功能，但具有自己独特的设计。这个独特的设计是什么样的呢
kafka linux C++ 动态库
06-12
标题 "kafka linux C++ 动态库" 涉及到的是在Linux环境下使用C++与Apache Kafka进行交互，并且使用的是动态链接库。Kafka是一个分布式流处理平台，常用于构建实时数据管道和流应用。在C++中与Kafka交互时，通常会...
Linux安装Kafka及其环境配置
相互学习 共同进步
06-16 3413
在Kafka集群（Cluster）中，一个Kafka节点就是一个Broker，消息由Topic来承载，可以存储在1个或多个Partition中。发布消息的应用为Producer、消费消息的应用为Consumer，多个Consumer可以促成Consumer Group共同消费一个Topic中的消息：由于kafka依赖zookeeper因此需要安装zookeeper，而kafka是基于scala语言编写，scala又是基于jdk的，因此需要安装jdk。
Linux 安装 kafka
qq_42923937的博客
03-04 2534
例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。提示：以下是本篇文章正文内容，下面案例可供参考Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。
Linux之Kafka保姆式详细安装教程
Meta39的博客
07-05 2260
Linux之Kafka保姆式详细安装教程
kafka相关
qq_41894387的博客
05-29 1291
linu安装kafka，实现生产端和消费端代码
超简洁步骤安装kafka（linux环境）
norma_chai的博客
06-20 2721
4、在zookeeper的conf目录下修改配置文件名（启动zookeeper的时候会去找zoo.cfg）4、在config目录下修改配置文件server.properties。2、通过rz命令将zookeeper安装包上传到linux。一、查看jdk是否安装（如果没有安装，可自行百度安装）5、在zookeeper的bin目录下启动zk。2、通过rz命令上传到linux服务器。3、在bin目录下启动kafka。4、在bin目录下创建topic。二、安装zookeeper。
kafka架构+原理+源码
最新发布
JavaCoder_juejue的博客
07-21 1162
1.kafka架构图 2.kafka producer
linux 安装Kafka
08-24
要在Linux上安装Kafka，您可以按照以下步骤进行操作： 1. 首先，确保您的Linux系统已经安装了Java。Kafka是一个基于Java开发的应用程序，因此需要Java的支持。您可以运行以下命令来检查Java是否已经安装： ``` java -version ``` 2. 下载Kafka安装包。您可以从Apache Kafka的官方网站（http://kafka.apache.org/downloads）上下载最新的稳定版本。选择合适的版本并下载压缩包。 3. 解压Kafka安装包。使用以下命令解压下载的压缩包： ``` tar -xzf kafka_<version>.tgz cd kafka_<version> ``` 4. 配置Kafka。Kafka的配置文件位于`config`目录下。您可以根据需要修改`server.properties`文件来配置Kafka的各个参数。 5. 启动Kafka服务器。在Kafka安装目录下执行以下命令来启动Kafka服务器： ``` bin/kafka-server-start.sh config/server.properties ``` 6. 现在，Kafka服务器已经在默认端口（9092）上启动了。您可以使用Kafka提供的命令行工具或编程语言的Kafka客户端与其进行交互。 这些步骤可以让您在Linux系统上安装并启动Kafka。请注意，具体步骤可能会因版本而异，请参考官方文档以获取最新的安装指南。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

唯月作伴

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值