kafka centos 单点配置

kafka&zookeeper

环境 centos64虚拟机

单节点单broker

1 下载kafka

2  解压并进入kafka目录

3 修改配置文件 
vim config/server.properties 如修改brokerId和端口

4 启动zookeeper
 bin/zookeeper-server-start.sh config/zookeeper.properties 

5 启动kafka
 bin/kafka-server-start.sh config/server.properties 

6 查看topic
 bin/kafka-topics.sh --list --zookeeper localhost:2181

7 启动producer生产者
 bin/kafka-console-producer.sh --broker-list localhost:8080 --topic test

8 启动consumer消费者
 bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning
 
如上 在7的生产者中发送消息可以在8的消费者中进行消费。

单节点多broker
copy两份kafka安装文件 分别命名为kafka2 kafka3。
分为进入两个文件目录。修改配置文件 
vim config/server.properties 
修改brokerId和端口三个broker各不相同;
修改log地址分别不同。

分别如上7  启动broker2 broker3 可以在1 2 3 作为生产者 消费者将可以同时收到三个生产者的消息。
Apache Kafka 是一个分布式流处理平台,用于构建实时数据管道和消息队列系统。在 CentOS 上安装和配置 Kafka 需要几个步骤,以下是基本的安装过程: 1. **安装Java**: Kafka依赖于Java,所以首先确保你的系统上安装了Java。如果没有,可以通过以下命令安装: ``` sudo yum install java-1.8.0-openjdk-devel -y ``` 2. **下载Kafka压缩包**: 从Apache官网(https://kafka.apache.org/downloads)下载适合的版本。例如,使用wget命令: ``` wget https://archive.apache.org/dist/kafka/2.9.1/kafka_2.12-2.9.1.tgz ``` 3. **解压并移动文件**: ``` tar -zxvf kafka_2.12-2.9.1.tgz sudo mv kafka_2.12-2.9.1 /opt/ ``` 4. **配置环境变量**: 将Kafka的bin目录添加到系统的PATH中: ``` echo 'export PATH=$PATH:/opt/kafka_2.12-2.9.1/bin' >> ~/.bashrc source ~/.bashrc ``` 5. **启动Zookeeper服务(可选,如果你没有安装)**: 如果集群包含Zookeeper节点,先启动它。否则略过这一步: ``` sudo systemctl start zookeeper sudo systemctl enable zookeeper ``` 6. **安装Kafka服务**: 进入Kafka目录并运行安装脚本: ``` cd /opt/kafka_2.12-2.9.1 ./bin/install.properties ``` 7. **配置Kafka**: 编辑`config/server.properties`文件以适应你的需求,比如设置监听端口、日志路径等。确保`listeners`属性配置了网络监听地址。 8. **启动Kafka服务**: ``` bin/kafka-server-start.sh config/server.properties ``` 9. **验证安装**: 使用`bin/kafka-topics.sh`命令检查是否能创建主题或查看现有主题。 10. **监控服务**: 使用`bin/kafka-control.sh`进行管理和监控。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值