kafka学习(一)搭建

此次学习所用的kakfa版本较老,为17年的版本

一.安装文件(打包上传到百度云盘)

kafka所用

kafka_2.11-0.10.1.1.tgz

zookepper

zookeeper-3.4.8.tar.gz

jdk1.8

setup

 

二.安装

文件都放/opt下

tar -zxvf zookeeper-3.4.8.tar.gz

tar -zxvf kafka_2.11-0.10.1.1.tgz

三.配置zookeper文件并启动

cd /opt/zookeeper-3.4.8/conf

cp zoo_sample.cfg zoo.cfg

vim zoo.cfg

修改这两条,没有则添加

dataDir=/opt/zookeeper_data
dataLogDir=/opt/zookeeper_data/log

创建文件夹

mkdir -p /opt/zookeeper_data/log

启动zookepper

/opt/zookeeper-3.4.8/bin/zkServer.sh start 

四.配置kafka并启动

cd /opt/kafka_2.11-0.10.1.1/config

修改server.properties

log.dirs=/opt/kafka-logs

zookeeper.connect=localhost:2181(如果zookepper不在一台机器上,需要改.此次不改)

创建文件夹

mkdir -p /opt/kafka-logs

启动kafka

cd /opt/kafka_2.11-0.10.1.1

nohup bin/kafka-server-start.sh config/server.properties &

五.使用kafka

cd /opt/kafka_2.11-0.10.1.1

如果配置了hosts.可以修改主机名

1）： 查看是否成功了

新建一个topic
命令：bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

查看 topic是否成功
命令：bin/kafka-topics.sh --list --zookeeper localhost:2181 

2）：把kafka的生产者启动来 

命令 ：bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

3）：另开一个终端（创建新的），把消费者启动起来： 

命令：bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test —from-beginning