Linux 搭建 kafka 流程

优质博文：IT-BLOG-CN

一、安装环境

【1】CenOS7虚拟机三台
【2】已经搭建好的zookeeper集群。
【3】软件版本：kafka_2.11-1.0.0

二、创建目录并下载安装软件

【1】创建目录

cd /opt
mkdir kafka #创建项目目录
cd kafka
mkdir kafkalogs #创建kafka消息目录，主要存放kafka消息

【2】下载软件：我用的是xshell工具将下载好的软件传送到虚拟机的，放在了/opt/kafka/目录下，并解压：

tar -zxvf kafka_2.11-1.0.0.tgz

三、修改配置文件

【1】进入到config目录

cd /opt/kafka/kafka_2.11-1.0.0/config/

我们主要关心的文件只有一个：server.properties我们可以发现在这个目录下有很多文件，还有zookeeper的文件。我们可以直接使用kafka自带的zookeeper集群来启动，但是考虑到未来的项目需求，建议使用独立的zookeeper集群。

-rw-r--r--. 1 root root 906 Oct 27 08:56 connect-console-sink.properties
-rw-r--r--. 1 root root 909 Oct 27 08:56 connect-console-source.properties
-rw-r--r--. 1 root root 5807 Oct 27 08:56 connect-distributed.properties
-rw-r--r--. 1 root root 883 Oct 27 08:56 connect-file-sink.properties
-rw-r--r--. 1 root root 881 Oct 27 08:56 connect-file-source.properties
-rw-r--r--. 1 root root 1111 Oct 27 08:56 connect-log4j.properties
-rw-r--r--. 1 root root 2730 Oct 27 08:56 connect-standalone.properties
-rw-r--r--. 1 root root 1221 Oct 27 08:56 consumer.properties
-rw-r--r--. 1 root root 4727 Oct 27 08:56 log4j.properties
-rw-r--r--. 1 root root 1919 Oct 27 08:56 producer.properties
-rw-r--r--. 1 root root 7030 Nov 22 18:10 server.properties
-rw-r--r--. 1 root root 1032 Oct 27 08:56 tools-log4j.properties
-rw-r--r--. 1 root root 1023 Oct 27 08:56 zookeeper.properties

【2】修改配置文件server.properties：需要说明的是，我现在是在虚拟机1上进行的操作，同样的操作要在三台虚拟机上都执行，只是有些细微的配置不同，其他配置信息完全相同。对于不同虚拟机上有差异的部分，我会一一指出。下面修改配置文件：

# 指定当前节点的brokerId，同一个集群中的brokerId需要唯一
broker.id=0
# 指定监听的地址及端口号，使用hostname 或者内网IP皆可
listeners=PLAINTEXT://hostname:9092
# 配置外网访问ip  如果为空 则会使用listeners（如果不为空） 其他的情况使用 InetAddress.getCanonicalHostName() 的值
# Hostname and port the broker will advertise to producers and consumers.
#  If not set,  it uses the value for "listeners" if configured.  Otherwise, it will use   the value returned from java.net.InetAddress.getCanonicalHostName().
advertised.listeners=PLAINTEXT://hostname:9092
# 指定kafka日志文件的存储目录
log.dirs=/usr/local/kafka/logs
# 指定zookeeper的连接地址，若有多个地址则用逗号分隔
zookeeper.connect=localhost:2181,localhost:2182,localhost:2183
# 配置可删除
delete.topic.enable=true

也就是说，zookeeper.connect指的是zookeeper集群的地址，可以是多个，多个之间用逗号分割。

使用scp命令发送到其他的服务器 注意配置文件需要重点修改几个地方 broker.id listeners以及advertised.listeners

scp -r /usr/local/develop/kafka_2.12-3.6.1 remote_ip:/usr/local/develop/kafka_2.12-3.6.1

需要搭建几个节点 就是发送几份，启动服务即可。

nohup sh ./bin/kafka-server-start.sh ./config/server.properties >./out.log 2>&1 &

四、启动kafka集群并测试

【1】启动服务：首先要启动kafka集群，并且是三台都要手动去启动。

// 进入kafka的bin目录
cd /opt/kafka/kafka_2.11-1.0.0/bin/
// 启动kafka
./kafka-server-start.sh -daemon ../config/server.properties

-daemon代表着以后台模式运行kafka集群，这样kafka的启动就不会影响我们继续在控制台输入命令。

【2】检查服务是否启动：执行命令jps，显示出了正在运行Kafka这个进程，进程号是4855。在运行这个命令时，你可能会出现错误，显示jps command not found。文章的最后给出了解决方案。

jps
4161 QuorumPeerMain
4855 Kafka
6809 Jps

【3】创建topic来验证是否创建成功

创建topic

./kafka-topics.sh --create --zookeeper 192.168.172.10:12181 --replication-factor 2 --partitions 1 --topic my-topic

参数解释：

--replication-factor 2 // 复制两份
--partitions 1 // 创建1个分区
--topic // 主题为my-topic
-- --zookeeper // 此处为为zookeeper监听的地址

创建生产者producer

./kafka-console-producer.sh --broker-list 192.168.172.10:19092 --topic my-topic //`这个IP地址可以写brokerlist中的任意一个

此时，console处于阻塞状态，可以直接输入数据。

创建消费者： 此时要切换到另一台虚拟机的shell界面输入以下命令：

./kafka-console-consumer.sh --zookeeper 192.168.172.10:12181 --topic my-topic --from-beginning

此时，一旦有数据生成，此处的console中就会显示数据。