Linux系统KAFKA集群搭建手册

Kafka安装

注：各个节点都要进行kafka安装及环境变量的配置

一、上传压缩包并进行解压(rz上传)

        kafka_2.11-0.10.1.1.tgz

[root@centos11 toos]# rz        //上传文件命令

说明：如果没有rz命令。

请参考：https://blog.csdn.net/zyp13781913772/article/details/109519067     

      解压缩：  

[root@centos11 tools]# tar -zxvf kafka_2.11-0.10.1.1.tgz

二、配置环境变量并生效(集群中的各个节点都要进行安装及环境变量的配置)

[root@vrm201 ~]# vi /etc/profile

 export KAFKA_HOME=/usr/tools/kafka_2.11-0.10.1.1

 export PATH=$PATH:$KAFKA_HOME/bin

      环境变量生效：

[root@vrm201 ~]# source /etc/profile

三、修改配置文件server.properties(存在于kafka的config目录中)    

[root@centos11 config]vi server.properties 

  broker.id=0 (默认)   

  listeners=PLAINTEXT://:9092  (默认)

  log.dirs=/tmp/kafka-logs (默认)

  zookeeper.connect=localhost:2181（这里的localhost改成 IP 或别名也是可以的，但是一般不用动，而且这里的localhost不是单机，而是集群）

       说明：每一个 server.properties 文件代表着一个 broker 服务器的配置信息，集群中的每一个 server.properties 中的 broker.id 都不能冲突，如果一个节点中只有一个server.properties 的话，那么就不用进行更改 broker.id 和 log.dir 的值；如果一个节点中有多个server.properties的话（如：有一个server.properties和一个server1.properties），那么需要更改其中一个文件的broker.id 和 log.dirs 和 listeners=PLAINTEXT://:9092，目的为防止冲突，可以把其中一个文件的broker.id的值改为1，log.dir改为/tmp/kafka-logs-1， listeners端口改为：listeners=PLAINTEXT://:9093  

      而且要更改其他节点中 server.properties 的broker.id的值，保证每个节点中的broker.id的值均不相同：

      如果有多个server.properties时：

     如192.168.100.201节点中有两个properties:

     第一个是server.properties

    broker.id=0

    log.dirs=/tmp/kafka-logs 

    listeners=PLAINTEXT://:9092   

    第二个是server1.properties

               broker.id=1

               log.dirs=/tmp/kafka-logs-1

               listeners=PLAINTEXT://:9093

   192.168.100.202节点中：

               broker.id=2

               log.dirs=/tmp/kafka-logs

               listeners=PLAINTEXT://:9092 

   192.168.100.203节点中：

               broker.id=3

               log.dirs=/tmp/kafka-logs

               listeners=PLAINTEXT://:9092 

 

四、启动(“&”表示后台运行，但是事实证明有的时候使用“&”并不一定有效)

       先启动zookeeper集群（每个节点都要执行：zkServer.sh start）

说明：如果zookeeper没有安装，请参考：https://blog.csdn.net/zyp13781913772/article/details/109647375

       cd 进入centos11的kafka的config目录下面执行(server.properties路径要清晰) -daemon表示后台启动运行      

[root@centos11 config]# kafka-server-start.sh -daemon server.properties

[root@centos11 config]# kafka-server-start.sh server1.properties

       cd 进入centos12的kafka的config目录下面执行     

[root@centos12 config]# kafka-server-start.sh server.properties

       cd 进入centos13的kafka的config目录下面执行

[root@centos13 config]# kafka-server-start.sh server.properties

      说明：可以通过 jps 命令查看各个节点的进程：kafka