Kafka 单机部署

Kafka 单机部署区分集成Zookeeper 部署和Zookeeper + Kafka 部署俩总方式，如果是单机部署Kafka，集成Zookeeper 最简单，也可以选择Zookeeper + Kafka 这种模式，但是如果为Kafka集群的话，则必须需要部署 Zookeeper 集群。

一. 获取解压
    1. 下载        

wget http://mirror.bit.edu.cn/apache/kafka/1.1.0/kafka_2.12-1.1.0.tgz

    2. 解压kafka        

tar -zxvf kafka_2.11-0.10.1.1.tgz

二. 配置修改
    1. 集成Zookeeper 配置修改方式
        1.0 配置profile           

vi /etc/profile
    export KAFKA_HOME=/home/.../kafka_2.11-0.10.1.1
    export PATH=$PATH:$KAFKA_HOME/bin
            
source /etc/profile    #配置生效

        1.1 配置zookeeper.properties

vi conf/zookeeper.properties
       dataDir=****        #根据自己情况设定
       ckuebtPort=2291

      1.2 配置server.properties

vi server.properties
     log.dirs = ***        #根据自己情况设定
     zookeeper.connect=localhost:2291

    2. 外部Zookeeper 配置修改方式
        2.0 配置profile

 vi /etc/profile
     export KAFKA_HOME=/home/.../kafka_2.11-0.10.1.1
     export PATH=$PATH:$KAFKA_HOME/bin
 
     source /etc/profile      #配置生效

       2.1 配置server.properties
            修改 broker.id = 1 及zookeeper.oonnect 地址，log.dirs 地址

broker.id=1
port=9092
host.name=localhost
# kafka代理地址
listeners=PLAINTEXT://:9092
log.dirs=/home/panfudong/soft/kafka/kafka_2.11-0.10.1.1/kafka-logs
zookeeper.connect=localhost:2181

    到此zookeeper 单机配置成功

三. 启动停止
    集成Zookeeper        

bin/zookeeper-server-start.sh config/zookeeper.properties

    外部Zookeeper        

bin/kafka-server-start.sh config/server.properties

        或者         

./kafka-server-start.sh --daemon ../config/server.propertie

    停止：       

 ./bin/kafka-server-stop.sh

四. 操作命令
    1. 开启kafka自带zookeeper:
        前台运行：        

bin/zookeeper-server-start.sh config/zookeeper.properties

        后台运行：        

nohup bin/zookeeper-server-start.sh config/zookeeper.properties > zookeeper-run.log 2>&1 &

    2. 开启kafka:
        前台运行：        

bin/kafka-server-start.sh config/server.properties

        后台运行：        

nohup bin/kafka-server-start.sh config/server.properties > kafka-run.log 2>&1 &

    3. 创建kafka主题：        

bin/kafka-topics.sh --create --zookeeper 10.45.xx.xx:2191 --replication-factor 1 --partitions 1 --topic test

    4. 显示kafka所有主题：       

 bin/kafka-topics.sh -list -zookeeper 10.45.xx.xx:2191

    5. 创建kafka生产者：        

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

    6. 创建kafka消费者：        

bin/kafka-console-consumer.sh --zookeeper 10.45.xx.xx:2191 --topic test --from-beginninghttp://img1.maka.im/user/6626827/images/5a97355615a0e93a6dbcae09a6284de7.png?x-oss-process=image/crop,x_0,y_0,w_0,h_0/auto-orient,1/format,webp

备注：
    --zookeeper：后面接的是你配置的zookeeper地址
    --broker-list:默认端口为9092.可自行更改