Kafka安装配置

环境 hadoop11  hadoop12  hadoop13

        zookeeper 集群  hadoop11:2181 ; hadoop12:2181 ; hadoop13:2181

kafka安装包 2.11 

1.0安装包上传到虚拟机   /export/service

2.0更改配置文件

    2.1 vi server.properties

            broker.id=0             每个机器的id不同

        log.dirs=/export/servers/kafka_2.11-1.0.0/logs       文件路径自己创建

        zookeeper.connect=hadoop11:2181,hadoop12:2181,hadoop13:2181      zookeeper集群

        delete.topic.enable=true    

        host.name=hadoop13

3.0kafka启动

先启动zookeeper集群

启动kafka    三台机器启动

nohup  bin/kafka-server-start.sh config/server.properties > /dev/null 2>&1 &

hadoop11创建topic 

./kafka-topics.sh --create --partitions 3 --replication-factor 2 --topic test --zookeeper hadoop11:2181,hadoop12:2181,hadoop13:2181

hadoop11创建生产者

 ./kafka-console-producer.sh  --broker-list hadoop11:9092,hadoop12:9092,hadoop13:9092 --topic test    

hadoop12创建消费者

./kafka-console-consumer.sh  --bootstrap-server hadoop11:9092,hadoop12:9092,hadoop13:9092 --from-beginning --topic test

在hadoop11控制台发送消息，hadoop12能够接收到