消息中间件kafka搭建过程

准备工作

先把zookeeper搭建好

1.下载

官网下载链接：http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/0.10.1.1/kafka_2.11-0.10.1.1.tgz

2.解压

tar -zxvf kafka_2.11-0.10.1.1.tgz -C /usr/local/kafka/

3.配置环境变量,各个节点都需要配置

vi /etc/profile
#set kafka
export KAFKA_HOME=/usr/local/kafka/kafka_2.11-0.10.1.1
export PATH=$KAFKA_HOME/bin:$PATH

使用环境变量生效
source /etc/profile

4.配置 server.properties

cd /usr/tools/kafka_2.11-0.10.1.1/config //安装目录
vi server.properties

（1）、配置 broker 的ID
broker.id=1 //第一个kafka配置为 1，第二个配置为2，以此类推

（2）、打开监听端口
listeners=PLAINTEXT://master:9092 

（3）、修改 log 的目录、在指定的位置创建好文件夹logs
log.dirs=/usr/local/kafka/logs

（4）、修改 zookeeper.connect
尽量写ip地址，以免造成错误
zookeeper.connect=master:2181,slave1:2181,slave2:2181,slave3:2181

（5）、网络线程数量
num.network.threads=3

（6）Zookeeper每6秒监视kafka是否还活着
zookeeper.connection.timeout.ms=6000（默认）

5.拷贝配置好的kafka文件到子节点服务器，然后修改broker.id的值，以及监听端口需要修改listeners

启动方式：

打印日志:
./bin/kafka-server-start.sh config/server.properties
不打印日志:
./bin/kafka-server-start.sh -daemon config/server.properties

6.检查kafka是否启动成功，通过jps查看jps是否启动成功

7.通过创建一个topic来测试是否能成功运行，随便选择一个节点运行

./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

列出topic：kafka-topics.sh --list -zookeeper master:2181

其他

1.创建一个test 的topic命令：
./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test


2.查看列出一下topic是否创建好
kafka-topics.sh --list -zookeeper localhost:2181


3.以生产身份对topic进行广播
./bin/kafka-console-producer.sh --broker-list master:9092 --topic test


4.集群其他节点以顾客身份进行访问
./kafka-console-producer.sh --broker-list otherhost:9092 --topic test

这里注意：

0.90版本之后启动消费者的方法, 以前的--zookeeper参数取消