Kafka安装与配置（单机）

1、 下载kafka

到kafka官网下载最新版本（本文基于当前最新版本：2.1.0版本）
下载官网：http://kafka.apache.org/downloads

2、解压缩

将下载的安装包放置到软件包目录（如：/app/software目录下），并解压缩到安装目录

tar -zxvf kafka_2.12-2.1.0.tgz -C /app

3、Kafka目录介绍

• /bin 操作kafka的可执行脚本，还包含windows下脚本
• /config 配置文件所在目录
• /libs 依赖库目录
• /logs 日志数据目录，目录kafka把server端日志分为7种类型，分为:server,gc,authorizer,request,state,log-cleaner,controller
• /site-docs 文档目录

4、启动zookeeper

kafka依赖于zookeeper,在启动kafka之前需要先启动zookeeper,在kafka的安装包中已经集成了zookeeper,所以不需要另外下载zookeeper.

• 配置zookeeper
  进入/config配置目录，可以找到zookeeper.properties，zookeeper的配置文件，主要有如下几个配置项：

 dataDir=/tmp/zookeeper  //数据存储目录
 clientPort=2181 //启动端口
 maxClientCnxns=0 //单个客户端与单台服务器之间的连接数限制

以上配置建议修改dataDir，数据存储目录，其他使用默认不修改

• 启动zookeeper
  进入/bin目录下，执行以下命令

nohup ./zookeeper-server-start.sh ../config/zookeeper.properties &

再执行jsp命令可以看到QuorumPeerMain进程，即表示zookeeper启动成功

5、启动kafka

zookeeper启动成功后，就轮到kafka的启动了，我们先进行单机模式的启动

• 配置kafka
  进入/config配置目录，找到server.properties并修改，主要的修改项有：

	listeners = PLAINTEXT://your.host.name:9092   //监听端口的修改，默认9092
	log.dirs=/data/kafka/kafka-logs/  //日志与数据存储目录
	zookeeper.connect=localhost:2181 //zookeeper的连接地址host:port,多个可用代号隔开

其他的配置项使用默认值即可

• 启动kafka
  进入/bin目录下，执行如下命令

nohup ./kafka-server-start.sh ../config/server.properties &

再执行jsp命令可以看到Kafka进程，即表示Kafka启动成功

6、单机连通性测试

• 创建主题
  进入/bin目录下，执行以下命令，创建一个名为TEST的topic

/kafka-topics --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic TEST

• 启动producer客户端,并指定消息发送topic为TEST

./kafka-console-producer --broker-list localhost:9092 --topic TEST

• 启动consumer客户端，并指定监听的topi为TEST

./kafka-console-consumer --bootstrap-server localhost:9092 --topic test --from-beginning