kafka安装与使用

1.Kafka概述

Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统，适合在大规模消息处理场景中使用。

Kafka的优势在于：

• 可靠性：Kafka是一个具有分区机制、副本机制和容错机制的分布式消息系统
• 可扩展性：Kafka消息系统支持集群规模的热扩展
• 高性能：Kafka在数据发布和订阅过程中都能保证数据的高吞吐量。即便在TB级数据存储的情况下，仍然能保证稳定的性能。

2.Kafka安装

• 安装环境：Windows10

• 软件版本：zookeeper-3.4.13 kafka_2.11-1.1.0

• 下载zookeeper： http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.12/

• 下载kafka：https://www.apache.org/dyn/closer.cgi?path=/kafka/1.1.0/kafka_2.11-1.1.0.tgz

• 软件解压：1.打开git-bash,解压zookeeper-3.4.13.tar.gz和kafka_2.11-1.1.0.tag文件

2.1 zookeeper安装

• 1.进入zookeeper设置目录，C:\elk\zookeeper-3.4.12\conf
• 2.

cp zoo_sample.cfg zoo.cfg

• 3.vi zoo.cfg，修改dataDir=/tmp/zookeeper

为指定目录为

C:/elk/zookeeper-3.4.12/data

• 4.修改环境变量，Path：C:\elk\zookeeper-3.4.12\bin
• 5.cmd运行

zkserver

成功如图

2.2 kafka安装

• 1.进入kafka目录，C:\elk\kafka_2.11-1.1.0
• 2.运行命令：

bin\windows\kafka-server-start.bat config\server.properties

成功如图

运行时提示错误: 找不到或无法加载主类 的解决方案：

在kafka安装目录中找到bin\windows目录中的kafka-run-class.bat找到142行为%CLASSPATH%加上双引号

修改前：

set COMMAND=%JAVA% %KAFKA_HEAP_OPTS% %KAFKA_JVM_PERFORMANCE_OPTS%
%KAFKA_JMX_OPTS% %KAFKA_LOG4J_OPTS% -cp %CLASSPATH% %KAFKA_OPTS% %*

修改后：

set COMMAND=%JAVA% %KAFKA_HEAP_OPTS% %KAFKA_JVM_PERFORMANCE_OPTS%
%KAFKA_JMX_OPTS% %KAFKA_LOG4J_OPTS% -cp “%CLASSPATH%” %KAFKA_OPTS% %*

kafka使用演示Demo代码下载：

1.producer：https://github.com/Koo-X/kafka-producer.git
2.consumer：https://github.com/Koo-X/kafka-consumer.git