kafka集群搭建

kafka集群安装
版本信息：
jdk:jdk1.8.0_171
kafka:kafka_2.12-1.1.0

1、下载安装文件
http://mirror.bit.edu.cn/apache/kafka/1.1.0/kafka_2.12-1.1.0.tgz

2、传输文件到linx系统上（centos）
使用FileZilla上次文件到目录：
/home/hadoop1/soft

3、解压文件
tar -zxvf kafka_2.12-1.1.0.tgz

4、安装jdk配置环境变量（见文末）

5、修改zookeeper配置文件和启动zookeeper
a、首先修改配置文件：
位置:/home/hadoop1/soft/kafka_2.12-1.1.0/config/zookeeper.properties
dataDir=/tmp/zookeeper
b、增加配置参数：
dataLogDir=/tmp/zookeeper/log
tickTime=2000
initLimit=5
syncLimit=2
server.1=192.168.136.140:2888:3888
server.2=192.168.136.138:2888:3888
server.3=192.168.136.139:2888:3888
c、新增标识文件
/tmp/zookeeper
新增myid文件，写入对应的数字1，2，3
d、启动zookeeper:
/home/hadoop1/soft/kafka_2.12-1.1.0/bin
sh zookeeper-server-start.sh ../config/zookeeper.properties &

6、修改配置文件and启动kafka集群
a、修改配置：
位置：/home/hadoop1/soft/kafka_2.12-1.1.0/config/server.properties
分配brokerid:
broker.id=0
设定kafka生产者端口：
port=9092
主机名：
host.name=192.168.136.140
host.name=192.168.136.138
host.name=192.168.136.139
日志保存时间：
log.retention.hours=168
改为：
log.retention.minutes=5
设置zookeeper集群：
zookeeper.connect=192.168.136.140:2181,192.168.136.138:2181,192.168.136.139:2181
创建日志目录：
mkdir /tmp/kafka-logs
 启动kakfa命令：
/home/hadoop1/soft/kafka_2.12-1.1.0/bin
sh kafka-server-start.sh -daemon ../config/server.properties & 
测试：
telnet 192.168.136.140 9092
telnet 192.168.136.139 9092
telnet 192.168.136.138 9092

问题记录：
1、使用FileZilla上次文件，报错“无法启用传输”
因为当前用户权限不足，更改了一下目录，当前用户可操作的目录中ok。

<<<<<<<<<<<<<<<<<<<<<<<----4firewall-----
1、检查状态
service iptables status 
2、关闭防火墙
service iptables stop 
3、永久关闭
chkconfig iptables off 
<<<<<<<<<<<<<<<<<<<<<<<----3文件权限修改----
1、切换root用户
2、对设计到的文件夹开发读写权限
chmod -R 777 xxx
<<<<<<<<<<<<<<<<<<<<<<<----2安装telnet server及client-----
1、检验是否安装server
rpm -qa telnet-server 
2、如未安装，安装之。
yum install telnet-server 
3、检查是否安装client
rpm -qa telnet 
4、如未安装，安装之。
yum install telnet
5、安装完毕后，重启服务xinetd
service xinetd restart 
6、测试已经打开的端口：
telnet 127.0.0.1 2181
正常显示如下
Trying 192.168.136.140...
Connected to 192.168.136.140.
Escape character is '^]'.
<<<<<<<<<<<<<<<<<<<<<<<----1、linux系统下jdk安装-----
1、下载jdk
http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
2、解压
3、环境变量
vi /etc/profile
/etc/profile文件中添加如下内容：并
source /etc/profile
使之生效

#set java environment
JAVA_HOME=/home/hadoop3/soft/jdk1.8.0_171
JRE_HOME=/home/hadoop3/soft/jdk1.8.0_171/jre
CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

export JAVA_HOME JRE_HOME CLASS_PATH PATH

本文为搭建kafka的记录，以及过程中遇到的问题，备忘。

如有不妥之处，欢迎讨论交流！