大数据-Kafka（一）

                                   大数据-Kafka（一）

目录

Kafka的核心概念

kafka集群安装部署

kafka命令行的使用

---

        本章节主要从Kafka的核心概念、安装部署以及基本的命令行的使用，对Kafka进行基本介绍~

每天进步一小点，加油鸭~

Kafka的核心概念

Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式消息系统（也可以当做MQ系统），常见可以用于web/nginx日志、访问日志，消息服务等等，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。

kafka是一个分布式消息队列。具有高性能、持久化、多副本备份、横向扩展能力。生产者往队列里写消息，消费者从队列里取消息进行业务逻辑处理。Kafka就是一种发布-订阅模式。将消息保存在磁盘中，以顺序读写方式访问磁盘，避免随机读写导致性能瓶颈。

kafka特性

• 高吞吐、低延迟：kakfa 最大的特点就是收发消息非常快，kafka 每秒可以处理几十万条消息，它的最低延迟只有几毫秒。
• 高伸缩性：每个主题(topic) 包含多个分区(partition)，主题中的分区可以分布在不同的主机(broker)中。
• 持久性、可靠性：Kafka 能够允许数据的持久化存储，消息被持久化到磁盘，并支持数据备份防止数据丢失。
• 容错性：允许集群中的节点失败，某个节点宕机，Kafka 集群能够正常工作。
• 高并发：支持数千个客户端同时读写。

Kafka集群架构

producer ​​：消息生产者，发布消息到Kafka集群的终端或服务。

broker：Kafka集群中包含的服务器，一个borker就表示kafka集群中的一个节点。

topic：每条发布到Kafka集群的消息属于的类别，即Kafka是面向 topic 的。

partition：每个 topic 包含一个或多个partition。Kafka分配的单位是partition。

replica：partition的副本，保障 partition 的高可用。

consumer：从Kafka集群中消费消息的终端或服务。

consumer group：每个 consumer 都属于一个 consumer group，每条消息只能被 consumer group 中的一个 Consumer 消费，但可以被多个 consumer group 消费。

leader：每个partition有多个副本，其中有且仅有一个作为Leader，Leader是当前负责数据的读写的partition。 producer 和 consumer 只跟 leader 交互。

follower：Follower跟随Leader，所有写请求都通过Leader路由，数据变更会广播给所有Follower，Follower与Leader保持数据同步。如果Leader失效，则从Follower中选举出一个新的Leader。

controller：

不知道大家有没有思考过一个问题，就是Kafka集群中某个broker宕机之后，是谁负责感知到他的宕机，以及负责进行Leader Partition的选举？如果你在Kafka集群里新加入了一些机器，此时谁来负责把集群里的数据进行负载均衡的迁移？包括你的Kafka集群的各种元数据，比如说每台机器上有哪些partition，谁是leader，谁是follower，是谁来管理的？如果你要删除一个topic，那么背后的各种partition如何删除，是谁来控制？还有就是比如Kafka集群扩容加入一个新的broker，是谁负责监听这个broker的加入？如果某个broker崩溃了，是谁负责监听这个broker崩溃？这里就需要一个Kafka集群的总控组件，Controller。他负责管理整个Kafka集群范围内的各种东西。

zookeeper：

(1)Kafka 通过 zookeeper 来存储集群的meta元数据信息

(2)一旦controller所在broker宕机了，此时临时节点消失，集群里其他broker会一直监听这个临时节点，发现临时节点消失了，就争抢再次创建临时节点，保证有一台新的broker会成为controller角色。

offset（偏移量 ）：

消费者在对应分区上已经消费的消息数（位置），offset保存的地方跟kafka版本有一定的关系。

• kafka0.8 版本之前offset保存在zookeeper上。
• kafka0.8 版本之后offset保存在kafka集群上。

    它是把消费者消费topic的位置通过kafka集群内部有一个默认的topic，名称叫 __consumer_offsets，它默认有50个分区。

ISR机制：

光是依靠多副本机制能保证Kafka的高可用性，但是能保证数据不丢失吗？不行，因为如果leader宕机，但是leader的数据还没同步到follower上去，此时即使选举了follower作为新的leader，当时刚才的数据已经丢失了。

ISR是：in-sync replica，就是跟leader partition保持同步的follower partition的数量，只有处于ISR列表中的follower才可以在leader宕机之后被选举为新的leader，因为在这个ISR列表里代表他的数据跟leader是同步的。

kafka集群安装部署

第一步：下载并减压

下载地址：http://kafka.apache.org

通过FTP工具上传安装包到node01服务器上

解压安装包到指定目录

tar -zxvf kafka_2.11-1.0.1.tgz -C /hlbdx/install

第二步：修改配置文件

node01修改server.properties配置文件

cd /hlbdx/install/kafka_2.11-1.0.1/config

vi server.properties

#指定kafka对应的broker id ，唯一
broker.id=0
#指定数据存放的目录
log.dirs=/hlbdx/install/kafka_2.11-1.0.1/kafka-logs
#指定zk地址
zookeeper.connect=node01:2181,node02:2181,node03:2181
#指定是否可以删除topic ,默认是false 表示不可以删除
delete.topic.enable=true
#指定broker主机名
host.name=node01

配置kafka环境变量

sudo vi /etc/profile

export KAFKA_HOME=/hlbdx/install/kafka_2.11-1.0.1
export PATH=$PATH:$KAFKA_HOME/bin

第三步：分发安装包

scp -r /hlbdx/install/kafka_2.11-1.0.1 node02:/hlbdx/install
scp -r /hlbdx/install/kafka_2.11-1.0.1 node03:/hlbdx/install

修改node02和node03的server.properties配置文件

• node02

cd /hlbdx/install/kafka_2.11-1.0.1/config

vi server.properties

#指定kafka对应的broker id ，唯一
broker.id=1
#指定数据存放的目录
log.dirs=/hlbdx/install/kafka_2.11-1.0.1/kafka-logs
#指定zk地址
zookeeper.connect=node01:2181,node02:2181,node03:2181
#指定是否可以删除topic ,默认是false 表示不可以删除
delete.topic.enable=true
#指定broker主机名
host.name=node02

• node03

cd /hlbdx/install/kafka_2.11-1.0.1/config

vi server.properties

#指定kafka对应的broker id ，唯一
broker.id=2
#指定数据存放的目录
log.dirs=/hlbdx/install/kafka_2.11-1.0.1/kafka-logs
#指定zk地址
zookeeper.connect=node01:2181,node02:2181,node03:2181
#指定是否可以删除topic ,默认是false 表示不可以删除
delete.topic.enable=true
#指定broker主机名
host.name=node03

同样需要在node02和node03配置kafka环境变量

sudo vi /etc/profile

export KAFKA_HOME=/hlbdx/install/kafka_2.11-1.0.1
export PATH=$PATH:$KAFKA_HOME/bin

kafka集群启动和停止

单节点启动

• 先启动zk集群

• 然后在所有节点执行脚本

nohup kafka-server-start.sh /hlbdx/install/kafka_2.11-1.0.1/config/server.properties >/dev/null 2>&1 &

• 所有节点执行关闭kafka脚本

kafka-server-stop.sh

一键启动停止脚本

kafkaCluster.sh

#!/bin/sh
case $1 in 
"start"){
for host in node01 node02 node03 
do
  ssh $host "source /etc/profile; nohup /hlbdx/install/kafka_2.11-1.0.1/bin/kafka-server-start.sh /hlbdx/install/kafka_2.11-1.0.1/config/server.properties > /dev/null 2>&1 &"   
  echo "$host kafka is running..."  
done  
};;

"stop"){
for host in node01 node02 node03 
do
  ssh $host "source /etc/profile; nohup /hlbdx/install/kafka_2.11-1.0.1/bin/kafka-server-stop.sh >/dev/null  2>&1 &"   
  echo "$host kafka is stopping..."  
done
};;
esac

• 启动

#启动
sh kafkaCluster.sh start

• 停止

#停止
sh kafkaCluster.sh stop

kafka的命令行的使用

• 创建topic

kafka-topics.sh --create --partitions 3 --replication-factor 2 --topic test --zookeeper node01:2181,node02:2181,node03:2181

• 查询所有的topic

kafka-topics.sh --list --zookeeper node01:2181,node02:2181,node03:2181

• 查看topic的描述信息

kafka-topics.sh --describe --topic test --zookeeper node01:2181,node02:2181,node03:2181 

• 删除topic

kafka-topics.sh --delete --topic test --zookeeper node01:2181,node02:2181,node03:2181

• 模拟生产者写入数据到topic中

kafka-console-producer.sh --broker-list node01:9092,node02:9092,node03:9092 --topic test

• 模拟消费者拉取topic中的数据

kafka-console-consumer.sh --zookeeper node01:2181,node02:2181,node03:2181 --topic test --from-beginning

或者

kafka-console-consumer.sh --bootstrap-server node01:9092,node02:9092,node03:9092 --topic test --from-beginning

---

此博文仅供学习参考，如有错误欢迎指正。

上一篇《大数据-hue（三）》

下一篇《大数据-Kafka（二）》

希望对大数据相关技术感兴趣的友友们关注一下，大家可以一起交流学习哦~