kafka相关命令操作，新建分区，增加分区

1. 创建kafka topic

kafka-topics.sh --zookeeper localhost:2181 --create --topic topic_name --partitions 10 --replication-factor 0

partitions：指定topic分区数，每个消费者可以消费一个分区
replication-factor：指定topic每个分区的副本数
partitions ：分区数，控制topic将分片成多少个log。可以显示指定，如果不指定则会使用broker(server.properties)中的num.partitions配置的数量
虽然增加分区数可以提供kafka集群的吞吐量、但是过多的分区数或者或是单台服务器上的分区数过多，会增加不可用及延迟的风险。因为多的分区数，意味着需要打开更多的文件句柄、增加点到点的延时、增加客户端的内存消耗。
分区数也限制了consumer的并行度，即限制了并行consumer消息的线程数不能大于分区数
分区数也限制了producer发送消息是指定的分区。如创建topic时分区设置为1，producer发送消息时通过自定义的分区方法指定分区为2或以上的数都会出错的；这种情况可以通过alter –partitions 来增加分区数。分区数只可以增加不可以减少。
replication-factor：副本
replication factor控制消息保存在几个broker(服务器)上，一般情况下等于broker的个数。
如果没有在创建时显示指定或通过API向一个不存在的topic生产消息时会使用broker(server.properties)中的default.replication.factor配置的数量

2.查看所有topic列表

kafka-topics.sh --zookeeper localhost:2181 --list

3.查看指定topic的详细信息

kafka-topics.sh --zookeeper node01:2181 --describe --topic t_Name

4.创建一个topic并生产消息

bootstrap_server=hadoop001:9092,hadoop002:9092,hadoop003:9092
zookeeper_connect=hadoop001:2181,hadoop002:2181,hadoop003:2181/kafka
kafka-topics.sh --create --zookeeper $zookeeper_connect --replication-factor 2 --partitions 3 --topic test001
kafka-console-producer.sh --broker-list $bootstrap_server --topic test001 --producer.config $KAFKA_HOME/config/producer.properties

bootstrap_server：定义的kafka的broker集群节点，端口号在配置文件里可以查看。
zookeeper_connect：定义的zookeeper集群节点，kafka是配置文件中指定的对topic进行操作的虚拟用户。

5、对指定的topic消费

bootstrap_server=hadoop001:9092,hadoop002:9092,hadoop003:9092
zookeeper_connect=hadoop001:2181,hadoop002:2181,hadoop003:2181/kafka
kafka-console-consumer.sh --bootstrap-server $bootstrap_server --from-beginning --topic test001 --consumer.config $KAFKA_HOME/config/consumer.properties

6、查看topic某分区偏移量最大(小)值

kafka-run-class.sh kafka.tools.GetOffsetShell --topic t_Name --time -1 --broker-list node86:9092 --partitions 0

注： time为-1时表示最大值，time为-2时表示最小值

7、增加topic分区数

kafka-topics.sh --zookeeper node01:2181 --alter --topic t_cdr --partitions 10

8、查看topic消费进度
这个会显示出consumer group的offset情况， 必须参数为–group， 不指定–topic，默认为所有topic

Displays the: Consumer Group, Topic, Partitions, Offset, logSize, Lag,
Owner for the specified set of Topics and Consumer Group
bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker required
argument: [group] Option Description

---

–broker-info Print broker info
–group Consumer group.
–help Print this message.
–topic Comma-separated list of consumer topics (all topics if absent).
–zkconnect ZooKeeper connect string. (default: localhost:2181) Example, kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --group pv
Group Topic Pid Offset logSize Lag Owner
pv page_visits 0 21 21 0 none
pv page_visits 1 19 19 0 none
pv page_visits 2 20 20 0 none

9、删除指定的topic
首先在kafka配置文件server.properties添加配置项 delete.topic.enable=true
之后执行命令：

kafka-topics.sh --delete --zookeeper 【zookeeper server】 --topic 【topic name】

10、kafka数据迁移
方法一：通过增加partition数量

kafka-topics.sh --zookeeper localhost:2181 --alter --topic demo1 --partitions 3

方法二：通过重新分配partition
1.编写分配脚本并执行分配计划

vi ~/kafka_add_replicas.json
内容如下：
{“topics”: [{“topic”:“prod_log_simul”}], “version”: 1 }
之后运行分配计划

kafka-reassign-partitions.sh --zookeeper hdc-data1,hdc-data2,hdc-data3:2181 --topics-to-move-json-file ~/kafka_add_replicas.json --broker-list “0,1,2” --generate
–topics-to-move-json-file：自己编写的分配脚本
–broker-list：中间写的是kafka broker集群的编号，例如：“125,127,10”

2.根据上一步生成的分配计划复制并配置json文件topic-reassignment.json，进行topic的重新分配

vi ~/topic-reassignment.json

之后把Proposed partition reassignment configuration #建议的分区配置

{“version”:1,“partitions”:[{“topic”:“event_request”,“partition”:0,“replicas”:[6,5]},{“topic”:“event_request”,“partition”:1,“replicas”:[7,6]}]}

的内容复制到文件里，然后根据自己的需要修改。

3.执行分配

kafka-reassign-partitions.sh --zookeeper $ZK_CONNECT --reassignment-json-file topic-reassignment.json --execute

执行前的分区分布：
[hadoop@sdf-nimbus-perf topic_reassgin]$ kafka-topics.sh --zookeeper node01:2181 --describe --topic t_Name
Topic:event_request PartitionCount:2 ReplicationFactor:2 Configs:
Topic: event_request Partition: 0 Leader: 3 Replicas: 3,4 Isr: 3,4
Topic: event_request Partition: 1 Leader: 4 Replicas: 4,5 Isr: 4,5
执行后的分区分布：
[hadoop@sdf-nimbus-perf topic_reassgin]$ kafka-topics.sh --zookeeper node01:2181 --describe --topic t_Name
Topic:event_request PartitionCount:2 ReplicationFactor:4 Configs:
Topic: event_request Partition: 0 Leader: 3 Replicas: 6,5,3,4 Isr: 3,4
Topic: event_request Partition: 1 Leader: 4 Replicas: 7,6,4,5 Isr: 4,5
```

11、kafka-configs.sh的使用–修改参数配置项
脚本语法解析

kafka-configs.sh参数解析