kafka命令行操作

目录

一、主题命令

二、生产者命令行操作

三、消费者命令行操作

---

kafka安装请看：http://t.csdn.cn/yjsMS

---

注意：

kafka版本：3.0.0

3.0.0的命令操作与3.0.0的命令不同。

---

一、主题命令

1.查看操作主题命令参数

bin/kafka-topics.sh

参数	描述
--bootstrap-server <String: server toconnect to>	连接的Kafka Broker主机名称和端口号。
--topic <String: topic>	操作的topic名称。
--create	创建主题。
--delete	删除主题。
--alter	修改主题。
--list	查看所有主题。
--describe	查看主题详细描述。
--partitions <Integer: # of partitions>	设置分区数。
--replication-factor<Integer: replication factor>	设置分区副本。
--config <String: name=value>	更新系统默认的配置。

2）查看当前服务器中的所有topic

[root@liuyizhao01 kafka]# bin/kafka-topics.sh --bootstrap-server 192.168.xx.xxx:9092 --list

例子：bin/kafka-topics.sh --bootstrap-server liuyizhao01:9092 --list

3）创建first topic

[root@liuyizhao01 kafka]# bin/kafka-topics.sh --bootstrap-server 192.168.xx.xxx:9092 --create --partitions 1 --replication-factor 3 --topic topic_name

例子：bin/kafka-topics.sh --bootstrap-server liuyizhao01:9092 --create --partitions 1 --replication-factor 3 --topic first

选项说明：

--topic 定义topic名

--replication-factor  定义副本数

--partitions  定义分区数

4）查看first主题的详情

[root@liuyizhao01 kafka]# bin/kafka-topics.sh --bootstrap-server 192.168.xx.xxx:9092 --describe --topic topic_name

例子：[root@liuyizhao01 kafka]# bin/kafka-topics.sh --bootstrap-server liuyizhao01:9092 --describe --topic first

5）修改分区数（注意：分区数只能增加，不能减少）

[root@liuyizhao01 kafka]# bin/kafka-topics.sh --bootstrap-server 192.168.xx.xxx:9092 --alter --topic topic_name --partitions 3

例子：[root@liuyizhao01 kafka]# bin/kafka-topics.sh --bootstrap-server liuyizhao01:9092 --alter --topic first --partitions 3

6）再次查看first主题的详情

[root@liuyizhao01 kafka]# bin/kafka-topics.sh --bootstrap-server 192.168.xx.xxx:9092 --describe --topic topic_name

例子：[root@liuyizhao01 kafka]# bin/kafka-topics.sh --bootstrap-server liuyizhao01:9092 --describe --topic first

7）删除topic

[root@liuyizhao01 kafka]# bin/kafka-topics.sh --bootstrap-server 192.168.xx.xxx:9092 --delete --topic topic_name

例子：[root@liuyizhao01 kafka]# bin/kafka-topics.sh --bootstrap-server liuyizhao01:9092 --delete --topic first

二、生产者命令行操作

bin/kafka-console-producer.sh

参数	描述
--bootstrap-server <String: server toconnect to>	连接的Kafka Broker主机名称和端口号。
--topic <String: topic>	操作的topic名称。

2）发送消息

[root@liuyizhao01 kafka]# bin/kafka-console-producer.sh --bootstrap-server 192.168.xx.xxx:9092 --topic topic_name

例子：[root@liuyizhao01 kafka]# bin/kafka-console-producer.sh --bootstrap-server liuyizhao01:9092 --topic first

三、消费者命令行操作

 bin/kafka-console-consumer.sh

参数	描述
--bootstrap-server <String: server toconnect to>	连接的Kafka Broker主机名称和端口号。
--topic <String: topic>	操作的topic名称。
--from-beginning	从头开始消费。
--group <String: consumer group id>	指定消费者组名称。

（1）消费first主题中的数据。

[root@liuyizhao01 kafka]# bin/kafka-console-consumer.sh --bootstrap-server 192.168.xx.xxx:9092 --topic topic_name

例子：[root@liuyizhao01 kafka]# bin/kafka-console-consumer.sh --bootstrap-server liuyizhao01 :9092 --topic first

（2）把主题中所有的数据都读取出来（包括历史数据）。

[root@liuyizhao01 kafka]# bin/kafka-console-consumer.sh --bootstrap-server 192.168.xx.xxx:9092 --from-beginning --topic topic_name

例子：[root@liuyizhao01 kafka]# bin/kafka-console-consumer.sh --bootstrap-server liuyizhao01 :9092 --from-beginning --topic first