Kafka常用命令行操作

1、主题命令

        主题命令使用 kafka-topic.sh 脚本实现对主题的操作。

命令参数	描述
--bootstrap-server	Kafka集群配置：node-1:9092,node-2:9092
--topic	指定 topic 名称
--create	创建 topic
--delete	删除 topic
--alter	更改topic配置，分区，副本等，（注意：分区数只能增加，不能减少）
--list	查看topic列表
--describe	查看topic详细信息
--partitions	定义分区数
--replication-factor	定义副本数

 2、生产者命令

        主题命令使用 kafka-console-producer.sh 脚本实现对主题的操作。

命令参数	描述
--bootstrap-server	Kafka集群配置
--batch-size	设置分区缓冲区批大小，默认16k
--compression-codec	设置压缩格式，gzip（默认）, snappy, lz4, 或者 zstd
--max-memory-bytes	缓冲区总大小，默认32M
--topic	指定发送的topic

3、消费者命令

         主题命令使用 kafka-console-consumer.sh 脚本实现对主题的操作。

命令参数	描述
--bootstrap-server	Kafka集群配置
--topic	指定消费主题
--from-beginning	设置从头消费
--group	指定消费者组，不指定会分配默认消费者组
--offset	从指定的offset位置消费消息
--partition	从指定的分区消费消息
--skip-message-on-error	遇到错误消息跳过，而不是停止

4、常用命令行操作汇总

# 1、指定配置文件启动kafka（集群需要依次启动每个节点）
bin/kafka-server-start.sh -daemon config/server.properties

# 2、关闭kafka（集群需要依次关闭每个节点）
bin/kafka-server-stop.sh

# 3、创建主题
bin/kafka-topics.sh --bootstrap-server node-1:9092,node-2:9092 --topic topic1 --create --partitions 2 --replication-factor 2

# 4、查看主题详细信息
bin/kafka-topics.sh --bootstrap-server node-1:9092,node-2:9092 --topic topic1 --describe

# 5、向指定主题中发送数据
bin/kafka-console-producer.sh --bootstrap-server node-1:9092,node-2:9092 --topic topic_name

# 6、指定主题从头消费
bin/kafka-console-consumer.sh --bootstrap-server node-1:9092,node-2:9092 --topic topic1 --from-beginning

# 7、删除主题
bin/kafka-topics.sh --bootstrap-server  node-1:9092,node-2:9092 --topic topic1 --delete

5、总结

        我们在调试过程中除了使用 efak 管理端管理Kafka信息（kafka-zookeeper集群架构可视化监控，Kafka-Eagle安装部署-CSDN博客），大部分也需要通过命令行操作，本文总结了关于Kafka集群主题、生产者、消费者等常用命令行操作。

        本人是一个从小白自学计算机技术，对运维、后端、各种中间件技术、大数据等有一定的学习心得，想获取自学总结资料（pdf版本）或者希望共同学习，关注微信公众号：it自学社团。后台回复相应技术名称/技术点即可获得。（本人学习宗旨：学会了就要免费分享）