kafka操作命令

 1.查看kafka内所有的topic
kafka-topics.sh -zookeeper 192.168.225.228:2181/kafka  --list

2.查看指定topic的消费数据
./kafka-topics.sh --zookeeper 192.168.225.228:2181/kafka --describe -topic flowStat

6.查看topic 为 first的 详细信息
./bin/kafka-topics.sh --bootstrap-server hadoop102:9092 --describe --topic first

7.创建一个topic
bin/kafka-topics.sh –zookeeper IOT-ZK01:2181/kafka –create –topic TextPush –replication-factor 2 –partitions 5

8.删除一个topic(慎用)
bin/kafka-topics.sh –zookeeper IOT-ZK01:2181/kafka –delete –topic TextPush

4.启动producer(生产者) 控制台向topic 生产数据
bin/kafka-console-producer.sh –broker-list localhost:9092 –topic periodicChangeV2

5.启动consumer(消费者) 主动消费topic里的数据(数据会被消费，慎用 kafka-console-consumer.sh脚本模拟终端消费者消费消息)
bin/kafka-console-consumer.sh –zookeeper IOT-ZK01:2181/kafka –topic periodicChange –from-beginning
consumer-property 参数以键值对的形式指定消费者级别的配置。
from-beginning 设置消息起始位置开始消费。默认是从新位置 latest开始消费
delete-consumer-offsets 删除在zookeeper中记录已消费的偏移量

查看主题消费情况命令：
kafka-consumer-offset-checker.sh --zookeeper 10.128.5.98:2181 --topic ai_jl_metricdata --group ai-metricdata

kafka-consumer-groups.sh --bootstrap-server 10.128.5.98:9092 --describe --group ai-metricdata 

修改topic partitions数量
bin/kafka-topics.sh --zookeeper 10.128.5.98:2181 -alter --partitions 3 --topic ai_jl_metricdata

限流(根据每秒字节数)
kafka-configs.sh --zookeeper localhost:2181 --alter --add-config 'producer_byte_rate=24576000,consumer_byte_rate=24576000' --entity-type clients --entity-default
./kafka-configs.sh --zookeeper localhost:2181 --alter --add-config 'producer_byte_rate=1024' --entity-type clients --entity-default
.kafka-configs.sh --zookeeper localhost:2181 --alter --add-config 'producer_byte_rate=1536000'--entity-type clients --entity-default

reassign检验：
kafka-reassign-partitions.sh --zookeeper localhost:2181 --reassignment-json-file increase-replication-factor.json --verify

kafka日志文件转换为可读形式
./kafka-run-class.sh kafka.tools.DumpLogSegments --files /opt/data/kafka//logs/P2P-3/00000000000223999853.log? --print-data-log > /index/index.txt

定位down机后的offset
P2P.tbBorrowerBill
demo=>查找分区下的log 分区3
执行(建议把分区文件复制到外面，再进行转换！)
./kafka-run-class.sh kafka.tools.DumpLogSegments --files /opt/data/kafka//logs/P2P-3/00000000000223999853.log? --print-data-log > /index/index.txt将二进制文件转成可读形式
根据时间戳查找定位0:00:00点的纪录
grep '15346944*' index.txt| head -300>log.txt
offset: 225133742 position: 275076651 CreateTime: 1534694407869

java查看jvm
jstack -l pid
jmap -dump:live,format=b,file=/opt/map.bin pid