kafka 常见命令 和使用场景

微信公众号：涪陵小帮手

1  查看主题

./bin/kafka-topics.sh --list --zookeeper localhost:2181                                                       

 2 创建一个test的主题

  ./bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test                               

 3 消费test主题从0开始

./bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning   

4、获取正在消费的 所有 的group的offset （判断是否有消息堆积）

  ./bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --all-groups --describe

5 获取正在消费的topic（group_192168150147）的group的offset

 ./bin/kafka-consumer-groups.sh --describe --group  group_192168150147  --bootstrap-server localhost:9092

6  显示消费者  (分布式环境，查看是那个节点消费了数据)

./bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --list

1 应用场景 ：监控数据，消息队列做系统之间的解耦

 Open-Falcon  --  运维监控系统

class CustomMetrics implements PublicMetrics {
    private ApplicationContext applicationContext;

    public CustomMetrics(ApplicationContext applicationContext) {
        this.applicationContext = applicationContext;
    }

    @Override
    public Collection<Metric<?>> metrics() {
        List<Metric<?>> metrics = new ArrayList<>();

        ChannelFileSyncAction channelFileSyncAction = applicationContext.getBean(ChannelFileSyncAction.class);

        // 下载
        metrics.add(new Metric<Integer>(Constants.LABEL_FILE_DOWNLOAD_FLAG, channelFileSyncAction.getDownLoadFlag()?0:1));// 0成功 1失败

        // 同步
        metrics.add(new Metric<Integer>("channelfile.sync", channelFileSyncAction.getSyncExFlag()?0:1));// 0成功 1失败
        return metrics;
    }
}

2 kafka 事件

  3  消耗时间统计：

StopWatch stopWatch = new StopWatch("统一一组任务耗时");

// 统计任务一耗时

stopWatch.start("任务一");

Thread.sleep(1000);

stopWatch.stop();