zhangxm_qz的博客

Kafka的每个topic都可以分为多个Partition，并且多个 partition 会均匀分布在集群的各个节点下。虽然这种方式能够有效的对数据进行分片，但是对于每个partition 来说，都是单点的，当其中一个 partition 不可用的时候，那么这部分消息就没办法消费。所以 kafka 为了提高 partition 的可靠性而提供了副本的概念（Replica）,通过副本机制来实现冗余备...

消息的保存路径消息发送端发送消息到 broker 上以后，消息是如何持久化的？首先我们需要了解的是，kafka 是使用日志文件的方式来保存生产者和发送者的消息，每条消息都有一个 offset 值来表示它在分区中的偏移量。Kafka 中存储的一般都是海量的消息数据，为了避免日志文件过大，一个分片 并不是直接对应在一个磁盘上的日志文件，而是对应磁盘上的一个目录，这个目录的命名规则是<topi...

消费端如何指定消费的分区通过下面的代码，就可以消费指定该 topic 下的 0 号分区。其他分区的数据就无法接收// 消费指定分区的时候，不需要再订阅//kafkaConsumer.subscribe(Collections.singletonList(topic));// 消费指定的分区TopicPartition topicPartition=newTopicPartition(to...

Topic 和 PartitionTopic在 kafka 中，topic 是一个存储消息的逻辑概念，可以认为是一个消息集合。每条消息发送到 kafka 集群的消息都有一个类别。物理上来说，不同的 topic 的消息是分开存储的，每个 topic 可以有多个生产者向它发送消息，也可以有多个消费者去消费其中的消息Partition每个 topic 可以划分多个分区（每个 Topic 至少有一...

发送代码实例public class KafkaProducerDemo extends Thread{ private final KafkaProducer<Integer,String> producer; private final String topic; private final boolean isAysnc; public ...

什么是kafkakafka是分布式消息和订阅系统 特点：高性能和高吞吐量（每秒处理几十万条消息）；基于scala实现。内置分区，实现集群、容错能力和消息复制能力。应用场景：行为跟踪、日志收集kafka架构和activemq不同：activemq 是broker主动推送消息到消费端， kafka是消费端主动pull消息Topic ：主题 kafka中没有queue 的概念 所有的消...