kafka数据检索机制和ISR机制

一、kafka数据检索机制

topic是逻辑上的概念，而partition是物理上的概念，每个partition对应于一个log文件，该log文件中存储的就是producer生产的数据。Producer生产的数据会被不断追加到该log文件末端，且每条数据都有自己的offset。消费者组中的每个消费者，都会实时记录自己消费到了哪个offset，以便出错恢复时，从上次的位置继续消费。

生产者生产的消息会不断追加到log文件末尾，为防止log文件过大导致数据定位效率低下，kafka采取了分片和索引机制，将每个partition分为多个segment。每个segment对应两个文件：“.index文件”和".log"文件。这些文件位于一个文件夹下，该文件夹的命名规则为：topic名称+分区序号，例如，first这个topic有三个分区，则其对应的文件夹为first-0,first-1,first-2。

• topic在物理层面以partition为分组，一个topic可以分成若干个partition

• partition还可以细分为Segment，一