kafka_12_同步机制

kafka

• Segments

Kafka的Topic被分为多个分区，分区是是按照Segments存储文件块(默认大小为1G, 超过1G则形成新的Segments)。

分区日志是存储在磁盘上的日志序列，Kafka可以保证分区里的事件是有序的。其中Leader负责对应分区的读写、Follower负责同步分区的数据

• LEO：log end offset

标识的是每个分区中最后一条消息的下一个位置，分区的每个副本都有自己的 LEO

• HW: high watermarker

称为高水位线(同步数据与未同步数据的分界线, 可以理解为同步至第几条消息或同步至哪个offset)，所有HW之前的的数据都理解是已经备份的,当所有节点都备份成功，Leader会更新水位线。

• ISR:In-sync-replicas

kafka的leader会维护一份处于同步的副本集和，如果在replica.lag.time.max.ms时间内系统没有发送fetch请求，或者已然在发送请求，但是在该限定时间内没有赶上Leader的数据就被剔除ISR列表。

在Kafka-0.9.0版本剔除replica.lag.max.messages消息个数限定，因为这个会导致其他的Broker节点频繁的加入和退出ISR。(通过lag数字值(各自维护)是否一致来判断同步是否成功, 高并发下很容易略大于Leader, 则