kafka中offset使用原理

前言

在使用kafka时，从消费端来说，基本上大家在使用的时候，一般是通过一个消息监听器监听具体的topic以及对应的partition，接收消息即可，但有必要深入了解一下关于kafka的offset原理

kafka在设计上和其他的消息中间其中有一个不同点是，kafka中存在一个offset的概念，即偏移量，而这个偏移量是需要消费端进行记录的，即producer将消息发到broker上之后，当某个消费者订阅了这个topic之后，consumer需要自己记录每次的消费位置，以便下次知道从哪个位置开始消费消息，这个即offset的来源，简单的原理图如下

既然消费者要知道自己每次的消费位移，那么对于消费者来说，就需要一种机制，提交每次的消费位移，以便各自的分区能够准确知道各分区中消息的位置如何

对于Kafka中的分区而言，它的每条消息都有唯一的offset，用来表示消息在分区中的位置。

当我们调用poll()时，该方法会返回我们没有消费的消息。当消息从broker返回消费者时，broker并不跟踪这些消息是否被消费者接收到；Kafka让消费者自身来管理消费的位移，并向消费者提供更新位移的接口，这种更新位移方式称为提交（commitÿ