kafka重复消费问题

开篇提示：kafka重复消费的根本原因就是“数据消费了，但是offset没更新”！而我们要探究一般什么情况下会导致offset没更新？

今天查看Elasticsearch索引的时候发现有一个索引莫名的多了20w+的数据，顿时心里一阵惊讶，然后赶紧打开订阅服务的日志（消费者），眼前的一幕让我惊呆了，我的消费服务的控制台一直在不断的刷着消费日志（刚开始我并没有意识到这是重复消费造成的），我还傻傻的以为是因为今天有人在刷单，所以导致日志狂刷，毕竟之前也遇到过有人用自动交易软件疯狂刷单的，所以当时也没在意；等过了几分钟，又去瞅了一眼控制台仍然在疯狂的刷着日志，妈呀！顿时隐隐感觉不对劲，赶紧看了一眼es索引，我滴天一下子多了几万的数据，突然在想是不是程序出问题了（因为头一天晚上发了一个版本），然后就开始死盯这日志看，发现了一个奇葩的问题：tmd怎么日志打印的数据都是重复的呀！这才恍然大悟，不用想了绝逼是kakfa重复消费了，好吧！能有什么办法了，开始疯狂的寻找解决的办法......

既然之前没有问题，那就是我昨天发版所导致的，那么我昨天究竟改了什么配置呢？对照了之前的版本比较了一下，发现这个参数enable-auto-commit被改成了true，即自动提交，理论上在数据并发不大，以及数据处理不耗时的情况下设置自动提交是没有什么问题的，但是我的情况恰恰相反，可能突然会并发很大（毕竟交易流水不好说的ÿ