zhangmuqiang的博客

【代码】redis集群版批量迁移槽脚本。

需要注意的是，max.poll.records 参数和 max.poll.interval.ms 参数是相互关联的。如果 max.poll.records 参数设置得较大，那么 max.poll.interval.ms 参数应该设置得相对较小，以确保消费者能够及时处理数据。ps:fetch.min.bytes并非独立工作的参数，需要与其他相关参数如fetch.max.wait.ms、max.partition.fetch.bytes等协同调整以达到最佳效果。指定了服务器从每个分区返回给消费者的最大字节数。

然而，在某些场景下，即使处于可接受的负载下，客户端也希望能减少请求的数量。如果生产者客户端发送的消息较大或者发送的频率较高，那么需要将max.request.size参数设置得大一些，以减少每批发送消息的数量，提高吞吐量。如果生产者客户端发送的消息较小或者发送的频率较低，那么可以将max.request.size参数设置得小一些，以避免一次性发送过多的消息导致内存占用过高。一般来说，如果Kafka集群的可用性较高，网络延迟较小，可以将max.block.ms参数设置得小一些，以减少阻塞等待的时间。

本程序主要使用java解析redis持久化rdb文件，考虑到aof文件可能比较大，解析时间比较长，所以采用一个线程解析，一个线程写入目标文件的方式进行。

######################通用配置##############################################持久化##############################################内存##############################################同步##############################################密码#######################

===================================以下是kafka中Leader,replicas配置参数================================# ==========================================不重要非必须配置了解 =====================================# broker的主机地址，若是设置了，那么会绑定到这个地址上，若是没有，会绑定到所有的接口上，并将其中之一发送到ZK，一般不设置。

volatile-lfu ----------删除一定时间内使用最少的key，只对设置了过期时间的key生效。volatile-lru ----------删除最长时间没有使用的key，只对设置了过期时间的key生效。allkeys-lfu ----------删除一定时间内使用最少的key。allkeys-lru ----------删除最长时间没有使用的key。volatile-ttl ---------删除近要过期的key。allkeys-random ----随机的删除key。

bin/kafka-consumer-groups.sh --bootstrap-server $nodes --group $groupname --reset-offsets --all-topics --to-earliest --execute # 重设消费者组位移(待验证)bin/kafka-console-consumer.sh --bootstrap-server $nodes --topic $topicName --from-beginning # 使用消费者。