- 博客(8)
- 收藏
- 关注
RSS订阅原创 kafka消费者配置参数详解
需要注意的是，max.poll.records 参数和 max.poll.interval.ms 参数是相互关联的。如果 max.poll.records 参数设置得较大，那么 max.poll.interval.ms 参数应该设置得相对较小，以确保消费者能够及时处理数据。ps:fetch.min.bytes并非独立工作的参数，需要与其他相关参数如fetch.max.wait.ms、max.partition.fetch.bytes等协同调整以达到最佳效果。指定了服务器从每个分区返回给消费者的最大字节数。
2024-01-29 18:08:37
1043
原创 kafka生产者配置参数详解
然而，在某些场景下，即使处于可接受的负载下，客户端也希望能减少请求的数量。如果生产者客户端发送的消息较大或者发送的频率较高，那么需要将max.request.size参数设置得大一些，以减少每批发送消息的数量，提高吞吐量。如果生产者客户端发送的消息较小或者发送的频率较低，那么可以将max.request.size参数设置得小一些，以避免一次性发送过多的消息导致内存占用过高。一般来说，如果Kafka集群的可用性较高，网络延迟较小，可以将max.block.ms参数设置得小一些，以减少阻塞等待的时间。
2024-01-29 17:40:05
1201
原创 Java解析Redis rdb文件
本程序主要使用java解析redis持久化rdb文件，考虑到aof文件可能比较大，解析时间比较长，所以采用一个线程解析，一个线程写入目标文件的方式进行。
2023-07-11 16:32:06
445
原创 redis配置文件
######################通用配置##############################################持久化##############################################内存##############################################同步##############################################密码#######################
2023-07-05 14:13:40
85
原创 kafka配置文件详解
===================================以下是kafka中Leader,replicas配置参数================================# ==========================================不重要非必须配置了解 =====================================# broker的主机地址，若是设置了，那么会绑定到这个地址上，若是没有，会绑定到所有的接口上，并将其中之一发送到ZK，一般不设置。
2023-07-05 14:12:24
2272
原创 redis清理策略
volatile-lfu ----------删除一定时间内使用最少的key，只对设置了过期时间的key生效。volatile-lru ----------删除最长时间没有使用的key，只对设置了过期时间的key生效。allkeys-lfu ----------删除一定时间内使用最少的key。allkeys-lru ----------删除最长时间没有使用的key。volatile-ttl ---------删除近要过期的key。allkeys-random ----随机的删除key。
2023-07-05 14:11:55
75
原创 kafka常用命令
bin/kafka-consumer-groups.sh --bootstrap-server $nodes --group $groupname --reset-offsets --all-topics --to-earliest --execute # 重设消费者组位移(待验证)bin/kafka-console-consumer.sh --bootstrap-server $nodes --topic $topicName --from-beginning # 使用消费者。
2023-07-05 14:08:56
7929
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人