kafka生产者消息分区策略

16 篇文章 548 订阅 ¥19.90 ¥99.00

前言

众所周知,kafka的topic具有分区的概念,生产者写入数据到kafka之后,涉及到数据到底写到哪个分区?

常用的分区写入策略

生产者写入消息到topic,Kafka将依据不同的策略将数据分配到不同的分区中,具体来说,kafka提供了几种常用的分区写入策略:

  • 轮询分区策略
  • 随机分区策略
  • 按key分区分配策略
  • 自定义分区策略

下面就来具体看看各自分区写入策略的机制吧

轮询策略

  1. kafka的默认的策略,也是使用最多的策略,可以最大限度保证所有消息平均分配到一个分区
  2. 如果在生产消息时,key为null,则使用轮询算法均衡地分配分区

在这里插入图片描述

随机策略(很少用)

随机策略,每次随机地将消息分配到各个分区。在较早的版本里面,默认的分区策略就是随机策略,也是为了将消息均衡地写入到每个分区。但后续轮询策略表现更佳,所以基本上很少会使用随机策略。

按key分配策略

可以理解为根据key的hash算法,或者根据key定制化一些算法策略,将消息送到不同的分区中,在实际业务中也是一

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小码农叔叔

谢谢鼓励

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值