PartitionAssignor分析

最新推荐文章于 2024-01-19 15:11:20 发布
最新推荐文章于 2024-01-19 15:11:20 发布
阅读量830 收藏
点赞数
分类专栏： 大数据/kafka/源码 文章标签： kafka PartitionAssignor
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhanglh046/article/details/72833490
版权

消费者组里的leader在收到JoinGroupResponse之后，会按照其中指定的分区分配策略进行分区分配，每一个分区分配策略就是一个PartitionAssignor接口的实现，下图是其继承结构：


PartitionAssignor接口中定义了Assignment和Subscription两个内部类。进行分区分配需要两方面的数据：

Subscription：Metadata中记录的集群元数据和每一个消费者成员的订阅信息，为了增强用户对分配结果的控制，就将用户订阅信息和一些影响分配的用户自定义信息封装成Subscription，比如用户自定义每一个消费者的权重。其中topics集合表示消费者订阅的topic集合，userData表示用户自定义数据。并且提供subscription()方法用于添加自定义数据，在创建JoinGroupRequest的时候会用到这个方法

Assignment： 保存了分区分配的结果，partitions表示分配给某消费者的TopicPartition集合，userData是用户自定义数据

 

assign方法：需要子类实现的完成分区分配的抽象方法

onAssignment方法：是在每个消费者收到leader分配结果时的回调函数，此调用发生在解析SyncGroupResponse之后。

 

如果开发人员需要利用userData来控制分区分配结果，就不能继承AbstractPartitionAssignor类，而是需要自己实现PartitionAssignor接口

 

RangePartitionAssignor: 针对每一个topic， n = 分区数/消费者数量，

m=分区数%消费者数量，前m个消费者每个分配n+1个分区，后面的 （消费者数量-m）个消费者每个分配n个分区

RoundRobinAssignor: 将所有的Topic和Partition按照字典顺序排序，然后对每个Consumer进行轮询分配


莫言静好、
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Stream系列（十二） PartitioningBy方法使用
wenhaipan的博客
12-05 864
分割列表 Stream系列（十二） PartitioningBy方法使用 EmployeeTestCase.java package com.example.demo; import lombok.extern.log4j.Log4j2; import org.junit.Test; import java.util.DoubleSummaryStatistics; impo...
PartitionAssignor 详解
知识的力量
02-07 979
///** // * Licensed to the Apache Software Foundation (ASF) under one or more // * contributor license agreements.  See the NOTICE file distributed with // * this work for additional information re
kafka消费者（四）：PartitionAssignor
lianggx3的博客
08-03 677
Leader消费者在受到JoinGroupResponse之后，会按照其中指定的分区分配策略进行分区分配，每个分区分配策略即使一个PartitionAssignor接口的实现。 PartitionAssignor定义了Assignment和Subscription两个内部类。进行分区分配需要两方面的数据，metadata中记录的集群元数据和每个member的订阅信息。为了用户增强对分配结果的控制，...
Kafka-消费者-KafkaConsumer分析-PartitionAssignor
最新发布
andy的博客
01-19 867
Leader消费者在收到JoinGroupResponse后，会按照其中指定的分区分配策略进行分区分配，每个分区分配策略就是一个PartitionAssignor接口的实现。Assignment中保存了分区的分配结果，partitions表示的是分配给某消费者的TopicPartition集合，userData是用户自定义的数据。为了用户增强对分配结果的控制，就将用户订阅信息和一些影响分配的用户自定义信息封装成Subscription,例如，“用户自定义数据”可以是每个消费者的权重。
RangeAssignor（范围分区）
Leon_Jinhai_Sun的博客
01-26 320
Range策略是对每个主题而言的，首先对同一个主题里面的分区按照序号进行排序，并对消费者按照字母顺序进行排序。 假设n = 分区数／消费者数量 m= 分区数％消费者数量 那么前m个消费者每个分配n+l个分区，后面的（消费者数量-m)个消费者每个分配n个分区 假设我们有10个分区，3个消费者，排完序的分区将会是0, 1, 2, 3, 4, 5, 6, 7, 8, 9；消费者线程排完序将会是C1-0, C2-0, C3-0。然后将partitions的个数除于消费者线程的总数来决定每个消费者线程消费几个分
kafka-java
03-28
1. 分区分配策略：默认的分区分配策略是轮询，但可以通过自定义`PartitionAssignor`实现更复杂的策略。 2. 消息序列化和反序列化：Kafka允许自定义消息的序列化和反序列化类，以便处理不同类型的数据。 3. 消费组：...
springboot集成kafka实战项目，kafka生产者、消费者、创建topic，指定消费分区
01-04
在Kafka消费者配置中，设置`partitionAssignor`属性为自定义的分配器类名。同时，自定义的分配器需要继承`AbstractPartitionAssignor`并重写相关方法： ```java import org.apache.kafka.clients.consumer....
SpringBoot整合kafka，代码简洁，自动分配分区和指定分区消费(亲测可用)
04-24
如果需要自定义分区分配器，可以创建一个实现了`PartitionAssignor`接口的类，并在配置中指定。例如，创建`CustomPartitionAssignor.java`： ```java public class CustomPartitionAssignor implements ...
SpringBoot整合kafka代码简洁(测试可用)
04-17
例如，可以自定义一个`PartitionAssignor`来实现特定的分配逻辑。 ### 9. 示例项目结构 根据提供的文件名`springboot-kafka`，这可能是一个包含两个模块的项目：一个生产者模块和一个消费者模块。这两个模块都应...
spark的转换算子2
changshupx的博客
09-08 1708
1）coalesce def coalesce(numPartitions: Int, shuffle: Boolean = false)(implicit ord: Ordering[T] = null): RDD[T] 该函数用于将RDD进行重分区，使用HashPartitioner。 第一个参数为重分区的数目，第二个为是否进行shuffle，默认为false; 作用 缩减分区数，用于大数据集过滤后，提高小数据集的执行效率。 val ListRDD: RDD[Int] = context.makeRDD
rangePartioner 分区器特点
weixin_59295776的博客
12-24 296
rangePartioner尽量保证每个分区中数据量的均匀，而且分区与分区之间是有序的，一个分区中的元素肯定都是比另一个分区内的元素小或者大；但是分区内的元素是不能保证顺序的。简单的说就是将一定范围内的数映射到某一个分区内。RangePartitioner作用：将一定范围内的数映射到某一个分区内，在实现中，分界的算法尤为重要。算法对应的函数是rangeBounds。 ...
Kafka Consumer源码分析之分区策略
zy353003874的博客
05-13 286
consumer提供三种不同的分区策略，可以通过partition.assignment.strategy参数进行配置,默认使用的策略是org.apache.kafka.clients.consumer.RangeAssignor,还存在org.apache.kafka.clients.consumer.RoundRobinAssignor和org.apache.kafka.clients.consumer.StickyAssignor这两种，它们的关系图如下所示。 当我们想要自定义partition分配
kafka的分区详解
热门推荐
学无止境
11-18 1万+
kafka的分区副本机制分区Leader选举☆分区重新分配☆创建集群和主题查看主题详情再添加一个分区再添加一个节点重新分配修改副本因子分区策略RangeAssignor分配策略RoundRobinAssignor分配策略StickyAssignor自定义分配策略 主要内容 : kafka分区的管理 ; 分区重新分配 Kafka可以将主题划分为多个分区（Partition），会根据分区规则选择把消息存储到哪个分区中，只要 如果分区规则设置的合理，那么所有的消息将会被均匀的分布到不同的分区中，这样就实
kafka源码分析-consumer的分区策略
qq_34826261的博客
02-16 1513
kafka提供了三种分区策略：RangeAssignor、RoundRobinAssignor和StickyAssignor，本文对这三种策略的源码进行了详细的分析并给出示例解释，尤其是对StickyAssignor进行了大篇幅的详细解析
4.2.3 Kafka高级特性解析(主题--shell管理、增加分区、分区副本分配、app操作；分区--leader选举、重新分配、自动再均衡、分区策略)
weixin_47134119的博客
03-18 515
Kafka高级特性解析 文章目录Kafka高级特性解析2.3 主题2.3.1 管理2.3.1.1 创建主题2.3.1.2 查看主题2.3.1.3 修改主题2.3.1.4 删除主题2.3.2 增加分区2.3.3 分区副本的分配-了解2.3.4 必要参数配置2.3.5 KafkaAdminClient应用查看主题创建主题删除主题修改主题查看分区详情查询集群信息查看配置信息修改配置信息修改副本的日志目录查询节点的日志目录信息 2.3 主题 2.3.1 管理 使用kafka-topics.sh脚本： 主
kafka 三种分区分配策略（转）
qq_41369135的博客
04-23 1584
 原文链接：https://blog.csdn.net/u4110122855/article/details/103616791 “ 为什么Kafka在RangeAssigor、RoundRobinAssignor的基础上，又新增了PartitionAssignor，它解决了什么问题？”   背景 用过Kafka的同学应该都知道Kaf...
Kafka-消费者组三种分区分配策略Range Assignor、RoundRobin Assignor、Sticky Assignor详细解析
一个写湿的程序猿
08-20 1545
Kafka消费者组三种分区分配策略roundrobin，range，StickyAssignor 文章目录1. Range(默认策略)2. RoundRobin3. StickyAssignor 一个consumer group中有多个consumer，一个 topic有多个partition，所以必然会涉及到partition的分配问题，即确定那个partition由哪个consumer来消费。 Kafka有三种分配策略，roundrobin Assignor，range Assignor，Sticky
Kafka为Consumer分派分区：RangeAssignor和RoundRobinAssignor
小昌昌的博客
07-25 4692
看过Kafka关于消费者的join Group的代码以后，我们可以知道，每一个Consumer的代理对象ConsumerCoordinator代表这个Consumer进行join Group操作，实际上是向GroupCoordinator发起JoinGroup请求。GroupCoordinator只负责告知Consumer其角色信息，即成为Leader还是Follower，并不负责分区分配，即管理...
kafka partition分配原理探究
°三度微凉的博客
04-06 1万+
kafka partiton 原理
springboot 设置kafka分区分配策略
06-01
在 Spring Boot 中，也是通过配置 `ConsumerFactory` 的 `partitionAssignor` 属性来设置分区分配策略。具体操作如下： 1. 在配置文件中添加 Kafka 相关的配置，例如： ```yaml spring.kafka.bootstrap-servers: localhost:9092 spring.kafka.consumer.group-id: my-group ``` 2. 创建 `ConsumerFactory` Bean，设置 `partitionAssignor` 属性，例如： ```java @Bean public ConsumerFactory<String, String> consumerFactory() { Map<String, Object> configs = new HashMap<>(); configs.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092"); configs.put(ConsumerConfig.GROUP_ID_CONFIG, "my-group"); // 设置分配策略为轮询 configs.put(ConsumerConfig.PARTITION_ASSIGNMENT_STRATEGY_CONFIG, RoundRobinAssignor.class.getName()); return new DefaultKafkaConsumerFactory<>(configs); } ``` 在上面的例子中，我们将分配策略设置为轮询。当然，Spring Kafka 还支持其他的分配策略，例如 RangeAssignor、StickyAssignor 等等。你可以根据具体的需求来选择合适的分配策略。 总之，通过配置 `ConsumerFactory` 的 `partitionAssignor` 属性来设置分区分配策略，可以实现对 Kafka 消费者的分区分配行为进行定制化。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

莫言静好、

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值