Kafka 中的消费者组通过分区分配策略(Partition Assignment Strategy)决定哪个消费者消费哪些分区的数据。Kafka 提供了两种分区分配策略:
- 1. 范围分配策略(Range Assignment Strategy):将分区均匀分配给消费者组中的每个消费者。例如,有6个分区和2个消费者,那么每个消费者会消费3个分区的数据。
- 2. 轮询分配策略(Round Robin Assignment Strategy):依次将分区分配给消费者组中的每个消费者。例如,有6个分区和2个消费者,第一个消费者会消费分区0和2的数据,第二个消费者会消费分区1和3的数据,依此类推。
分区分配策略的配置项是partition.assignment.strategy,它默认使用范围分配策略。我们可以在消费者配置中修改该配置项以选择分区分配策略。
例如,我们有一个 Topic 有 6 个分区,然后有两个消费者 C1 和 C2 同属一个消费者组。
- 1. 如果使用范围分配策略,C1 会消费分区 0-2 的数据,C2 会消费分区 3-5 的数据。
- 2. 如果使用轮询分配策略,C1 会消费分区 0、2、4 的数据,C2 会消费分区 1、3、5 的数据。
当消费者组中的消费者数量发生变化时,分区会进行重新分配以均衡消费者的负载。理解分区分配策略可以让我们根据实际需要选择合适的策略,这也是 Kafka 工程师应该掌握的知识。
掌握消息中间件的负载均衡机制,可以让我们设计出高可用可扩展的分布式系统。