Kafka主从切换的过程主要包括以下几个步骤:
1. 监控Leader健康状况
Broker定期检查当前Leader的健康状态。
2. Leader失效
当Leader完全不可用时,需要触发Leader选举过程。
3. 触发Leader 选举
Kafka会请求Zookeeper触发Leader选举。
4. Zookeeper选举新Leader
Zookeeper会从当前partition的所有副本中选举一个新Leader。
5. 通知其他节点
Zookeeper将新Leader信息通知其他broker节点。
6. Follower转换为Leader
被选为新Leader的Follower,开始接管partition的写入。
7. 同步offset信息
新Leader通知Zookeeper,同时和其他Follower同步最新的offset信息。
8. 同步副本日志
其他Follower需要从新Leader同步最新的ader log,以维持一致性。
9. 通知生产者和消费者
新Leader通知生产者和消费者发生了改变,需要更新metadata。
10. 消费进度恢复
消费者继续消费,从之前记录的offset开始。
总的来说,当Leader节点不可用时,Kafka需要进行切换:
- 监控Leader健康
- Leader失效
- 触发Leader选举
- 选举新Leader
- 通知其他节点
- Follower转为Leader
- 同步offset信息
- 同步副本日志
- 更新生产消费客户端
- 恢复消费进度
多数步骤由Zookeeper参与完成,Kafka自身仅需要选举Leader和更新状态即可。
Kafka主从切换主要依赖于Zookeeper提供的Leader选举和状态管理能力。生产者和消费者只要更新metadata即可。