ISR(In-Sync Replica)是Kafka中的同步副本集合。它的作用是:
- 标识当前是否可以选举新的leader:只有ISR中的副本对leader的数据复制保持同步,才可以被选举为新的leader。如果ISR为空,则当前leader失效时无法继续处理请求。
- 保证leader选举后的数据完整性:新选leader必须是ISR中的副本,这样新leader的数据一定与老leader的数据一致,避免了数据丢失。
- 提高写性能:生产者可以从ISR中的任意一个副本读数据。这可以分担leader的读压力,提高读性能。
- 实现最终一致性语义:Kafka只会将消息确认发送成功当它被成功写入到ISR中的所有副本。这保证了即使发生leader失效,消息也不会丢失。
ISR是Kafka用于实现高可用和强一致性的重要机制。它通过跟踪分区中与leader的数据最为同步的副本,来标识当前是否有资格的新leader候选和是否可以确认消息发送成功。
每个分区都有一个ISR,它是该分区所有副本中的一个子集。副本要加入ISR必须满足如下条件:
- 数据必须与leader副本的数据保持同步,落后leader指定时间范围(默认10ms)之内的数据。
- 在ISR停留指定时间(默认2分钟)以验证其数据同步能力。
- 副本失效时会被移出ISR,直到数据再同步后重新加入。
只有ISR中的副本有资格在当前leader失效时被选举为新的leader。新选leader也必须是ISR中的副本,这保证新leader的数据与老leader一致,不会丢失消息。
所以ISR是Kafka实现高可用和强一致性的关键。它通过跟踪分区中与leader最为同步的数据副本,来标识可用的新leader候选和确认消息发送成功。
ISR机制使得Kafka在面对复杂的网络分区与故障情况下,也能轻松实现无消息丢失和零停机时间的集群管理。这也是Kafka十分适合在生产环境中使用的原因之一。