Kafka 通过以下机制实现消息的持久化和高可靠性:
- 分区副本:每个分区都有多个副本,当某个副本失效时,其他副本可以继续提供服务。
- 消息批次:Kafka 要求生产者将消息按照默认大小(1MB)或时间间隔批量发送,这样可以减少网络交互次数和提高吞吐量。
- 稳定存储:Kafka 将所有消息均存储在磁盘中,以支持消息的持久化。并采用稳定的存储格式(分段日志)实现消息的追加写入与读取。
- 最小化磁盘寻址:Kafka 的分段日志存储格式可以最小化磁盘寻址次数(每个分区对应一个日志),这样可以最大化磁盘IO吞吐量。
- Page Cache:Kafka leverages the page cache in the OS to cache recently read data blocks in memory, thus avoiding frequent disk reads.
- 幂等性:Kafka 支持生产者的幂等性发送,消费者的幂等性读取和提交偏移量,这样可以避免重复写入重复读取消息。
- 批量加载/提交:Kafka 支持消费者批量加载消息和批量提交偏移量,以减少网络交互次数和提高吞吐量。
- ACL和认证:Kafka 支持基于 ACL 规则的认证授权,以保证消息只被授权的客户端访问。
例如,生产者发送的每批次消息会追加到分区日志中,并同步多个副本,这样即使部分副本失效,消息仍然不会丢失。
例如,消费者每次读取一批次消息并缓存在 Page Cache 中,然后批量提交偏移量,这样可以避免反复读取磁盘和网络交互。
理解 Kafka 的持久化与高可靠机制,可以让我们更好地管理和优化 Kafka 集群,保证消息的不丢失和高吞吐。