Kafka 的事务(Transaction)是指生产者向 Kafka 发送消息时,要么全部发送成功并生效,要么全部失败回滚不生效。它通常用于实现以下需求:
- 消息一致性:要求某批消息要么全部成功发送,要么全部失败,而不能出现部分成功部分失败的情况。
- 原子性操作:要求一批消息的发送与对应业务操作要么全部成功完成,要么全部回滚。
- 精准一次性:通过事务可以保证一批消息被消费端精准一次性消费,而不是出现重复消费或漏消费的情况。
Kafka 的事务机制包括:
- 初始化事务:生产者调用 initTransactions() 方法开始一个事务。
- 发送消息:在事务中发送的消息会临时存储在生产者本地,而不会立即发送到 Kafka。
- 事务状态:生产者会记录每个事务的状态,标记事务未完成或已完成。
- 提交/中止:调用 commitTransaction() 提交事务使消息生效,或 abortTransaction() 中止事务使消息被丢弃。
- 完成回调:生产者允许注册事务完成回调函数,在事务提交/中止后执行回调函数。
例如,我们需要实现转账操作的原子性。可以启动一个事务,在事务中同时发送账户 A 减少余额和账户 B 增加余额的消息。如果所有消息发送成功,再调用 commitTransaction() 提交事务;如果部分消息发送失败,调用 abortTransaction() 回滚事务。这样可以保证余额变更要么全部成功,要么全部失败。
理解 Kafka 的事务机制,可以让我们在设计关键消息流程时选择事务来保证消息处理的一致性和精准一次性。