Kafka设计解析(三)刚好一次和事务消息
1.幂等消息
为理解决重试导致的消息重复、乱序问题,kafka引入了幂等消息。幂等消息保证producer在一次会话内写入一个partition内的消息具备幂等性,可以通过重试来确保消息发布的Exactly Once语义。
实现逻辑很简单:
- 区分producer会话
producer每次启动后,首先向broker申请一个全局唯一的pid,用来标识本次会话。
- 消息检测
message_v2 添加了sequence number字段,producer每发一批消息,seq就加1。
broker在内存维护(pid,seq)映射,收到消息后检查seq,假如,
new_seq=old_seq+1: 正常消息;new_seq<=old_seq : 重复消息;new_seq>old_seq+1: 消息丢失;- producer重试
producer在收到明确的的消息丢失ack,或者者超时后未收到ack,要进行重试。
2.事务消息
考虑在stream解决的场景中,需要多个消息的原子写入语义,要么一律写入成功,要么一律失败,这就是kafka事务消息要处理的问题。
事务消息是由producer、事务协调器、broker、组协调器、consumer共同参加实现的,
1)producer
为producer指定固定的TransactionalId,可以穿越producer的屡次会话(producer重启/断线重连)中,持续标识producer的身份。
使用epoch标识producer的每一次”重生”,防止同一producer存在多个会话。
producer遵从幂等消息的行为,并在发送的recordbatch中添加事务id和epoch。
2)事务协调器(Transaction Coordinator)
引入事务协调器,以两阶段提交的方式,实现消息的事务提交。
事务协调器使用一个特殊的topic:transaction,来做事务提交日志。
事务控制器通过RPC调研,协调 broker 和 consumer coordinator 实现事务的两阶段提交。
每一个broker都会启动一个事务协调器,使用hash(TransactionalId)确定producer对应的事务协调器,使得整个集群的负载均衡。
3) broker
broker解决在事务协调器的commit/abort控制消息,把控制消息向正常消息一样写入topic(和正常消息交织在一起,用来确认事务提交的日志偏移),并向前推进消息提交偏移hw。
4) 组协调器
假如在事务过程中,提交了消费偏移,组协调器在offset log中写入事务消费偏移。当事务提交时,在offset log中写入事务offset确认消息。
5)consumer
consumer过滤未提交消息和事务控制消息,使这些消息对客户不可见。
有两种实现方式,
- consumer缓存方式
设置isolation.level=read_uncommitted,此时topic的所有消息对consumer都可见。
consumer缓存这些消息,直到收到事务控制消息。若事务commit,则对外发布这些消息;若事务abort,则丢弃这些消息。
- broker过滤方式
设置isolation.level=read_committed,此时topic中未提交的消息对consumer不可见,只有在事务结束后,消息才对consumer可见。
broker给consumer的BatchRecord消息中,会包含以列表,指明哪些是”abort”事务,consumer丢弃abort事务的消息就可。
事务消息解决流程如图1所示,
图1 事务消息业务流程
图1 事务消息业务流程
流程说明:
1. 查找事务协调器 — FindCoordinatorRequest
事务协调器是分配pid和管理事务的核心,produer首先对任何一个broker发送FindCoordinatorRequest,发现自己的事务协调器。
2. 申请pid — InitPidRequest
紧接着,producer向事务协调器发送InitPidRequest,申请生成pid。
2a.当指定了transactional.id时,事务协调器为producer分区pid,并升级epoch,把(tid,pid)的映射关系写入事务日志。 同时清除tid任何未完成的事务,丢弃未提交的消息。
3. 启动事务
启动事务是producer的本地操作,促使producer升级内部状态,不会和事务协调器发生关系。
事务协调器自动启动事务,始终处在一个接一个的事务解决状态机中。
4. consume-transform-produce 事务循环
4.1. 注册partition — AddPartitionsToTxnRequest
对于每一个要在事务中写消息的topic分区,producer应当在第一次发消息前,向事务解决器注册分区。
4.1a.事务解决器把事务关联的分区写入事务日志。
在提交或者终止事务时,事务协调器需要这些信息,控制事务涉及的所有分区leader完成事务提交或者终止。
4.2. 写消息 — ProduceRequest
4.2a. producer向分区leader写消息,消息中包含tid,pid,epoch和seq。
4.3. 提交消费偏移 — AddOffsetCommitsToTxnRequest
4.3a. producer向事务协调器发送消费偏移,事务协调器在事务日志中记录偏移信息,并把组协调器返回给producer。
4.4. 提交消费偏移 — TxnOffsetCommitRequest
4.4a. producer向组协调器发送TxnOffsetCommitRequest,组协调器把偏移信息写入偏移日志。但是,要一直等到事务提交后,这个偏移才生效,对外部可见。
5. 提交或者终止事务
5.1. EndTxnRequest
收到提交或者终止事务的请求时,事务解决器执行下面的操作:
1. 在事务日志中写入PREPARE_COMMIT或者PREPARE_ABORT消息(5.1a)。
2. 通过WriteTxnMarkerRequest向事务中的所有broker发事务控制消息(5.2)。
3. 在事务之日中写入COMMITTED或者ABORTED消息(5.3)。
5.2. WriteTxnMarkerRequest
这个消息由事务解决器发给事务中所涉及分区的leader。
当收到这个消息后,broker会在分区log中写入一个COMMIT或者ABORT控制消息。同时,也会升级该分区的事务提交偏移hw。
假如事务中有提交消费偏移, broker也会把控制消息写入 __consumer-offsets log,并通知组协调器使事务中提交的消费偏移生效。
5.3. 写最终的commit或者abort消息
当所有的commit或者abort消息写入数据日志,事务协调器在事务日志中写入事务日志,标志这事务结束。
至此,本事务的所有状态信息都可以被删除,可以开始一个新的事务。
在实现上,还有很多细节,比方,事务协调器会启动定时器,用来检测并终止开始后长时间不活动的事务,具体请参考下面列出的kafka社区技术文档。
【总结】:
我们要认识到,尽管kafka事务消息提供了多个消息原子写的保证,但它不保证原子读。
例如,
1)事务向topic_a和topic_b两个分区写入消息,在事务提交后的某个时刻,topic_a的一律副本失效。这时topic_b中的消息可以正常消费,但topic_a中的消息就丢失了。2)如果consumer只消费了topic_a,没有消费topic_b,这样也不能读到完整的事务消息。3)典型的kafka stream应用从多个topic消费,而后向一个或者多个topic写。在一次故障后,kafka stream应用重新开始解决流数据,因为从多个topic读到的数据之间不存在稳固的顺序(即使只有一个topic,从多个分区读到的数据之间也没有稳固的顺序),那么两次解决输出的结果即可能会不一样。也就是说,尽管kafka log持久化了数据,也可以通过指定offset屡次消费数据,但因为分区数据之间的无序性,导致每次解决输出的结果都是不同的。这使得kafka stream不能像hadoop批解决任务一样,可以随时重新执行,保证每次执行的结果相同。除非我们只从一个topic分区读数据。
【参考】:
[0] https://cwiki.apache.org/confluence/display/KAFKA/Idempotent+Producer
[1] https://cwiki.apache.org/confluence/display/KAFKA/KIP-98+-+Exactly+Once+Delivery+and+Transactional+Messaging#KIP-98-ExactlyOnceDeliveryandTransactionalMessaging-4.1AddPartitionsToTxnRequest
[2]https://docs.google.com/document/d/11Jqy_GjUGtdXJK94XGsEIK7CP1SnQGdp2eF0wSw9ra8/edit#
[3]https://cwiki.apache.org/confluence/display/KAFKA/Transactional+Messaging+in+Kafka
[4]https://www.confluent.io/blog/exactly-once-semantics-are-possible-heres-how-apache-kafka-does-it/
[5]https://www.confluent.io/blog/transactions-apache-kafka/
1. 本站所有资源来源于用户上传和网络,如有侵权请邮件联系站长!
2. 分享目的仅供大家学习和交流,您必须在下载后24小时内删除!
3. 不得使用于非法商业用途,不得违反国家法律。否则后果自负!
4. 本站提供的源码、模板、插件等等其他资源,都不包含技术服务请大家谅解!
5. 如有链接无法下载、失效或广告,请联系管理员处理!
6. 本站资源售价只是摆设,本站源码仅提供给会员学习使用!
7. 如遇到加密压缩包,请使用360解压,如遇到无法解压的请联系管理员
开心源码网 » Kafka设计解析(三)刚好一次和事务消息