09.4.1.3 可靠性投递与幂等去重
所属:全栈开发面试题库 / 09 高阶架构:高并发与分布式 / 09.4 消息队列 / 09.4.1 消息队列与事件驱动
09.4.1.3-001 消息可能在哪些环节丢失?
一句话结论
丢失分三段:生产端消息未成功写入 Broker、Broker 持久化/副本故障丢失、消费端处理前崩溃且位点已提交;可靠性设计要逐段排查,任一段缺乏确认或持久化都可能丢消息。
概念解释
- 生产段:发送失败、未等确认、网络中断。
- 存储段:未刷盘、副本不足、节点故障数据未同步。
- 消费段:崩溃、提交位点早于业务完成、异常跳过消息。
原理流程
生产 → Broker 存储 → 消费处理
每段都有失败点:发送确认 / 持久化副本 / 提交时机
常见误区
- 误区:消息发到 Broker 就不会丢。存储副本与刷盘不到位,节点故障仍会丢失。
- 误区:消费端拿到消息就安全。处理前崩溃或位点错误提交,消息同样可能丢失。
追问
- 问:怎么逐段防护?答:生产确认 + 副本持久化 + 处理成功后提交位点,三段分别配置。
- 问:排查丢消息先看哪段?答:按消息 ID 对生产记录、Broker 位点、消费记录定位断点。
09.4.1.3-002 生产端确认级别怎么区分?
一句话结论
确认级别控制生产者等待多少副本写入成功才认为发送成功:不等副本(最低保障、可能丢)、单 leader 写入(leader 故障可能丢)、足够副本写入(可靠性最高);级别越高延迟越大,按消息重要性选择。
概念解释
- 低级别:发送即返回,不等待持久化确认。
- 中级别:leader 写入成功即确认。
- 高级别:ISR 足够副本写入后确认。
原理流程
发送消息 → 等待副本写入确认
级别低:快速返回,故障风险高
级别高:等待多数副本,可靠性强、RT 略高
常见误区
- 误区:等 leader 确认就绝对可靠。leader 未同步副本前故障,未复制数据会丢失。
- 误区:所有消息都配最高确认。非关键日志类消息可以用较低级别换吞吐,关键业务消息才用高级别。
追问
- 问:副本确认不足时怎么处理?答:生产端重试或发送失败告警,不能静默丢弃;相关参数名按中间件版本确认。
- 问:确认级别与吞吐什么关系?答:等待副本数越多,写入 RT 与吞吐压力越大,按业务分级配置。
09.4.1.3-003 生产重试为什么会造成重复?
一句话结论
生产请求超时但 Broker 实际已写入,生产者未收到确认便重试,导致同一条业务消息写入两次;重试本身保证不丢,却引入重复;去重责任在消费端,生产者可配合幂等写入能力减少重复。
概念解释
- 超时歧义:请求到底成没成功,客户端无法仅靠超时判断。
- 重复来源:网络抖动、Broker 响应丢失、客户端重试。
- 对策:业务唯一键去重,中间件幂等生产者(支持时)。
原理流程
发送 → 超时(实际已写入)→ 重试 → 第二条相同消息
消费端按唯一键识别重复
常见误区
- 误区:不重试就不会重复,但会丢消息。可靠性与重复是权衡,主流接受重复 + 幂等。
- 误区:生产者记录发送结果就能避免重复。跨进程超时歧义无法在客户端单方面消除。
追问
- 问:生产重试怎么配?答:有限次数、退避间隔,配合唯一消息键;不要无限重发。
- 问:幂等生产者做什么?答:部分中间件支持按生产者 ID 去重写入,避免重试产生重复消息;能力以版本支持为准。
09.4.1.3-004 副本持久化与 min.insync.replicas 起什么作用?
一句话结论
副本把消息复制到多个 Broker 冗余存储;写入要求至少 ISR 中指定数量副本确认,才能承受单节点故障不丢消息;副本数与最小同步副本数配合,决定可靠性等级与可用性取舍。
概念解释
- 副本:同分区多份日志,分散在不同节点。
- 最小同步副本:允许写入的最少 ISR 副本数。
- 取舍:副本多可靠性高,但磁盘与网络成本上升、写入等待增加。
原理流程
leader 写入 → 等待足够副本确认
副本数 ≥ min.insync.replicas → 接受写入
不足 → 写入失败/告警,避免单点风险
常见误区
- 误区:配了副本就有冗余,不用看 ISR 数量。ISR 收缩到不足阈值时,写入可靠性已经下降,需要告警。
- 误区:副本数越多越好。副本同步占用带宽与磁盘,要按可靠性需求规划。
追问
- 问:单节点故障能丢多少?答:取决于已同步到副本的进度,未同步部分在故障时可能丢失。
- 问:关键主题怎么配?答:多副本 + 足够 ISR 确认,跨故障域部署副本;具体数值按容量与 SLA 压测确定。
09.4.1.3-005 消费端自动提交有什么风险?
一句话结论
自动提交按周期推进位点,可能在业务尚未处理完成时就提交;此时消费者崩溃,消息不会再投递,造成丢失;自动提交实现简单,适合可容忍少量丢失的日志类消息,关键业务应手动提交。
概念解释
- 周期提交:后台定时 commit,与业务处理进度脱钩。
- 风险窗口:提交后、处理前崩溃。
- 适用:低重要性、可重放、允许丢失少量的消息。
原理流程
后台周期提交位点(与处理进度无关)
→ 崩溃在提交后/处理前 → 消息不再投递 → 丢失
常见误区
- 误区:自动提交开启后消息不会重复。实际上既可能丢,批量未完成时也可能重复,安全性不如手动控制。
- 误区:提交周期短就安全。周期提交不代表业务完成,缩短周期不能消除窗口。
追问
- 问:关键消息用什么提交方式?答:业务处理成功后手动提交,失败不提交等待重投。
- 问:自动提交适合谁?答:埋点、日志等可丢弃或可回放重建的数据流。
09.4.1.3-006 手动 ACK 与处理失败重试怎么走?
一句话结论
拉取消息后执行业务,成功才确认/提交位点;处理失败不确认,消息按重试策略重新投递;多次失败转死信;手动确认把“处理完成”与“位点推进”绑定,是可靠性消费的基本做法。
概念解释
- 成功确认:业务落库/完成后提交位点。
- 失败重投:不确认,消息回到可投递状态。
- 死信兜底:重试上限后隔离。
原理流程(伪代码)
拉取消息
try: 处理业务成功 → ack/提交位点
catch 可恢复异常: 不 ack → 等待重试
catch 不可恢复: 记录 → 死信
常见误区
- 误区:抛异常就直接跳过。不可恢复错误也要记录现场,不能静默丢消息。
- 误区:先 ack 再处理业务。崩溃时位点已前进,消息丢失,顺序必须是先处理后确认。
追问
- 问:批量消费部分失败怎么办?答:整批不提交重投,或只提交成功边界;重复部分由幂等处理。
- 问:ACK 超时怎么判?答:按中间件会话/确认超时配置,超时未确认视为消费失败重投。
09.4.1.3-007 为什么主流是“至少一次 + 幂等消费”?
一句话结论
端到端恰好一次跨生产、存储、消费全链路代价高且难保证;工程上选择至少一次投递保证不丢,消费端通过幂等识别并跳过重复消息,达到“效果上不重复”,这是多数业务系统的可靠做法。
概念解释
- 至少一次:失败重试保证到达,允许重复。
- 幂等消费:同一消息处理多次结果相同。
- 效果等价:不丢 + 去重,等价于恰好一次的业务结果。
原理流程
投递保证至少一次 → 可能重复
消费幂等:重复消息直接返回成功,不重复执行业务
常见误区
- 误区:消费端不做幂等也能跑。正常路径重复少,重试、重平衡、宕机恢复时重复会真实发生。
- 误区:中间件承诺 exactly-once 业务就不用幂等。能力边界与业务事务不完全等同,去重仍需业务兜底。
追问
- 问:幂等和事务什么关系?答:幂等保证重复执行副作用一致;业务写库仍需事务保证状态正确。
- 问:哪些业务最需要幂等?答:扣款、下单、发货等重复执行会造成资损或重复状态的动作。
09.4.1.3-008 消费幂等有哪些实现方案?
一句话结论
常见方案:唯一业务键 + 去重表记录已处理消息;业务状态机判断当前状态是否允许重复执行;数据库唯一约束拦截重复插入;按业务场景选择,核心是“重复到达时能识别并安全跳过”。
概念解释
- 去重表:记录已处理消息 ID/业务键。
- 状态机:如订单已支付,重复支付消息直接忽略。
- 唯一约束:DB 唯一键拒绝重复记录。
原理流程(伪代码)
收到消息(消息ID, 业务键)
if 去重表已存在 或 状态已是终态: 直接 ack 返回
else: 执行业务 → 事务内写去重记录 → ack
常见误区
- 误区:用消息 ID 去重就够了。生产重试可能换 ID,业务唯一键才是稳定去重依据,两者可结合。
- 误区:去重记录长期不清理。表会膨胀,按业务周期归档或过期清理。
追问
- 问:去重记录和业务写能放一个事务吗?答:能则同事务写入,保证“业务成功 + 已记录”一致;跨系统时用状态机或补偿保证。
- 问:状态机怎么防重复?答:只允许状态向前流转,重复的旧状态消息校验后忽略。
09.4.1.3-009 去重表怎么设计和实现?
一句话结论
去重表以消息唯一键(业务 ID + 消息类型)为主键或唯一索引,记录处理状态与时间;消费时先查/插入去重记录,业务处理成功标记完成;表数据按周期清理,避免无限增长;插入冲突即视为重复。
概念解释
- 唯一键:业务主键 + 消息类型,保证同一业务动作只记一条。
- 状态:待处理/已处理,配合事务防止并发重复。
- 清理:归档历史去重记录,控制表规模。
原理流程(伪代码)
CREATE TABLE idempotent (
biz_key VARCHAR PRIMARY KEY,
status VARCHAR,
created_at TIMESTAMP
);
消费:
INSERT IGNORE 去重记录(biz_key)
冲突 → 已处理过 → 直接 ack
否则执行业务 → 标记 status=done
常见误区
- 误区:去重表只存消息 ID。消息 ID 重试可能变化,业务键才稳定;两者都存便于排查。
- 误区:去重表不设唯一索引。并发重复插入靠普通查询判断会有竞态,必须唯一约束兜底。
追问
- 问:去重表放哪?答:与业务库同事务最稳;独立存储时要保证写入可靠性与一致性补偿。
- 问:表膨胀怎么处理?答:按保留周期归档到历史表,热表只留近期记录。
09.4.1.3-010 数据库唯一约束怎么兜底幂等?
一句话结论
对业务结果表加唯一约束(如订单号、流水号),重复插入直接触发唯一键冲突,捕获后视为重复消息成功处理;唯一约束是数据库层的最后防线,即使应用层判断有竞态也不会写入重复记录。
概念解释
- 唯一索引:业务单号/流水号在表内唯一。
- 冲突处理:捕获重复键异常,返回成功跳过。
- 防线:应用幂等 + DB 约束双层保护。
原理流程
执行业务写入
唯一键冲突 → 说明已处理 → 忽略并 ack
插入成功 → 正常完成
常见误区
- 误区:应用先查再插就不会重复。并发下查询无冲突、插入冲突仍可能发生,必须靠唯一索引兜底。
- 误区:所有表都加业务唯一键。日志类可重复数据不必强加;核心交易结果表必须有唯一约束。
追问
- 问:唯一冲突怎么判断是重复而非数据错误?答:按冲突字段与业务状态核对,确认是同一业务动作的重复投递。
- 问:唯一索引影响性能吗?答:写入维护索引有成本,按高频查询与幂等需要权衡,核心表通常值得。
09.4.1.3-011 业务幂等和消息幂等是什么关系?
一句话结论
消息幂等识别“这条消息是否已处理”,业务幂等保证“同一动作执行多次副作用一致”;消息去重是入口防护,业务幂等是最终兜底;扣款、库存等动作即使绕过消息层,重复调用也应安全。
概念解释
- 消息层:按消息 ID/业务键防重复消费。
- 业务层:接口/操作本身可重复执行不产生重复结果。
- 双层:消息去重降低重复,业务幂等保证异常情况下不资损。
原理流程
消息到达 → 消息去重判断
→ 执行业务 → 业务操作自身幂等
任一层失效,另一层兜底
常见误区
- 误区:做好消息去重业务接口就不用幂等。其他入口(页面重试、人工操作、超时回调)仍可能重复调用业务。
- 误区:业务幂等就是不做检查。幂等需要状态判断与约束,不是默认天然成立。
追问
- 问:扣款接口怎么做幂等?答:流水号唯一 + 状态校验,重复扣款请求返回原结果。
- 问:库存扣减怎么防重复?答:按业务单号扣减,唯一流水约束,重复请求不重复扣减。
09.4.1.3-012 RocketMQ 事务消息流程?
一句话结论
事务消息先发半消息(对消费者不可见),再执行本地事务,根据事务结果提交或回滚消息;若结果未知,Broker 回查生产者本地事务状态,据此提交/回滚;目的是保证本地事务与消息发送的最终一致。
概念解释
- 半消息:预写入,暂不投递消费方。
- 本地事务:生产者执行 DB 事务。
- 回查:Broker 定时检查事务状态未知的半消息。
原理流程
1. 发送半消息(不可见)
2. 执行本地事务
3. 成功 → 提交消息(可见);失败 → 回滚删除
4. 状态未知 → Broker 回查本地事务状态 → 再决定提交/回滚
常见误区
- 误区:事务消息等于分布式事务。它保证“本地事务与消息投递”一致,下游消费仍需幂等与补偿。
- 误区:回查不会失败。回查逻辑要能准确返回本地事务结果,实现错误会导致消息悬挂或误提交。
追问
- 问:回查接口查什么?答:按业务键查询本地事务是否已提交,返回明确状态;不能凭消息到达判断。
- 问:半消息一直不提交会怎样?答:处于预备状态不投递,回查机制驱动最终处理;需监控悬挂消息。
09.4.1.3-013 Kafka 事务消息概览?
一句话结论
Kafka 事务机制允许把多个分区写入作为一个事务原子提交,配合位点隔离让消费者只读已提交消息;多用于流式处理与多分区原子写;业务双写一致性更常见的是 Outbox/本地消息表方案,具体能力与语义以版本文档为准。
概念解释
- 事务边界:生产者会话内写多分区,一起提交或回滚。
- 隔离读:消费者配置只读已提交事务消息。
- 场景:流处理结果写出、多分区原子写。
原理流程
开启事务 → 写多条消息到多分区
→ commit:全部可见;abort:全部回滚
消费者只读 committed 消息
常见误区
- 误区:Kafka 事务能跨数据库和 MQ 提交。它只管 Kafka 内写入原子性,不参与数据库本地事务。
- 误区:开启事务吞吐不受影响。事务协调与隔离读有额外开销,按场景启用。
追问
- 问:业务发消息和 DB 写入怎么保证一致?答:用本地消息表/Outbox 或事务消息方案,而不是依赖 Kafka 事务跨存储提交。
- 问:事务失败怎么处理?答:回滚事务内消息,重试生产;悬挂事务由超时清理机制处理。
09.4.1.3-014 重复消息常见来源有哪些?
一句话结论
来源:生产超时重试、消费者处理失败重投、重平衡后未提交位点重拉、宕机恢复、重试队列反复投递;重复在分布式异步链路中是常态,去重设计要覆盖这些来源,而不是假设只发一次。
概念解释
- 生产侧:重试导致重复写入。
- 消费侧:失败重投、重平衡、崩溃恢复。
- 中间件:重试/延迟队列再次投递。
原理流程
超时/失败 → 重试 → 重复消息
重平衡/崩溃 → 位点回退 → 重复拉取
消费端幂等统一识别
常见误区
- 误区:重复只会来自生产者。消费侧重平衡与崩溃恢复同样会重复拉取,位点回退窗口内消息重新处理。
- 误区:正常运行时没有重复。线上网络抖动与发布重启都会触发重复,幂等必须在代码里而非事后补。
追问
- 问:怎么统计重复率?答:按业务键统计重复消费次数,结合重试与重平衡事件观察。
- 问:重复消息处理顺序敏感吗?答:同键重复应保持串行,旧重复消息不能覆盖新状态。
09.4.1.3-015 死信队列在可靠性里起什么作用?
一句话结论
反复失败的消息转入死信隔离,避免毒消息阻塞主队列反复重试;死信保留原始消息与失败原因,供人工排查或修复后重放;可靠性体系里死信是兜底出口,不是丢弃通道。
概念解释
- 隔离:失败消息离开正常消费流。
- 保留:消息体、重试次数、失败堆栈、时间。
- 处置:排查根因 → 修复 → 重新投递或归档。
原理流程
重试达上限 → 转入死信
→ 监控死信量 → 人工/任务排查
→ 修复后重放回主队列
常见误区
- 误区:死信队列会自动消化消息。它只隔离不解决问题,不处理的死信等于业务动作丢失。
- 误区:所有异常都进死信。临时故障应先走重试,只有不可恢复或多次失败才进死信。
追问
- 问:死信怎么重放?答:按原始消息键与上下文重新投递,重放同样走幂等校验。
- 问:死信量告警看什么?答:死信增长速率与堆积量,区分批次故障与持续毒消息。
09.4.1.3-016 失败重试退避策略怎么落地?
一句话结论
可恢复错误按指数退避 + 抖动重试,次数有上限;不可恢复错误直接死信;退避间隔拉长给下游恢复时间,抖动打散同步重投;重试状态记录在消息/队列中,避免重试风暴。
概念解释
- 指数退避:间隔随次数倍增。
- 抖动:随机化间隔避免同步峰值。
- 上限:次数耗尽转死信,不无限循环。
原理流程(伪代码)
backoff(n) = min(maxBackoff, base * 2^n) + random(0, jitter)
可恢复失败 → 按 backoff 重试
超次数 → 死信
常见误区
- 误区:固定间隔重试最公平。固定周期让大量消息同时重投,形成二次冲击;抖动更稳。
- 误区:重试次数越多越负责。无限重试堆积消息、掩盖下游故障,必须有上限与人工介入点。
追问
- 问:下游限流时重试怎么办?答:退避间隔配合限流响应,不要在拒绝后立刻重试。
- 问:重试消息保留什么信息?答:原始载荷、已重试次数、最近失败原因,便于死信排查。
09.4.1.3-017 积压期间可靠性优先顺序?
一句话结论
积压时先保消息不丢(持久化、副本、位点正确),再控制重复与顺序,最后追求吞吐;不能为了加快消费而跳过消息或提前提交位点;恢复消费速度靠扩容与批量优化,可靠性底线不能让步。
概念解释
- 不丢:副本、确认、提交时机。
- 不重/不乱:幂等与同键顺序。
- 提速:消费者扩容、批量调优、下游治理。
原理流程
积压告警 → 检查持久化与位点
→ 扩容消费能力
→ 优化批量与下游 → 逐步消化
不跳过消息、不提前提交
常见误区
- 误区:积压时可以先跳过失败消息。跳过的消息如果不进死信/补偿通道,就是静默丢失。
- 误区:加快消费就要自动提交位点。提前提交在崩溃时丢消息,速度不能以可靠性换。
追问
- 问:积压到什么程度必须限流生产?答:消费能力长期跟不上、磁盘接近上限时,入口限流保护集群与消息留存。
- 问:积压恢复后注意什么?答:核对死信与遗漏消息,确认消费位点与业务结果一致。
09.4.1.3-018 存储可靠性看哪些配置与行为?
一句话结论
存储侧看副本数、ISR 最小副本、刷盘/持久化策略、磁盘水位与副本同步延迟;关键消息保证足够副本留存;配置随版本变化,上线前核对官方文档,不凭记忆写死参数数值。
概念解释
- 副本与 ISR:冗余与可提升候选。
- 持久化:刷盘策略影响宕机丢失窗口。
- 容量:磁盘水位不足会引发清理或写入失败。
原理流程
写入 → 副本持久化
监控:副本同步延迟、ISR 数量、磁盘水位
不足阈值 → 告警与扩容
常见误区
- 误区:消息在内存里就算存储成功。未持久化到磁盘/足够副本,节点故障会丢。
- 误区:副本同步延迟不用监控。延迟大时故障可丢窗口扩大,ISR 可能收缩。
追问
- 问:刷盘策略怎么权衡?答:持久化越强磁盘开销越大,按消息可丢失窗口选择;具体配置项以版本文档为准。
- 问:磁盘满了会怎样?答:新写入受阻或旧段被提前清理,影响留存与可靠性,需提前扩容。
09.4.1.3-019 端到端 exactly-once 难在哪里?
一句话结论
端到端恰好一次要跨生产网络、Broker 存储、消费处理与外部系统全链路保证原子,任一环重试都会重复;跨存储事务代价高、可用性差;工程上用至少一次 + 幂等 + 对账达到业务不重不丢的结果,而非追求链路层 exactly-once。
概念解释
- 难点:重试不可避免,跨系统无共同事务上下文。
- 成本:两阶段提交类机制阻塞多、容错差。
- 替代:投递可靠 + 业务幂等 + 补偿对账。
原理流程
全链路任一环节失败重试 → 重复风险
跨存储原子提交代价高
业务层幂等去重 + 对账兜底 → 等效恰好一次
常见误区
- 误区:消息队列支持事务就实现了端到端恰好一次。事务只覆盖局部边界,下游 DB/外部接口仍需幂等。
- 误区:追求 exactly-once 可以接受同步阻塞。跨系统强事务会显著降低吞吐与可用性,多数业务不划算。
追问
- 问:哪些环节最难去重?答:调用外部接口(支付、通知)后本地记录失败的重试,需要外部接口自身幂等配合。
- 问:对账兜底怎么做?答:周期比对消息处理记录与业务结果,差异触发补偿或重放。
09.4.1.3-020 可靠性 checklist 分哪几段?
一句话结论
生产段:发送确认、有限重试、唯一键;存储段:副本数、ISR、持久化、磁盘水位;消费段:成功后提交、失败重投、幂等去重、死信与对账;三段逐项核对,缺一段就有对应的丢失或重复风险。
概念解释
- 生产:确认级别、重试策略、消息键。
- 存储:副本、ISR、刷盘、容量监控。
- 消费:提交时机、幂等、死信、补偿对账。
原理流程
生产确认 → 副本持久化 → 手动提交 + 幂等
失败 → 重试/死信 → 对账纠正
常见误区
- 误区:只配了生产确认就认为可靠。消费提交时机与去重缺失,消息仍会丢或重复。
- 误区:可靠性配置一次到位不复查。版本升级、主题新增、下游变更后要重新核对各段配置。
追问
- 问:新主题上线前检查什么?答:副本数、确认级别、消费提交方式、幂等表/状态机、死信配置。
- 问:可靠性事故怎么复盘?答:按生产/存储/消费三段定位断点,补对应机制与监控。