罗罗编程学习记录
本页内容 展开查看

09.6.1.4 可靠消息与本地消息表

所属:全栈开发面试题库 / 09 高阶架构:高并发与分布式 / 09.6 分布式事务 / 09.6.1 分布式事务

09.6.1.4-001 可靠消息达成最终一致的整体思路是什么?

一句话结论

业务数据变更与待发事件在同一个本地事务写入,事件由独立投递器异步发到 MQ,消费方幂等处理;这样避免“业务成功消息丢失”或“消息发出业务回滚”,跨服务一致性通过可靠投递 + 幂等消费 + 对账补偿收敛。

概念解释

  • 同事务:业务表与事件记录一起提交或回滚。
  • 异步投递:后台任务把事件发往 MQ。
  • 收敛:消费幂等 + 失败重试 + 对账兜底。

原理流程

本地事务:写业务数据 + 写待发事件
  投递器:扫描事件 → 发 MQ → 标记状态
  消费方:幂等处理 → 确认位点/结果

代码或图示

一致性链路:
  DB 事务(业务+事件) → 可靠投递 → MQ → 幂等消费 → 对账

常见误区

  • 误区:业务提交后直接同步发 MQ 就是可靠消息。发 MQ 失败或崩溃窗口会丢事件,必须有事件记录兜底。
  • 误区:可靠消息保证强一致。它是最终一致方案,消费窗口内下游状态可能滞后。

追问

  • 问:和 2PC/TCC 定位区别?答:不做资源预留与同步提交,用异步投递和补偿逼近一致,吞吐与可用性更好。
  • 问:哪些动作适合走可靠消息?答:下单后通知库存、积分、通知等可异步收敛的下游动作。

09.6.1.4-002 本地消息表怎么设计?

一句话结论

消息表与业务表同库,字段含消息 ID、业务键、主题/队列、载荷、状态、重试次数、创建/投递时间;本地事务内写业务数据与消息记录,保证两者同成功同回滚;投递器按状态扫描未发消息,成功后标记并归档。

概念解释

  • 同库同事务:避免双写不一致。
  • 字段:标识、路由、载荷、状态、重试信息。
  • 状态机:待投递 → 已投递 → 已确认(或失败重试)。

原理流程(表结构示意)

message(
  msg_id      主键/唯一,
  biz_key     业务唯一键,
  topic       目标主题,
  payload     事件内容,
  status      PENDING/SENT/CONFIRMED/FAILED,
  retry_count,
  created_at, sent_at
)

代码或图示

本地事务:
  INSERT 业务行
  INSERT message(status=PENDING)
  COMMIT

常见误区

  • 误区:消息表放独立库。独立库与业务表无共同事务,仍存在双写窗口,违背本地消息表初衷。
  • 误区:载荷存大对象。大字段应引用外部存储,消息表只存必要事件数据与引用。

追问

  • 问:msg_id 怎么生成?答:全局唯一,关联业务键,消费端据此去重。
  • 问:状态要不要区分已投递和已消费?答:按需要;投递成功只代表进 MQ,消费确认可由对账或回执补充。

09.6.1.4-003 投递器怎么扫描和投递消息?

一句话结论

投递器分批扫描 PENDING/FAILED 消息,按退避策略重发,发送成功更新状态与投递时间;扫描小批量、限速,避免压垮数据库与 MQ;投递器多实例部署时要避免重复扫描同一批消息(按状态/锁/分区抢占)。

概念解释

  • 扫描:状态过滤、分批、按时间排序。
  • 限速:批次大小与发送间隔控制压力。
  • 抢占:多实例不重复投递同一消息。

原理流程(伪代码)

loop:
  SELECT ... WHERE status IN (PENDING, FAILED)
    AND retry_count < limit ORDER BY created_at LIMIT N
  for msg:
    发送到 MQ 成功 → status=SENT, sent_at=now
    失败 → retry_count++, 保留待下次扫描

代码或图示

多实例抢占:
  按 msg_id 取模分区,或更新状态时条件抢占
  (UPDATE ... WHERE status=PENDING 影响行归属)

常见误区

  • 误区:全表扫描实时跑。大批量消息表会压 DB,应分批、低峰、限速扫描。
  • 误区:多实例同时扫同一批没问题。重复投递虽可幂等兜底,但会产生冗余消息与压力,应做抢占分区。

追问

  • 问:发送成功但响应丢失怎么判?答:可先标记“投递中”,重复投递由消费端幂等;或回执确认后更新最终状态。
  • 问:扫描间隔怎么定?答:按一致性窗口要求与 DB/MQ 负载压测调整,不写死固定值。

09.6.1.4-004 消费端怎么配合做到幂等?

一句话结论

消费端按 msg_id 或业务键识别已处理消息:处理前查去重记录/状态机,已成功直接确认跳过;业务写入与去重记录同本地事务;重复投递、重平衡、重放都不会产生重复副作用。

概念解释

  • 去重键:消息 ID 或业务唯一键。
  • 同事务:业务结果 + 去重记录一起提交。
  • 跳过:已处理消息返回成功并确认位点。

原理流程(伪代码)

收到消息(msgId, bizKey)
  去重表已有/状态终态 → ack 跳过
  否则:执行业务 → 事务内写去重记录 → ack

代码或图示

去重表:msg_id 唯一,或业务状态机记录已处理动作

常见误区

  • 误区:消息队列不重复就不用幂等。重试、重平衡、恢复重放都会重复到达,幂等是必需防线。
  • 误区:先处理业务再异步写去重记录。崩溃在两步之间会重复处理,必须同事务写入。

追问

  • 问:消费失败位点怎么提交?答:处理成功并记录去重后再提交;失败不提交等待重投(见 09.4.1.3)。
  • 问:去重记录清理?答:按业务周期归档,热表只留近期。

09.6.1.4-005 本地消息表和事务消息有什么区别?

一句话结论

本地消息表把待发事件存在业务库,由自有投递器发送,不依赖特定 MQ 能力;事务消息由 MQ 提供半消息 + 回查机制保证与本地事务一致;两者解决同一双写问题,实现位置与依赖不同,可按 MQ 支持能力与团队运维选择。

概念解释

  • 本地表:DB 事件记录 + 自建投递任务。
  • 事务消息:MQ 半消息、本地事务回调、状态回查。
  • 共同点:业务与事件一致、消费幂等、对账兜底。

原理流程

本地表:本地事务写表 → 投递器发 MQ
事务消息:发半消息 → 执行本地事务 → 提交/回滚 + MQ 回查

代码或图示

对比:
  本地表:通用、可控、需自建投递与巡检
  事务消息:MQ 侧协调、依赖产品能力与回查实现

常见误区

  • 误区:事务消息就不需要消费幂等。半消息只解决生产一致性,消费重复仍要业务去重。
  • 误区:本地消息表适合所有规模。消息表压力、投递任务运维要纳入容量评估。

追问

  • 问:团队 MQ 不支持事务消息怎么办?答:本地消息表是通用替代方案,配合可靠投递与对账。
  • 问:两者能混用吗?答:同一链路选一种主机制,对账兜底保持一致即可。

09.6.1.4-006 本地消息表和 Outbox 模式是什么关系?

一句话结论

本地消息表就是 Outbox 模式的一种落地:业务数据与 Outbox 事件记录在同一本地事务,独立投递器把事件发布到 MQ;术语上 Outbox 更通用,消息表是其表结构实现;本质都是避免业务写与消息发的双写不一致。

概念解释

  • Outbox:同事务写业务 + 事件表。
  • 投递器:扫描发布,标记已发。
  • 等价:本地消息表 = 应用内 Outbox 表。

原理流程

本地事务:业务表 + outbox 事件行
  投递器:outbox → MQ
  删除/归档已发事件

代码或图示

Outbox 记录:event_id, aggregate_key, type, payload, status

常见误区

  • 误区:Outbox 是新的分布式事务协议。它是双写一致性模式,不提供跨服务事务提交能力。
  • 误区:Outbox 事件可以被业务表直接替代。业务表变更事件需要独立记录供扫描投递。

追问

  • 问:CDC 与 Outbox 区别?答:Outbox 应用显式写事件;CDC 从 binlog 捕获变更,应用不嵌入事件发送(见 09.4.1.5)。
  • 问:事件载荷存变更后状态还是变更类型?答:按订阅需求设计,携带必要快照字段,详情可回查。

09.6.1.4-007 消息状态怎么流转?

一句话结论

典型状态:待投递(PENDING)→ 投递中/已发送(SENT)→ 消费确认(CONFIRMED);失败进入 FAILED 等待重试,超阈值转人工/死信;状态流转持久化,投递与消费两侧状态可分别记录,便于排查卡住环节。

概念解释

  • 投递状态:事件是否进入 MQ。
  • 消费状态:下游是否处理成功。
  • 失败态:可重试失败与不可恢复隔离。

原理流程

PENDING → SENT → CONFIRMED
  任一步失败 → FAILED(retry_count++)
  超阈值 → 人工/死信队列

代码或图示

状态字段建议:
  publish_status, consume_status, retry_count, last_error

常见误区

  • 误区:投递成功就等于业务完成。下游未消费成功仍是不一致窗口,需要回执或对账确认。
  • 误区:状态只存内存。崩溃恢复后无法判断消息是否已发、已消费。

追问

  • 问:消费回执怎么回写?答:消费方确认后回调/写回执表,或由对账任务比对业务结果更新。
  • 问:状态倒挂怎么防?答:状态迁移单向校验,旧状态不能覆盖新状态。

09.6.1.4-008 消息表怎么清理和归档?

一句话结论

已确认消息按周期归档到历史表或删除,控制热表规模;清理前确认消费回执与对账已完成;保留周期覆盖排查与审计需要;归档任务分批执行,避免大事务锁表。

概念解释

  • 热表:近期待投递与在途消息。
  • 归档:历史已完成消息移出。
  • 分批:小批量删除,控制锁与 IO。

原理流程

周期任务:扫描 CONFIRMED 且超过保留期的消息
  → 归档历史表 → 分批删除热表记录

代码或图示

清理条件:状态=CONFIRMED AND sent_at < 保留阈值
  每批限量,低峰执行

常见误区

  • 误区:消息发出去就可以立刻删。下游可能重投或排查需要,应等消费确认并过保留期。
  • 误区:一次性 DELETE 大批量。大事务锁表、产生大量日志,分批处理更稳。

追问

  • 问:保留周期多长?答:按对账周期、审计要求与重放需要确定,不同业务域可不同。
  • 问:归档表查询用途?答:历史排查、消息重放、对账追溯。

09.6.1.4-009 重复消息从哪些环节来,怎么识别?

一句话结论

重复来源:投递器重发、MQ 重投、消费重平衡、崩溃恢复、对账重放;识别靠稳定业务键 + 消息 ID 去重,状态机判断终态;生产侧尽量减少重复,消费侧幂等作为最终防线。

概念解释

  • 生产重复:超时未确认导致重发。
  • 消费重复:失败重投、位点回退、重放。
  • 去重依据:业务唯一键优先,消息 ID 辅助。

原理流程

重复到达 → 查去重表/状态机
  已处理 → 跳过确认
  未处理 → 执行并记录

代码或图示

去重键:biz_key + 动作类型
  消息 ID 用于追踪与辅助去重

常见误区

  • 误区:用消息 ID 就能覆盖所有重复。生产重试可能换新 ID,业务键才稳定。
  • 误区:正常运行没有重复。线上抖动、发布重启都会触发重复,幂等必须默认开启。

追问

  • 问:重复消息怎么统计?答:按业务键统计重复消费次数,观察投递与消费链路稳定性。
  • 问:去重记录和业务结果什么关系?答:核心业务表唯一约束是最后防线,去重记录是快速跳过层。

09.6.1.4-010 消息可能在哪些环节丢失,怎么防护?

一句话结论

丢失分段:本地事务未写事件、投递器崩溃未发、MQ 持久化不足、消费处理前崩溃位点已提交;防护对应:同事务写事件、投递重试与状态记录、MQ 副本确认、成功后提交位点;每段缺失都要靠对账兜底发现。

概念解释

  • 生产段:事件记录与投递状态。
  • 存储段:MQ 副本与持久化。
  • 消费段:处理成功后确认。

原理流程

业务+事件同事务 → 投递重试入 MQ(副本确认)
  消费成功 → 记录去重 + 提交位点
  对账:业务结果 vs 下游状态

代码或图示

分段防护:
  写库:本地事务
  投递:状态表 + 重试
  MQ:确认级别 + 副本
  消费:手动确认 + 幂等

常见误区

  • 误区:用了消息表就不会丢消息。投递任务故障、MQ 丢失、消费提前提交仍会丢,各段都要防护。
  • 误区:对账是多余的。异步链路的最终兜底就是对账发现遗漏并补偿。

追问

  • 问:怎么定位丢在哪段?答:按消息 ID 对事件表、MQ 位点、消费记录三段排查。
  • 问:事件表删除太早会怎样?答:无法核对是否投递,保留期内不清理在途消息。

09.6.1.4-011 什么是最大努力通知?

一句话结论

最大努力通知指发起方在能力范围内多次通知接收方(按退避重试),但不保证最终一定到达;接收方需要主动查询/对账获取遗漏通知;常用于第三方回调、开放平台对接,与可靠消息的主动投递 + 对账互补。

概念解释

  • 多次重试:有限次数与间隔。
  • 不保证送达:超出次数不再保证。
  • 主动补偿:接收方查询状态或发起方对账补推。

原理流程

通知失败 → 退避重试 N 次
  仍失败 → 记录待对账
  接收方定期查询 / 对账任务补推

代码或图示

可靠消息:事件留存 + 重投直到确认
最大努力:尽力通知 + 查询兜底,不承诺持续投递

常见误区

  • 误区:最大努力通知等同于可靠消息。它没有事件留存保证与重放机制,关键业务不能只靠它。
  • 误区:第三方回调失败不用管。必须有对账/主动查询通道,否则状态长期不一致。

追问

  • 问:开放平台回调怎么设计?答:提供查询接口供对方拉取状态,配合回调重试与签名校验。
  • 问:最大努力重试次数怎么定?答:按对方 SLA 与业务重要性,退避到合理上限后转对账。

09.6.1.4-012 同一事务里多条消息怎么保证顺序与完整?

一句话结论

同一业务动作产生的多条事件可在同事务写入消息表,按业务键路由到同一分区/队列保证同键顺序;投递按记录顺序发送;下游按版本/状态处理,避免乱序覆盖;事件之间的依赖关系在载荷中记录前驱信息。

概念解释

  • 同事务写入:多条事件与业务一致落库。
  • 同键路由:保证顺序单元。
  • 版本依赖:事件携带版本或前驱标识。

原理流程

本地事务写多条事件(关联 bizKey)
  投递 → 同 bizKey 进同一队列
  消费按版本顺序校验处理

代码或图示

事件字段:bizKey, version, type, payload
  乱序到达:旧版本丢弃,新版本应用

常见误区

  • 误区:多条事件发到同一 MQ 就全局有序。只有同分区/同队列内有序,跨分区不保证。
  • 误区:事件顺序靠投递时间戳。跨节点时钟不可靠,逻辑版本更适合排序。

追问

  • 问:部分事件发送失败影响其他吗?答:各事件独立状态,单条重试;业务完整性由对账核对应发事件清单。
  • 问:事件版本怎么单调?答:用 DB 行版本或递增序列号,不依赖墙钟。

09.6.1.4-013 本地事务的边界画在哪里?

一句话结论

本地事务只覆盖业务表与消息表的写入,不包含发 MQ、不包含下游 RPC;事务内快速完成库表操作即提交,消息投递异步化;把远程调用放进事务会形成长事务,占用连接与锁并放大故障。

概念解释

  • 边界内:业务变更 + 事件记录。
  • 边界外:MQ 投递、下游处理、通知。
  • 原则:短事务、无远程等待。

原理流程

BEGIN → 写业务 → 写消息记录 → COMMIT
  之后:投递器异步发 MQ → 下游异步处理

代码或图示

反例:事务内 HTTP 调库存/支付
  正例:事务落库与事件,后续异步推进

常见误区

  • 误区:消息表写入要等 MQ 发送确认才提交本地事务。这样事务被远程响应拖住,失去本地消息表解耦意义。
  • 误区:一个事务写所有下游事件。多聚合根事件可拆分,避免单事务过大。

追问

  • 问:事务内能不能发非持久化缓存?答:缓存写不属于事务回滚范围,应在事务提交后执行并带失效兜底。
  • 问:消息表和业务表分库行不行?答:失去同事务保证,只能靠其他一致性机制,不叫本地消息表。

09.6.1.4-014 CDC 捕获变更作为消息来源怎么替代消息表?

一句话结论

CDC 订阅数据库 binlog,把业务行变更转换为事件投递 MQ,应用代码不需要显式写消息表;优点是与业务解耦、不侵入业务事务,缺点是事件语义需要从行变更映射,依赖日志解析位点与可靠性;两种方案按团队技术栈选择。

概念解释

  • 捕获源:数据库事务日志 binlog。
  • 转换:行变更 → 业务事件。
  • 位点:记录解析位置,故障续传。

原理流程

DB 提交 → 写 binlog
  CDC 解析行变更 → 生成事件 → 投 MQ
  消费方幂等处理

代码或图示

Outbox:应用主动写事件表
CDC:日志捕获行变更,无事件表写入代码

常见误区

  • 误区:CDC 事件天然有业务语义。binlog 是行数据变更,需要映射层定义事件类型与含义。
  • 误区:CDC 不需要可靠性设计。位点保存、断点续传、事件重复与乱序同样要处理。

追问

  • 问:CDC 适合什么场景?答:多系统同步数据、旁路构建读模型、不想在业务代码嵌入事件发送。
  • 问:行删除/更新怎么映射事件?答:按变更类型与前后镜像构造事件,规则在 CDC 配置中定义。

09.6.1.4-015 投递失败的退避和死信怎么设计?

一句话结论

可恢复失败按指数退避 + 抖动重试,记录次数与原因;不可恢复或超阈值消息转入死信/异常表隔离,人工排查后重放;死信不是丢弃通道,必须保留原始载荷与失败上下文供修复。

概念解释

  • 退避:间隔随次数倍增,抖动打散峰值。
  • 上限:重试次数与时长阈值。
  • 死信:隔离毒消息,保留追溯信息。

原理流程(伪代码)

失败 → retry_count++
  间隔 = min(max, base * 2^n) + 随机抖动
  超阈值 → 死信/异常表,告警

代码或图示

死信记录:msg_id, payload, 失败原因, 次数, 时间, 原始上下文

常见误区

  • 误区:失败消息无限重投。毒消息阻塞投递线程、堆积消息表,必须有上限与隔离出口。
  • 误区:死信消息直接删除。没有留痕就无法重放与排查根因。

追问

  • 问:退避参数怎么定?答:按下游恢复特征与一致性窗口压测确定,不写死经验值。
  • 问:死信重放流程?答:修复根因后按原消息键重投,走同一幂等校验。

09.6.1.4-016 消息积压对一致性窗口有什么影响?

一句话结论

投递或消费积压会拉长“业务提交 → 下游生效”的最终一致窗口;积压越久下游状态越滞后,期间读到旧状态的概率越高;需要监控 lag、消费速率与消息表在途量,必要时限流生产、扩容消费或降级非关键事件。

概念解释

  • 一致窗口:从业务提交到下游收敛的时长。
  • 积压来源:投递慢、消费慢、下游故障。
  • 风险:旧值、超时业务决策、消息到期清理。

原理流程(估算式)

剩余一致窗口 ≈ 积压量 / 稳定消费速率
  窗口内:下游可能仍是旧状态

代码或图示

监控:消息表在途量、MQ lag、消费 RT、失败率
  超阈值 → 扩容/限流/降级非关键事件

常见误区

  • 误区:有 MQ 缓冲就没有一致性问题。缓冲只是延迟压力,积压期间不一致窗口持续存在。
  • 误区:积压只影响吞吐。旧值可见性与消息留存风险同样属于一致性问题。

追问

  • 问:关键事件和普通事件怎么隔离?答:独立主题/队列与消费组,避免普通事件积压拖慢关键收敛。
  • 问:积压到消息过期怎么办?答:评估留存窗口与消化时间,见 09.4.1.4。

09.6.1.4-017 对账怎么核对消息与业务结果?

一句话结论

对账任务周期比对:业务表记录、消息表状态、下游处理结果;找出应发未发、已发未消费、重复处理与状态差异;差异触发重放事件、修正状态或人工处理;对账是异步最终一致的最后兜底闭环。

概念解释

  • 三方核对:业务、消息、下游结果。
  • 差异类型:遗漏、重复、旧值、补偿缺失。
  • 动作:重放、修正、人工介入、留痕。

原理流程

周期扫描业务记录
  对照消息表事件与下游状态
  缺失 → 补投/重放
  重复 → 按幂等忽略
  不一致 → 补偿修正/人工

代码或图示

对账维度:业务键 × 动作类型
  输出差异清单与处理结果

常见误区

  • 误区:对账只查消息表。下游实际结果才是一致性目标,必须比对到处理后的业务状态。
  • 误区:对账发现差异直接人工改数。优先重放事件走正常链路,人工修改作为例外并留痕。

追问

  • 问:对账频率怎么定?答:关键业务高频,普通业务按批次/日终;覆盖可接受不一致窗口。
  • 问:对账数据量大怎么扫?答:分片分批、低峰执行,控制查询压力。

09.6.1.4-018 可靠消息落地 checklist 包含哪些点?

一句话结论

核对:业务与事件同本地事务写入、投递器分批限速且多实例不重复扫描、状态持久化可恢复、消费幂等同事务记录、失败退避与死信隔离、消息表按期归档、积压与在途量监控、对账核对业务与下游结果、重复与乱序事件有版本拦截。

概念解释

  • 生产一致:同事务事件记录。
  • 投递可靠:状态、重试、死信、归档。
  • 消费收敛:幂等、对账、监控。

原理流程

事件建模 → 消息表与状态 → 投递器实现
  → 消费幂等 → 重试死信 → 对账闭环 → 监控告警

代码或图示

上线前检查:
  [ ] 业务行与事件行同事务提交
  [ ] 投递失败可重试,超阈值进死信
  [ ] 消费按业务键幂等,记录同事务
  [ ] 消息表有归档策略
  [ ] 对账能发现遗漏与不一致
  [ ] 积压窗口有监控与降级预案

常见误区

  • 误区: checklist 只验证正常投递。事件丢失、重复投递、消费失败、投递器重启恢复都要测试。
  • 误区:中间件参数凭记忆写。确认级别、留存策略、重试配置以所用版本官方文档为准,未实测标注待确认。

追问

  • 问:怎么演练消息可靠性?答:杀投递器、停消费组、注入发送失败、重放重复消息,观察状态恢复与幂等拦截。
  • 问:上线后盯什么指标?答:在途消息量、投递失败率、消费幂等跳过量、对账差异数、平均收敛时长。