罗罗编程学习记录
本页内容 展开查看

09.4.1.5 事件驱动架构与 Outbox/CDC

所属:全栈开发面试题库 / 09 高阶架构:高并发与分布式 / 09.4 消息队列 / 09.4.1 消息队列与事件驱动

09.4.1.5-001 事件驱动和点对点调用有什么区别?

一句话结论

点对点调用是生产者直接依赖消费者接口,同步等待结果;事件驱动是生产者发布事件到 MQ,订阅方各自异步处理,生产方不感知订阅者;前者耦合调用关系,后者解耦时间与依赖,但引入异步一致性与可观测性代价。

概念解释

  • 点对点:调用方知道被调方接口,同步或直接异步调用。
  • 事件驱动:发布事件,订阅方按需接入,新增订阅不改生产方。
  • 取舍:解耦与扩展 vs 链路可见性、一致性复杂度。

原理流程

点对点:A → 直接调 B 接口
事件驱动:A → 发布事件 → B/C 各自订阅处理

常见误区

  • 误区:事件驱动就是把同步调用改成发 MQ。核心区别是解耦订阅关系与异步扩展,不是简单换通信方式。
  • 误区:事件驱动完全去掉耦合。生产方仍要维护事件契约(字段、版本、语义),耦合从接口调用转移到事件模型。

追问

  • 问:什么场景适合点对点?答:需要立即拿到结果、强一致、调用方明确依赖被调方的同步流程。
  • 问:什么场景适合事件?答:一个动作触发多个下游、异步通知、削峰与可扩展订阅。

09.4.1.5-002 事件通知、事件携带状态、事件溯源有什么区别?

一句话结论

事件通知只发“发生了什么”,订阅方需要自行查询数据;事件携带状态把变更数据放进事件,订阅方直接使用;事件溯源以事件序列作为状态来源,当前状态由事件回放得到;三者信息含量与架构复杂度递增。

概念解释

  • 通知事件:事件 ID/类型,载荷轻,订阅方回查。
  • 携带状态:事件内含变更后的字段快照,减少回查。
  • 事件溯源:事件日志即事实来源,状态是投影结果。

原理流程

通知:事件 → 订阅方查 DB
携带状态:事件带快照 → 订阅方直接用
事件溯源:事件序列 → 回放得到当前状态

常见误区

  • 误区:事件带状态越多越好。载荷大、版本兼容复杂;按需携带必要字段,详情可回查。
  • 误区:事件溯源适合所有系统。它对事件建模、回放与版本要求高,一般用于需要审计与重建的核心域。

追问

  • 问:事件携带状态怎么避免旧值?答:带版本号/时间戳,订阅方按版本合并。
  • 问:事件溯源的状态怎么重建?答:从头回放事件序列投影出当前状态,可用于修复读模型或审计。

09.4.1.5-003 EDA 有哪些优点?

一句话结论

优点:生产者与订阅者解耦、新增下游不改动主链路、异步削峰、各订阅方独立扩展与失败隔离;事件可回放支持重建与审计;适合多系统协作与业务快速演进。

概念解释

  • 解耦:生产方不依赖订阅方存在与接口。
  • 扩展:新订阅方接入事件流即可。
  • 弹性:单订阅方故障不阻塞主链路,各自重试隔离。

原理流程

主链路发布事件 → 结束
  订阅方独立消费 → 失败各自重试/隔离
  事件留存 → 可回放重建

常见误区

  • 误区:EDA 让主链路更快。异步化把耗时移出主链路,但事件投递与下游处理仍消耗整体资源。
  • 误区:解耦后不需要管理契约。事件字段、语义、版本仍是生产与订阅方的共享约定。

追问

  • 问:新增一个订阅系统要改什么?答:订阅对应事件主题,实现消费与幂等,生产方代码不变。
  • 问:事件回放有什么价值?答:修复错误读模型、重建状态、审计追溯历史变更。

09.4.1.5-004 EDA 有哪些代价?

一句话结论

代价:链路变长、调试与可观测性变难、最终一致窗口、消息重复/乱序/积压需要治理、事件契约演进需要版本兼容;异步系统的问题不能靠单次同步调用定位,需要配套追踪、对账与补偿。

概念解释

  • 可观测:跨生产、Broker、多订阅方的链路追踪。
  • 一致性:异步收敛窗口与补偿对账。
  • 治理:幂等、顺序、积压、死信、事件版本。

原理流程

事件驱动链路:生产 → MQ → 多订阅方
  每环都可能失败/重复/乱序
  需要追踪、幂等、补偿、监控配套

常见误区

  • 误区:上了事件驱动架构就自动高可用。订阅方故障、消息积压、事件丢失仍需各自防护。
  • 误区:调试和同步调用一样直接。异步链路需要消息 ID 串联各环节日志,否则问题难以定位。

追问

  • 问:怎么降低 EDA 复杂度?答:事件分级、契约治理、统一消息组件与监控,避免随意扩散事件。
  • 问:哪些环节最容易出问题?答:消费幂等、事件版本兼容、积压与下游失败隔离。

09.4.1.5-005 本地事务直接发 MQ 有什么问题?

一句话结论

“先提交 DB 再发消息”或“先发消息再提交 DB”都存在不一致窗口:DB 成功消息没发出,或消息发出但 DB 回滚;两个动作不在同一事务里,任一步失败都会造成状态与事件脱节;需要 Outbox、事务消息或 CDC 等机制保证一致。

概念解释

  • 问题一:DB 提交后发消息失败 → 事件丢失。
  • 问题二:消息先发,DB 回滚 → 订阅方收到无效事件。
  • 根因:跨存储无共同事务上下文。

原理流程

方案 A:DB commit → 发 MQ(失败则事件丢失)
方案 B:发 MQ → DB commit(回滚则事件无效)
需要机制保证 DB 变更与事件投递一致

常见误区

  • 误区:发消息失败重试几次就一致。重试期间窗口内事件缺失,订阅方状态落后;崩溃在两步之间仍会脱节。
  • 误区:把 MQ 写入放进数据库事务就行。MQ 不参与 DB 事务提交,连接与回滚不在同一上下文。

追问

  • 问:不一致会被谁发现?答:订阅方缺事件导致状态不更新,对账任务比对 DB 与订阅结果发现差异。
  • 问:小系统可以接受这种风险吗?答:非关键通知可容忍补偿,核心业务事件必须用可靠投递方案。

09.4.1.5-006 Outbox 模式怎么做?

一句话结论

Outbox:在本地数据库事务内同时写业务数据和“事件记录表(Outbox 表)”;独立投递器扫描该表,把事件发到 MQ 并标记投递状态;本地事务保证业务与事件记录同时成功,投递异步完成,解决直接发 MQ 的双写不一致。

概念解释

  • Outbox 表:与业务表同库,记录待发事件。
  • 投递器:扫描未投递事件,发 MQ,更新状态。
  • 一致性:业务写入与事件记录在同一本地事务。

原理流程

本地事务:写业务表 + 写 outbox 事件记录
投递器:扫描未投递记录 → 发 MQ → 标记已投递
失败 → 下次扫描重发(消费端幂等)

常见误区

  • 误区:Outbox 表和业务库分开。分开就失去同事务保证,必须同库同事务写入。
  • 误区:投递成功标记可以省略。不标记会重复扫描重发,虽然幂等可容忍,但增加无效消息量。

追问

  • 问:投递器挂了怎么办?答:事件记录保留在 DB,恢复后继续扫描,不会丢事件。
  • 问:Outbox 表膨胀怎么处理?答:已投递事件按周期归档清理,保留近期记录。

09.4.1.5-007 Outbox 表结构与投递伪代码?

一句话结论

Outbox 表至少含事件 ID、聚合键、事件类型、载荷、状态、创建/投递时间;投递器按状态扫描、发送、标记;事件 ID 保证幂等,聚合键用于排序与分区;投递分批限速,避免一次扫全表。

概念解释

  • 字段:事件 ID、业务键、类型、载荷、状态、时间戳。
  • 状态:待投递、已投递、失败重试。
  • 扫描:分批按时间/状态取未投递事件。

原理流程(伪代码)

表: outbox(id, agg_key, type, payload, status, created_at, sent_at)

本地事务:
  INSERT INTO outbox(id, ..., status='PENDING')

投递器循环:
  SELECT ... WHERE status='PENDING' LIMIT N
  for event:
    发送到 MQ(事件ID, agg_key, payload)
    成功 → status='SENT', sent_at=now
    失败 → 保留 PENDING,下次重试

常见误区

  • 误区:扫描不带分批与限速。大表全量扫描压 DB,分批小量处理更稳。
  • 误区:载荷存大对象。Outbox 存必要事件字段,大对象引用外部存储。

追问

  • 问:事件 ID 怎么生成?答:与业务事件唯一对应,UUID 或业务单号 + 事件类型,消费端据此去重。
  • 问:投递失败重试无限吗?答:记录失败次数,超阈值告警人工介入,避免毒事件反复扫描。

09.4.1.5-008 CDC(binlog 订阅)流程是什么?

一句话结论

CDC 通过读取数据库 binlog 日志捕获数据变更,转换为事件投递到 MQ;应用不直接发事件,变更由数据库日志驱动;优点是与业务代码解耦、能捕获所有变更,缺点是依赖日志解析、事件顺序与格式映射需要维护。

概念解释

  • 捕获:订阅 binlog/事务日志,解析行变更。
  • 转换:把行变更映射为业务事件。
  • 投递:变更事件发到 MQ 供订阅方消费。

原理流程

DB 提交事务 → 写 binlog
  CDC 工具解析变更行 → 生成事件
  → 投递 MQ → 订阅方消费

常见误区

  • 误区:CDC 事件天然是业务语义。binlog 是行级数据变更,需要映射成有业务含义的事件,映射逻辑要维护。
  • 误区:CDC 不需要可靠性设计。解析中断、位点保存、事件重放仍需监控与补偿。

追问

  • 问:CDC 适合什么场景?答:多系统同步数据、旁路构建读模型、不想在业务代码里嵌入事件发送。
  • 问:位点怎么管理?答:CDC 记录解析位置,故障恢复从位点续传,避免重复或遗漏。

09.4.1.5-009 事务消息、Outbox、CDC 怎么对比?

一句话结论

事务消息由 MQ 半消息 + 回查保证与本地事务一致;Outbox 在本地事务写事件表再异步投递,可控性强;CDC 从数据库日志捕获变更,与代码解耦但依赖日志解析;三者解决同一类双写问题,按架构团队、侵入性与运维能力选择。

概念解释

  • 事务消息:中间件参与一致性回查,业务实现事务回调。
  • Outbox:应用层事件表,投递自主可控。
  • CDC:日志层捕获,无业务代码侵入。

原理流程

事务消息:半消息 → 本地事务 → 提交/回滚 + 回查
Outbox:本地事务写事件表 → 投递器发 MQ
CDC:binlog 解析 → 事件 → MQ

常见误区

  • 误区:三种方案能互相替代无代价。事务消息依赖中间件能力,Outbox 增加表与投递任务,CDC 依赖日志解析工具,各有运维成本。
  • 误区:选了一种就不用消费幂等。无论哪种生产机制,消费重复都要业务去重。

追问

  • 问:中小团队优先哪种?答:Outbox 模式直观可控,不依赖特殊中间件能力;CDC 适合已有日志采集体系的团队。
  • 问:事件丢失最后靠什么兜底?答:三种方案都需要周期对账校验 DB 状态与订阅结果。

09.4.1.5-010 事件版本与 schema 兼容怎么做?

一句话结论

事件结构要向前/向后兼容:新增字段给默认值、不删除必填字段、不改字段语义与类型;事件带版本号,消费者按版本解析;演进时先兼容新版本生产、再切换消费、最后清理旧字段,避免老订阅方解析失败。

概念解释

  • 兼容:老消费者能读新事件,新消费者能读旧事件。
  • 版本:事件头带 schema 版本。
  • 演进顺序:加字段 → 双版本消费 → 下线旧格式。

原理流程

事件变更:新增可选字段(默认值)
  生产新格式 → 消费端兼容解析
  全部升级后 → 移除旧字段

常见误区

  • 误区:直接改字段类型或删字段。未升级的订阅方反序列化失败或读到错误值。
  • 误区:事件版本只在大改时才加。字段语义变化就应升版本并通知订阅方。

追问

  • 问:怎么管理事件契约?答:事件 schema 登记文档/注册表,字段变更评审,订阅方同步升级。
  • 问:不兼容变更怎么处理?答:开新主题/新事件类型,旧主题保留到订阅方迁移完成。

09.4.1.5-011 事件幂等与去重怎么做?

一句话结论

事件消费按事件 ID 或业务键去重,处理结果记录在去重表/状态机;重复事件返回成功不重复执行;事件生产端通过 Outbox/事务消息避免重复投递,消费端幂等作为最后防线;去重记录按周期清理。

概念解释

  • 去重键:事件 ID 或业务唯一键。
  • 记录:已处理事件与状态。
  • 防线:生产减少重复,消费识别重复。

原理流程

收到事件(id, bizKey)
  已处理 → ack 返回
  未处理 → 执行业务 → 记录去重/状态

常见误区

  • 误区:事件顺序到达就不会重复。重试、重平衡、CDC 重放都会产生重复,幂等不能省。
  • 误区:去重记录永久保留。按业务周期归档,避免表无限膨胀。

追问

  • 问:跨订阅方去重共享吗?答:各订阅方独立记录自己的处理状态,互不影响。
  • 问:事件重放怎么不重复?答:重放走同一去重键,已处理的事件跳过。

09.4.1.5-012 事件顺序与乱序怎么处理?

一句话结论

同一聚合键的事件发同一分区保证有序;跨聚合键不保证顺序;事件带版本号,消费端检测旧版本并丢弃或合并;乱序到达时以状态机/版本为准,不让旧事件覆盖新状态。

概念解释

  • 顺序边界:同键同分区。
  • 版本:递增序号或状态版本。
  • 合并:旧版本忽略,新版本应用。

原理流程

同键事件 → 同分区有序
跨键 → 无序到达
消费:比较版本,旧版本丢弃,新版本应用

常见误区

  • 误区:MQ 保证全局事件有序。只有同单元有序,跨主题/跨分区乱序是常态。
  • 误区:乱序靠消费端缓冲重排。等待重排增加延迟与复杂度,版本校验通常更直接。

追问

  • 问:版本倒退怎么告警?答:消费到旧版本事件记录日志与指标,排查生产重复或顺序问题。
  • 问:状态机怎么防倒退?答:只允许状态向前流转,非法跳变拒绝并记录。

09.4.1.5-013 重复事件与影子事件怎么识别?

一句话结论

重复事件是同一业务动作多次投递;影子事件是已被业务否定/回滚的变更仍被订阅方处理;两者都靠业务键、版本与状态识别:重复跳过,影子事件根据补偿/回滚事件撤销对应处理。

概念解释

  • 重复:相同事件多次到达。
  • 影子:原始事件无效(事务回滚、业务取消),下游已按它执行。
  • 纠正:补偿事件或状态回滚通知。

原理流程

重复事件 → 去重识别 → 跳过
影子事件 → 收到补偿/撤销事件 → 回退下游状态

常见误区

  • 误区:事件发出就代表业务最终成立。本地事务回滚的事件需要撤销下游动作,不能只靠丢弃不处理。
  • 误区:影子事件不会发生。取消订单、退款、作废等场景都会产生需要回退的下游动作。

追问

  • 问:下游已经执行了影子动作怎么办?答:发补偿事件执行逆向操作(如撤销积分、恢复库存),并保证补偿幂等。
  • 问:怎么记录撤销关系?答:事件关联原始业务键与逆向事件 ID,便于追溯。

09.4.1.5-014 最终一致性兜底:对账与补偿怎么做?

一句话结论

异步链路允许短暂不一致,兜底靠周期对账:比对 DB 业务状态与订阅方结果,差异触发补偿重放或修正;补偿动作幂等;对账按关键业务周期执行,记录差异与处理结果,形成可追溯闭环。

概念解释

  • 对账:扫描业务数据与下游投影/结果比对。
  • 补偿:重放缺失事件、修正状态、逆向撤销。
  • 周期:关键业务高频,普通业务按天/批次对账。

原理流程

周期对账:DB 状态 vs 下游结果
  缺失/不一致 → 重放事件或补偿修正
  记录差异原因与处理结果

常见误区

  • 误区:有 MQ 就不需要对账。异步丢失、消费失败、影子事件都可能造成差异,对账是最后兜底。
  • 误区:对账发现差异直接人工改数。先重放事件走正常链路修正,人工修改作为例外并留痕。

追问

  • 问:对账数据量大怎么扫?答:按时间窗/分片分批比对,低峰执行,控制查询压力。
  • 问:差异怎么分类?答:事件缺失、重复处理、乱序旧值、影子未撤销,分别补偿。

09.4.1.5-015 事件流聚合与读模型投影怎么做?

一句话结论

订阅事件流持续更新读模型(投影):如订单视图、用户画像、排行榜;读模型按查询需求组织,由事件逐步累积;投影可重建,事件是来源,读模型是派生数据;投影更新失败可从事件流重放修复。

概念解释

  • 投影:面向读取的物化视图/表/缓存。
  • 聚合:多个事件源合并到一个读模型。
  • 重建:消费历史事件重新生成投影。

原理流程

事件流 → 订阅处理 → 更新读模型
  读模型服务查询
  投影错误/缺失 → 重放事件重建

常见误区

  • 误区:读模型可以直接当权威数据源。投影是派生结果,权威状态在业务库/事件溯源日志。
  • 误区:投影更新失败不影响主业务。投影损坏会导致查询错误,需要监控投影一致性与重建能力。

追问

  • 问:多事件源怎么合并?答:按业务键关联,事件顺序按版本合并,冲突以权威事件为准。
  • 问:投影怎么缓存?答:读模型落库/缓存,事件驱动刷新,避免每次查询回源聚合。

09.4.1.5-016 事件回放与状态重建怎么做?

一句话结论

事件留存后可从起点重新消费,重建读模型或修复状态;回放需要保留完整事件与版本,按顺序处理;用于迁移、修复错误投影、审计追溯;回放过程要避开在线写入干扰,必要时构建临时投影后切换。

概念解释

  • 回放:重新执行历史事件序列。
  • 重建:生成新的读模型/状态。
  • 用途:修复、迁移、审计、版本升级后重建。

原理流程

读取历史事件流
  → 按顺序重放 → 生成新投影
  → 校验结果 → 切换到新投影

常见误区

  • 误区:事件只留短期就能回放。回放窗口受留存策略限制,需要长期审计的事件要持久化归档。
  • 误区:重放直接覆盖在线数据。先在临时构建产物上校验,再切换,避免重建过程污染在线读。

追问

  • 问:重放遇到重复/旧版本怎么办?答:幂等与版本校验同样生效,重放结果应与当前状态一致。
  • 问:回放性能怎么控制?答:批量重放、并行按键分组,校验最终一致性。

09.4.1.5-017 链路追踪在事件驱动里怎么落地?

一句话结论

事件 headers 携带 traceId、事件 ID、父事件/业务键,生产、Broker、各订阅方日志都记录同一追踪标识;跨异步环节串联调用链,定位消息在哪个订阅方失败或积压;没有追踪上下文,异步链路问题难以排查。

概念解释

  • 追踪标识:traceId 贯穿整条业务链。
  • 事件元数据:事件 ID、来源、业务键、时间。
  • 日志关联:各环节按标识检索。

原理流程

生产事件 → headers 带 traceId/bizKey
  订阅方消费 → 日志记录同一 traceId
  排查 → 按 traceId 串联各环节

常见误区

  • 误区:MQ 自带链路追踪。中间件只记录消息位置,业务上下游关联要靠事件内传递标识。
  • 误区:traceId 在异步后丢失。线程/消息切换时要显式传递上下文,不能依赖线程本地变量。

追问

  • 问:跨服务事件怎么串联?答:事件 headers 透传 traceId 与业务键,各服务日志与指标都带上。
  • 问:排查丢消息看什么?答:按 traceId/事件 ID 对生产记录、Broker 位点、各订阅方消费日志。

09.4.1.5-018 多订阅方订阅同一事件的边界?

一句话结论

同一事件可被多个独立订阅方消费,各方进度、失败与重试互不影响;订阅方只依赖事件契约,不共享消费位点;新增/下线订阅方不影响其他方;但事件语义要稳定,订阅方过多会放大事件变更的兼容成本。

概念解释

  • 独立消费:各消费者组独立位点。
  • 隔离:一方故障不拖累其他订阅方。
  • 契约:事件字段与语义对所有订阅方负责。

原理流程

事件 → 广播给多个订阅方
  各组独立消费、独立重试
  新增订阅方接入主题即可

常见误区

  • 误区:订阅方共享一个消费进度。各组位点独立,一方积压不影响另一方消费。
  • 误区:事件随便改字段。多订阅方依赖事件契约,变更影响面要评估所有订阅者。

追问

  • 问:订阅方失败隔离怎么做?答:独立消费者组、独立重试与死信,避免慢订阅方拖垮事件流。
  • 问:怎么知道谁订阅了事件?答:维护事件订阅清单,登记订阅方、用途与契约版本。

09.4.1.5-019 场景:订单事件驱动库存、积分、通知怎么设计?

一句话结论

订单本地事务落库并写 Outbox 事件;事件投递 MQ 后,库存、积分、通知各订阅方独立消费:库存扣减按单号幂等、积分发放去重、通知异步发送;各订阅方失败独立重试与死信,周期对账校正;主链路只保证订单与事件记录一致,下游最终一致。

概念解释

  • 生产:订单事务 + Outbox。
  • 订阅:库存/积分/通知独立组,各自幂等。
  • 兜底:重试、死信、对账补偿。

原理流程

下单:本地事务写订单 + Outbox 事件
投递器 → MQ 订单事件
  库存订阅:扣减(单号幂等)
  积分订阅:发放(去重)
  通知订阅:发消息
  失败 → 重试/死信 → 对账补偿

常见误区

  • 误区:订单接口同步调用库存积分通知。主链路被下游拖慢且耦合,异步事件驱动更合适。
  • 误区:一个订阅方失败阻塞订单。各订阅独立隔离,下单主链路不受下游故障影响。

追问

  • 问:库存扣减失败怎么办?答:独立重试,超阈值死信告警;对账发现少扣再补偿,不能阻塞订单创建。
  • 问:订单取消怎么通知下游?答:发取消/补偿事件,各订阅方执行逆向操作(回库存、扣回积分),同样幂等。

09.4.1.5-020 EDA 落地 checklist 包含什么?

一句话结论

落地检查:事件契约与版本登记、生产可靠投递(Outbox/事务消息/CDC)、消费幂等与状态机、同键顺序与版本校验、追踪标识透传、积压与死信监控、对账补偿机制、订阅方隔离;逐项落实,事件驱动才可观测、可兜底、可演进。

概念解释

  • 契约:事件字段、版本、订阅清单。
  • 可靠:生产一致性机制与投递状态。
  • 消费:幂等、顺序、重试、死信。
  • 运维:追踪、监控、对账、补偿。

原理流程

事件建模 → 可靠生产 → 幂等消费
  追踪监控 → 对账补偿 → 契约版本演进

常见误区

  • 误区:EDA 上线只发通消息就行。幂等、对账、追踪、死信缺失时,异步故障难以发现和恢复。
  • 误区:事件数量越多架构越先进。事件应按业务边界划分,随意扩散会增加治理成本与耦合。

追问

  • 问:新事件上线前检查什么?答:契约版本、生产机制、消费幂等、追踪字段、监控与对账覆盖。
  • 问:EDA 复盘看什么?答:事件丢失/重复率、积压、下游失败、对账差异,持续精简事件模型。