09.4.1 消息队列与事件驱动
所属:全栈开发面试题库 / 09 高阶架构:高并发与分布式 / 09.4 消息队列
知识地图
MQ 定位、投递语义与选型(Kafka / RocketMQ / Pulsar / RabbitMQ)
→ Kafka 架构:分区、副本、ISR、offset、段日志与消费组
→ 可靠性投递:生产确认、副本持久化、手动提交、幂等去重、死信补偿
→ 顺序消息与积压治理:同键有序、lag 判读、扩容边界、削峰与预案
→ 事件驱动架构:Outbox、CDC、事件契约、投影回放、对账补偿
子主题
| 编号 | 子主题 | 核心内容 | 题数 |
|---|---|---|---|
| 09.4.1.1 | MQ 选型与核心概念 | 队列/发布订阅、投递语义、Kafka/RocketMQ/Pulsar/RabbitMQ 对比、Topic/分区/消费组、延迟与死信、引入代价 | 20 |
| 09.4.1.2 | Kafka 架构与存储消费模型 | 角色与分区、副本与 ISR、offset 与段日志、高吞吐原理、分配策略、Rebalance、位点提交、留存清理、lag 查看 | 20 |
| 09.4.1.3 | 可靠性投递与幂等去重 | 丢失环节、确认级别、重试重复、副本与 ISR、手动 ACK、去重表与唯一约束、事务消息、退避死信、端到端恰好一次难点 | 20 |
| 09.4.1.4 | 顺序消息与积压治理 | 同键顺序边界、分区内有序、队列选择、失败重试乱序、lag 计算与命令、积压定位、扩容上限与分区扩容、批量参数、消息过期与告警预案 | 20 |
| 09.4.1.5 | 事件驱动架构与 Outbox/CDC | 通知/携带状态/事件溯源、EDA 取舍、双写问题、Outbox 表与投递、CDC 流程、方案对比、schema 兼容、幂等乱序、投影回放、对账补偿与落地清单 | 20 |
合计 100 题。 中间件版本相关参数以所用版本官方文档为准;积压估算与容量结论必须结合线上速率与压测校准,不编造固定数值。
学习路径
- 先在 09.4.1.1 明确 MQ 解决的问题、投递语义与各产品定位,建立选型维度;
- 再读 09.4.1.2 掌握 Kafka 分区、副本、位点、段日志与消费组模型,会用命令查看 lag;
- 然后 09.4.1.3 梳理生产、存储、消费三段可靠性,落地幂等去重、死信与补偿;
- 接着 09.4.1.4 学习顺序边界、积压判读与扩容治理,区分生产突增与消费变慢;
- 最后 09.4.1.5 理解事件驱动架构,掌握 Outbox/CDC 一致性方案、事件契约与对账兜底。
自检
- [ ] 能按吞吐、可靠性、功能与运维成本对比 Kafka、RocketMQ、Pulsar、RabbitMQ
- [ ] 能讲清分区、副本、ISR、offset、leader/follower 与消费组分配关系
- [ ] 能解释至少一次、至多一次、恰好一次语义,说明主流“至少一次 + 幂等”的原因
- [ ] 能设计去重表、状态机与数据库唯一约束三层幂等防线
- [ ] 能用消费组命令查看并计算 lag,区分生产突增与消费变慢,说出扩容上限
- [ ] 能划定顺序消息边界,分析失败重试导致乱序的原因与版本兜底
- [ ] 能对比事务消息、Outbox、CDC 的双写一致性方案与适用条件
- [ ] 能设计事件契约版本、投影回放、追踪透传与对账补偿闭环