罗罗编程学习记录
本页内容 展开查看

09.2.2.3 队列削峰与背压

所属:全栈开发面试题库 / 09 高阶架构:高并发与分布式 / 09.2 流量治理 / 09.2.2 熔断降级与削峰异步化

09.2.2.3-001 削峰填谷解决什么问题?

一句话结论

削峰填谷用队列把短时突发流量缓冲下来,让下游按自身匀速能力消费,避免突发直接击穿下游;填谷指利用低谷时段消化积压,使整体处理速率平稳。

概念解释

  • 峰:瞬时到达速率远高于日常均值。
  • 谷:下游闲置或低谷时段。
  • 缓冲:队列吸收峰,匀速流出。

原理流程

突发请求 → 队列缓冲
  → 下游匀速消费
  → 低谷期消化积压

常见误区

  • 误区:队列能无限削峰。队列有容量与时效上限,超过能力的长期涌入仍会积压或拒绝。
  • 误区:削峰只靠 MQ。内存队列、令牌桶、漏桶也能做缓冲整形,选型看持久化与跨进程需求。

追问

  • 问:削峰保护的是谁?答:下游 DB、缓存、外部接口与消费者,避免被瞬时突发打满。
  • 问:填谷在实时系统怎么体现?答:消费速率跟随下游能力,积压在流量回落后逐步排空。

09.2.2.3-002 队列缓冲在链路中的位置(入口 MQ / 内存队列)怎么放?

一句话结论

入口 MQ 用于跨进程持久化削峰,消息可重试、可回溯;内存队列用于进程内短时缓冲,延迟低但不持久;放置位置在入口受理之后、下游处理之前,按是否需要持久化与跨进程选择。

概念解释

  • 内存队列:本地缓冲,快,进程丢失即失效。
  • MQ:分布式缓冲,持久化,支持重试与死信。
  • 位置:接收请求 → 队列 → 消费者 → 下游。

原理流程

入口请求 → [内存队列 / MQ] → 消费者匀速处理

常见误区

  • 误区:所有削峰都上 MQ。短时内存请求用 MQ 增加往返与复杂度;反之需要持久化的任务不能只放内存队列。
  • 误区:队列放在下游之后。缓冲必须在到达下游之前,否则下游已经被冲击。

追问

  • 问:什么时候用 MQ?答:需要持久化、跨实例消费、失败重试与积压回溯时。
  • 问:内存队列适合什么?答:进程内异步化解耦、短时等待,任务可快速重建或容忍丢失。

09.2.2.3-003 下游按自身能力匀速消费怎么实现?

一句话结论

消费者按下游安全速率控制取出节奏:固定速率拉取、批量大小与并发度受下游能力约束;消费速率对齐下游压测得出的安全 QPS/连接数,下游变慢时自动降速,不强行推送。

概念解释

  • 消费速率 μ:下游安全能力。
  • 并发度:消费者数量 × 每消费者并发。
  • 自适应:下游 RT/错误率上升时降低消费速率。

原理流程

消费者按 μ 从队列取任务
  批量大小 / 并发度对齐下游能力
  下游压力升高 → 降速 / 熔断

常见误区

  • 误区:消费者越多消费越快。下游能力与分区数限制在前面,盲目加消费者只会增加竞争。
  • 误区:匀速消费等于每条间隔固定时间。批量场景按批次速率控制,关键是下游不被超载。

追问

  • 问:消费速率依据什么定?答:下游压测安全水位、连接池上限与 RT 拐点,留余量。
  • 问:如何避免消费冲击下游?答:限速、批量控制、隔离连接池、下游熔断联动。

09.2.2.3-004 背压是什么?与限流有什么关系?

一句话结论

背压是消费端把“处理不过来”的信号反馈给生产端,让生产端降速;限流是入口按预设阈值拒绝或限速;背压是基于实际消费能力的反馈式控制,限流是基于容量配额的前置控制,两者可配合。

概念解释

  • 背压:下游 → 上游的压力反馈。
  • 限流:入口 → 请求的速率控制。
  • 关系:背压动态调整生产速率,限流守住容量下限。

原理流程

消费变慢 → 队列增长 / 反馈信号
  → 生产端降速
限流:超过静态阈值即拒绝/排队

常见误区

  • 误区:背压就是限流。背压由消费能力驱动反馈,限流规则是预先设定的固定配额。
  • 误区:有队列就有背压。队列只是缓冲,没有向上游反馈降速机制时,积压不会自动传递回去。

追问

  • 问:背压常见实现?答:有界队列满后生产者阻塞/降级、流式协议的流量控制、消费者主动拉取(pull)。
  • 问:背压在异步 MQ 链路怎么体现?答:消费积压反推到入口限流或生产限速,不能只靠消费者硬扛。

09.2.2.3-005 背压如何从消费端向上游传递?

一句话结论

通过队列水位、消费者反馈信号或协议流控逐层向上传递:下游告知上游降低生产速率;同步调用可阻塞生产者,异步链路通过积压指标反馈到入口限流/生产限速,逐级传导直至源头。

概念解释

  • 信号载体:队列长度、等待时长、ACK 速率。
  • 传递方向:消费 → 生产 → 上游入口。
  • 方式:阻塞、拒绝、降速、反馈帧。

原理流程

消费者慢 → 队列水位升高
  → 生产者收到反馈 → 降速
    → 上游入口收紧限流

常见误区

  • 误区:背压能自动跨所有异步层传递。MQ 解耦后默认不背压,需要监控积压并在入口配置限流联动。
  • 误区:背压传递越快越好。逐级有缓冲与延迟,反馈过晚仍会经历一段积压。

追问

  • 问:pull 模型为什么天然带背压?答:消费者按能力拉取,生产者不会无约束推送。
  • 问:背压反馈看哪些指标?答:队列 lag、消费速率、等待 P99、消费者并发占用。

09.2.2.3-006 有界队列为什么是削峰的前提?

一句话结论

有界队列给积压设硬上限,超限触发拒绝/降级/背压,保护内存与在途资源;无界队列把过载延后为内存耗尽或超时爆炸,无法真正保护系统,因此削峰队列必须容量可控。

概念解释

  • 上限:队列长度对应可接受积压量。
  • 超限动作:拒绝、入备用通道、降级。
  • 可观测:水位与等待时长。

原理流程

有界队列:长度 ≤ 上限
  满 → 拒绝/背压/降级
无界:积压无限增长 → OOM / 超时

常见误区

  • 误区:队列设大一些就安全。大无界队列只是推迟崩溃,积压超时后业务照样失败。
  • 误区:有界队列会损失请求。超出能力的请求本来就不该进入,拒绝并降级优于内存崩溃。

追问

  • 问:队列上限怎么估?答:可接受排队时长 × 消费速率 × 单任务内存,结合堆内存余量计算。
  • 问:有界队列满了优先什么动作?答:按业务:非核心拒绝、核心转备用通道、同步请求降级提示。

09.2.2.3-007 队列容量怎么估?积压时长上限是多少?

一句话结论

容量按“可接受积压时长 × 消费速率”估算任务条数,再乘单任务内存得到占用;积压时长上限由业务时效(如订单可等待分钟级)决定,超过时效的任务应丢弃或补偿,不继续占用队列。

概念解释

  • 容量公式:队列条数 ≈ 积压时长上限 × 消费速率。
  • 内存:条数 × 单任务对象大小。
  • 时效:业务可容忍的处理延迟。

原理流程

积压上限 T(业务时效)
队列条数 ≈ T × 消费速率 μ
内存占用 = 条数 × 单任务大小

常见误区

  • 误区:队列容量按峰值请求数一次性塞满。积压时长随之失控,任务过期执行无意义。
  • 误区:只估条数不估内存。任务上下文大时条数不多也会占满堆内存。

追问

  • 问:积压时长怎么定?答:按业务 SLA,超过该时长结果已无效,应走过期策略。
  • 问:容量不足先扩什么?答:先提升消费能力或入口限流,盲目加队列只是增加延迟缓冲。

09.2.2.3-008 队列无限堆积会发生什么?

一句话结论

积压持续增长会耗尽内存/磁盘,任务等待时长超过业务时效,消费者处理的都是过期任务,并触发 OOM、磁盘写满、连接占满与连锁超时;队列监控失效时表现为系统缓慢死亡。

概念解释

  • 内存/磁盘:队列任务持久占用存储。
  • 时效:过期任务执行结果无效。
  • 连锁:在途槽位占满,新请求无法进入。

原理流程

到达 > 消费 → 积压增长
  → 内存/磁盘告急
    → 等待超时 → 过期任务堆积
      → OOM / 连锁拒绝

常见误区

  • 误区:MQ 持久化就不会堆积爆炸。磁盘同样有上限,积压最终写满磁盘。
  • 误区:积压只是慢一点。过期任务与资源耗尽会把“慢”变成“不可用”。

追问

  • 问:积压早期信号是什么?答:队列 lag 上升、消费速率低于生产速率、等待 P99 变长。
  • 问:积压到什么程度必须止损?答:接近内存/磁盘水位或积压时长逼近业务上限时,入口限流 + 过期丢弃。

09.2.2.3-009 积压消息的生命周期与过期丢弃策略是什么?

一句话结论

消息进入队列带受理时间与时效上限;到期未处理标记过期,按业务选择丢弃、转死信或补偿;过期策略要明确哪些任务可丢、哪些必须保留,丢弃动作留痕并通知业务侧。

概念解释

  • 生命周期:入队 → 等待 → 消费 / 过期 / 死信。
  • 过期:超过时效窗口。
  • 分类:可丢弃的非关键任务 vs 必须补偿的关键任务。

原理流程

入队记录 timestamp + TTL
  超时未消费 → 过期判定
  → 丢弃 / 死信 / 补偿队列

常见误区

  • 误区:所有积压消息都该保留到处理完。过期结果无效,保留只会占用队列与存储。
  • 误区:静默丢弃消息。关键任务丢失必须可追溯,死信与日志不能少。

追问

  • 问:哪些消息不能过期丢弃?答:资金、订单确认等关键写任务,应进可靠补偿通道而非直接丢弃。
  • 问:过期消息怎么通知?答:状态回调、对账告警,必要时引导用户重新提交。

09.2.2.3-010 消费者扩容受什么限制?

一句话结论

消费者数量受分区/队列并行度、下游连接与能力、顺序约束、单机资源限制;增加消费者不能超过分区数(同一分区只能被一个消费者消费),也不能超过下游承受能力。

概念解释

  • 并行度:分区/队列数决定可并行消费者上限。
  • 下游:连接池、DB 能力约束总消费速率。
  • 顺序:有序 key 不能并发到多消费者。

原理流程

消费者数 ≤ 分区数
总消费速率 ≤ 下游能力
有序任务 → 单分区单消费者

常见误区

  • 误区:积压了就无限加消费者。分区数不够时新消费者闲置;下游连接打满后加消费者反而增加竞争。
  • 误区:消费者扩容线性提升吞吐。受分区与下游约束,存在并行上限。

追问

  • 问:分区数不足怎么办?答:提前规划分区容量;扩容分区需要迁移与重平衡,不能临时无限增加。
  • 问:消费者扩容先查什么?答:瓶颈在消费者 CPU、下游连接还是分区并行度,对症扩容。

09.2.2.3-011 批量消费如何提升吞吐?代价是什么?

一句话结论

批量一次取多条消息处理,减少拉取/网络/提交往返,提升吞吐;代价是单批失败影响面大、批内延迟升高、失败重试粒度变粗,需要批量幂等与部分失败处理。

概念解释

  • 收益:摊薄往返与提交成本。
  • 代价:批次等待凑数、失败重批、延迟增加。
  • 平衡:批大小在吞吐与延迟间取值。

原理流程

拉取 N 条 → 批量处理 / 批量提交
  失败 → 整批重试或拆分重试

常见误区

  • 误区:批越大吞吐越高。批过大增加等待凑批时间与单批失败成本,延迟长尾上升。
  • 误区:批量消费不用幂等。重试与重复投递下,批量写仍需逐条幂等保护。

追问

  • 问:批大小怎么定?答:按压测吞吐-延迟曲线取值,结合下游批量接口能力。
  • 问:批内部分失败怎么办?答:成功条目提交、失败条目重试或死信,避免整批重复执行成功条目。

09.2.2.3-012 顺序消息在扩容时有什么约束?

一句话结论

同一业务 key(如同一订单)的消息必须进入同一分区/队列并由单消费者顺序处理;扩容消费者不能把同一 key 分发到多实例,否则顺序被打乱;分区数决定有序并行度上限。

概念解释

  • 有序键:订单号、用户 ID、实体 ID。
  • 路由:key 哈希到固定分区。
  • 约束:分区内单消费者串行。

原理流程

key → 固定分区
分区 → 单消费者顺序消费
扩容只增加不同分区的消费者

常见误区

  • 误区:顺序消息可以随便加消费者并行。同一分区并发消费会乱序。
  • 误区:全局顺序最容易实现。全局顺序等于单分区串行,吞吐最低,应按 key 局部有序。

追问

  • 问:顺序消息失败重试怎么办?答:暂停后续消费,重试成功再继续,避免乱序跳过。
  • 问:扩容时如何保序?答:分区与 key 路由不变,新增消费者只接管新分区。

09.2.2.3-013 重复消费与幂等在削峰场景为什么必要?

一句话结论

队列削峰依赖重试、消费者重平衡与可能的重复投递,重复执行写副作用会造成重复下单/重复扣款;每条任务必须带幂等键,消费侧按幂等判断是否已处理,保证重复执行结果一致。

概念解释

  • 重复来源:重试、消费者重启、重平衡、生产重发。
  • 幂等:同一任务执行多次效果相同。
  • 手段:唯一业务键、去重表、状态机判断。

原理流程

任务带幂等键
  消费前查是否已处理
  已处理 → 直接确认;未处理 → 执行并记录

常见误区

  • 误区:MQ 不重复消费就不用幂等。至少一次投递语义下重复是常态,必须设计幂等。
  • 误区:数据库唯一约束就够了。跨表/多步操作需要业务状态与去重记录配合。

追问

  • 问:幂等键怎么选?答:业务唯一标识(订单号 + 操作类型),不用消息序号代替业务语义。
  • 问:幂等记录存哪?答:去重表/状态字段,与业务事务一致提交,避免记录与业务结果分离。

09.2.2.3-014 死信队列如何隔离坏消息?

一句话结论

多次重试失败、解析错误或过期的消息转入死信队列,不阻塞正常消费;死信单独监控、人工/自动补偿处理,避免坏消息反复重试卡住整个分区。

概念解释

  • 坏消息:格式错误、业务永久失败、重试耗尽。
  • 隔离:DLQ 与正常队列分开。
  • 处理:排查、修正、重放或丢弃。

原理流程

消费失败 → 重试 N 次
  仍失败 → 转入死信队列
  → 告警 + 人工/自动补偿

常见误区

  • 误区:死信队列不用管。坏消息堆积不处理会丢失业务,需要监控与处理流程。
  • 误区:所有失败都进死信。临时下游抖动应先重试,永久失败才进死信。

追问

  • 问:重试次数怎么定?答:区分可恢复错误(短暂故障)与永久错误(数据非法),分别配置重试与死信。
  • 问:死信消息如何重放?答:修正后按原主题重投,保留重试与幂等保护。

09.2.2.3-015 削峰队列的时延 SLA 如何承诺?

一句话结论

按业务可接受延迟定义队列等待 + 处理的时延目标(如 P95 在 N 秒内),用队列水位、消费速率与积压时长监控达标;承诺的是处理时效,不是“入队即完成”。

概念解释

  • SLA 口径:从入队到完成的端到端时延分位。
  • 监控:等待时长、消费耗时、积压 lag。
  • 分级:核心任务时延目标高于非核心。

原理流程

端到端时延 = 队列等待 + 消费处理
  P95 时延 ≤ 目标 SLA

常见误区

  • 误区:入队成功就算达成 SLA。用户感知的是最终结果,排队等待必须计入时延。
  • 误区:队列时延无法承诺。可通过消费速率、积压上限与限流控制在目标内。

追问

  • 问:时延超标怎么处置?答:扩容消费者、提升下游能力、入口限流或降级非核心任务。
  • 问:如何区分等待慢和处理慢?答:分段打点入队时间、开始消费时间、完成时间。

09.2.2.3-016 内存队列与 MQ 队列怎么选?

一句话结论

短时、可丢失、进程内解耦用内存队列;需要持久化、跨实例、重试回溯、削峰周期长用 MQ;两者可组合:内存缓冲 + MQ 持久化,按可靠性与复杂度需求选择。

概念解释

维度 内存队列 MQ
持久化 无 有
跨进程 否 是
延迟 低 有网络往返
重试/回溯 弱 强

原理流程

内存队列:进程内缓冲 → 消费者直接取走
MQ:消息投递并持久化 → 消费组拉取 → 确认后删除

常见误区

  • 误区:内存队列性能好就优先。进程重启丢失任务,关键写不能用。
  • 误区:MQ 一定比内存队列慢就不好。可靠性与分布式能力是内存队列替代不了的。

追问

  • 问:组合架构怎么搭?答:入口内存队列削短时峰,持久化任务写 MQ 落盘,消费者按能力消费。
  • 问:选型看哪些非功能需求?答:可靠性、投递语义、顺序、积压规模、消费组扩展。

09.2.2.3-017 生产者突发写入被队列拒绝怎么办?

一句话结论

队列满时按任务类型处理:核心可异步任务转备用通道/延迟重试,非核心拒绝并降级,同步请求返回受理失败提示;拒绝要记录指标,不能无限重试加剧积压。

概念解释

  • 拒绝路径:快速失败、备用队列、延迟重投。
  • 分类:关键写 vs 非核心任务。
  • 反馈:触发背压与入口限流。

原理流程

队列满
  → 核心:备用通道 / 降级受理
  → 非核心:拒绝 + 提示
  → 反馈生产端降速

常见误区

  • 误区:被拒后立即原地重试。重试叠加到突发流量上,加重队列压力。
  • 误区:队列满仍接收任务只存内存。超出容量的任务无法持久化,丢失风险更高。

追问

  • 问:备用通道有哪些?答:另一个 MQ 主题、本地落盘暂存、转异步任务表。
  • 问:如何避免拒绝风暴?答:退避重试 + 入口限流 + 降级兜底,拒绝率纳入监控。

09.2.2.3-018 积压监控与告警指标(lag、消费速率)有哪些?

一句话结论

核心指标:队列积压量(lag)、生产/消费速率、单条等待与处理时延、消费者在线数与并发、死信数;按趋势与水位告警,区分持续积压与短时波动。

概念解释

  • lag:未消费消息数。
  • 速率差:生产速率 − 消费速率。
  • 时延:等待 P99、处理 P99。

原理流程

lag 持续增长 + 消费速率 < 生产速率
  → 积压告警
等待时延逼近 SLA → 紧急告警

常见误区

  • 误区:只看消息总数。不看消费速率差,无法判断积压是在消化还是恶化。
  • 误区:积压一点就告警。需要持续窗口与阈值,避免短时峰值误报。

追问

  • 问:lag 单位怎么选?答:消息条数或积压时长,后者更贴近业务时效。
  • 问:告警分级怎么定?答:预警(lag 上升)、紧急(时延逼近 SLA 或消费停滞)。

09.2.2.3-019 削峰与限流如何配合?

一句话结论

限流在入口守住容量下限,队列在中间吸收可控突发;超过队列与消费能力的部分由限流拒绝或降级;先限流防止队列被打穿,队列负责平滑已放行流量,两者分层保护而非互相替代。

概念解释

  • 限流:入口速率/并发控制。
  • 队列:缓冲平滑已放行请求。
  • 边界:队列容量 + 消费能力决定可缓冲上限。

原理流程

入口 → 限流判定
  → 放行 → 队列缓冲 → 匀速消费
  → 超限 → 拒绝/降级

常见误区

  • 误区:有队列就不用限流。无入口约束,队列很快被打满,缓冲失效。
  • 误区:限流拒绝后任务进队列。被拒请求不应再占用队列槽位。

追问

  • 问:限流阈值和队列容量怎么联动?答:按消费速率与积压上限反推入口配额,保证队列不被持续打穿。
  • 问:下游故障时谁先动作?答:队列积压升高触发入口收紧限流,同时下游熔断停止消费无效任务。

09.2.2.3-020 消费失败重试与退避策略怎么设计?

一句话结论

可恢复错误按指数退避 + 有限次数重试,避免立即重试冲击下游;永久错误直接死信;重试与幂等配合,超过次数转入补偿通道;退避间隔加抖动,避免同步重试扎堆。

概念解释

  • 退避:间隔随次数指数增长。
  • 上限:最大重试次数,超过死信。
  • 抖动:打散重试时间,避免同步峰值。

原理流程

失败 → 短暂等待(退避+抖动) → 重试
  超过 N 次 → 死信 / 补偿队列

常见误区

  • 误区:失败立即重试。下游尚未恢复时重试加剧压力,形成重试风暴。
  • 误区:重试无限进行。坏消息长期卡住分区,必须有次数上限与死信出口。

追问

  • 问:哪些错误不该重试?答:参数非法、业务状态冲突等永久错误,重试无意义。
  • 问:重试如何防止副作用?答:每条任务幂等,重复执行不产生重复业务结果。