罗罗编程学习记录
本页内容 展开查看

09.12.4 容量水位与降级预案

所属:全栈开发面试题库 / 09 高阶架构:高并发与分布式 / 09.12 高可用与容灾

覆盖范围

  • 容量水位分级:绿色、黄色、橙色、红色
  • 降级预案体系:自动降级、手动降级
  • 降级策略与业务分级
  • 与 09.2 流量治理的呼应
  • 容量水位监控与告警

高频题速览

编号 题目 难度 频率
09.12.4-001 容量水位怎么分级 进阶 ★★★★☆
09.12.4-002 降级预案体系怎么建 进阶 ★★★★☆
09.12.4-003 自动降级和手动降级区别 基础 ★★★☆☆
09.12.4-004 业务怎么分级 进阶 ★★★★☆
09.12.4-005 水位告警阈值怎么设 进阶 ★★★☆☆
09.12.4-006 降级预案怎么演练 进阶 ★★★☆☆
09.12.4-007 容量水位和 09.2 什么关系 进阶 ★★★☆☆
09.12.4-008 降级后怎么恢复 基础 ★★★☆☆
09.12.4-009 容量水位怎么测算 进阶 ★★★☆☆
09.12.4-010 降级预案 checklist 进阶 ★★★☆☆

09.12.4-001 容量水位怎么分级?

一句话结论

容量水位按资源利用率分四级:绿色(< 60%,正常)、黄色(60%~80%,关注)、橙色(80%~90%,预警)、红色(> 90%,紧急);每级对应不同动作(扩容、降级、限流);水位是资源利用率,不是 QPS。

概念解释

  • 绿色:正常,资源充足。
  • 黄色:关注,准备扩容。
  • 橙色:预警,启动降级。
  • 红色:紧急,限流 + 降级。

原理流程

CPU 利用率:
  < 60%:绿色
  60~80%:黄色
  80~90%:橙色
  > 90%:红色

代码或图示

水位分级:
  绿 < 60%
  黄 60~80%
  橙 80~90%
  红 > 90%

常见误区

  • 误区:水位按 QPS 分。水位按资源利用率(CPU、内存、连接数),QPS 是结果。
  • 误区:水位阈值固定。按业务调整,CPU 型和 IO 型阈值不同。

追问

  • 问:哪些资源看水位?答:CPU、内存、磁盘 IO、网络、连接池。
  • 问:水位怎么监控?答:Prometheus + Grafana,每级告警。

09.12.4-002 降级预案体系怎么建?

一句话结论

降级预案体系:1. 业务分级(核心、重要、非核心);2. 每级降级策略(非核心功能关停、降级返回兜底数据);3. 自动触发(水位到橙色自动降级);4. 手动开关(紧急时一键降级);5. 演练验证。

概念解释

  • 业务分级:核心(下单、支付)、重要(商品浏览)、非核心(推荐、评论)。
  • 降级策略:非核心关停、返回兜底数据。
  • 自动 + 手动:自动触发,手动兜底。

原理流程

水位到橙色:
  自动降级:关推荐、关评论、返回兜底商品
水位到红色:
  限流 + 降级:只保核心下单

代码或图示

降级体系:
  业务分级 → 降级策略 → 自动触发 → 手动开关 → 演练

常见误区

  • 误区:降级就是返回错误。降级是返回兜底数据或关闭非核心功能,不是报错。
  • 误区:降级预案写了不演练。不演练紧急时不知道怎么操作。

追问

  • 问:降级策略细节?答:详见 09.2.2.2 降级预案隔离与兜底。
  • 问:降级开关怎么做?答:配置中心开关(Nacos/Apollo),一键切换。

09.12.4-003 自动降级和手动降级有什么区别?

一句话结论

自动降级由系统根据水位自动触发(CPU 高自动关推荐),响应快;手动降级由值班人员手动开关(紧急时关非核心),更可控;自动降级覆盖常见场景,手动降级处理异常情况。

概念解释

  • 自动:水位触发,秒级。
  • 手动:值班操作,分钟级。
  • 互补:自动 + 手动。

原理流程

自动:
  CPU > 80% → 自动关推荐
手动:
  值班发现异常 → 一键关评论

代码或图示

对比:
  自动:快,但不够灵活
  手动:慢,但可控

常见误区

  • 误区:自动降级就够了。自动降级不能覆盖所有场景,手动兜底。
  • 误区:手动降级太慢。紧急时手动开关秒级生效。

追问

  • 问:自动降级触发条件?答:水位到橙色、错误率超阈值、RT 超阈值。
  • 问:手动降级开关放哪?答:配置中心,值班可操作。

09.12.4-004 业务怎么分级?

一句话结论

业务按重要性分:P0 核心(下单、支付、登录,不能停)、P1 重要(商品浏览、购物车,影响体验)、P2 一般(推荐、评论、个性化,可关);降级时先关 P2,再 P1,保 P0。

概念解释

  • P0:核心交易,不能停。
  • P1:重要功能,影响体验。
  • P2:一般功能,可关停。

原理流程

降级顺序:
  先关 P2(推荐、评论)
  → 再降级 P1(商品返回兜底)
  → 保 P0(下单、支付)

代码或图示

分级:
  P0:下单、支付、登录
  P1:商品、购物车、搜索
  P2:推荐、评论、个性化

常见误区

  • 误区:所有功能都重要。降级要舍车保帅,P2 必须能关。
  • 误区:P0 不能降级。P0 也可能限流,但不能完全停。

追问

  • 问:怎么定 P0?答:不能停的核心交易,停了就资损或用户流失。
  • 问:P2 关了用户感知?答:P2 是锦上添花,关了影响小。

09.12.4-005 水位告警阈值怎么设?

一句话结论

告警阈值按水位分级设:黄色(60%)通知、橙色(80%)告警、红色(90%)紧急;告警渠道:黄色钉钉群、橙色电话 + 钉钉、红色电话 + 短信;阈值按业务调整,不要一刀切。

概念解释

  • 黄色:通知,值班关注。
  • 橙色:告警,值班介入。
  • 红色:紧急,电话呼叫。

原理流程

CPU 60% → 钉钉群通知
CPU 80% → 电话 + 钉钉
CPU 90% → 电话 + 短信

代码或图示

告警级别:
  黄:群通知
  橙:电话 + 群
  红:电话 + 短信

常见误区

  • 误区:所有指标都告警。告警太多疲劳,只告警关键指标。
  • 误区:阈值越严越好。太严频繁告警,值班疲劳。

追问

  • 问:哪些指标告警?答:CPU、内存、RT、错误率、水位。
  • 问:告警怎么收敛?答:聚合告警,避免告警风暴。

09.12.4-006 降级预案怎么演练?

一句话结论

降级预案定期演练:模拟水位到橙色,验证自动降级是否触发;模拟手动开关,验证非核心功能是否关停;演练记录时间线,发现问题修复;每季度至少一次。

概念解释

  • 演练:模拟故障,验证降级。
  • 自动降级:验证触发。
  • 手动降级:验证开关。

原理流程

1. 模拟 CPU 到 80%
2. 验证自动关推荐
3. 手动关评论
4. 验证核心下单正常
5. 恢复,记录

代码或图示

演练步骤:
  模拟水位 → 验证降级 → 恢复 → 记录 → 修复

常见误区

  • 误区:降级预案写了不演练。不演练紧急时不知道开关在哪。
  • 误区:演练不影响生产。预发环境演练,生产小范围。

追问

  • 问:演练频率?答:每季度一次,大版本前必做。
  • 问:演练谁参加?答:值班、开发、SRE。

09.12.4-007 容量水位和 09.2 什么关系?

一句话结论

09.2 讲流量治理(限流、熔断、降级算法),本节讲容量水位(资源利用率分级)和降级预案体系;09.2 是具体算法,本节是体系化决策;09.2.2.2 降级预案隔离与兜底讲降级策略,本节讲水位触发与预案体系。

概念解释

  • 09.2:限流、熔断、降级算法。
  • 本节:水位分级、预案体系、业务分级。
  • 关系:09.2 是手段,本节是决策。

原理流程

水位到橙色 → 触发降级(09.2 的降级策略)
水位到红色 → 触发限流(09.2 的限流算法)

代码或图示

交叉引用:
  09.2.1 限流算法 → 本节触发限流
  09.2.2 熔断降级 → 本节触发降级

常见误区

  • 误区:本节和 09.2 重复。09.2 讲算法,本节讲体系决策,角度不同。
  • 误区:水位就是限流。水位是资源利用率,限流是保护手段,水位触发限流。

追问

  • 问:限流算法细节?答:详见 09.2.1。
  • 问:降级策略细节?答:详见 09.2.2.2。

09.12.4-008 降级后怎么恢复?

一句话结论

降级后恢复:水位降到绿色,自动恢复(延迟几分钟,避免抖动);手动降级由值班手动恢复;恢复要逐步,避免一次性恢复导致流量突增;恢复后观察指标。

概念解释

  • 自动恢复:水位降,自动恢复。
  • 手动恢复:值班手动开关。
  • 逐步恢复:避免突增。

原理流程

水位降到绿色
  → 等 5 分钟(避免抖动)
  → 逐步恢复非核心功能
  → 观察指标

代码或图示

恢复流程:
  水位降 → 等待 → 逐步恢复 → 观察

常见误区

  • 误区:水位降了立即恢复。立即恢复可能流量突增导致再次降级。
  • 误区:恢复一次性全开。逐步恢复,观察。

追问

  • 问:恢复延迟多久?答:5~10 分钟,避免抖动。
  • 问:恢复后又降级?答:反复降级说明容量不足,要扩容。

09.12.4-009 容量水位怎么测算?

一句话结论

容量水位靠压测:单节点压测到极限 QPS,记录 CPU/内存利用率;线上水位 80% 对应 QPS 是压测极限的 80%;压测方法详见 09.13;水位测算要定期(大版本、流量增长)。

概念解释

  • 压测:找单节点极限 QPS。
  • 水位:80% 利用率对应 QPS。
  • 详见 09.13。

原理流程

压测单节点:
  CPU 100% 时 QPS = 1000
  → 80% 水位 QPS = 800
  → 线上超过 800 触发降级

代码或图示

测算:
  压测极限 → 水位对应 QPS
  定期重测(流量增长)

常见误区

  • 误区:水位凭经验。水位要压测,不是猜。
  • 误区:测一次就够。流量增长、代码变更,要定期重测。

追问

  • 问:压测方法?答:详见 09.13。
  • 问:什么时候重测?答:大版本上线、流量增长 50%、大促前。

09.12.4-010 降级预案 checklist 是什么?

一句话结论

checklist:1. 业务分级(P0/P1/P2);2. 每级降级策略(关什么、返回什么);3. 触发条件(水位、错误率);4. 自动/手动开关;5. 恢复流程;6. 演练记录;7. 责任人。

概念解释

  • checklist:逐项核对。
  • 业务分级、策略、触发、开关、恢复、演练、责任人。

原理流程

上线前核对:
  [ ] 业务分级清楚
  [ ] 降级策略写好
  [ ] 自动触发配好
  [ ] 手动开关可操作
  [ ] 恢复流程写好
  [ ] 演练过
  [ ] 责任人明确

代码或图示

checklist:
  分级 → 策略 → 触发 → 开关 → 恢复 → 演练 → 责任人

常见误区

  • 误区:降级预案写在文档里。要落到配置中心开关,值班可操作。
  • 误区:没有责任人。紧急时没人知道怎么操作。

追问

  • 问:checklist 谁维护?答:SRE + 业务负责人,定期更新。
  • 问:checklist 放哪?答:Wiki + 配置中心,值班可查。

待整理清单

  • [ ] 业务分级清单
  • [ ] 降级开关配置示例
  • [ ] 容量水位测算报告