09.12.4 容量水位与降级预案
所属:全栈开发面试题库 / 09 高阶架构:高并发与分布式 / 09.12 高可用与容灾
覆盖范围
- 容量水位分级:绿色、黄色、橙色、红色
- 降级预案体系:自动降级、手动降级
- 降级策略与业务分级
- 与 09.2 流量治理的呼应
- 容量水位监控与告警
高频题速览
| 编号 | 题目 | 难度 | 频率 |
|---|---|---|---|
| 09.12.4-001 | 容量水位怎么分级 | 进阶 | ★★★★☆ |
| 09.12.4-002 | 降级预案体系怎么建 | 进阶 | ★★★★☆ |
| 09.12.4-003 | 自动降级和手动降级区别 | 基础 | ★★★☆☆ |
| 09.12.4-004 | 业务怎么分级 | 进阶 | ★★★★☆ |
| 09.12.4-005 | 水位告警阈值怎么设 | 进阶 | ★★★☆☆ |
| 09.12.4-006 | 降级预案怎么演练 | 进阶 | ★★★☆☆ |
| 09.12.4-007 | 容量水位和 09.2 什么关系 | 进阶 | ★★★☆☆ |
| 09.12.4-008 | 降级后怎么恢复 | 基础 | ★★★☆☆ |
| 09.12.4-009 | 容量水位怎么测算 | 进阶 | ★★★☆☆ |
| 09.12.4-010 | 降级预案 checklist | 进阶 | ★★★☆☆ |
09.12.4-001 容量水位怎么分级?
一句话结论
容量水位按资源利用率分四级:绿色(< 60%,正常)、黄色(60%~80%,关注)、橙色(80%~90%,预警)、红色(> 90%,紧急);每级对应不同动作(扩容、降级、限流);水位是资源利用率,不是 QPS。
概念解释
- 绿色:正常,资源充足。
- 黄色:关注,准备扩容。
- 橙色:预警,启动降级。
- 红色:紧急,限流 + 降级。
原理流程
CPU 利用率:
< 60%:绿色
60~80%:黄色
80~90%:橙色
> 90%:红色
代码或图示
水位分级:
绿 < 60%
黄 60~80%
橙 80~90%
红 > 90%
常见误区
- 误区:水位按 QPS 分。水位按资源利用率(CPU、内存、连接数),QPS 是结果。
- 误区:水位阈值固定。按业务调整,CPU 型和 IO 型阈值不同。
追问
- 问:哪些资源看水位?答:CPU、内存、磁盘 IO、网络、连接池。
- 问:水位怎么监控?答:Prometheus + Grafana,每级告警。
09.12.4-002 降级预案体系怎么建?
一句话结论
降级预案体系:1. 业务分级(核心、重要、非核心);2. 每级降级策略(非核心功能关停、降级返回兜底数据);3. 自动触发(水位到橙色自动降级);4. 手动开关(紧急时一键降级);5. 演练验证。
概念解释
- 业务分级:核心(下单、支付)、重要(商品浏览)、非核心(推荐、评论)。
- 降级策略:非核心关停、返回兜底数据。
- 自动 + 手动:自动触发,手动兜底。
原理流程
水位到橙色:
自动降级:关推荐、关评论、返回兜底商品
水位到红色:
限流 + 降级:只保核心下单
代码或图示
降级体系:
业务分级 → 降级策略 → 自动触发 → 手动开关 → 演练
常见误区
- 误区:降级就是返回错误。降级是返回兜底数据或关闭非核心功能,不是报错。
- 误区:降级预案写了不演练。不演练紧急时不知道怎么操作。
追问
- 问:降级策略细节?答:详见 09.2.2.2 降级预案隔离与兜底。
- 问:降级开关怎么做?答:配置中心开关(Nacos/Apollo),一键切换。
09.12.4-003 自动降级和手动降级有什么区别?
一句话结论
自动降级由系统根据水位自动触发(CPU 高自动关推荐),响应快;手动降级由值班人员手动开关(紧急时关非核心),更可控;自动降级覆盖常见场景,手动降级处理异常情况。
概念解释
- 自动:水位触发,秒级。
- 手动:值班操作,分钟级。
- 互补:自动 + 手动。
原理流程
自动:
CPU > 80% → 自动关推荐
手动:
值班发现异常 → 一键关评论
代码或图示
对比:
自动:快,但不够灵活
手动:慢,但可控
常见误区
- 误区:自动降级就够了。自动降级不能覆盖所有场景,手动兜底。
- 误区:手动降级太慢。紧急时手动开关秒级生效。
追问
- 问:自动降级触发条件?答:水位到橙色、错误率超阈值、RT 超阈值。
- 问:手动降级开关放哪?答:配置中心,值班可操作。
09.12.4-004 业务怎么分级?
一句话结论
业务按重要性分:P0 核心(下单、支付、登录,不能停)、P1 重要(商品浏览、购物车,影响体验)、P2 一般(推荐、评论、个性化,可关);降级时先关 P2,再 P1,保 P0。
概念解释
- P0:核心交易,不能停。
- P1:重要功能,影响体验。
- P2:一般功能,可关停。
原理流程
降级顺序:
先关 P2(推荐、评论)
→ 再降级 P1(商品返回兜底)
→ 保 P0(下单、支付)
代码或图示
分级:
P0:下单、支付、登录
P1:商品、购物车、搜索
P2:推荐、评论、个性化
常见误区
- 误区:所有功能都重要。降级要舍车保帅,P2 必须能关。
- 误区:P0 不能降级。P0 也可能限流,但不能完全停。
追问
- 问:怎么定 P0?答:不能停的核心交易,停了就资损或用户流失。
- 问:P2 关了用户感知?答:P2 是锦上添花,关了影响小。
09.12.4-005 水位告警阈值怎么设?
一句话结论
告警阈值按水位分级设:黄色(60%)通知、橙色(80%)告警、红色(90%)紧急;告警渠道:黄色钉钉群、橙色电话 + 钉钉、红色电话 + 短信;阈值按业务调整,不要一刀切。
概念解释
- 黄色:通知,值班关注。
- 橙色:告警,值班介入。
- 红色:紧急,电话呼叫。
原理流程
CPU 60% → 钉钉群通知
CPU 80% → 电话 + 钉钉
CPU 90% → 电话 + 短信
代码或图示
告警级别:
黄:群通知
橙:电话 + 群
红:电话 + 短信
常见误区
- 误区:所有指标都告警。告警太多疲劳,只告警关键指标。
- 误区:阈值越严越好。太严频繁告警,值班疲劳。
追问
- 问:哪些指标告警?答:CPU、内存、RT、错误率、水位。
- 问:告警怎么收敛?答:聚合告警,避免告警风暴。
09.12.4-006 降级预案怎么演练?
一句话结论
降级预案定期演练:模拟水位到橙色,验证自动降级是否触发;模拟手动开关,验证非核心功能是否关停;演练记录时间线,发现问题修复;每季度至少一次。
概念解释
- 演练:模拟故障,验证降级。
- 自动降级:验证触发。
- 手动降级:验证开关。
原理流程
1. 模拟 CPU 到 80%
2. 验证自动关推荐
3. 手动关评论
4. 验证核心下单正常
5. 恢复,记录
代码或图示
演练步骤:
模拟水位 → 验证降级 → 恢复 → 记录 → 修复
常见误区
- 误区:降级预案写了不演练。不演练紧急时不知道开关在哪。
- 误区:演练不影响生产。预发环境演练,生产小范围。
追问
- 问:演练频率?答:每季度一次,大版本前必做。
- 问:演练谁参加?答:值班、开发、SRE。
09.12.4-007 容量水位和 09.2 什么关系?
一句话结论
09.2 讲流量治理(限流、熔断、降级算法),本节讲容量水位(资源利用率分级)和降级预案体系;09.2 是具体算法,本节是体系化决策;09.2.2.2 降级预案隔离与兜底讲降级策略,本节讲水位触发与预案体系。
概念解释
- 09.2:限流、熔断、降级算法。
- 本节:水位分级、预案体系、业务分级。
- 关系:09.2 是手段,本节是决策。
原理流程
水位到橙色 → 触发降级(09.2 的降级策略)
水位到红色 → 触发限流(09.2 的限流算法)
代码或图示
交叉引用:
09.2.1 限流算法 → 本节触发限流
09.2.2 熔断降级 → 本节触发降级
常见误区
- 误区:本节和 09.2 重复。09.2 讲算法,本节讲体系决策,角度不同。
- 误区:水位就是限流。水位是资源利用率,限流是保护手段,水位触发限流。
追问
- 问:限流算法细节?答:详见 09.2.1。
- 问:降级策略细节?答:详见 09.2.2.2。
09.12.4-008 降级后怎么恢复?
一句话结论
降级后恢复:水位降到绿色,自动恢复(延迟几分钟,避免抖动);手动降级由值班手动恢复;恢复要逐步,避免一次性恢复导致流量突增;恢复后观察指标。
概念解释
- 自动恢复:水位降,自动恢复。
- 手动恢复:值班手动开关。
- 逐步恢复:避免突增。
原理流程
水位降到绿色
→ 等 5 分钟(避免抖动)
→ 逐步恢复非核心功能
→ 观察指标
代码或图示
恢复流程:
水位降 → 等待 → 逐步恢复 → 观察
常见误区
- 误区:水位降了立即恢复。立即恢复可能流量突增导致再次降级。
- 误区:恢复一次性全开。逐步恢复,观察。
追问
- 问:恢复延迟多久?答:5~10 分钟,避免抖动。
- 问:恢复后又降级?答:反复降级说明容量不足,要扩容。
09.12.4-009 容量水位怎么测算?
一句话结论
容量水位靠压测:单节点压测到极限 QPS,记录 CPU/内存利用率;线上水位 80% 对应 QPS 是压测极限的 80%;压测方法详见 09.13;水位测算要定期(大版本、流量增长)。
概念解释
- 压测:找单节点极限 QPS。
- 水位:80% 利用率对应 QPS。
- 详见 09.13。
原理流程
压测单节点:
CPU 100% 时 QPS = 1000
→ 80% 水位 QPS = 800
→ 线上超过 800 触发降级
代码或图示
测算:
压测极限 → 水位对应 QPS
定期重测(流量增长)
常见误区
- 误区:水位凭经验。水位要压测,不是猜。
- 误区:测一次就够。流量增长、代码变更,要定期重测。
追问
- 问:压测方法?答:详见 09.13。
- 问:什么时候重测?答:大版本上线、流量增长 50%、大促前。
09.12.4-010 降级预案 checklist 是什么?
一句话结论
checklist:1. 业务分级(P0/P1/P2);2. 每级降级策略(关什么、返回什么);3. 触发条件(水位、错误率);4. 自动/手动开关;5. 恢复流程;6. 演练记录;7. 责任人。
概念解释
- checklist:逐项核对。
- 业务分级、策略、触发、开关、恢复、演练、责任人。
原理流程
上线前核对:
[ ] 业务分级清楚
[ ] 降级策略写好
[ ] 自动触发配好
[ ] 手动开关可操作
[ ] 恢复流程写好
[ ] 演练过
[ ] 责任人明确
代码或图示
checklist:
分级 → 策略 → 触发 → 开关 → 恢复 → 演练 → 责任人
常见误区
- 误区:降级预案写在文档里。要落到配置中心开关,值班可操作。
- 误区:没有责任人。紧急时没人知道怎么操作。
追问
- 问:checklist 谁维护?答:SRE + 业务负责人,定期更新。
- 问:checklist 放哪?答:Wiki + 配置中心,值班可查。
待整理清单
- [ ] 业务分级清单
- [ ] 降级开关配置示例
- [ ] 容量水位测算报告