13.8 阶段 7 容量、成本与故障应急
所属:全栈开发面试题库 / 学习路径 / 13 DevOps 与 SRE
本页目录
一、阶段定位
前面阶段解决了「上线、监控、安全」。本阶段解决两个运营问题:流量涨上来了,资源够不够、要不要扩容、成本怎么压;真出故障了,怎么在最短时间内恢复、怎么定位根因、怎么避免下次再犯。容量评估是「提前知道会不会炸」,故障应急是「炸了之后怎么不慌」。
不掌握本阶段会在后面具体卡在哪:
- 大促前不知道要准备多少机器,临时扩容导致新机器配置不一致。
- 云账单每月涨 30%,不知道钱花在哪。
- 故障时所有人都在群里问「怎么了」,没人知道谁在指挥、下一步做什么。
- 故障恢复后写复盘,只能写「重启好了」,说不清根因和改进项。
- 面试问「你们怎么应对大促」,只能答「加机器」,讲不清容量评估步骤和压测方法。
判断卡住的标志:(1) 让你说「如果流量翻 3 倍,你需要多少资源」,你算不出来;(2) 让你描述一次故障处理流程,你只能说「看日志、重启」。出现任一现象,先把本阶段过一遍再进 阶段 8 SRE 进阶(可选)。
二、阶段目标与投入
| 能力目标(可验证的行为) | 验证方式 |
|---|---|
| 能做一次容量评估:从 QPS 估算 CPU/内存/实例数 | 给出数字和计算依据 |
| 能做一次压测并出报告 | 报告含 QPS、P99、错误率、资源占用 |
| 能配 HPA(水平自动扩缩) | 流量涨时自动加 Pod |
| 能分析云账单,找出成本大户 | 给出降本建议 |
| 能按故障流程处理一次模拟故障 | 有指挥、有沟通、有恢复 |
| 能写一份故障复盘报告 | 含时间线、根因、改进项 |
| 能做一次预案演练 | 模拟故障时 runbook 能照做 |
建议学时:
- 全职:2 周,约 40 小时。容量评估与压测 10 小时、HPA 与弹性 6 小时、成本分析 6 小时、故障应急流程 8 小时、复盘与预案 6 小时、演练 4 小时。
- 在职:4 周,约 45 小时。
三、先修自检
| 先修项 | 合格标准 | 不合格时怎么办 |
|---|---|---|
| 监控 | 能看到 CPU/QPS/RT 指标 | 回 阶段 5 |
| K8s | 会配资源 requests/limits | 回 阶段 3 |
| 发布 | 会回滚 | 回 阶段 4 |
四、知识地图
| 模块 | 知识点 | 掌握程度 | 对应题库章节 |
|---|---|---|---|
| 容量评估 | QPS→资源估算、水位线、冗余 | 能讲清原理 | 09.1 高并发基础 |
| 压测 | 工具、场景、指标、瓶颈定位 | 会用 | 09.1 高并发基础 |
| 弹性伸缩 | HPA/VPA、Cluster Autoscaler | 会用 | 08.2 Kubernetes |
| 成本治理 | 资源浪费、Spot 实例、右尺寸 | 会用 | 08.9 云平台与Serverless |
| 故障应急 | 指挥、沟通、恢复、根因 | 能讲清原理 | 11.1 全链路设计 |
| 复盘 | 时间线、5 Whys、改进项 | 会写 | 11.1 全链路设计 |
| 预案 | runbook、演练、回退 | 会用 | 11.1 全链路设计 |
五、分模块精讲
5.1 容量评估:从 QPS 到实例数
为什么需要它:不知道一台机器能扛多少 QPS,就不知道要备几台。大促前拍脑袋加机器,要么浪费钱,要么不够用。
核心机制:
- 第一步:单实例压测,拿到单实例能稳定扛的 QPS(P99 在目标内、错误率为 0)。
- 第二步:算目标实例数 = 目标 QPS / 单实例 QPS。
- 第三步:加冗余(通常 30%–50%),应对流量波动和单实例故障。
- 第四步:水位线(CPU 日常 40%–60%,不要跑到 80%)。
最小可运行示例:
单实例压测结果:CPU 60% 时能扛 500 QPS,P99 80ms
目标 QPS:3000
所需实例数 = 3000 / 500 = 6
加 50% 冗余 = 9 台
日常水位线:CPU 不超过 60%
常见坑:
| 现象 | 原因 | 修法 |
|---|---|---|
| 压测单实例扛 500 QPS,实际跑起来只有 300 | 压测环境和生产不一致 | 用生产同规格机器压 |
| 加了冗余还是不够 | 没算数据库和下游依赖 | 容量评估要算全链路 |
5.2 压测与瓶颈定位
为什么需要它:压测不是为了证明「能跑」,是为了找到「在哪一步开始变慢」。找不到瓶颈,扩容就是浪费钱。
核心机制:
- 工具:k6(脚本灵活)、wrk2(轻量)、JMeter(图形界面)。
- 场景:基准压测(稳定 QPS 跑 10 分钟)、峰值压测(逐步加压)、链路压测(模拟真实用户路径)。
- 指标:QPS、P50/P95/P99、错误率、CPU、内存、网络、数据库连接数、慢查询。
- 瓶颈定位:CPU 高→代码计算瓶颈;慢查询→数据库索引;连接池满→下游慢;RT 涨但 CPU 不高→IO 等待。
最小可运行示例(k6 脚本):
import http from 'k6/http';
import { check } from 'k6';
export const options = {
vus: 100,
duration: '2m',
};
export default function () {
const res = http.get('http://myapp/health');
check(res, { 'status 200': (r) => r.status === 200 });
}
常见坑:
| 现象 | 原因 | 修法 |
|---|---|---|
| 压测结果和实际差很多 | 压测脚本太简单 | 模拟真实业务路径 |
| 压测时数据库被打挂 | 没隔离压测数据 | 用影子库或压测数据 |
| P99 很高但平均值正常 | 少量慢请求拖尾 | 查慢请求来源 |
5.3 HPA 与弹性伸缩
为什么需要它:流量有波峰波谷,白天流量高、凌晨流量低。固定实例数要么浪费钱,要么高峰期不够用。HPA 自动根据指标扩缩。
核心机制:
- HPA(Horizontal Pod Autoscaler):按 CPU/内存/自定义指标(QPS)自动调整 Pod 副本数。
- 前提:Pod 要配 requests,HPA 才能算使用率。
- 冷却时间:扩容快(秒级),缩容慢(默认 5 分钟),避免抖动。
- Cluster Autoscaler:Pod 调度不下时自动加节点。
最小可运行示例:
apiVersion: autoscaling/v2
kind: HorizontalPodAutoscaler
metadata:
name: myapp-hpa
spec:
scaleTargetRef:
apiVersion: apps/v1
kind: Deployment
name: myapp
minReplicas: 3
maxReplicas: 20
metrics:
- type: Resource
resource:
name: cpu
target:
type: Utilization
averageUtilization: 60
常见坑:
| 现象 | 原因 | 修法 |
|---|---|---|
| HPA 不生效 | 没配 requests | 给 Pod 配 requests |
| 扩容了但调度不下去 | 节点资源不够 | 配 Cluster Autoscaler |
| 频繁扩缩抖动 | 冷却时间太短 | 加 stabilizationWindowSeconds |
5.4 成本治理
为什么需要它:云上资源是按月付费的,很多团队的账单里 30% 是浪费(没用到的磁盘、超配的机器、忘记删的测试环境)。
核心机制:
- 找大户:按 namespace、按实例、按服务拆分账单。
- 右尺寸:把 CPU/内存 requests 配到实际使用的 1.2 倍,不要配到 4 核 8G 但实际用 0.5 核。
- Spot 实例:无状态服务用 Spot(便宜 60%–70%),但要能容忍被回收。
- 清理:测试环境夜间关、不用的磁盘删、旧镜像清。
最小可运行示例:
# 看每个 namespace 的资源请求
kubectl top nodes
kubectl describe nodes | grep -A 5 "Allocated resources"
# 找出 requests 远大于实际使用的 Pod
# 对比 kubectl top pod(实际使用)和 Pod spec 里的 requests
常见坑:
| 现象 | 原因 | 修法 |
|---|---|---|
| 账单每月涨 30% | 没人管资源使用 | 定期 review 右尺寸 |
| 测试环境忘了关 | 没有自动关停 | 配定时任务或预算告警 |
| Spot 实例被回收业务挂 | 没配 Pod 中断处理 | 加 terminationGracePeriodSeconds 和优雅终止 |
5.5 故障应急流程
为什么需要它:故障时最怕的是「谁都在说话、没人在做决定」。流程的作用是让每个人知道自己该做什么,而不是临场想。
核心机制:
- 角色:IC(Incident Commander,指挥,不做具体操作)、操作员(执行恢复)、沟通(同步状态)。
- 步骤:发现→定级→成立指挥组→止损(回滚/切流/扩容)→定位根因→恢复→复盘。
- 止损优先于根因:先恢复服务,再查为什么。不要在故障现场调试代码。
- 沟通节奏:每 15 分钟在群里同步一次进展,不要让大家等。
最小可运行示例(一次典型故障的时间线):
14:00 告警触发:错误率 5%
14:01 IC 上线,拉群,通知相关人
14:03 确认:新版发布后开始报错
14:05 决定回滚
14:08 回滚完成,错误率恢复
14:10 通知群:已恢复
14:30 开始查根因
17:00 复盘会
常见坑:
| 现象 | 原因 | 修法 |
|---|---|---|
| 故障时没人指挥 | 没指定 IC | 提前指定 oncall 和 IC |
| 一直在查根因忘了恢复 | 止损优先 | 先回滚恢复,再查 |
| 群里没人知道进展 | 没定期同步 | 每 15 分钟发一次更新 |
5.6 故障复盘与预案
为什么需要它:不复盘的团队,同样的故障会反复发生。复盘不是为了追责,是为了找到系统里的薄弱点并修掉。
核心机制:
- 复盘报告要素:时间线、影响(多少用户、多久)、根因、改进项(有负责人、有截止日期)。
- 5 Whys:连续问 5 个为什么,挖到系统层面的根因而不是人的失误。
- 预案(runbook):常见故障的处理步骤写下来,演练时照做。
- 演练:定期模拟故障(如杀一个 Pod、断一个数据库连接),验证 runbook 能不能用。
最小可运行示例(5 Whys 示例):
问题:订单接口 500 错误
为什么 1:数据库连接池满了
为什么 2:慢查询导致连接不释放
为什么 3:新加的 SQL 没走索引
为什么 4:Code Review 没发现
为什么 5:没有 CI 检查 SQL 索引
改进项:加 CI 检查 SQL 执行计划
常见坑:
| 现象 | 原因 | 修法 |
|---|---|---|
| 复盘写成「某同学操作失误」 | 追责文化 | 对事不对人,找系统原因 |
| 改进项没人跟进 | 没指定负责人和截止日 | 每条改进项要有 owner 和日期 |
| runbook 写了但没人看 | 从没演练过 | 每季度演练一次 |
六、分层练习
6.1 复现型
| 练习 | 要求 | 验收标准 | 预计耗时 |
|---|---|---|---|
| 做一次单实例压测 | k6 压 10 分钟 | 出 QPS/P99/错误率数据 | 2 小时 |
| 配 HPA | CPU 超 60% 自动扩 | 压测时 Pod 数自动涨 | 2 小时 |
| 配 Pod 优雅终止 | preStop + terminationGrace | 滚动发布时无 502 | 1 小时 |
6.2 改造型
| 练习 | 要求 | 验收标准 | 预计耗时 |
|---|---|---|---|
| 做一次容量评估 | 从 QPS 算实例数 | 给出数字和依据 | 2 小时 |
| 右尺寸一个 namespace | 对比 requests 和实际使用 | 降低 20% 请求量 | 2 小时 |
| 写一份 runbook | 接口 500 错误处理步骤 | 新人能照做 | 2 小时 |
6.3 设计型
| 练习 | 要求 | 验收标准 | 预计耗时 |
|---|---|---|---|
| 设计大促容量方案 | 含压测、扩容、回滚、监控 | 能在评审会上讲清 | 3 小时 |
| 做一次故障演练 | 模拟数据库慢查询 | 按 runbook 恢复 | 3 小时 |
| 写一份复盘报告 | 用 5 Whys | 有时间线、根因、改进项 | 2 小时 |
七、排障表
| 现象 | 可能原因 | 排查步骤 | 解决办法 |
|---|---|---|---|
| CPU 打满 | 代码计算或死循环 | top、profile | 限流、扩容、修代码 |
| 内存涨不停 | 内存泄漏 | 看内存趋势、dump | 修代码或临时扩容 |
| 数据库慢查询 | 缺索引或数据量大 | 看慢查询日志、explain | 加索引、优化 SQL |
| HPA 不扩容 | 没配 requests | kubectl describe hpa | 配 requests |
| 云账单涨太快 | 资源浪费 | 按 namespace 拆账单 | 右尺寸、清理测试环境 |
| 故障时手忙脚乱 | 没流程 | 复盘 | 提前指定 IC、写 runbook |
| 回滚后还有问题 | 数据库 schema 不兼容 | 看新 Pod 日志 | 回滚数据库迁移 |
八、出口条件
全部勾选后进入 阶段 8 SRE 进阶(可选)。
- [ ] 能从单实例压测结果算出目标实例数,并加冗余
- [ ] 能配 HPA,流量涨时自动扩容
- [ ] 能分析云账单,找出成本大户并给出降本建议
- [ ] 能说清故障应急的角色分工(IC/操作员/沟通)
- [ ] 能写一份含 5 Whys 的复盘报告
- [ ] 能说清为什么止损优先于根因定位
自测题:
- 容量评估的步骤是什么?
- 要点:单实例压测→算实例数→加冗余→定水位线。
- HPA 为什么要配 requests?
- 要点:HPA 靠 requests 算使用率,没 requests 无法计算。
- 故障应急时 IC 的职责是什么?
- 要点:指挥,不做具体操作;决定下一步、协调资源。
- 为什么止损优先于根因?
- 要点:恢复服务比查清原因重要;根因可以恢复后再查。
- 5 Whys 的目的是什么?
- 要点:挖到系统层面的根因,而不是停在「人失误」。
- Spot 实例适合什么场景?
- 要点:无状态、能容忍被回收的服务;便宜但要配中断处理。