罗罗编程学习记录 全栈面试题库
本页导航 展开查看

13.8 阶段 7 容量、成本与故障应急

所属:全栈开发面试题库 / 学习路径 / 13 DevOps 与 SRE

本页目录

一、阶段定位

前面阶段解决了「上线、监控、安全」。本阶段解决两个运营问题:流量涨上来了,资源够不够、要不要扩容、成本怎么压;真出故障了,怎么在最短时间内恢复、怎么定位根因、怎么避免下次再犯。容量评估是「提前知道会不会炸」,故障应急是「炸了之后怎么不慌」。

不掌握本阶段会在后面具体卡在哪:

  • 大促前不知道要准备多少机器,临时扩容导致新机器配置不一致。
  • 云账单每月涨 30%,不知道钱花在哪。
  • 故障时所有人都在群里问「怎么了」,没人知道谁在指挥、下一步做什么。
  • 故障恢复后写复盘,只能写「重启好了」,说不清根因和改进项。
  • 面试问「你们怎么应对大促」,只能答「加机器」,讲不清容量评估步骤和压测方法。

判断卡住的标志:(1) 让你说「如果流量翻 3 倍,你需要多少资源」,你算不出来;(2) 让你描述一次故障处理流程,你只能说「看日志、重启」。出现任一现象,先把本阶段过一遍再进 阶段 8 SRE 进阶(可选)。

二、阶段目标与投入

能力目标(可验证的行为) 验证方式
能做一次容量评估:从 QPS 估算 CPU/内存/实例数 给出数字和计算依据
能做一次压测并出报告 报告含 QPS、P99、错误率、资源占用
能配 HPA(水平自动扩缩) 流量涨时自动加 Pod
能分析云账单,找出成本大户 给出降本建议
能按故障流程处理一次模拟故障 有指挥、有沟通、有恢复
能写一份故障复盘报告 含时间线、根因、改进项
能做一次预案演练 模拟故障时 runbook 能照做

建议学时:

  • 全职:2 周,约 40 小时。容量评估与压测 10 小时、HPA 与弹性 6 小时、成本分析 6 小时、故障应急流程 8 小时、复盘与预案 6 小时、演练 4 小时。
  • 在职:4 周,约 45 小时。

三、先修自检

先修项 合格标准 不合格时怎么办
监控 能看到 CPU/QPS/RT 指标 回 阶段 5
K8s 会配资源 requests/limits 回 阶段 3
发布 会回滚 回 阶段 4

四、知识地图

模块 知识点 掌握程度 对应题库章节
容量评估 QPS→资源估算、水位线、冗余 能讲清原理 09.1 高并发基础
压测 工具、场景、指标、瓶颈定位 会用 09.1 高并发基础
弹性伸缩 HPA/VPA、Cluster Autoscaler 会用 08.2 Kubernetes
成本治理 资源浪费、Spot 实例、右尺寸 会用 08.9 云平台与Serverless
故障应急 指挥、沟通、恢复、根因 能讲清原理 11.1 全链路设计
复盘 时间线、5 Whys、改进项 会写 11.1 全链路设计
预案 runbook、演练、回退 会用 11.1 全链路设计

五、分模块精讲

5.1 容量评估:从 QPS 到实例数

为什么需要它:不知道一台机器能扛多少 QPS,就不知道要备几台。大促前拍脑袋加机器,要么浪费钱,要么不够用。

核心机制:

  • 第一步:单实例压测,拿到单实例能稳定扛的 QPS(P99 在目标内、错误率为 0)。
  • 第二步:算目标实例数 = 目标 QPS / 单实例 QPS。
  • 第三步:加冗余(通常 30%–50%),应对流量波动和单实例故障。
  • 第四步:水位线(CPU 日常 40%–60%,不要跑到 80%)。

最小可运行示例:

单实例压测结果:CPU 60% 时能扛 500 QPS,P99 80ms
目标 QPS:3000
所需实例数 = 3000 / 500 = 6
加 50% 冗余 = 9 台
日常水位线:CPU 不超过 60%

常见坑:

现象 原因 修法
压测单实例扛 500 QPS,实际跑起来只有 300 压测环境和生产不一致 用生产同规格机器压
加了冗余还是不够 没算数据库和下游依赖 容量评估要算全链路

5.2 压测与瓶颈定位

为什么需要它:压测不是为了证明「能跑」,是为了找到「在哪一步开始变慢」。找不到瓶颈,扩容就是浪费钱。

核心机制:

  • 工具:k6(脚本灵活)、wrk2(轻量)、JMeter(图形界面)。
  • 场景:基准压测(稳定 QPS 跑 10 分钟)、峰值压测(逐步加压)、链路压测(模拟真实用户路径)。
  • 指标:QPS、P50/P95/P99、错误率、CPU、内存、网络、数据库连接数、慢查询。
  • 瓶颈定位:CPU 高→代码计算瓶颈;慢查询→数据库索引;连接池满→下游慢;RT 涨但 CPU 不高→IO 等待。

最小可运行示例(k6 脚本):

import http from 'k6/http';
import { check } from 'k6';

export const options = {
  vus: 100,
  duration: '2m',
};

export default function () {
  const res = http.get('http://myapp/health');
  check(res, { 'status 200': (r) => r.status === 200 });
}

常见坑:

现象 原因 修法
压测结果和实际差很多 压测脚本太简单 模拟真实业务路径
压测时数据库被打挂 没隔离压测数据 用影子库或压测数据
P99 很高但平均值正常 少量慢请求拖尾 查慢请求来源

5.3 HPA 与弹性伸缩

为什么需要它:流量有波峰波谷,白天流量高、凌晨流量低。固定实例数要么浪费钱,要么高峰期不够用。HPA 自动根据指标扩缩。

核心机制:

  • HPA(Horizontal Pod Autoscaler):按 CPU/内存/自定义指标(QPS)自动调整 Pod 副本数。
  • 前提:Pod 要配 requests,HPA 才能算使用率。
  • 冷却时间:扩容快(秒级),缩容慢(默认 5 分钟),避免抖动。
  • Cluster Autoscaler:Pod 调度不下时自动加节点。

最小可运行示例:

apiVersion: autoscaling/v2
kind: HorizontalPodAutoscaler
metadata:
  name: myapp-hpa
spec:
  scaleTargetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: myapp
  minReplicas: 3
  maxReplicas: 20
  metrics:
    - type: Resource
      resource:
        name: cpu
        target:
          type: Utilization
          averageUtilization: 60

常见坑:

现象 原因 修法
HPA 不生效 没配 requests 给 Pod 配 requests
扩容了但调度不下去 节点资源不够 配 Cluster Autoscaler
频繁扩缩抖动 冷却时间太短 加 stabilizationWindowSeconds

5.4 成本治理

为什么需要它:云上资源是按月付费的,很多团队的账单里 30% 是浪费(没用到的磁盘、超配的机器、忘记删的测试环境)。

核心机制:

  • 找大户:按 namespace、按实例、按服务拆分账单。
  • 右尺寸:把 CPU/内存 requests 配到实际使用的 1.2 倍,不要配到 4 核 8G 但实际用 0.5 核。
  • Spot 实例:无状态服务用 Spot(便宜 60%–70%),但要能容忍被回收。
  • 清理:测试环境夜间关、不用的磁盘删、旧镜像清。

最小可运行示例:

# 看每个 namespace 的资源请求
kubectl top nodes
kubectl describe nodes | grep -A 5 "Allocated resources"

# 找出 requests 远大于实际使用的 Pod
# 对比 kubectl top pod(实际使用)和 Pod spec 里的 requests

常见坑:

现象 原因 修法
账单每月涨 30% 没人管资源使用 定期 review 右尺寸
测试环境忘了关 没有自动关停 配定时任务或预算告警
Spot 实例被回收业务挂 没配 Pod 中断处理 加 terminationGracePeriodSeconds 和优雅终止

5.5 故障应急流程

为什么需要它:故障时最怕的是「谁都在说话、没人在做决定」。流程的作用是让每个人知道自己该做什么,而不是临场想。

核心机制:

  • 角色:IC(Incident Commander,指挥,不做具体操作)、操作员(执行恢复)、沟通(同步状态)。
  • 步骤:发现→定级→成立指挥组→止损(回滚/切流/扩容)→定位根因→恢复→复盘。
  • 止损优先于根因:先恢复服务,再查为什么。不要在故障现场调试代码。
  • 沟通节奏:每 15 分钟在群里同步一次进展,不要让大家等。

最小可运行示例(一次典型故障的时间线):

14:00 告警触发:错误率 5%
14:01 IC 上线,拉群,通知相关人
14:03 确认:新版发布后开始报错
14:05 决定回滚
14:08 回滚完成,错误率恢复
14:10 通知群:已恢复
14:30 开始查根因
17:00 复盘会

常见坑:

现象 原因 修法
故障时没人指挥 没指定 IC 提前指定 oncall 和 IC
一直在查根因忘了恢复 止损优先 先回滚恢复,再查
群里没人知道进展 没定期同步 每 15 分钟发一次更新

5.6 故障复盘与预案

为什么需要它:不复盘的团队,同样的故障会反复发生。复盘不是为了追责,是为了找到系统里的薄弱点并修掉。

核心机制:

  • 复盘报告要素:时间线、影响(多少用户、多久)、根因、改进项(有负责人、有截止日期)。
  • 5 Whys:连续问 5 个为什么,挖到系统层面的根因而不是人的失误。
  • 预案(runbook):常见故障的处理步骤写下来,演练时照做。
  • 演练:定期模拟故障(如杀一个 Pod、断一个数据库连接),验证 runbook 能不能用。

最小可运行示例(5 Whys 示例):

问题:订单接口 500 错误
为什么 1:数据库连接池满了
为什么 2:慢查询导致连接不释放
为什么 3:新加的 SQL 没走索引
为什么 4:Code Review 没发现
为什么 5:没有 CI 检查 SQL 索引
改进项:加 CI 检查 SQL 执行计划

常见坑:

现象 原因 修法
复盘写成「某同学操作失误」 追责文化 对事不对人,找系统原因
改进项没人跟进 没指定负责人和截止日 每条改进项要有 owner 和日期
runbook 写了但没人看 从没演练过 每季度演练一次

六、分层练习

6.1 复现型

练习 要求 验收标准 预计耗时
做一次单实例压测 k6 压 10 分钟 出 QPS/P99/错误率数据 2 小时
配 HPA CPU 超 60% 自动扩 压测时 Pod 数自动涨 2 小时
配 Pod 优雅终止 preStop + terminationGrace 滚动发布时无 502 1 小时

6.2 改造型

练习 要求 验收标准 预计耗时
做一次容量评估 从 QPS 算实例数 给出数字和依据 2 小时
右尺寸一个 namespace 对比 requests 和实际使用 降低 20% 请求量 2 小时
写一份 runbook 接口 500 错误处理步骤 新人能照做 2 小时

6.3 设计型

练习 要求 验收标准 预计耗时
设计大促容量方案 含压测、扩容、回滚、监控 能在评审会上讲清 3 小时
做一次故障演练 模拟数据库慢查询 按 runbook 恢复 3 小时
写一份复盘报告 用 5 Whys 有时间线、根因、改进项 2 小时

七、排障表

现象 可能原因 排查步骤 解决办法
CPU 打满 代码计算或死循环 top、profile 限流、扩容、修代码
内存涨不停 内存泄漏 看内存趋势、dump 修代码或临时扩容
数据库慢查询 缺索引或数据量大 看慢查询日志、explain 加索引、优化 SQL
HPA 不扩容 没配 requests kubectl describe hpa 配 requests
云账单涨太快 资源浪费 按 namespace 拆账单 右尺寸、清理测试环境
故障时手忙脚乱 没流程 复盘 提前指定 IC、写 runbook
回滚后还有问题 数据库 schema 不兼容 看新 Pod 日志 回滚数据库迁移

八、出口条件

全部勾选后进入 阶段 8 SRE 进阶(可选)。

  • [ ] 能从单实例压测结果算出目标实例数,并加冗余
  • [ ] 能配 HPA,流量涨时自动扩容
  • [ ] 能分析云账单,找出成本大户并给出降本建议
  • [ ] 能说清故障应急的角色分工(IC/操作员/沟通)
  • [ ] 能写一份含 5 Whys 的复盘报告
  • [ ] 能说清为什么止损优先于根因定位

自测题:

  1. 容量评估的步骤是什么?
    • 要点:单实例压测→算实例数→加冗余→定水位线。
  2. HPA 为什么要配 requests?
    • 要点:HPA 靠 requests 算使用率,没 requests 无法计算。
  3. 故障应急时 IC 的职责是什么?
    • 要点:指挥,不做具体操作;决定下一步、协调资源。
  4. 为什么止损优先于根因?
    • 要点:恢复服务比查清原因重要;根因可以恢复后再查。
  5. 5 Whys 的目的是什么?
    • 要点:挖到系统层面的根因,而不是停在「人失误」。
  6. Spot 实例适合什么场景?
    • 要点:无状态、能容忍被回收的服务;便宜但要配中断处理。