罗罗编程学习记录 全栈面试题库
本页导航 展开查看

13.9 阶段 8 SRE 进阶(可选)

所属:全栈开发面试题库 / 学习路径 / 13 DevOps 与 SRE

本阶段是可选项:团队规模小、故障少、业务还在验证期的可以跳过。但如果你已经要负责一个线上服务的可用性、要和产品经理谈「能不能发版」、要在故障后说「这次事故吃掉了多少错误预算」,就需要本阶段的方法论。核心三块:SLO 与错误预算、变更管理、混沌工程。

本页目录

一、阶段定位

前面阶段解决了「能上线、能监控、能应急」。本阶段解决「怎么用数据和方法论让系统持续稳定,而不是靠人盯」。SLO 是用数字定义「什么叫稳定」,错误预算是用这个数字约束「能发多少版」,变更管理是把最危险的操作(发布、改配置、切流量)流程化,混沌工程是主动找弱点而不是等故障暴露。

不掌握本阶段会在后面具体卡在哪:

  • 产品说「系统不能挂」,你说「好的」,但说不出「能接受多久挂一次、挂多久」。
  • 出了故障,老板问「这次事故影响了多少用户」,你只能说「挺严重的」。
  • 开发想天天发版,运维想锁住,两边吵架,没有客观依据。
  • 从来没主动测试过系统的韧性,故障时才发现「一个节点挂了整个服务就没了」。
  • 面试问「SRE 和传统运维有什么区别」,只能说「用自动化」,讲不清 SLO 和错误预算。

判断卡住的标志:(1) 让你给一个核心接口定 SLO,你不知道怎么定;(2) 让你说「错误预算用完了会怎样」,你答不上来。出现任一现象,先把本阶段过一遍;觉得用不上可以跳过,直接看 13.10 从单机到多集群演进。

二、阶段目标与投入

能力目标(可验证的行为) 验证方式
能给一个核心服务定义 SLI 和 SLO 写出可计算的指标和目标
能算错误预算并跟踪消耗 看板显示预算剩余百分比
能根据错误预算决定发版节奏 预算耗尽时冻结新功能发布
能设计变更管理流程 变更有审批、有窗口、有回滚
能做一次混沌实验 杀一个 Pod / 断一个依赖,系统能自愈
能说清 SRE 与传统运维的区别 讲清 SLO、错误预算、自动化

建议学时:

  • 全职:1.5 周,约 30 小时。SLO 与错误预算 8 小时、变更管理 6 小时、混沌工程 8 小时、复盘方法论 4 小时、综合练习 4 小时。
  • 在职:3 周,约 35 小时。

三、先修自检

先修项 合格标准 不合格时怎么办
监控指标 能算 QPS、错误率、P99 回 阶段 5
故障应急 做过一次完整故障处理 回 阶段 7
发布流程 有 CI/CD 和回滚能力 回 阶段 4

四、知识地图

模块 知识点 掌握程度 对应题库章节
SLI/SLO 可用性、延迟、正确性 能讲清原理 08.4 CI/CD 与可观测性
错误预算 消耗、追踪、冻结 能讲清原理 08.4 CI/CD 与可观测性
变更管理 变更窗口、审批、回滚 会用 08.4 CI/CD 与可观测性
混沌工程 实验、假设、爆炸半径 会用 09.1 高并发基础
复盘 blameless、行动项 会写 11.1 全链路设计

五、分模块精讲

5.1 SLI 与 SLO:用数字定义稳定

为什么需要它:「系统稳定」是主观判断,不同人理解不同。SLI 是怎么算出来(如成功请求数/总请求数),SLO 是目标是多少(如 99.9%)。

核心机制:

  • SLI(Service Level Indicator):服务水平指标,是实际测量值。常见:
    • 可用性:成功请求数 / 总请求数。
    • 延迟:P99 延迟在目标内的请求占比。
    • 正确性:返回正确数据的请求占比。
  • SLO(Service Level Objective):服务水平目标,是内部承诺。如可用性 99.9%、P99 < 200ms。
  • SLA(Service Level Agreement):对用户的承诺,通常比 SLO 宽松(如 99.5%),带赔偿条款。
  • 选 SLO 原则:只选用户真正关心的指标(登录成功率、下单成功率),不要把内部指标(CPU 使用率)当 SLO。

最小可运行示例:

SLI:成功率 = 2xx/3xx 请求数 / 总请求数
SLO:月度成功率 >= 99.9%
测量窗口:30 天滚动

常见坑:

现象 原因 修法
SLO 定 99.99% 但做不到 目标定太高 从 99.9% 开始,逐步提升
SLI 算出来 100% 但用户报障 只算 HTTP 200,没算业务正确 加业务正确性指标

5.2 错误预算:用数据约束发版

为什么需要它:SLO 不是用来「崇拜」的,是用来「花」的。错误预算 = 100% - SLO。如果 SLO 是 99.9%,那每个月有 0.1%(约 43 分钟)可以容忍不可用。这个预算用完了,就冻结新功能发布,优先修稳定性。

核心机制:

  • 错误预算 = 1 - SLO。如 99.9% SLO,月度错误预算 43 分钟不可用。
  • 预算消耗:每次故障吃掉多少预算,看板实时跟踪。
  • 预算充足(>80% 剩余):可以正常发版、加新功能。
  • 预算耗尽:冻结新功能发布,只修稳定性问题。
  • 这是 SRE 和产品/开发谈判的客观依据,不是「运维觉得不能发」。

最小可运行示例:

SLO:月度可用性 99.9%
月度错误预算:30 天 × 0.1% = 43 分钟
本月已发生故障:两次,各 15 分钟,共 30 分钟
剩余预算:43 - 30 = 13 分钟
决策:剩余预算 30%,进入警戒,减少非必要发布

常见坑:

现象 原因 修法
错误预算从来没用完过 SLO 定太松 逐步收紧 SLO
预算耗尽但开发不停发版 没有流程 把错误预算写进发布流程
故障时没法算吃了多少预算 SLI 没实时采集 建 SLI 看板

5.3 变更管理:把危险操作流程化

为什么需要它:线上事故 70% 由变更引起(发布、改配置、切流量)。变更管理不是「禁止变更」,是让变更可预期、可回滚、可审计。

核心机制:

  • 变更分级:
    • 常规变更:日常发布,走 CI/CD 自动流程。
    • 重大变更:数据库 schema 变更、架构调整,需要审批和窗口。
    • 紧急变更:故障恢复时的操作,事后补记录。
  • 变更窗口:固定时间(如每周二、四上午),不要半夜发版。
  • 变更前检查:回滚方案、监控看板、通知人、验证点。
  • 变更后观察:发布后盯 15 分钟监控,有问题立刻回滚。

最小可运行示例(变更 checklist):

变更内容:xxx 服务 v1.2.0 发布
变更窗口:周四 10:00–10:30
回滚方案:kubectl rollout undo,预计 30 秒
验证点:登录成功率、P99、错误率
通知人:oncall、产品经理
观察时间:发布后 15 分钟

常见坑:

现象 原因 修法
半夜发版出问题没人知道 没通知 oncall 发版必须通知 oncall
改配置后忘记改回 没记录变更 变更走 GitOps,记录在 Git
紧急变更没有事后记录 觉得不重要 紧急变更也要补记录

5.4 混沌工程:主动找弱点

为什么需要它:传统测试是验证「预期内的场景」,混沌工程是主动制造「预期外的故障」(杀 Pod、断网络、延迟依赖),看系统能不能扛住。

核心机制:

  • 原则:先稳态假设(如「订单成功率应该 > 99.9%」),再实验,看假设是否被打破。
  • 爆炸半径:先在小范围(1% 流量、单 Pod)做,不要一上来杀整个集群。
  • 常见实验:
    • 杀一个 Pod:看 Deployment 能不能自愈。
    • 延迟数据库连接:看超时和降级有没有生效。
    • 断 ZooKeeper/etcd:看服务能不能降级。
  • 工具:Chaos Mesh(K8s 原生)、Litmus。

最小可运行示例(Chaos Mesh Pod 杀实验):

apiVersion: chaos-mesh.org/v1alpha1
kind: PodChaos
metadata:
  name: kill-one-pod
spec:
  action: pod-kill
  mode: one
  selector:
    namespaces: [prod]
    labelSelectors: {app: myapp}
  duration: "60s"

常见坑:

现象 原因 修法
实验导致全站挂 爆炸半径太大 先在 staging 做,再小流量
做了实验但没结论 没设稳态假设 实验前先写预期结果
依赖服务没降级 没做超时和降级 加超时和 fallback

5.5 无责复盘与行动项

为什么需要它:复盘的目的是改进系统,不是找人背锅。一旦复盘变成追责,下次出问题大家会隐瞒细节,系统永远不会变好。

核心机制:

  • 无责(Blameless):对事不对人,问「系统为什么允许这个错误发生」,不问「谁犯的错」。
  • 时间线:精确到分钟,谁做了什么、什么时候发现的、什么时候恢复的。
  • 根因:用 5 Whys 挖到系统层面,不是停在「某同学误操作」。
  • 行动项:每条有 owner、有截止日、有验收标准;没有 owner 的行动项等于没有。

最小可运行示例(复盘模板):

事故时间:2026-xx-xx 14:00–14:15
影响范围:订单接口成功率从 99.9% 降到 90%,约 5000 个用户受影响
时间线:
  14:00  发布 v1.2.0
  14:02  告警触发:错误率 5%
  14:05  IC 上线,决定回滚
  14:08  回滚完成
  14:15  完全恢复
根因:新代码里一个 SQL 没走索引,高并发下连接池耗尽
行动项:
  1. CI 加 SQL 执行计划检查(owner: 张三,截止:下周五)
  2. 数据库连接池加告警(owner: 李四,截止:下周三)

常见坑:

现象 原因 修法
行动项没人跟进 没 owner 和截止日 每条必须有 owner 和日期
复盘写成追责报告 文化问题 强调无责复盘
同样的故障反复发生 行动项没落地 复盘后一周 review 行动项进度

六、分层练习

6.1 复现型

练习 要求 验收标准 预计耗时
定义 SLI/SLO 选一个核心接口 写出 SLI 计算方式和 SLO 目标 2 小时
算错误预算 根据 SLO 算月度预算 看板显示剩余百分比 1 小时
杀一个 Pod Chaos Mesh 实验 Deployment 自动恢复 2 小时

6.2 改造型

练习 要求 验收标准 预计耗时
配错误预算告警 预算剩 20% 时告警 oncall 收到通知 2 小时
写变更流程 发布 checklist 每次发布有记录 2 小时
做一次故障演练 模拟数据库慢查询 按 runbook 恢复 3 小时

6.3 设计型

练习 要求 验收标准 预计耗时
设计 SLO 体系 3 个核心服务各定 SLO 能和产品对齐 3 小时
写一份完整复盘 用 5 Whys 和无责原则 有时间线、根因、行动项 2 小时

七、排障表

现象 可能原因 排查步骤 解决办法
SLI 算出来 100% 但用户报障 只算 HTTP 200 看业务日志 加业务正确性指标
错误预算消耗太快 故障太多 看故障时间线 冻结新功能,修稳定性
变更后系统挂了 没回滚方案 看发布记录 立刻回滚,事后复盘
混沌实验导致全站挂 爆炸半径太大 停止实验 缩小爆炸半径,先 staging
行动项没人做 没 owner 看复盘报告 指定 owner 和截止日
SLO 定太高做不到 目标脱离实际 看历史数据 从 99.9% 逐步提升

八、出口条件

全部勾选后,本阶段(及整条 DevOps 路径)就完成了。可以去看 13.10 从单机到多集群演进 回顾整条路径。

  • [ ] 能给一个核心服务写出 SLI(怎么算)和 SLO(目标是多少)
  • [ ] 能算错误预算,并说清预算耗尽时该做什么
  • [ ] 能说清变更管理的流程(窗口、审批、回滚、观察)
  • [ ] 能做一次小范围混沌实验(杀一个 Pod),并验证系统自愈
  • [ ] 能写一份无责复盘报告,含时间线、根因、行动项
  • [ ] 能说清 SRE 与传统运维的核心区别(SLO、错误预算、自动化)

自测题:

  1. SLI、SLO、SLA 的区别?
    • 要点:SLI 是实际测量值,SLO 是内部目标,SLA 是对用户的承诺(带赔偿)。
  2. 错误预算是什么?
    • 要点:100% - SLO,是可容忍的不可用时间;预算用完冻结新功能。
  3. 变更管理的核心目的?
    • 要点:降低变更引发的故障,让变更可预期、可回滚、可审计。
  4. 混沌工程的稳态假设是什么?
    • 要点:实验前先写预期(如成功率 > 99.9%),实验后看假设是否被打破。
  5. 无责复盘的原则?
    • 要点:对事不对人,找系统原因而非个人失误。
  6. 为什么 SLO 不能定 99.99%?
    • 要点:越高成本越大,99.99% 要求全年不可用时间不到 1 小时,多数团队做不到。