13.9 阶段 8 SRE 进阶(可选)
所属:全栈开发面试题库 / 学习路径 / 13 DevOps 与 SRE
本阶段是可选项:团队规模小、故障少、业务还在验证期的可以跳过。但如果你已经要负责一个线上服务的可用性、要和产品经理谈「能不能发版」、要在故障后说「这次事故吃掉了多少错误预算」,就需要本阶段的方法论。核心三块:SLO 与错误预算、变更管理、混沌工程。
本页目录
一、阶段定位
前面阶段解决了「能上线、能监控、能应急」。本阶段解决「怎么用数据和方法论让系统持续稳定,而不是靠人盯」。SLO 是用数字定义「什么叫稳定」,错误预算是用这个数字约束「能发多少版」,变更管理是把最危险的操作(发布、改配置、切流量)流程化,混沌工程是主动找弱点而不是等故障暴露。
不掌握本阶段会在后面具体卡在哪:
- 产品说「系统不能挂」,你说「好的」,但说不出「能接受多久挂一次、挂多久」。
- 出了故障,老板问「这次事故影响了多少用户」,你只能说「挺严重的」。
- 开发想天天发版,运维想锁住,两边吵架,没有客观依据。
- 从来没主动测试过系统的韧性,故障时才发现「一个节点挂了整个服务就没了」。
- 面试问「SRE 和传统运维有什么区别」,只能说「用自动化」,讲不清 SLO 和错误预算。
判断卡住的标志:(1) 让你给一个核心接口定 SLO,你不知道怎么定;(2) 让你说「错误预算用完了会怎样」,你答不上来。出现任一现象,先把本阶段过一遍;觉得用不上可以跳过,直接看 13.10 从单机到多集群演进。
二、阶段目标与投入
| 能力目标(可验证的行为) | 验证方式 |
|---|---|
| 能给一个核心服务定义 SLI 和 SLO | 写出可计算的指标和目标 |
| 能算错误预算并跟踪消耗 | 看板显示预算剩余百分比 |
| 能根据错误预算决定发版节奏 | 预算耗尽时冻结新功能发布 |
| 能设计变更管理流程 | 变更有审批、有窗口、有回滚 |
| 能做一次混沌实验 | 杀一个 Pod / 断一个依赖,系统能自愈 |
| 能说清 SRE 与传统运维的区别 | 讲清 SLO、错误预算、自动化 |
建议学时:
- 全职:1.5 周,约 30 小时。SLO 与错误预算 8 小时、变更管理 6 小时、混沌工程 8 小时、复盘方法论 4 小时、综合练习 4 小时。
- 在职:3 周,约 35 小时。
三、先修自检
| 先修项 | 合格标准 | 不合格时怎么办 |
|---|---|---|
| 监控指标 | 能算 QPS、错误率、P99 | 回 阶段 5 |
| 故障应急 | 做过一次完整故障处理 | 回 阶段 7 |
| 发布流程 | 有 CI/CD 和回滚能力 | 回 阶段 4 |
四、知识地图
| 模块 | 知识点 | 掌握程度 | 对应题库章节 |
|---|---|---|---|
| SLI/SLO | 可用性、延迟、正确性 | 能讲清原理 | 08.4 CI/CD 与可观测性 |
| 错误预算 | 消耗、追踪、冻结 | 能讲清原理 | 08.4 CI/CD 与可观测性 |
| 变更管理 | 变更窗口、审批、回滚 | 会用 | 08.4 CI/CD 与可观测性 |
| 混沌工程 | 实验、假设、爆炸半径 | 会用 | 09.1 高并发基础 |
| 复盘 | blameless、行动项 | 会写 | 11.1 全链路设计 |
五、分模块精讲
5.1 SLI 与 SLO:用数字定义稳定
为什么需要它:「系统稳定」是主观判断,不同人理解不同。SLI 是怎么算出来(如成功请求数/总请求数),SLO 是目标是多少(如 99.9%)。
核心机制:
- SLI(Service Level Indicator):服务水平指标,是实际测量值。常见:
- 可用性:成功请求数 / 总请求数。
- 延迟:P99 延迟在目标内的请求占比。
- 正确性:返回正确数据的请求占比。
- SLO(Service Level Objective):服务水平目标,是内部承诺。如可用性 99.9%、P99 < 200ms。
- SLA(Service Level Agreement):对用户的承诺,通常比 SLO 宽松(如 99.5%),带赔偿条款。
- 选 SLO 原则:只选用户真正关心的指标(登录成功率、下单成功率),不要把内部指标(CPU 使用率)当 SLO。
最小可运行示例:
SLI:成功率 = 2xx/3xx 请求数 / 总请求数
SLO:月度成功率 >= 99.9%
测量窗口:30 天滚动
常见坑:
| 现象 | 原因 | 修法 |
|---|---|---|
| SLO 定 99.99% 但做不到 | 目标定太高 | 从 99.9% 开始,逐步提升 |
| SLI 算出来 100% 但用户报障 | 只算 HTTP 200,没算业务正确 | 加业务正确性指标 |
5.2 错误预算:用数据约束发版
为什么需要它:SLO 不是用来「崇拜」的,是用来「花」的。错误预算 = 100% - SLO。如果 SLO 是 99.9%,那每个月有 0.1%(约 43 分钟)可以容忍不可用。这个预算用完了,就冻结新功能发布,优先修稳定性。
核心机制:
- 错误预算 = 1 - SLO。如 99.9% SLO,月度错误预算 43 分钟不可用。
- 预算消耗:每次故障吃掉多少预算,看板实时跟踪。
- 预算充足(>80% 剩余):可以正常发版、加新功能。
- 预算耗尽:冻结新功能发布,只修稳定性问题。
- 这是 SRE 和产品/开发谈判的客观依据,不是「运维觉得不能发」。
最小可运行示例:
SLO:月度可用性 99.9%
月度错误预算:30 天 × 0.1% = 43 分钟
本月已发生故障:两次,各 15 分钟,共 30 分钟
剩余预算:43 - 30 = 13 分钟
决策:剩余预算 30%,进入警戒,减少非必要发布
常见坑:
| 现象 | 原因 | 修法 |
|---|---|---|
| 错误预算从来没用完过 | SLO 定太松 | 逐步收紧 SLO |
| 预算耗尽但开发不停发版 | 没有流程 | 把错误预算写进发布流程 |
| 故障时没法算吃了多少预算 | SLI 没实时采集 | 建 SLI 看板 |
5.3 变更管理:把危险操作流程化
为什么需要它:线上事故 70% 由变更引起(发布、改配置、切流量)。变更管理不是「禁止变更」,是让变更可预期、可回滚、可审计。
核心机制:
- 变更分级:
- 常规变更:日常发布,走 CI/CD 自动流程。
- 重大变更:数据库 schema 变更、架构调整,需要审批和窗口。
- 紧急变更:故障恢复时的操作,事后补记录。
- 变更窗口:固定时间(如每周二、四上午),不要半夜发版。
- 变更前检查:回滚方案、监控看板、通知人、验证点。
- 变更后观察:发布后盯 15 分钟监控,有问题立刻回滚。
最小可运行示例(变更 checklist):
变更内容:xxx 服务 v1.2.0 发布
变更窗口:周四 10:00–10:30
回滚方案:kubectl rollout undo,预计 30 秒
验证点:登录成功率、P99、错误率
通知人:oncall、产品经理
观察时间:发布后 15 分钟
常见坑:
| 现象 | 原因 | 修法 |
|---|---|---|
| 半夜发版出问题没人知道 | 没通知 oncall | 发版必须通知 oncall |
| 改配置后忘记改回 | 没记录变更 | 变更走 GitOps,记录在 Git |
| 紧急变更没有事后记录 | 觉得不重要 | 紧急变更也要补记录 |
5.4 混沌工程:主动找弱点
为什么需要它:传统测试是验证「预期内的场景」,混沌工程是主动制造「预期外的故障」(杀 Pod、断网络、延迟依赖),看系统能不能扛住。
核心机制:
- 原则:先稳态假设(如「订单成功率应该 > 99.9%」),再实验,看假设是否被打破。
- 爆炸半径:先在小范围(1% 流量、单 Pod)做,不要一上来杀整个集群。
- 常见实验:
- 杀一个 Pod:看 Deployment 能不能自愈。
- 延迟数据库连接:看超时和降级有没有生效。
- 断 ZooKeeper/etcd:看服务能不能降级。
- 工具:Chaos Mesh(K8s 原生)、Litmus。
最小可运行示例(Chaos Mesh Pod 杀实验):
apiVersion: chaos-mesh.org/v1alpha1
kind: PodChaos
metadata:
name: kill-one-pod
spec:
action: pod-kill
mode: one
selector:
namespaces: [prod]
labelSelectors: {app: myapp}
duration: "60s"
常见坑:
| 现象 | 原因 | 修法 |
|---|---|---|
| 实验导致全站挂 | 爆炸半径太大 | 先在 staging 做,再小流量 |
| 做了实验但没结论 | 没设稳态假设 | 实验前先写预期结果 |
| 依赖服务没降级 | 没做超时和降级 | 加超时和 fallback |
5.5 无责复盘与行动项
为什么需要它:复盘的目的是改进系统,不是找人背锅。一旦复盘变成追责,下次出问题大家会隐瞒细节,系统永远不会变好。
核心机制:
- 无责(Blameless):对事不对人,问「系统为什么允许这个错误发生」,不问「谁犯的错」。
- 时间线:精确到分钟,谁做了什么、什么时候发现的、什么时候恢复的。
- 根因:用 5 Whys 挖到系统层面,不是停在「某同学误操作」。
- 行动项:每条有 owner、有截止日、有验收标准;没有 owner 的行动项等于没有。
最小可运行示例(复盘模板):
事故时间:2026-xx-xx 14:00–14:15
影响范围:订单接口成功率从 99.9% 降到 90%,约 5000 个用户受影响
时间线:
14:00 发布 v1.2.0
14:02 告警触发:错误率 5%
14:05 IC 上线,决定回滚
14:08 回滚完成
14:15 完全恢复
根因:新代码里一个 SQL 没走索引,高并发下连接池耗尽
行动项:
1. CI 加 SQL 执行计划检查(owner: 张三,截止:下周五)
2. 数据库连接池加告警(owner: 李四,截止:下周三)
常见坑:
| 现象 | 原因 | 修法 |
|---|---|---|
| 行动项没人跟进 | 没 owner 和截止日 | 每条必须有 owner 和日期 |
| 复盘写成追责报告 | 文化问题 | 强调无责复盘 |
| 同样的故障反复发生 | 行动项没落地 | 复盘后一周 review 行动项进度 |
六、分层练习
6.1 复现型
| 练习 | 要求 | 验收标准 | 预计耗时 |
|---|---|---|---|
| 定义 SLI/SLO | 选一个核心接口 | 写出 SLI 计算方式和 SLO 目标 | 2 小时 |
| 算错误预算 | 根据 SLO 算月度预算 | 看板显示剩余百分比 | 1 小时 |
| 杀一个 Pod | Chaos Mesh 实验 | Deployment 自动恢复 | 2 小时 |
6.2 改造型
| 练习 | 要求 | 验收标准 | 预计耗时 |
|---|---|---|---|
| 配错误预算告警 | 预算剩 20% 时告警 | oncall 收到通知 | 2 小时 |
| 写变更流程 | 发布 checklist | 每次发布有记录 | 2 小时 |
| 做一次故障演练 | 模拟数据库慢查询 | 按 runbook 恢复 | 3 小时 |
6.3 设计型
| 练习 | 要求 | 验收标准 | 预计耗时 |
|---|---|---|---|
| 设计 SLO 体系 | 3 个核心服务各定 SLO | 能和产品对齐 | 3 小时 |
| 写一份完整复盘 | 用 5 Whys 和无责原则 | 有时间线、根因、行动项 | 2 小时 |
七、排障表
| 现象 | 可能原因 | 排查步骤 | 解决办法 |
|---|---|---|---|
| SLI 算出来 100% 但用户报障 | 只算 HTTP 200 | 看业务日志 | 加业务正确性指标 |
| 错误预算消耗太快 | 故障太多 | 看故障时间线 | 冻结新功能,修稳定性 |
| 变更后系统挂了 | 没回滚方案 | 看发布记录 | 立刻回滚,事后复盘 |
| 混沌实验导致全站挂 | 爆炸半径太大 | 停止实验 | 缩小爆炸半径,先 staging |
| 行动项没人做 | 没 owner | 看复盘报告 | 指定 owner 和截止日 |
| SLO 定太高做不到 | 目标脱离实际 | 看历史数据 | 从 99.9% 逐步提升 |
八、出口条件
全部勾选后,本阶段(及整条 DevOps 路径)就完成了。可以去看 13.10 从单机到多集群演进 回顾整条路径。
- [ ] 能给一个核心服务写出 SLI(怎么算)和 SLO(目标是多少)
- [ ] 能算错误预算,并说清预算耗尽时该做什么
- [ ] 能说清变更管理的流程(窗口、审批、回滚、观察)
- [ ] 能做一次小范围混沌实验(杀一个 Pod),并验证系统自愈
- [ ] 能写一份无责复盘报告,含时间线、根因、行动项
- [ ] 能说清 SRE 与传统运维的核心区别(SLO、错误预算、自动化)
自测题:
- SLI、SLO、SLA 的区别?
- 要点:SLI 是实际测量值,SLO 是内部目标,SLA 是对用户的承诺(带赔偿)。
- 错误预算是什么?
- 要点:100% - SLO,是可容忍的不可用时间;预算用完冻结新功能。
- 变更管理的核心目的?
- 要点:降低变更引发的故障,让变更可预期、可回滚、可审计。
- 混沌工程的稳态假设是什么?
- 要点:实验前先写预期(如成功率 > 99.9%),实验后看假设是否被打破。
- 无责复盘的原则?
- 要点:对事不对人,找系统原因而非个人失误。
- 为什么 SLO 不能定 99.99%?
- 要点:越高成本越大,99.99% 要求全年不可用时间不到 1 小时,多数团队做不到。