罗罗编程学习记录
本页内容 展开查看

09.12.3 混沌工程与故障演练

所属:全栈开发面试题库 / 09 高阶架构:高并发与分布式 / 09.12 高可用与容灾

覆盖范围

  • 混沌工程概念与原则
  • 故障注入:杀进程、网络延迟、磁盘满
  • 爆炸半径与演练流程
  • 常见故障场景
  • 混沌工程工具

高频题速览

编号 题目 难度 频率
09.12.3-001 混沌工程是什么 进阶 ★★★★☆
09.12.3-002 混沌工程原则 进阶 ★★★☆☆
09.12.3-003 故障注入有哪些类型 进阶 ★★★★☆
09.12.3-004 爆炸半径是什么 进阶 ★★★☆☆
09.12.3-005 故障演练流程 进阶 ★★★★☆
09.12.3-006 常见故障场景 基础 ★★★★☆
09.12.3-007 混沌工程工具 进阶 ★★★☆☆
09.12.3-008 混沌工程和压测区别 基础 ★★★☆☆
09.12.3-009 演练失败怎么办 进阶 ★★★☆☆
09.12.3-010 混沌工程频率 基础 ★★☆☆☆

09.12.3-001 混沌工程是什么?

一句话结论

混沌工程是主动在生产或预发环境注入故障(杀进程、网络延迟、磁盘满),验证系统在故障下的表现;通过主动暴露问题,提前发现脆弱点,提升系统韧性;不是制造混乱,是有控制的实验。

概念解释

  • 主动注入:故意制造故障。
  • 验证韧性:看系统在故障下是否降级、恢复。
  • 有控制:小范围、可回退、可观察。

原理流程

1. 定义稳态(正常业务指标)
2. 假设故障下系统行为
3. 注入故障(杀一个 Pod)
4. 观察指标是否符合预期
5. 不符合 → 修复脆弱点

代码或图示

混沌工程:
  假设:一个 Pod 挂了,系统不影响
  实验:杀一个 Pod
  观察:错误率、RT
  → 符合预期 → 验证韧性
  → 不符合 → 修复

常见误区

  • 误区:混沌工程是搞破坏。它是有控制的实验,小范围、可回退。
  • 误区:混沌工程只在生产做。预发环境先做,生产小范围做。

追问

  • 问:混沌工程谁提出的?答:Netflix 2011 年 Chaos Monkey,后发展为 Chaos Engineering。
  • 问:混沌工程目标?答:验证韧性,发现脆弱点,不是制造故障。

09.12.3-002 混沌工程原则是什么?

一句话结论

原则:定义稳态(正常指标)、提出假设(故障下行为)、在真实环境实验(生产流量)、自动化持续运行、最小爆炸半径、可观察可回退;混沌工程是持续实践,不是一次性演练。

概念解释

  • 稳态:正常业务指标(错误率、RT、转化率)。
  • 假设:故障下系统应该怎样(降级、不崩溃)。
  • 自动化:持续自动注入,不是手动。

原理流程

原则:
  1. 定义稳态
  2. 提出假设
  3. 真实环境实验
  4. 自动化
  5. 最小爆炸半径

代码或图示

反模式:
  - 无假设乱注入
  - 生产大范围注入
  - 手动偶尔做

常见误区

  • 误区:混沌工程就是随机杀进程。要基于假设,有控制地注入。
  • 误区:混沌工程一次性做。是持续实践,定期做。

追问

  • 问:稳态怎么定义?答:业务指标(下单成功率、支付成功率)。
  • 问:爆炸半径?答:详见 09.12.3-004。

09.12.3-003 故障注入有哪些类型?

一句话结论

故障注入类型:资源类(杀进程、CPU 打满、磁盘满)、网络类(延迟、丢包、分区)、依赖类(下游超时、5xx)、应用类(异常返回、慢 SQL);覆盖常见故障场景。

概念解释

  • 资源:杀 Pod、CPU、内存、磁盘。
  • 网络:延迟、丢包、分区。
  • 依赖:下游超时、错误。

原理流程

资源故障:
  kubectl delete pod
  CPU 打满 (stress-ng)
网络故障:
  tc netem 延迟
  iptables 丢包
依赖故障:
  下游返回 500

代码或图示

注入类型:
  - Pod 杀
  - 网络延迟
  - 磁盘满
  - 下游超时

常见误区

  • 误区:只杀进程就够了。网络延迟、依赖超时更常见,要覆盖。
  • 误区:故障注入在预发就够了。生产流量和数据和预发不同,生产小范围做。

追问

  • 问:哪些故障最常见?答:网络延迟、依赖超时、Pod 被杀。
  • 问:怎么注入?答:Chaos Mesh、Litmus、自研脚本。

09.12.3-004 爆炸半径是什么?

一句话结论

爆炸半径是故障注入影响的范围:一个 Pod、一个可用区、一个地域;从小范围开始,逐步扩大;最小爆炸半径原则是先杀一个 Pod,验证没问题再扩大;避免一次注入大故障。

概念解释

  • 半径:影响范围。
  • 最小:从小开始。
  • 扩大:验证后逐步扩大。

原理流程

先杀 1 个 Pod(1% 流量)
  → 观察正常
  → 杀 10 个(10% 流量)
  → 观察正常
  → 杀一个可用区

代码或图示

半径分级:
  1 Pod → 10 Pod → 1 AZ → 1 Region

常见误区

  • 误区:一次注入大故障。一次大故障可能导致全站不可用。
  • 误区:爆炸半径越小越好。太小验证不了系统性问题,要逐步扩大。

追问

  • 问:怎么控制半径?答:按标签、按可用区、按流量比例。
  • 问:半径多大合适?答:先 1%,逐步到 10%、50%。

09.12.3-005 故障演练流程是什么?

一句话结论

演练流程:1. 制定演练计划(目标、范围、故障);2. 观察基线(正常指标);3. 注入故障;4. 观察系统反应;5. 故障恢复;6. 复盘报告;7. 修复脆弱点;8. 下次演练。

概念解释

  • 计划:明确演练目标和范围。
  • 基线:正常指标。
  • 复盘:记录问题和修复。

原理流程

1. 计划:演练什么故障、影响范围
2. 基线:正常错误率 0.1%
3. 注入:杀一个 Pod
4. 观察:错误率 0.5%,5 分钟恢复
5. 恢复:Pod 重启
6. 复盘:为什么 5 分钟才恢复?优化

代码或图示

演练步骤:
  计划 → 基线 → 注入 → 观察 → 恢复 → 复盘 → 修复

常见误区

  • 误区:演练不做基线。没基线不知道故障影响。
  • 误区:演练后不复盘。不复盘等于白做,问题没修复。

追问

  • 问:演练谁参加?答:值班、开发、SRE,联合演练。
  • 问:演练记录?答:每次演练写报告,存档。

09.12.3-006 常见故障场景有哪些?

一句话结论

常见故障:Pod 被杀、网络延迟/分区、下游超时、磁盘满、CPU 打满、数据库主从切换、消息队列积压、缓存宕机;这些是线上最常见的故障,演练要覆盖。

概念解释

  • Pod 被杀:部署、节点维护。
  • 网络延迟:跨机房、跨可用区。
  • 下游超时:第三方依赖慢。

原理流程

演练场景:
  - 杀 Pod → 服务自动重启
  - 网络延迟 → 超时熔断
  - 下游超时 → 降级兜底
  - 缓存宕机 → 回源 DB

代码或图示

高频故障:
  1. Pod 被杀
  2. 网络延迟
  3. 下游 5xx
  4. DB 慢查询

常见误区

  • 误区:只演练罕见故障。常见故障(Pod 杀、网络延迟)更重要。
  • 误区:演练不覆盖依赖。第三方依赖故障更常见。

追问

  • 问:哪些故障最影响业务?答:数据库故障、缓存宕机、网络分区。
  • 问:怎么演练 DB 故障?答:预发环境,限流、主从切换。

09.12.3-007 混沌工程工具有哪些?

一句话结论

工具:Chaos Mesh(K8s 原生)、Litmus(CNCF)、Chaos Monkey(Netflix,杀 Pod)、Gremlin(商业)、自研脚本;K8s 环境用 Chaos Mesh,最流行。

概念解释

  • Chaos Mesh:K8s 原生,CRD 定义故障。
  • Litmus:CNCF 项目。
  • Chaos Monkey:Netflix,简单杀 Pod。

原理流程

# Chaos Mesh 示例
apiVersion: chaos-mesh.org/v1alpha1
kind: PodChaos
spec:
  action: pod-kill
  selector:
    labelSelectors:
      app: order
  mode: one

代码或图示

工具:
  K8s:Chaos Mesh
  虚拟机:自研脚本
  商业:Gremlin

常见误区

  • 误区:Chaos Monkey 就是混沌工程。Chaos Monkey 是 Netflix 的一个工具,只杀 Pod,混沌工程是更大的实践。
  • 误区:工具越复杂越好。小团队用脚本即可。

追问

  • 问:Chaos Mesh 支持哪些故障?答:Pod 杀、网络延迟、IO 延迟、时间错位。
  • 问:自研脚本?答:简单场景用 kubectl、tc、stress-ng。

09.12.3-008 混沌工程和压测有什么区别?

一句话结论

压测验证系统容量(能扛多少 QPS),混沌工程验证系统韧性(故障下能不能活);压测是加压,混沌是注入故障;两者互补,压测找容量瓶颈,混沌找脆弱点。

概念解释

  • 压测:容量,QPS、RT。
  • 混沌:韧性,故障下行为。
  • 互补:容量 + 韧性。

原理流程

压测:
  加流量 → 看系统能不能扛
混沌:
  注故障 → 看系统能不能活

代码或图示

对比:
  压测:容量上限
  混沌:故障韧性

常见误区

  • 误区:压测就是混沌工程。压测是加压,混沌是注故障,目标不同。
  • 误区:压测过了就不用混沌。压测过了不代表故障下能活。

追问

  • 问:压测细节?答:详见 09.13。
  • 问:混沌和压测能结合吗?答:加压 + 注故障,验证高压下故障韧性。

09.12.3-009 演练失败怎么办?

一句话结论

演练失败(系统崩溃)是正常的,正是发现问题的机会;立刻回退故障(恢复 Pod、恢复网络),观察系统恢复;记录问题,复盘,修复;不要隐瞒失败,失败是演练的价值。

概念解释

  • 失败:系统崩溃、业务受损。
  • 回退:立刻恢复故障。
  • 复盘:分析根因,修复。

原理流程

演练中系统崩溃
  → 立刻回退故障(恢复 Pod)
  → 观察系统恢复
  → 记录时间线
  → 复盘:为什么崩溃?
  → 修复

代码或图示

演练失败流程:
  回退 → 恢复 → 记录 → 复盘 → 修复

常见误区

  • 误区:演练必须成功。失败才是价值,发现问题。
  • 误区:演练失败就隐瞒。失败要记录,推动修复。

追问

  • 问:演练失败影响生产怎么办?答:预发环境先做,生产小范围做,有回退开关。
  • 问:演练失败怎么定级?答:按业务影响定级,写复盘报告。

09.12.3-010 混沌工程频率怎么定?

一句话结论

频率:核心系统每月一次,一般系统每季度一次;大版本上线前必做;持续自动化(Chaos Mesh 每天小范围自动注入);频率按业务重要性和系统成熟度调整。

概念解释

  • 核心:每月。
  • 一般:每季度。
  • 自动化:每天小范围。

原理流程

核心系统:每月演练
一般系统:每季度
自动化:Chaos Mesh 每天杀一个 Pod

代码或图示

频率:
  核心:月级
  一般:季度
  自动化:日级

常见误区

  • 误区:一年做一次就够。混沌工程是持续实践,定期做。
  • 误区:自动化注入有风险。小范围自动化(1% 流量)风险可控。

追问

  • 问:自动化注入怎么做?答:Chaos Mesh 定时注入,1% 流量,自动回退。
  • 问:新系统多久做一次?答:上线前必做,前三个月每月做。

待整理清单

  • [ ] 混沌工程演练 SOP
  • [ ] Chaos Mesh 配置示例
  • [ ] 故障场景 checklist