09.12.3 混沌工程与故障演练
所属:全栈开发面试题库 / 09 高阶架构:高并发与分布式 / 09.12 高可用与容灾
覆盖范围
- 混沌工程概念与原则
- 故障注入:杀进程、网络延迟、磁盘满
- 爆炸半径与演练流程
- 常见故障场景
- 混沌工程工具
高频题速览
| 编号 | 题目 | 难度 | 频率 |
|---|---|---|---|
| 09.12.3-001 | 混沌工程是什么 | 进阶 | ★★★★☆ |
| 09.12.3-002 | 混沌工程原则 | 进阶 | ★★★☆☆ |
| 09.12.3-003 | 故障注入有哪些类型 | 进阶 | ★★★★☆ |
| 09.12.3-004 | 爆炸半径是什么 | 进阶 | ★★★☆☆ |
| 09.12.3-005 | 故障演练流程 | 进阶 | ★★★★☆ |
| 09.12.3-006 | 常见故障场景 | 基础 | ★★★★☆ |
| 09.12.3-007 | 混沌工程工具 | 进阶 | ★★★☆☆ |
| 09.12.3-008 | 混沌工程和压测区别 | 基础 | ★★★☆☆ |
| 09.12.3-009 | 演练失败怎么办 | 进阶 | ★★★☆☆ |
| 09.12.3-010 | 混沌工程频率 | 基础 | ★★☆☆☆ |
09.12.3-001 混沌工程是什么?
一句话结论
混沌工程是主动在生产或预发环境注入故障(杀进程、网络延迟、磁盘满),验证系统在故障下的表现;通过主动暴露问题,提前发现脆弱点,提升系统韧性;不是制造混乱,是有控制的实验。
概念解释
- 主动注入:故意制造故障。
- 验证韧性:看系统在故障下是否降级、恢复。
- 有控制:小范围、可回退、可观察。
原理流程
1. 定义稳态(正常业务指标)
2. 假设故障下系统行为
3. 注入故障(杀一个 Pod)
4. 观察指标是否符合预期
5. 不符合 → 修复脆弱点
代码或图示
混沌工程:
假设:一个 Pod 挂了,系统不影响
实验:杀一个 Pod
观察:错误率、RT
→ 符合预期 → 验证韧性
→ 不符合 → 修复
常见误区
- 误区:混沌工程是搞破坏。它是有控制的实验,小范围、可回退。
- 误区:混沌工程只在生产做。预发环境先做,生产小范围做。
追问
- 问:混沌工程谁提出的?答:Netflix 2011 年 Chaos Monkey,后发展为 Chaos Engineering。
- 问:混沌工程目标?答:验证韧性,发现脆弱点,不是制造故障。
09.12.3-002 混沌工程原则是什么?
一句话结论
原则:定义稳态(正常指标)、提出假设(故障下行为)、在真实环境实验(生产流量)、自动化持续运行、最小爆炸半径、可观察可回退;混沌工程是持续实践,不是一次性演练。
概念解释
- 稳态:正常业务指标(错误率、RT、转化率)。
- 假设:故障下系统应该怎样(降级、不崩溃)。
- 自动化:持续自动注入,不是手动。
原理流程
原则:
1. 定义稳态
2. 提出假设
3. 真实环境实验
4. 自动化
5. 最小爆炸半径
代码或图示
反模式:
- 无假设乱注入
- 生产大范围注入
- 手动偶尔做
常见误区
- 误区:混沌工程就是随机杀进程。要基于假设,有控制地注入。
- 误区:混沌工程一次性做。是持续实践,定期做。
追问
- 问:稳态怎么定义?答:业务指标(下单成功率、支付成功率)。
- 问:爆炸半径?答:详见 09.12.3-004。
09.12.3-003 故障注入有哪些类型?
一句话结论
故障注入类型:资源类(杀进程、CPU 打满、磁盘满)、网络类(延迟、丢包、分区)、依赖类(下游超时、5xx)、应用类(异常返回、慢 SQL);覆盖常见故障场景。
概念解释
- 资源:杀 Pod、CPU、内存、磁盘。
- 网络:延迟、丢包、分区。
- 依赖:下游超时、错误。
原理流程
资源故障:
kubectl delete pod
CPU 打满 (stress-ng)
网络故障:
tc netem 延迟
iptables 丢包
依赖故障:
下游返回 500
代码或图示
注入类型:
- Pod 杀
- 网络延迟
- 磁盘满
- 下游超时
常见误区
- 误区:只杀进程就够了。网络延迟、依赖超时更常见,要覆盖。
- 误区:故障注入在预发就够了。生产流量和数据和预发不同,生产小范围做。
追问
- 问:哪些故障最常见?答:网络延迟、依赖超时、Pod 被杀。
- 问:怎么注入?答:Chaos Mesh、Litmus、自研脚本。
09.12.3-004 爆炸半径是什么?
一句话结论
爆炸半径是故障注入影响的范围:一个 Pod、一个可用区、一个地域;从小范围开始,逐步扩大;最小爆炸半径原则是先杀一个 Pod,验证没问题再扩大;避免一次注入大故障。
概念解释
- 半径:影响范围。
- 最小:从小开始。
- 扩大:验证后逐步扩大。
原理流程
先杀 1 个 Pod(1% 流量)
→ 观察正常
→ 杀 10 个(10% 流量)
→ 观察正常
→ 杀一个可用区
代码或图示
半径分级:
1 Pod → 10 Pod → 1 AZ → 1 Region
常见误区
- 误区:一次注入大故障。一次大故障可能导致全站不可用。
- 误区:爆炸半径越小越好。太小验证不了系统性问题,要逐步扩大。
追问
- 问:怎么控制半径?答:按标签、按可用区、按流量比例。
- 问:半径多大合适?答:先 1%,逐步到 10%、50%。
09.12.3-005 故障演练流程是什么?
一句话结论
演练流程:1. 制定演练计划(目标、范围、故障);2. 观察基线(正常指标);3. 注入故障;4. 观察系统反应;5. 故障恢复;6. 复盘报告;7. 修复脆弱点;8. 下次演练。
概念解释
- 计划:明确演练目标和范围。
- 基线:正常指标。
- 复盘:记录问题和修复。
原理流程
1. 计划:演练什么故障、影响范围
2. 基线:正常错误率 0.1%
3. 注入:杀一个 Pod
4. 观察:错误率 0.5%,5 分钟恢复
5. 恢复:Pod 重启
6. 复盘:为什么 5 分钟才恢复?优化
代码或图示
演练步骤:
计划 → 基线 → 注入 → 观察 → 恢复 → 复盘 → 修复
常见误区
- 误区:演练不做基线。没基线不知道故障影响。
- 误区:演练后不复盘。不复盘等于白做,问题没修复。
追问
- 问:演练谁参加?答:值班、开发、SRE,联合演练。
- 问:演练记录?答:每次演练写报告,存档。
09.12.3-006 常见故障场景有哪些?
一句话结论
常见故障:Pod 被杀、网络延迟/分区、下游超时、磁盘满、CPU 打满、数据库主从切换、消息队列积压、缓存宕机;这些是线上最常见的故障,演练要覆盖。
概念解释
- Pod 被杀:部署、节点维护。
- 网络延迟:跨机房、跨可用区。
- 下游超时:第三方依赖慢。
原理流程
演练场景:
- 杀 Pod → 服务自动重启
- 网络延迟 → 超时熔断
- 下游超时 → 降级兜底
- 缓存宕机 → 回源 DB
代码或图示
高频故障:
1. Pod 被杀
2. 网络延迟
3. 下游 5xx
4. DB 慢查询
常见误区
- 误区:只演练罕见故障。常见故障(Pod 杀、网络延迟)更重要。
- 误区:演练不覆盖依赖。第三方依赖故障更常见。
追问
- 问:哪些故障最影响业务?答:数据库故障、缓存宕机、网络分区。
- 问:怎么演练 DB 故障?答:预发环境,限流、主从切换。
09.12.3-007 混沌工程工具有哪些?
一句话结论
工具:Chaos Mesh(K8s 原生)、Litmus(CNCF)、Chaos Monkey(Netflix,杀 Pod)、Gremlin(商业)、自研脚本;K8s 环境用 Chaos Mesh,最流行。
概念解释
- Chaos Mesh:K8s 原生,CRD 定义故障。
- Litmus:CNCF 项目。
- Chaos Monkey:Netflix,简单杀 Pod。
原理流程
# Chaos Mesh 示例
apiVersion: chaos-mesh.org/v1alpha1
kind: PodChaos
spec:
action: pod-kill
selector:
labelSelectors:
app: order
mode: one
代码或图示
工具:
K8s:Chaos Mesh
虚拟机:自研脚本
商业:Gremlin
常见误区
- 误区:Chaos Monkey 就是混沌工程。Chaos Monkey 是 Netflix 的一个工具,只杀 Pod,混沌工程是更大的实践。
- 误区:工具越复杂越好。小团队用脚本即可。
追问
- 问:Chaos Mesh 支持哪些故障?答:Pod 杀、网络延迟、IO 延迟、时间错位。
- 问:自研脚本?答:简单场景用 kubectl、tc、stress-ng。
09.12.3-008 混沌工程和压测有什么区别?
一句话结论
压测验证系统容量(能扛多少 QPS),混沌工程验证系统韧性(故障下能不能活);压测是加压,混沌是注入故障;两者互补,压测找容量瓶颈,混沌找脆弱点。
概念解释
- 压测:容量,QPS、RT。
- 混沌:韧性,故障下行为。
- 互补:容量 + 韧性。
原理流程
压测:
加流量 → 看系统能不能扛
混沌:
注故障 → 看系统能不能活
代码或图示
对比:
压测:容量上限
混沌:故障韧性
常见误区
- 误区:压测就是混沌工程。压测是加压,混沌是注故障,目标不同。
- 误区:压测过了就不用混沌。压测过了不代表故障下能活。
追问
- 问:压测细节?答:详见 09.13。
- 问:混沌和压测能结合吗?答:加压 + 注故障,验证高压下故障韧性。
09.12.3-009 演练失败怎么办?
一句话结论
演练失败(系统崩溃)是正常的,正是发现问题的机会;立刻回退故障(恢复 Pod、恢复网络),观察系统恢复;记录问题,复盘,修复;不要隐瞒失败,失败是演练的价值。
概念解释
- 失败:系统崩溃、业务受损。
- 回退:立刻恢复故障。
- 复盘:分析根因,修复。
原理流程
演练中系统崩溃
→ 立刻回退故障(恢复 Pod)
→ 观察系统恢复
→ 记录时间线
→ 复盘:为什么崩溃?
→ 修复
代码或图示
演练失败流程:
回退 → 恢复 → 记录 → 复盘 → 修复
常见误区
- 误区:演练必须成功。失败才是价值,发现问题。
- 误区:演练失败就隐瞒。失败要记录,推动修复。
追问
- 问:演练失败影响生产怎么办?答:预发环境先做,生产小范围做,有回退开关。
- 问:演练失败怎么定级?答:按业务影响定级,写复盘报告。
09.12.3-010 混沌工程频率怎么定?
一句话结论
频率:核心系统每月一次,一般系统每季度一次;大版本上线前必做;持续自动化(Chaos Mesh 每天小范围自动注入);频率按业务重要性和系统成熟度调整。
概念解释
- 核心:每月。
- 一般:每季度。
- 自动化:每天小范围。
原理流程
核心系统:每月演练
一般系统:每季度
自动化:Chaos Mesh 每天杀一个 Pod
代码或图示
频率:
核心:月级
一般:季度
自动化:日级
常见误区
- 误区:一年做一次就够。混沌工程是持续实践,定期做。
- 误区:自动化注入有风险。小范围自动化(1% 流量)风险可控。
追问
- 问:自动化注入怎么做?答:Chaos Mesh 定时注入,1% 流量,自动回退。
- 问:新系统多久做一次?答:上线前必做,前三个月每月做。
待整理清单
- [ ] 混沌工程演练 SOP
- [ ] Chaos Mesh 配置示例
- [ ] 故障场景 checklist