08.8.5 告警治理与值班
所属:全栈开发面试题库 / 08 云原生与 DevOps / 08.8 可观测性栈
覆盖范围
- 告警分级与收敛
- Alertmanager 路由、静默、抑制
- SLO 联动告警
- OnCall 值班流程与升级
- 事故响应与复盘
高频题速览
| 编号 | 题目 | 难度 | 频率 |
|---|---|---|---|
| 08.8.5-001 | 好的告警应满足什么原则? | 基础 | ★★★★★ |
| 08.8.5-002 | 告警如何分级? | 进阶 | ★★★★ |
| 08.8.5-003 | Alertmanager 做什么? | 进阶 | ★★★★ |
| 08.8.5-004 | 什么是告警风暴?怎么避免? | 进阶 | ★★★★ |
| 08.8.5-005 | SLO 如何驱动告警? | 进阶 | ★★★★ |
| 08.8.5-006 | OnCall 值班流程是怎样的? | 基础 | ★★★★ |
| 08.8.5-007 | 什么是静默(silence)? | 基础 | ★★★ |
| 08.8.5-008 | 事故响应流程? | 进阶 | ★★★★ |
| 08.8.5-009 | 复盘(postmortem)怎么做? | 进阶 | ★★★★ |
| 08.8.5-010 | 告警如何收敛? | 进阶 | ★★★★ |
08.8.5-001 好的告警应满足什么原则?
一句话结论
好的告警应是可操作的(需要人响应)、准确的(不是噪声)、及时的(故障时触发)、有上下文的(附带 dashboard/runbook),避免"告警疲劳"。
概念解释
- 可操作:告警必须要人做事,否则不该告警。
- 准确:误报率低,不频繁触发。
- 及时:故障时尽快触发。
- 上下文:附带 dashboard、log、runbook 链接。
原理流程
- 告警触发。
- 值班人打开告警。
- 看到 dashboard/log/runbook。
- 按 runbook 处理。
代码 / 示例
# 反例:CPU 80% 告警(无操作)
alert: HighCPU
expr: cpu_usage > 80
# 正例:错误率超阈值,带 runbook
alert: HighErrorRate
expr: rate(http_requests_5xx[5m]) / rate(http_requests[5m]) > 0.05
annotations:
summary: "Error rate high on {{ $labels.job }}"
runbook: "https://wiki/runbook/high-error-rate"
dashboard: "https://grafana/d/xxx"
常见误区
- 误区:告警越多越好;正解:告警多导致疲劳,真正重要的被忽略。
- 误区:告警带状态码就够;正解:要带 dashboard/log/runbook,让值班人快速定位。
追问
- Q:什么是可操作告警? A:告警触发后必须人介入(扩容、重启、回滚),否则不该告警。
- Q:告警疲劳? A:每天大量误报,值班人麻木,真正故障时漏看。
08.8.5-002 告警如何分级?
一句话结论
告警按严重度分 P0(致命,立即电话)、P1(严重,15 分钟响应)、P2(一般,工作时间处理)、P3(提示,记录不通知)。
概念解释
- P0:全服务不可用,电话/短信,立即响应。
- P1:部分功能受损,即时通讯,15 分钟响应。
- P2:非核心问题,工作时间处理。
- P3:提示,记录不通知。
原理流程
- 告警带 severity label。
- Alertmanager 按 severity 路由。
- P0 电话,P1 Slack,P2 工单。
代码 / 示例
P0: 电话 + 短信 + Slack
P1: Slack + Email
P2: 工单
P3: 只记录
常见误区
- 误区:所有告警都打电话;正解:P0 才打电话,P1 即时通讯,避免打扰。
- 误区:P3 不通知;正解:P3 记录,供趋势分析,不主动打扰。
追问
- Q:如何定级别? A:按业务影响(多少用户、多少功能、是否核心),不是按技术指标。
- Q:P0 阈值? A:P0 应该少,一周不超过几次,否则疲劳。
08.8.5-003 Alertmanager 做什么?
一句话结论
Alertmanager 接收 Prometheus 告警,做路由、去重、分组、静默、抑制,按级别分发到 Slack/Email/PagerDuty/电话。
概念解释
- 路由:按 label 分发到不同接收方。
- 分组:同标签告警合并成一条。
- 静默:维护期间暂停告警。
- 抑制:高级别告警时屏蔽低级告警。
原理流程
- Prometheus 告警发到 Alertmanager。
- 按 route 匹配 receiver。
- group_by 合并。
- silence/inhibit 过滤。
- 发到 Slack/Email/PagerDuty。
代码 / 示例
route:
receiver: slack-default
group_by: ['alertname', 'cluster']
group_wait: 30s
group_interval: 5m
routes:
- match:
severity: critical
receiver: pagerduty
常见误区
- 误区:Prometheus 直接发告警;正解:Prometheus 发 Alertmanager,由 Alertmanager 路由与通知。
- 误区:Alertmanager 存告警;正解:Alertmanager 是转发与处理,不长期存。
追问
- Q:group_wait 是什么? A:同组告警先等 30s,合并多条一起发,避免轰炸。
- Q:inhibit 用在哪? A:数据库挂了导致所有服务告警,inhibit 规则屏蔽服务告警,只发数据库告警。
08.8.5-004 什么是告警风暴?怎么避免?
一句话结论
告警风暴是一个故障引发大量级联告警(一个 DB 挂了导致 100 个服务告警),值班人被淹没;避免:分组、抑制、收敛、按 SLO 告警。
概念解释
- 级联故障:DB 挂 -> 所有依赖 DB 的服务报错 -> 大量告警。
- 避免:inhibit(DB 告警时屏蔽服务告警)、group_by、聚合。
原理流程
- DB 挂。
- 100 个服务告警同时发。
- Alertmanager 按 inhibit 规则:DB 告警时屏蔽服务告警。
- 值班人只收到 DB 告警。
代码 / 示例
inhibit_rules:
- source_match:
severity: critical
alertname: DatabaseDown
target_match:
severity: critical
equal: ['cluster']
常见误区
- 误区:告警越多越好定位;正解:告警风暴淹没关键信息,值班人不知道根因。
- 误区:inhibit 屏蔽所有;正解:inhibit 只屏蔽级联告警,根因告警保留。
追问
- Q:如何发现根因? A:从拓扑图找依赖根因,DB 挂是根因,服务报错是症状。
- Q:group_by 怎么选? A:按 cluster、service、alertname 分组,同组合并。
08.8.5-005 SLO 如何驱动告警?
一句话结论
按 SLO 错误预算消耗告警:预算消耗 50% 警告,90% 紧急,100% 冻结发布;而不是按技术阈值(CPU 80%)告警。
概念解释
- 错误预算:SLO 与 100% 的差值(如 99.9% 可用性 = 0.1% 错误预算)。
- 预算消耗率:5 分钟内消耗速度。
- 告警:预算消耗过快(如 1 小时消耗 10% 预算)告警。
原理流程
- 算错误率与预算消耗速度。
- 5 分钟消耗 > 5% 预算 -> 警告。
- 1 小时消耗 > 20% 预算 -> 紧急。
代码 / 示例
# 错误预算消耗率(5 分钟窗口)
(
sum(rate(http_requests_5xx[5m]))
/
sum(rate(http_requests_total[5m]))
) > 0.0005 # 5xx 率 > 0.05%,预算消耗过快
常见误区
- 误区:按 CPU/内存告警;正解:CPU 高不一定影响用户,SLO 直接关联用户体验。
- 误区:SLO 告警太抽象;正解:SLO 告警带 dashboard 看错误率与预算,比 CPU 告警更可操作。
追问
- Q:预算耗尽怎么办? A:冻结新功能发布,团队修稳定性,直到预算恢复。
- Q:如何算 SLO? A:按成功请求比例(如 99.9% 请求成功),长窗口(28 天)。
08.8.5-006 OnCall 值班流程是怎样的?
一句话结论
OnCall 按轮班(主班/备班),告警触发主班,主班 15 分钟未响应升级到备班/主管,事故后写复盘。
概念解释
- 主班:首先接告警。
- 备班:主班未响应升级。
- 升级链:主班 -> 备班 -> 主管 -> 总监。
- 轮班:一周或一月一轮。
原理流程
- 告警触发主班电话。
- 主班 5 分钟 ack,15 分钟处理。
- 未 ack -> 升级备班。
- 事故后写复盘。
代码 / 示例
P0 告警
-> 主班电话(5 分钟 ack)
-> 未 ack -> 备班电话
-> 未 ack -> 主管电话
常见误区
- 误区:OnCall 只在工作时间;正解:P0/P1 7x24 值班,P2 工作时间。
- 误区:OnCall 一个人扛;正解:主班 + 备班 + 升级链,避免一个人压力。
追问
- Q:如何排班? A:用 PagerDuty/Opsgenie 自动轮班,主备配对。
- Q:OnCall 报酬? A:值班补贴,避免疲劳。
08.8.5-007 什么是静默(silence)?
一句话结论
静默是在维护窗口内暂停告警(如部署、升级、演练),避免已知告警轰炸;静默有时间范围,到期自动恢复。
概念解释
- silence:Alertmanager UI 配置,按 label 匹配,暂停通知。
- 维护窗口:部署、升级、演练。
- 到期自动恢复。
原理流程
- 维护前,在 Alertmanager 配 silence(按 cluster=prod, service=api)。
- 维护期间告警不通知。
- 到期自动恢复。
代码 / 示例
Silence:
match: cluster=prod, service=api
duration: 2h
comment: 部署 v2.0
常见误区
- 误区:silence 永久屏蔽;正解:silence 有到期时间,到期自动恢复。
- 误区:silence 屏蔽所有告警;正解:silence 按 label 匹配,只屏蔽匹配的。
追问
- Q:silence 与 inhibit 区别? A:silence 是手动暂停(维护),inhibit 是自动规则(级联)。
- Q:如何管理 silence? A:记录谁、为什么、多久,避免忘记解除。
08.8.5-008 事故响应流程?
一句话结论
事故响应按:发现 -> 止血(回滚/扩容/切流)-> 定位根因 -> 恢复 -> 复盘;止血优先于根因,先恢复用户再找原因。
概念解释
- 止血:快速恢复(回滚、切流、扩容)。
- 根因:为什么出问题。
- 恢复:用户恢复。
- 复盘:事后总结。
原理流程
- 告警触发,值班人确认。
- 止血:回滚到上版本、切流到备用、扩容。
- 用户恢复。
- 定位根因(日志、trace)。
- 复盘写改进项。
代码 / 示例
事故流程:
1. 确认告警(P0)
2. 止血:回滚 v1.2.3 -> v1.2.2
3. 恢复:用户恢复
4. 定位:发现 v1.2.3 引入 bug
5. 复盘:写改进项
常见误区
- 误区:先找根因再恢复;正解:先止血恢复用户,根因事后找。
- 误区:事故后立刻关告警;正解:事故期间保留告警,恢复后再 silence。
追问
- Q:事故指挥官(IC)? A:重大事故指定 IC 统一指挥,避免多人混乱。
- Q:事故沟通? A:建立事故频道,定期更新状态(5/15/30 分钟),相关方同步。
08.8.5-009 复盘(postmortem)怎么做?
一句话结论
复盘是无 blaming 的事后总结:时间线、根因、影响、改进项;对事不对人,聚焦系统改进,不是追责。
概念解释
- 时间线:事故发生、发现、止血、恢复。
- 根因:技术根因 + 系统根因(为什么监控没发现、为什么测试没覆盖)。
- 改进项:具体 action item,有 owner 与 deadline。
- 无 blaming:对事不对人。
原理流程
- 事故后 48 小时内开复盘会。
- 整理时间线。
- 找根因(5 Whys)。
- 列改进项,owner 负责。
- 跟踪改进项落地。
代码 / 示例
复盘文档:
- 事故时间线
- 影响:X 用户,Y 分钟
- 根因:代码 bug + 测试缺失
- 改进项:
- [ ] 加测试用例(owner: A, deadline: 1 周)
- [ ] 加告警(owner: B, deadline: 3 天)
常见误区
- 误区:复盘是追责;正解:无 blaming,聚焦系统改进,不是骂人。
- 误区:复盘写完就结束;正解:改进项要跟踪落地,否则下次再犯。
追问
- Q:5 Whys? A:连问 5 个为什么,挖到系统根因(不只是"代码 bug")。
- Q:复盘模板? A:时间线、影响、根因、改进项、经验教训。
08.8.5-010 告警如何收敛?
一句话结论
告警收敛通过:按 SLO 告警(不是技术阈值)、分组、抑制级联、静默维护、定期清理无效告警,减少噪声。
概念解释
- SLO 告警:按用户影响,不按 CPU。
- 分组:同 cluster/service 合并。
- 抑制:级联故障屏蔽。
- 静默:维护窗口。
- 清理:定期 review 告警,删掉从不触发或误报的。
原理流程
- 按 SLO 重写告警。
- Alertmanager 分组与抑制。
- 维护窗口 silence。
- 每季度 review 告警,删无效。
代码 / 示例
收敛动作:
- 删:CPU 80% 告警(不可操作)
- 改:错误率超 SLO 告警
- 加:inhibit DB 挂时屏蔽服务告警
- 加:维护窗口 silence
常见误区
- 误区:告警只加不减;正解:定期 review,删掉噪声告警,保持少而精。
- 误区:收敛就是减少告警数量;正解:收敛是让告警可操作、不误报、不级联,不是单纯减少数量。
追问
- Q:如何评估告警质量? A:误报率、响应率、平均解决时间,低误报高响应。
- Q:告警治理谁负责? A:SRE 团队统一治理,服务团队配合改。
待整理清单
- [ ] PagerDuty/Opsgenie 值班工具
- [ ] SLO 计算与错误预算工具(Sloth)
- [ ] 事故管理工具(Rootly、FireHydrant)
- [ ] 告警质量度量与定期 review