罗罗编程学习记录
本页内容 展开查看

08.8.5 告警治理与值班

所属:全栈开发面试题库 / 08 云原生与 DevOps / 08.8 可观测性栈

覆盖范围

  • 告警分级与收敛
  • Alertmanager 路由、静默、抑制
  • SLO 联动告警
  • OnCall 值班流程与升级
  • 事故响应与复盘

高频题速览

编号 题目 难度 频率
08.8.5-001 好的告警应满足什么原则? 基础 ★★★★★
08.8.5-002 告警如何分级? 进阶 ★★★★
08.8.5-003 Alertmanager 做什么? 进阶 ★★★★
08.8.5-004 什么是告警风暴?怎么避免? 进阶 ★★★★
08.8.5-005 SLO 如何驱动告警? 进阶 ★★★★
08.8.5-006 OnCall 值班流程是怎样的? 基础 ★★★★
08.8.5-007 什么是静默(silence)? 基础 ★★★
08.8.5-008 事故响应流程? 进阶 ★★★★
08.8.5-009 复盘(postmortem)怎么做? 进阶 ★★★★
08.8.5-010 告警如何收敛? 进阶 ★★★★

08.8.5-001 好的告警应满足什么原则?

一句话结论

好的告警应是可操作的(需要人响应)、准确的(不是噪声)、及时的(故障时触发)、有上下文的(附带 dashboard/runbook),避免"告警疲劳"。

概念解释

  • 可操作:告警必须要人做事,否则不该告警。
  • 准确:误报率低,不频繁触发。
  • 及时:故障时尽快触发。
  • 上下文:附带 dashboard、log、runbook 链接。

原理流程

  1. 告警触发。
  2. 值班人打开告警。
  3. 看到 dashboard/log/runbook。
  4. 按 runbook 处理。

代码 / 示例

# 反例:CPU 80% 告警(无操作)
alert: HighCPU
expr: cpu_usage > 80

# 正例:错误率超阈值,带 runbook
alert: HighErrorRate
expr: rate(http_requests_5xx[5m]) / rate(http_requests[5m]) > 0.05
annotations:
  summary: "Error rate high on {{ $labels.job }}"
  runbook: "https://wiki/runbook/high-error-rate"
  dashboard: "https://grafana/d/xxx"

常见误区

  • 误区:告警越多越好;正解:告警多导致疲劳,真正重要的被忽略。
  • 误区:告警带状态码就够;正解:要带 dashboard/log/runbook,让值班人快速定位。

追问

  • Q:什么是可操作告警? A:告警触发后必须人介入(扩容、重启、回滚),否则不该告警。
  • Q:告警疲劳? A:每天大量误报,值班人麻木,真正故障时漏看。

08.8.5-002 告警如何分级?

一句话结论

告警按严重度分 P0(致命,立即电话)、P1(严重,15 分钟响应)、P2(一般,工作时间处理)、P3(提示,记录不通知)。

概念解释

  • P0:全服务不可用,电话/短信,立即响应。
  • P1:部分功能受损,即时通讯,15 分钟响应。
  • P2:非核心问题,工作时间处理。
  • P3:提示,记录不通知。

原理流程

  1. 告警带 severity label。
  2. Alertmanager 按 severity 路由。
  3. P0 电话,P1 Slack,P2 工单。

代码 / 示例

P0: 电话 + 短信 + Slack
P1: Slack + Email
P2: 工单
P3: 只记录

常见误区

  • 误区:所有告警都打电话;正解:P0 才打电话,P1 即时通讯,避免打扰。
  • 误区:P3 不通知;正解:P3 记录,供趋势分析,不主动打扰。

追问

  • Q:如何定级别? A:按业务影响(多少用户、多少功能、是否核心),不是按技术指标。
  • Q:P0 阈值? A:P0 应该少,一周不超过几次,否则疲劳。

08.8.5-003 Alertmanager 做什么?

一句话结论

Alertmanager 接收 Prometheus 告警,做路由、去重、分组、静默、抑制,按级别分发到 Slack/Email/PagerDuty/电话。

概念解释

  • 路由:按 label 分发到不同接收方。
  • 分组:同标签告警合并成一条。
  • 静默:维护期间暂停告警。
  • 抑制:高级别告警时屏蔽低级告警。

原理流程

  1. Prometheus 告警发到 Alertmanager。
  2. 按 route 匹配 receiver。
  3. group_by 合并。
  4. silence/inhibit 过滤。
  5. 发到 Slack/Email/PagerDuty。

代码 / 示例

route:
  receiver: slack-default
  group_by: ['alertname', 'cluster']
  group_wait: 30s
  group_interval: 5m
  routes:
    - match:
        severity: critical
      receiver: pagerduty

常见误区

  • 误区:Prometheus 直接发告警;正解:Prometheus 发 Alertmanager,由 Alertmanager 路由与通知。
  • 误区:Alertmanager 存告警;正解:Alertmanager 是转发与处理,不长期存。

追问

  • Q:group_wait 是什么? A:同组告警先等 30s,合并多条一起发,避免轰炸。
  • Q:inhibit 用在哪? A:数据库挂了导致所有服务告警,inhibit 规则屏蔽服务告警,只发数据库告警。

08.8.5-004 什么是告警风暴?怎么避免?

一句话结论

告警风暴是一个故障引发大量级联告警(一个 DB 挂了导致 100 个服务告警),值班人被淹没;避免:分组、抑制、收敛、按 SLO 告警。

概念解释

  • 级联故障:DB 挂 -> 所有依赖 DB 的服务报错 -> 大量告警。
  • 避免:inhibit(DB 告警时屏蔽服务告警)、group_by、聚合。

原理流程

  1. DB 挂。
  2. 100 个服务告警同时发。
  3. Alertmanager 按 inhibit 规则:DB 告警时屏蔽服务告警。
  4. 值班人只收到 DB 告警。

代码 / 示例

inhibit_rules:
  - source_match:
      severity: critical
      alertname: DatabaseDown
    target_match:
      severity: critical
    equal: ['cluster']

常见误区

  • 误区:告警越多越好定位;正解:告警风暴淹没关键信息,值班人不知道根因。
  • 误区:inhibit 屏蔽所有;正解:inhibit 只屏蔽级联告警,根因告警保留。

追问

  • Q:如何发现根因? A:从拓扑图找依赖根因,DB 挂是根因,服务报错是症状。
  • Q:group_by 怎么选? A:按 cluster、service、alertname 分组,同组合并。

08.8.5-005 SLO 如何驱动告警?

一句话结论

按 SLO 错误预算消耗告警:预算消耗 50% 警告,90% 紧急,100% 冻结发布;而不是按技术阈值(CPU 80%)告警。

概念解释

  • 错误预算:SLO 与 100% 的差值(如 99.9% 可用性 = 0.1% 错误预算)。
  • 预算消耗率:5 分钟内消耗速度。
  • 告警:预算消耗过快(如 1 小时消耗 10% 预算)告警。

原理流程

  1. 算错误率与预算消耗速度。
  2. 5 分钟消耗 > 5% 预算 -> 警告。
  3. 1 小时消耗 > 20% 预算 -> 紧急。

代码 / 示例

# 错误预算消耗率(5 分钟窗口)
(
  sum(rate(http_requests_5xx[5m]))
  /
  sum(rate(http_requests_total[5m]))
) > 0.0005  # 5xx 率 > 0.05%,预算消耗过快

常见误区

  • 误区:按 CPU/内存告警;正解:CPU 高不一定影响用户,SLO 直接关联用户体验。
  • 误区:SLO 告警太抽象;正解:SLO 告警带 dashboard 看错误率与预算,比 CPU 告警更可操作。

追问

  • Q:预算耗尽怎么办? A:冻结新功能发布,团队修稳定性,直到预算恢复。
  • Q:如何算 SLO? A:按成功请求比例(如 99.9% 请求成功),长窗口(28 天)。

08.8.5-006 OnCall 值班流程是怎样的?

一句话结论

OnCall 按轮班(主班/备班),告警触发主班,主班 15 分钟未响应升级到备班/主管,事故后写复盘。

概念解释

  • 主班:首先接告警。
  • 备班:主班未响应升级。
  • 升级链:主班 -> 备班 -> 主管 -> 总监。
  • 轮班:一周或一月一轮。

原理流程

  1. 告警触发主班电话。
  2. 主班 5 分钟 ack,15 分钟处理。
  3. 未 ack -> 升级备班。
  4. 事故后写复盘。

代码 / 示例

P0 告警
  -> 主班电话(5 分钟 ack)
  -> 未 ack -> 备班电话
  -> 未 ack -> 主管电话

常见误区

  • 误区:OnCall 只在工作时间;正解:P0/P1 7x24 值班,P2 工作时间。
  • 误区:OnCall 一个人扛;正解:主班 + 备班 + 升级链,避免一个人压力。

追问

  • Q:如何排班? A:用 PagerDuty/Opsgenie 自动轮班,主备配对。
  • Q:OnCall 报酬? A:值班补贴,避免疲劳。

08.8.5-007 什么是静默(silence)?

一句话结论

静默是在维护窗口内暂停告警(如部署、升级、演练),避免已知告警轰炸;静默有时间范围,到期自动恢复。

概念解释

  • silence:Alertmanager UI 配置,按 label 匹配,暂停通知。
  • 维护窗口:部署、升级、演练。
  • 到期自动恢复。

原理流程

  1. 维护前,在 Alertmanager 配 silence(按 cluster=prod, service=api)。
  2. 维护期间告警不通知。
  3. 到期自动恢复。

代码 / 示例

Silence:
  match: cluster=prod, service=api
  duration: 2h
  comment: 部署 v2.0

常见误区

  • 误区:silence 永久屏蔽;正解:silence 有到期时间,到期自动恢复。
  • 误区:silence 屏蔽所有告警;正解:silence 按 label 匹配,只屏蔽匹配的。

追问

  • Q:silence 与 inhibit 区别? A:silence 是手动暂停(维护),inhibit 是自动规则(级联)。
  • Q:如何管理 silence? A:记录谁、为什么、多久,避免忘记解除。

08.8.5-008 事故响应流程?

一句话结论

事故响应按:发现 -> 止血(回滚/扩容/切流)-> 定位根因 -> 恢复 -> 复盘;止血优先于根因,先恢复用户再找原因。

概念解释

  • 止血:快速恢复(回滚、切流、扩容)。
  • 根因:为什么出问题。
  • 恢复:用户恢复。
  • 复盘:事后总结。

原理流程

  1. 告警触发,值班人确认。
  2. 止血:回滚到上版本、切流到备用、扩容。
  3. 用户恢复。
  4. 定位根因(日志、trace)。
  5. 复盘写改进项。

代码 / 示例

事故流程:
  1. 确认告警(P0)
  2. 止血:回滚 v1.2.3 -> v1.2.2
  3. 恢复:用户恢复
  4. 定位:发现 v1.2.3 引入 bug
  5. 复盘:写改进项

常见误区

  • 误区:先找根因再恢复;正解:先止血恢复用户,根因事后找。
  • 误区:事故后立刻关告警;正解:事故期间保留告警,恢复后再 silence。

追问

  • Q:事故指挥官(IC)? A:重大事故指定 IC 统一指挥,避免多人混乱。
  • Q:事故沟通? A:建立事故频道,定期更新状态(5/15/30 分钟),相关方同步。

08.8.5-009 复盘(postmortem)怎么做?

一句话结论

复盘是无 blaming 的事后总结:时间线、根因、影响、改进项;对事不对人,聚焦系统改进,不是追责。

概念解释

  • 时间线:事故发生、发现、止血、恢复。
  • 根因:技术根因 + 系统根因(为什么监控没发现、为什么测试没覆盖)。
  • 改进项:具体 action item,有 owner 与 deadline。
  • 无 blaming:对事不对人。

原理流程

  1. 事故后 48 小时内开复盘会。
  2. 整理时间线。
  3. 找根因(5 Whys)。
  4. 列改进项,owner 负责。
  5. 跟踪改进项落地。

代码 / 示例

复盘文档:
  - 事故时间线
  - 影响:X 用户,Y 分钟
  - 根因:代码 bug + 测试缺失
  - 改进项:
    - [ ] 加测试用例(owner: A, deadline: 1 周)
    - [ ] 加告警(owner: B, deadline: 3 天)

常见误区

  • 误区:复盘是追责;正解:无 blaming,聚焦系统改进,不是骂人。
  • 误区:复盘写完就结束;正解:改进项要跟踪落地,否则下次再犯。

追问

  • Q:5 Whys? A:连问 5 个为什么,挖到系统根因(不只是"代码 bug")。
  • Q:复盘模板? A:时间线、影响、根因、改进项、经验教训。

08.8.5-010 告警如何收敛?

一句话结论

告警收敛通过:按 SLO 告警(不是技术阈值)、分组、抑制级联、静默维护、定期清理无效告警,减少噪声。

概念解释

  • SLO 告警:按用户影响,不按 CPU。
  • 分组:同 cluster/service 合并。
  • 抑制:级联故障屏蔽。
  • 静默:维护窗口。
  • 清理:定期 review 告警,删掉从不触发或误报的。

原理流程

  1. 按 SLO 重写告警。
  2. Alertmanager 分组与抑制。
  3. 维护窗口 silence。
  4. 每季度 review 告警,删无效。

代码 / 示例

收敛动作:
  - 删:CPU 80% 告警(不可操作)
  - 改:错误率超 SLO 告警
  - 加:inhibit DB 挂时屏蔽服务告警
  - 加:维护窗口 silence

常见误区

  • 误区:告警只加不减;正解:定期 review,删掉噪声告警,保持少而精。
  • 误区:收敛就是减少告警数量;正解:收敛是让告警可操作、不误报、不级联,不是单纯减少数量。

追问

  • Q:如何评估告警质量? A:误报率、响应率、平均解决时间,低误报高响应。
  • Q:告警治理谁负责? A:SRE 团队统一治理,服务团队配合改。

待整理清单

  • [ ] PagerDuty/Opsgenie 值班工具
  • [ ] SLO 计算与错误预算工具(Sloth)
  • [ ] 事故管理工具(Rootly、FireHydrant)
  • [ ] 告警质量度量与定期 review