08.4.1.4 SLO 告警与值班
所属:全栈开发面试题库 / 08 云原生与 DevOps / 08.4 CI/CD 与可观测性 / 08.4.1 CI/CD 与可观测性
说明:本页为可靠性工程通用概念与流程范式;具体指标口径、告警工具与值班流程以团队规范与官方文档为准。
08.4.1.4-001 SLI、SLO、SLA 分别是什么?
一句话结论
SLI 是度量服务质量的指标(如可用请求比例),SLO 是对该指标设定的目标值,SLA 是对外承诺并附带违约后果的合同化级别;三者从度量到目标再到承诺逐层递进。
概念解释
- SLI:实际质量度量。
- SLO:内部目标阈值。
- SLA:对外承诺与责任。
原理流程
- 定义可度量的 SLI。
- 设定 SLO 目标。
- 对外 SLA 通常低于内部 SLO 并绑定条款。
代码 / 对照
| 概念 | 含义 | 示例 |
|---|---|---|
| SLI | 质量度量 | 成功请求数 / 总请求数 |
| SLO | 内部目标 | 可用性 ≥ 99.9% |
| SLA | 对外承诺 | 99.5% 可用性及赔偿条款 |
常见误区
- 误区:SLO 和 SLA 是一回事;正解:SLO 是内部工程目标,SLA 是对外合同承诺。
- 误区:SLI 就是随便挑个指标;正解:SLI 需与用户体验直接相关,定义口径明确。
追问
- Q:常见 SLI 有哪些? A:可用性、延迟、正确率、吞吐量等,按服务关键体验选择。
- Q:SLO 定 100% 可行吗? A:实践中 100% 不可达且成本极高,SLO 应基于业务价值与成本权衡。
08.4.1.4-002 什么是错误预算(error budget)?
一句话结论
错误预算 = 100% − SLO 允许的不可用/不达标比例;预算内允许故障与波动,预算耗尽则冻结新功能发布、优先稳定性;用预算平衡速度与可靠性。
概念解释
- 预算:允许失败额度。
- 耗尽:稳定性风险超限。
- 平衡:迭代速度 vs 可靠投入。
原理流程
- 由 SLO 换算可接受失败量。
- 跟踪消耗速率。
- 预算充足可继续发布,耗尽则优先稳定。
代码 / 图示
SLO 99.9% → 错误预算 0.1%
预算内:允许故障与快速迭代
预算耗尽:暂停非必要变更,投入修复稳定性
常见误区
- 误区:错误预算是故障赔偿金额;正解:它是可靠性余量概念,不是财务预算。
- 误区:用掉一点预算就立刻停发布;正解:看消耗速率与剩余余量,而非单次小波动。
追问
- Q:错误预算怎么驱动决策? A:预算充足支持快速交付,耗尽时把资源从新功能转向稳定性改进。
- Q:多服务 SLO 怎么合并预算? A:按关键链路分别设定,复合服务预算需结合用户旅程评估。
08.4.1.4-003 告警如何分级?
一句话结论
按影响紧急程度分级:需立即响应的紧急告警(影响线上用户/核心功能)、需工作时间处理的警告、仅记录的通知;级别对应不同响应渠道与时限。
概念解释
- 紧急:立刻介入止损。
- 警告:限期跟进。
- 通知:记录观测。
原理流程
- 评估故障影响面与紧急度。
- 映射到告警级别。
- 级别决定通知渠道与升级路径。
代码 / 对照
| 级别 | 特征 | 响应 |
|---|---|---|
| P1/紧急 | 核心功能不可用 | 电话/即时通知,立即响应 |
| P2/警告 | 退化或潜在风险 | 工作时间跟进 |
| P3/通知 | 观测记录 | 看板/工单跟踪 |
常见误区
- 误区:所有告警都打到值班手机;正解:分级后只有紧急告警打断值班,避免告警疲劳。
- 误区:级别越高越好喊人;正解:级别应与实际影响匹配,过度升级同样消耗响应能力。
追问
- Q:级别由谁定义? A:团队按业务影响与 SLO 共同约定,并定期复盘调整。
- Q:同一问题多告警怎么定级? A:合并收敛到最高影响级别,避免重复打扰。
08.4.1.4-004 好的告警应满足什么原则?
一句话结论
告警应可行动(收到即知道要做什么)、有明确症状、基于用户影响指标、避免重复与噪音;不能行动的问题应放进看板观测而非告警。
概念解释
- 可行动:有对应处置动作。
- 症状:用户可感知问题。
- 低噪音:不重复不抖动。
原理流程
- 从故障场景反推告警条件。
- 设阈值与持续时间防抖。
- 定期淘汰不可行动告警。
代码 / 图示
好告警:核心接口错误率 > 阈值持续 N 分钟 → 值班介入
坏告警:某进程偶尔重启一次、无业务影响 → 看板观测
常见误区
- 误区:告警越多覆盖越全;正解:不可行动告警只是噪音,降低整体响应质量。
- 误区:基于根因指标告警;正解:优先告警症状(用户受影响),根因排查在响应后进行。
追问
- Q:什么是告警抖动? A:指标在阈值附近反复穿越导致告警频繁触发/恢复,需加持续时间与抑制规则。
- Q:告警应包含哪些信息? A:服务、现象、级别、影响面、关联看板/日志与建议处置。
08.4.1.4-005 什么是告警疲劳,怎么缓解?
一句话结论
告警疲劳是噪音过多导致值班人员对告警麻木、漏看真正紧急问题;缓解靠分级收敛、剔除不可行动告警、降噪防抖与定期复盘告警质量。
概念解释
- 疲劳:长期被噪音淹没。
- 漏报:紧急信号被忽略。
- 治理:持续精简告警。
原理流程
- 统计告警量与响应有效性。
- 下线/合并噪音告警。
- 定期复盘误报与漏报。
代码 / 图示
告警泛滥 → 值班麻木 → 漏看 P1
治理:分级 + 收敛 + 防抖 + 定期清理低价值告警
常见误区
- 误区:增加告警渠道就能解决疲劳;正解:渠道再多,噪音未减反而更疲劳。
- 误区:误报无所谓,反正人会判断;正解:长期误报会侵蚀对真告警的信任。
追问
- Q:告警质量怎么度量? A:看有效告警占比、误报率、告警到处置闭环时长。
- Q:历史告警为什么要复盘? A:识别哪些告警从不触发行动,作为淘汰候选。
08.4.1.4-006 OnCall 值班的基本流程是什么?
一句话结论
值班流程:排班交接 → 接收告警 → 确认与分级 → 止损处置 → 记录过程 → 交接与跟进;值班人对当班期间告警响应与初步处置负责。
概念解释
- 排班:轮值安排。
- 响应:告警接入与确认。
- 交接:状态与待办传递。
原理流程
- 接班确认在岗与待处理事项。
- 告警进入后确认级别与影响。
- 止损并记录,未闭环项交接。
代码 / 图示
交接 → 监听告警 → 确认/分级 → 止损处置 → 记录 → 交班待办
常见误区
- 误区:值班只接电话不处理;正解:值班需按预案初步止损并协调资源。
- 误区:交接口头说一下即可;正解:需书面记录未闭环问题、影响与跟进项。
追问
- Q:值班人解决不了怎么办? A:按升级路径呼叫二线/专家,不独自卡住。
- Q:值班轮换周期怎么定? A:按团队规模与告警量安排,避免单人长期值班。
08.4.1.4-007 告警通知渠道与升级机制怎么设计?
一句话结论
紧急告警用电话/即时消息直达值班,普通告警走工单/群通知;超时未响应自动升级到二线/负责人,保证告警有人接、逐级有人兜底。
概念解释
- 渠道:按级别选择。
- 升级:超时未 Ack 上送。
- 兜底:逐级有人负责。
原理流程
- 告警按级别路由渠道。
- 值班确认计时。
- 超时未响应升级通知上级。
代码 / 图示
P1 → 电话/IM 值班 → 未确认 N 分钟 → 升级二线/负责人
P2 → 工单/群 → 工作时间跟进
常见误区
- 误区:所有级别都靠电话;正解:渠道分级,避免电话轰炸。
- 误区:升级只通知不跟踪;正解:升级后需确认接手与处置状态。
追问
- Q:值班休假/不可达怎么办? A:排班有备份与转交机制,告警可转交备班。
- Q:夜间告警升级阈值怎么定? A:按 SLO 与团队承受能力设定响应时限。
08.4.1.4-008 值班交接要交接哪些内容?
一句话结论
交接包含:进行中事件与状态、待跟进问题、告警历史、近期变更与已知风险、值班联系人与升级方式;书面记录避免信息丢失。
概念解释
- 进行中:未闭环事件。
- 已知风险:潜在问题。
- 联系:升级路径。
原理流程
- 整理当班事件记录。
- 标注未闭环项与下一步。
- 接班人确认已知悉。
代码 / 图示
交接清单:
- 进行中事件 / 当前影响 / 已采取措施
- 待跟进工单与负责人
- 近期变更与已知风险
- 升级联系人
常见误区
- 误区:交接只说"没事";正解:需明确未闭环项与风险,接班人据此继续。
- 误区:交接记录散落在聊天里;正解:应沉淀到可追溯的值班记录中。
追问
- Q:跨时区/跨团队交接注意什么? A:统一记录格式与状态口径,明确后续跟进责任人。
- Q:交接后旧值班还负责吗? A:闭环前需配合提供上下文,责任随交接明确转移。
08.4.1.4-009 可用性 SLI 如何度量?
一句话结论
可用性通常按成功请求数占总请求数度量(成功/总请求),需明确成功口径(状态码、业务成功)与统计窗口;避免只靠进程存活判断可用性。
概念解释
- 口径:什么算成功。
- 窗口:统计时间范围。
- 口径对齐:与用户体验一致。
原理流程
- 定义成功请求口径。
- 统计窗口内成功/总数。
- 计算可用性并对照 SLO。
代码 / 图示
可用性 = 成功请求数 / 总请求数
成功口径:HTTP 2xx 且业务处理成功(按定义)
窗口:分钟/小时/天聚合
常见误区
- 误区:进程在运行就等于可用;正解:进程存活但请求失败/超时对用户不可用。
- 误区:只统计 HTTP 状态码;正解:业务层面失败也应纳入不可用口径。
追问
- Q:5xx 与业务错误都算失败吗? A:按 SLI 口径定义,关键业务失败通常计入不可用。
- Q:可用性 99.9% 对应多少不可用时间? A:按时间窗口换算(如月度不可用分钟数),具体数值由窗口时长计算。
08.4.1.4-010 延迟类 SLO 怎么定义?
一句话结论
延迟 SLO 按分位数(如 P95/P99 在阈值内的比例)定义,而不是平均耗时;关注长尾用户体验,区分接口与关键路径分别设定目标。
概念解释
- 分位数:长尾耗时。
- 阈值:目标上限。
- 路径:接口/关键链路。
原理流程
- 采集请求耗时分布。
- 定义分位数目标(如 P99 < 300ms)。
- 统计达标比例对照 SLO。
代码 / 图示
延迟 SLO:P99 < 300ms 的请求占比 ≥ 99%
平均值低但长尾高 → 仍可能违反延迟 SLO
常见误区
- 误区:平均响应时间达标即可;正解:平均值掩盖长尾,需看分位数。
- 误区:所有接口用同一延迟目标;正解:关键路径与普通接口应分级设目标。
追问
- Q:P99 高但平均低说明什么? A:少量请求长尾慢,需用追踪定位慢请求。
- Q:延迟 SLO 与错误 SLO 关系? A:超时既算延迟退化也可能计为失败,口径需在 SLI 定义中明确。
08.4.1.4-011 告警阈值如何与 SLO 关联?
一句话结论
告警围绕 SLO 消耗与用户影响设置:先有 SLO 目标,再基于错误预算消耗速率、错误率/延迟超阈触发告警;避免脱离 SLO 拍脑袋设固定阈值。
概念解释
- SLO 目标:质量基线。
- 预算消耗:风险累积速度。
- 阈值:触发响应的条件。
原理流程
- 定义 SLO 与错误预算。
- 按预算消耗速率与指标偏差设告警。
- 随数据基线校准阈值。
代码 / 图示
SLO 99.9%
告警:错误率持续超 SLO 对应水平 / 错误预算消耗速率异常
→ 触发值班介入
常见误区
- 误区:阈值随便定个固定值;正解:应基于 SLO 与历史基线,定期校准。
- 误区:指标离 SLO 还远就告警;正解:告警应在逼近或违反目标、需要行动时触发。
追问
- Q:什么是燃烧率告警? A:按错误预算消耗快慢分级告警(快燃/慢燃),具体模型以 SRE 实践资料为准。
- Q:阈值定太松有什么问题? A:问题累积到严重才发现;太紧则噪音多。
08.4.1.4-012 值班工具链一般包含哪些部分?
一句话结论
工具链包含告警路由/通知、值班排班、事件记录与升级、监控看板与接入通讯渠道;工具服务于响应流程,核心是信息可达与记录可追溯。
概念解释
- 路由:告警分派。
- 排班:值班表。
- 记录:事件时间线。
原理流程
- 监控触发告警。
- 按排班路由到值班人。
- 处置过程记录在事件系统。
代码 / 对照
| 环节 | 工具职责 |
|---|---|
| 告警 | 触发、分级、路由 |
| 排班 | 轮值表与转交 |
| 事件 | 记录时间线、跟进项 |
| 通讯 | 电话/IM/会议 |
常见误区
- 误区:工具越全流程越好;正解:流程清晰与告警质量优先,工具只是支撑。
- 误区:事件记录事后补写;正解:处置过程实时记录,保证复盘证据完整。
追问
- Q:告警系统需要高可用吗? A:告警通道自身故障会漏告警,需评估冗余与自检。
- Q:值班工具与监控系统如何对接? A:监控指标/事件推送到告警平台,再由其路由升级。
08.4.1.4-013 误报告警怎么处理与收敛?
一句话结论
误报需记录原因(阈值不当、依赖抖动、指标口径错误),调整规则或补充防抖;反复误报的告警应下线或改造,避免长期消耗信任。
概念解释
- 误报:无需行动却告警。
- 归因:阈值/口径/抖动。
- 收敛:规则优化或淘汰。
原理流程
- 收到误报后核对实际影响。
- 定位规则问题。
- 调整阈值/持续时间/口径,跟踪复发。
代码 / 图示
误报 → 核对无用户影响 → 归因(阈值/口径/抖动)
→ 调规则/加防抖;反复误报 → 下线改造
常见误区
- 误区:误报忽略即可;正解:不治理会持续制造噪音并掩盖真告警。
- 误区:误报一律删告警;正解:先判断是规则问题还是真实风险被误判,改造而非简单删除。
追问
- Q:如何区分误报与短时抖动? A:结合持续时间、影响面与业务指标综合判断。
- Q:误报记录有什么用? A:作为告警质量复盘与阈值校准依据。
08.4.1.4-014 重大事故响应的基本流程是什么?
一句话结论
重大事故按「确认定级 → 成立响应角色 → 止损优先 → 同步状态 → 根因排查 → 恢复 → 复盘」推进;先控制影响,再分析根因,分工明确。
概念解释
- 止损:优先恢复服务。
- 角色:指挥、处置、沟通等。
- 复盘:事后改进。
原理流程
- 告警确认并定级。
- 明确响应角色与沟通渠道。
- 执行止损(回滚/摘流/降级)。
- 恢复后根因分析与复盘。
代码 / 图示
告警 → 定级/角色 → 止损 → 状态同步 → 根因排查 → 恢复 → 复盘改进
常见误区
- 误区:事故时先深挖根因再恢复;正解:先止损恢复服务,根因在恢复后专项分析。
- 误区:多人同时乱改;正解:需统一指挥与操作协调,避免变更叠加加剧故障。
追问
- Q:事故沟通同步什么? A:当前影响、已做动作、预计下一步与时间线,面向相关方定期更新。
- Q:降级策略在事故中起什么作用? A:牺牲非核心功能保核心链路,是常用止损手段。
08.4.1.4-015 事故复盘与改进闭环怎么做?
一句话结论
复盘基于时间线证据还原经过,找出根因与改进项,改进项明确负责人与期限并跟踪闭环;复盘对事不对人,目标是改进系统而非追责个人。
概念解释
- 证据:指标/日志/追踪/变更记录。
- 根因:系统性原因。
- 闭环:改进项跟踪落地。
原理流程
- 整理事故时间线与证据。
- 分析直接与根本原因。
- 输出改进项并跟踪到完成。
代码 / 图示
时间线(证据) → 根因分析 → 改进项(负责人/期限) → 跟踪闭环
常见误区
- 误区:复盘结论是"某人操作失误";正解:应追问流程/防护为何未阻止失误,改进系统防线。
- 误区:复盘开完改进项无人跟进;正解:改进项需登记跟踪,未闭环不算完成。
追问
- Q:复盘材料包含什么? A:影响范围、时间线、根因、处置过程、改进项与经验教训。
- Q:同类事故重复发生说明什么? A:之前改进项未落地或根因判断不准,需重新审视。
08.4.1.4-016 告警收敛与聚合有哪些手段?
一句话结论
收敛手段:按服务/规则分组聚合、同源告警合并、抑制依赖故障引发的级联告警、防抖持续时间;让值班看到的是问题群而不是海量重复单条。
概念解释
- 聚合:同源合并。
- 抑制:级联告警降噪。
- 防抖:持续时间过滤。
原理流程
- 规则按服务/场景分组。
- 主告警触发后抑制衍生告警。
- 抖动窗口内重复告警合并。
代码 / 图示
DB 不可用 → 抑制下游服务报错告警(同源)
同一实例重复告警 → 合并为一条 + 计数
常见误区
- 误区:收敛会漏掉真告警;正解:收敛合并同源与级联,独立问题仍应分别告警。
- 误区:只在通知端过滤;正解:规则设计与抑制策略应在告警规则层就考虑。
追问
- Q:级联告警是什么? A:下游因上游故障报错产生的衍生告警,应以上游主告警为准抑制。
- Q:聚合后还能看到明细吗? A:聚合告警应可展开查看触发条目与影响范围。
08.4.1.4-017 监控仪表盘怎么设计才有效?
一句话结论
仪表盘围绕服务质量与排障场景组织:先黄金信号概览,再下钻接口/实例/依赖;面板有明确含义与时间范围,避免堆砌无关指标。
概念解释
- 概览:整体质量。
- 下钻:定位细分。
- 场景:围绕排障与值班使用。
原理流程
- 按服务/关键链路组织面板。
- 顶部放核心 SLI 信号。
- 下钻到接口、实例与依赖明细。
代码 / 图示
服务总览:可用性 / 延迟 / 错误 / 饱和度
下钻:按接口 → 按实例 → 依赖服务指标
常见误区
- 误区:一个面板塞满所有指标;正解:分层组织,概览与明细分开。
- 误区:仪表盘替代告警;正解:看板供查看与下钻,主动通知靠告警。
追问
- Q:看板指标要不要标阈值? A:关键指标标注 SLO 阈值线,便于快速判断是否越界。
- Q:看板数据不准会怎样? A:误导判断,需保证指标口径与采集正常。
08.4.1.4-018 如何保持值班可持续,避免过度消耗?
一句话结论
通过合理排班、控制告警噪音、明确升级与休息边界、复盘改进减少重复故障,让值班负荷可预期;长期高压值班会降低响应质量并带来人员风险。
概念解释
- 负荷:告警量与值班强度。
- 边界:工作与休息区分。
- 可持续:机制保障人员状态。
原理流程
- 控制告警量与分级。
- 合理轮值与备班。
- 复盘消除重复故障来源。
代码 / 图示
告警噪音↓ + 排班合理 + 重复故障减少 → 值班负荷可控
长期高压 → 响应质量下降 → 需机制调整
常见误区
- 误区:值班是临时扛事,不需关注负荷;正解:值班状态直接影响事故响应质量。
- 误区:减少人手轮班最省成本;正解:过度压缩值班人力会在事故时付出更高代价。
追问
- Q:怎么度量值班负荷? A:看告警量、夜间告警次数、值班时长与重复事件占比。
- Q:重复故障为什么进改进闭环? A:反复占用值班精力,根治后从源头降低负荷。