13.6 阶段 5 可观测性与告警
所属:全栈开发面试题库 / 学习路径 / 13 DevOps 与 SRE
本页目录
一、阶段定位
前面阶段解决了「服务能上线」,本阶段解决「上线后出问题你能不能第一时间知道、知道了能不能快速定位」。没有可观测性,故障发现靠用户报、定位靠猜、恢复靠重启。三件套:指标(Metrics,看趋势)、日志(Logs,看细节)、链路(Traces,看跨服务调用路径)。告警不是越多越好,误报多了所有人都会静音,等于没告警。
不掌握本阶段会在后面具体卡在哪:
- 服务变慢了,不知道是哪一段慢:网关?应用?数据库?
- 用户报障时,翻半天日志找不到请求,因为没有 traceId。
- 告警邮件每天几十条,全是 CPU 80%,真出问题时反而被淹没。
- 不知道什么是 SLI/SLO,故障复盘时说不清「这次事故影响了多少用户」。
- 面试问「你们监控怎么做的」,只能答「装了 Prometheus」,讲不清指标怎么采、阈值怎么定。
判断卡住的标志:(1) 用户报障后,你要花 10 分钟才能把一次请求在日志里找出来;(2) 让你说一个接口的 P99 是多少,你说不出来。出现任一现象,先把本阶段过一遍再进 阶段 6 配置与密钥、安全基线。
二、阶段目标与投入
| 能力目标(可验证的行为) | 验证方式 |
|---|---|
| 能部署 Prometheus 并采集 K8s 与业务指标 | Prometheus UI 能查到 pod 指标 |
| 能写 PromQL 查询 P99、错误率、CPU 使用率 | 一条 PromQL 返回正确数值 |
| 能用 Grafana 搭一个业务看板 | 打开看板能看 QPS/RT/错误率 |
| 能配 Loki 收集容器日志并按 label 查询 | 输入 traceId 能查到整条链路日志 |
| 能配 OpenTelemetry 链路追踪 | 一次请求能看到跨服务调用树 |
| 能写告警规则并接到通知渠道 | 触发告警时 oncall 收到电话/IM |
| 能区分告警级别(page / ticket / info) | 知道什么情况打电话、什么情况发群 |
建议学时:
- 全职:2.5 周,约 50 小时。Prometheus 与指标 12 小时、PromQL 8 小时、Grafana 看板 8 小时、Loki 日志 8 小时、OTel 链路 8 小时、告警规则与演练 6 小时。
- 在职:5 周,约 55 小时。
三、先修自检
| 先修项 | 合格标准 | 不合格时怎么办 |
|---|---|---|
| K8s 基础 | 会起 Pod、看 Pod 日志 | 回 阶段 3 |
| 网络 | 知道 HTTP 状态码、端口 | 回 阶段 0 |
| 指标概念 | 知道什么是 counter/gauge/histogram | 不掌握时先读 5.1 |
四、知识地图
| 模块 | 知识点 | 掌握程度 | 对应题库章节 |
|---|---|---|---|
| 指标采集 | Prometheus、Exporter、Pull 模型 | 能讲清原理 | 08.8 可观测性栈 |
| PromQL | counter/gauge/histogram、rate、quantile | 会写 | 08.8 可观测性栈 |
| 看板 | Grafana、DataSource、Panel | 会用 | 08.8 可观测性栈 |
| 日志 | Loki、Promtail、label 设计 | 会用 | 08.8 可观测性栈 |
| 链路 | OpenTelemetry、traceId、span | 能讲清原理 | 08.8 可观测性栈 |
| 告警 | Alertmanager、路由、抑制、静默 | 会用 | 08.4 CI/CD 与可观测性 |
| SLI/SLO | 可用性、延迟、错误预算 | 能讲清原理 | 08.4 CI/CD 与可观测性 |
五、分模块精讲
5.1 指标模型:counter、gauge、histogram
为什么需要它:写 PromQL 之前必须先分清三种指标类型,否则 rate 用错对象、分位数算错,看板数据全是错的。
核心机制:
- Counter(计数器):只增不减(如请求总数)。算速率用
rate(),不能直接用差值。 - Gauge(仪表盘):可增可减(如当前内存、在线用户数)。
- Histogram(直方图):分桶统计延迟。算 P99 用
histogram_quantile(0.99, rate(xxx_bucket[5m]))。 - Prometheus 是 Pull 模型:Exporter 暴露
/metrics,Prometheus 定时来抓。
最小可运行示例:
# QPS(每秒请求数)
rate(http_requests_total[5m])
# 错误率
sum(rate(http_requests_total{status=~"5.."}[5m]))
/
sum(rate(http_requests_total[5m]))
# P99 延迟
histogram_quantile(0.99,
sum(rate(http_request_duration_seconds_bucket[5m])) by (le))
常见坑:
| 现象 | 原因 | 修法 |
|---|---|---|
| rate() 结果为 0 | 对 gauge 用了 rate | rate 只对 counter |
| P99 算出来是 NaN | 没有按 le 聚合 | 加 sum by (le) |
| 指标一直不涨 | 应用没暴露 /metrics | 看应用是否集成了 client |
5.2 Prometheus 与 Exporter
为什么需要它:Prometheus 是指标数据库,但它不自己采数据,靠各种 Exporter 把指标暴露出来。
核心机制:
- node_exporter:主机指标(CPU、内存、磁盘、网络)。
- kube-state-metrics:K8s 对象状态(Pod 重启次数、Deployment 副本数)。
- 应用侧:用 client library 暴露
/metrics,如 Go 的promhttp.Handler()。 - 抓取配置:在
prometheus.yml配scrape_configs,K8s 里用 ServiceMonitor 自动发现。
最小可运行示例:
# prometheus.yml
scrape_configs:
- job_name: 'node'
static_configs:
- targets: ['node-exporter:9100']
- job_name: 'myapp'
kubernetes_sd_configs:
- role: pod
relabel_configs:
- source_labels: [__meta_kubernetes_pod_annotation_prometheus_io_scrape]
action: keep
regex: "true"
常见坑:
| 现象 | 原因 | 修法 |
|---|---|---|
| Prometheus 抓不到应用 | 注解没加或端口错 | 核对 pod 注解 |
| 指标 cardinality 爆炸 | label 里塞了 user_id/url | label 只放低基数维度 |
| 磁盘涨太快 | 保留期太长 | 调 retention 或缩 label |
5.3 Grafana 看板
为什么需要它:PromQL 适合临时查,看板适合日常盯着看和给非技术同事看。
核心机制:
- DataSource 接 Prometheus/Loki/Tempo。
- Panel 类型:时间序列(趋势)、stat(当前值)、table(明细)、bar gauge(阈值)。
- 看板分两类:业务看板(QPS、RT、错误率)和系统看板(CPU、内存、Pod 状态)。
- 变量:按 namespace/service 下拉筛选,不用每个服务建一个看板。
最小可运行示例:
# 业务看板:按 service 筛选 P99
histogram_quantile(0.99,
sum(rate(http_request_duration_seconds_bucket{service="$service"}[5m])) by (le))
常见坑:
| 现象 | 原因 | 修法 |
|---|---|---|
| 看板加载慢 | PromQL 太复杂、时间范围太大 | 加 recording rule |
| 看板数字和实际不符 | 用了 rate(counter) 但 label 错 | 核对 label 值 |
| 非技术同事看不懂 | 全是 PromQL 术语 | 改成人话标题,加说明 |
5.4 Loki 日志聚合
为什么需要它:容器日志散在各个节点上,出问题时 kubectl logs 只能看单个 Pod。Loki 把日志集中起来,按 label 查询,能按 traceId 把一次请求在多个服务里的日志串起来。
核心机制:
- Promtail(或 Grafana Alloy)在每个节点采日志,发给 Loki。
- Label 设计:只放低基数维度(namespace、app、pod),不要把整行日志当 label。
- 查询语言 LogQL:
{app="myapp"} |= "error",|= "trace-id-123"过滤。 - 与 Grafana 集成:从指标看板一键跳到日志。
最小可运行示例:
# 查 myapp 最近 1 小时的 error 日志
{namespace="prod", app="myapp"} |= "error"
# 按 traceId 查
{app="myapp"} |= "trace-id-abc123"
常见坑:
| 现象 | 原因 | 修法 |
|---|---|---|
| Loki 查询很慢 | label 基数太高 | 只保留必要 label |
| 日志查不到 | Promtail 没采到 | 看 Promtail 日志 |
| 磁盘爆了 | 日志保留太久 | 调 retention |
5.5 OpenTelemetry 链路追踪
为什么需要它:一个请求经过网关、用户服务、订单服务、数据库,跨 5 个服务。没有链路追踪,你只能猜哪一段慢;有了 traceId,一眼看到每个 span 的耗时。
核心机制:
- OTel SDK 在应用侧埋点,生成 traceId 和 spanId。
- traceId 随请求在服务间传递(HTTP header
traceparent)。 - Collector 接收所有 span,统一处理后发给后端(Tempo/Jaeger)。
- 日志里也打 traceId,这样从链路能跳到日志,从日志能跳回链路。
最小可运行示例(Go 应用埋点):
import "go.opentelemetry.io/otel"
func handleRequest(w http.ResponseWriter, r *http.Request) {
ctx, span := otel.Tracer("myapp").Start(r.Context(), "handleRequest")
defer span.End()
// 在 ctx 里继续调用下游,traceId 自动传递
callOrderService(ctx)
}
常见坑:
| 现象 | 原因 | 修法 |
|---|---|---|
| 链路断了 | 下游没接 SDK 或没传 header | 统一接入 OTel Collector |
| 采样率太高成本大 | 全量采样 | 用 head-based 或 tail-based 采样 |
| 日志里没 traceId | 日志库没集成 OTel | 用 OTel 提供的 log appender |
5.6 告警规则与 Alertmanager
为什么需要它:看板是给人看的,告警是主动推给 oncall 的。配不好告警,要么误报一堆(全静音),要么漏报(用户先发现)。
核心机制:
- 告警规则写在 Prometheus(或 Grafana Alerting),判断条件 + for 持续时间。
- Alertmanager 接收告警,路由到不同渠道(IM/邮件/电话),支持分组、抑制、静默。
- 告警级别:page(立刻打电话,如全站不可用)、ticket(发工单,如单个 Pod 重启)、info(发群,如新版本发布成功)。
- 告警必须带 runbook 链接:出问题照着做,不用现场翻文档。
最小可运行示例:
# 告警规则
groups:
- name: availability
rules:
- alert: HighErrorRate
expr: |
sum(rate(http_requests_total{status=~"5.."}[5m]))
/ sum(rate(http_requests_total[5m])) > 0.02
for: 5m
labels:
severity: page
annotations:
summary: "错误率超过 2%"
runbook: "https://wiki.example.com/runbook/high-error-rate"
常见坑:
| 现象 | 原因 | 修法 |
|---|---|---|
| 告警太多全静音 | 阈值太敏感 | 加 for 持续时间,分级 |
| 告警没收到 | Alertmanager 路由配错 | 测试通知渠道 |
| 告警来了不知道怎么处理 | 没 runbook | 每条告警必须附 runbook 链接 |
六、分层练习
6.1 复现型
| 练习 | 要求 | 验收标准 | 预计耗时 |
|---|---|---|---|
| 部署 Prometheus | 采集 node_exporter 和应用 | Prometheus 能查到指标 | 3 小时 |
| 写 5 条 PromQL | QPS、错误率、P99、CPU、内存 | 每条返回合理数值 | 2 小时 |
| 搭一个业务看板 | Grafana 面板 | 打开能看到 QPS/RT/错误率 | 3 小时 |
| 配 Loki | 采容器日志 | 能按 traceId 查日志 | 3 小时 |
6.2 改造型
| 练习 | 要求 | 验收标准 | 预计耗时 |
|---|---|---|---|
| 接 OTel 链路 | 两个服务间能看到完整 trace | 一次请求能看到 span 树 | 4 小时 |
| 写一条 page 告警 | 错误率 > 2% 持续 5 分钟 | 触发时 oncall 收到通知 | 3 小时 |
| 配告警抑制 | 节点挂了不重复报 Pod 挂 | 节点宕机时只发一条 | 2 小时 |
6.3 设计型
| 练习 | 要求 | 验收标准 | 预计耗时 |
|---|---|---|---|
| 设计告警分级表 | page/ticket/info 各 5 条 | 能判断哪条告警该打电话 | 3 小时 |
| 设计 SLO | 选一个核心接口定 SLI/SLO | 算得出错误预算 | 2 小时 |
七、排障表
| 现象 | 可能原因 | 排查步骤 | 解决办法 |
|---|---|---|---|
| Prometheus 抓不到指标 | 应用没暴露 /metrics 或网络不通 | curl /metrics 测试 | 核对端口、注解、网络策略 |
| PromQL 返回 NaN | 用错类型或 label 不匹配 | 查 metric 类型与 label 值 | 改查询条件 |
| 看板数据缺失 | 时间范围太大、保留期不够 | 调小时间范围 | 加保留期或 recording rule |
| 日志查不到 | Promtail 没采或 label 错 | 看 Promtail 日志 | 核对 label 配置 |
| 链路断了 | 下游没传 traceparent header | 抓包看 header | 统一接入 OTel SDK |
| 告警没收到 | Alertmanager 路由错 | 测试通知 | 核对 receiver 配置 |
| 告警风暴 | 一个节点挂引发几十条 | 配 group_by 与抑制 | 按 cluster/alertname 分组 |
八、出口条件
全部勾选后进入 阶段 6 配置与密钥、安全基线。
- [ ] 能说出 counter/gauge/histogram 的区别并写对应 PromQL
- [ ] 能用 Grafana 搭一个业务看板,含 QPS、P99、错误率
- [ ] 能用 Loki 按 traceId 把一次请求在多个服务里的日志查出来
- [ ] 能配一条 page 级告警,触发时 oncall 能收到通知
- [ ] 能给一个核心接口定义 SLI(怎么算)和 SLO(目标是多少)
- [ ] 能说清告警为什么要分级、为什么要加 for 持续时间
自测题:
- rate() 为什么不能用在 gauge 上?
- 要点:gauge 可增可减,rate 算速率对它无意义。
- P99 怎么算?
- 要点:histogram_quantile(0.99, sum by (le) rate(bucket[5m]))。
- Loki 的 label 为什么不能放高基数维度?
- 要点:label 组合多会导致索引膨胀,查询慢。
- traceId 在链路里起什么作用?
- 要点:串联一次请求在多个服务间的所有 span。
- 告警的 for 字段是什么意思?
- 要点:条件持续多久才触发,避免抖动误报。
- SLO 和 SLA 的区别?
- 要点:SLO 是内部目标,SLA 是对用户的承诺(带赔偿)。