罗罗编程学习记录 全栈面试题库
本页导航 展开查看

13.6 阶段 5 可观测性与告警

所属:全栈开发面试题库 / 学习路径 / 13 DevOps 与 SRE

本页目录

一、阶段定位

前面阶段解决了「服务能上线」,本阶段解决「上线后出问题你能不能第一时间知道、知道了能不能快速定位」。没有可观测性,故障发现靠用户报、定位靠猜、恢复靠重启。三件套:指标(Metrics,看趋势)、日志(Logs,看细节)、链路(Traces,看跨服务调用路径)。告警不是越多越好,误报多了所有人都会静音,等于没告警。

不掌握本阶段会在后面具体卡在哪:

  • 服务变慢了,不知道是哪一段慢:网关?应用?数据库?
  • 用户报障时,翻半天日志找不到请求,因为没有 traceId。
  • 告警邮件每天几十条,全是 CPU 80%,真出问题时反而被淹没。
  • 不知道什么是 SLI/SLO,故障复盘时说不清「这次事故影响了多少用户」。
  • 面试问「你们监控怎么做的」,只能答「装了 Prometheus」,讲不清指标怎么采、阈值怎么定。

判断卡住的标志:(1) 用户报障后,你要花 10 分钟才能把一次请求在日志里找出来;(2) 让你说一个接口的 P99 是多少,你说不出来。出现任一现象,先把本阶段过一遍再进 阶段 6 配置与密钥、安全基线。

二、阶段目标与投入

能力目标(可验证的行为) 验证方式
能部署 Prometheus 并采集 K8s 与业务指标 Prometheus UI 能查到 pod 指标
能写 PromQL 查询 P99、错误率、CPU 使用率 一条 PromQL 返回正确数值
能用 Grafana 搭一个业务看板 打开看板能看 QPS/RT/错误率
能配 Loki 收集容器日志并按 label 查询 输入 traceId 能查到整条链路日志
能配 OpenTelemetry 链路追踪 一次请求能看到跨服务调用树
能写告警规则并接到通知渠道 触发告警时 oncall 收到电话/IM
能区分告警级别(page / ticket / info) 知道什么情况打电话、什么情况发群

建议学时:

  • 全职:2.5 周,约 50 小时。Prometheus 与指标 12 小时、PromQL 8 小时、Grafana 看板 8 小时、Loki 日志 8 小时、OTel 链路 8 小时、告警规则与演练 6 小时。
  • 在职:5 周,约 55 小时。

三、先修自检

先修项 合格标准 不合格时怎么办
K8s 基础 会起 Pod、看 Pod 日志 回 阶段 3
网络 知道 HTTP 状态码、端口 回 阶段 0
指标概念 知道什么是 counter/gauge/histogram 不掌握时先读 5.1

四、知识地图

模块 知识点 掌握程度 对应题库章节
指标采集 Prometheus、Exporter、Pull 模型 能讲清原理 08.8 可观测性栈
PromQL counter/gauge/histogram、rate、quantile 会写 08.8 可观测性栈
看板 Grafana、DataSource、Panel 会用 08.8 可观测性栈
日志 Loki、Promtail、label 设计 会用 08.8 可观测性栈
链路 OpenTelemetry、traceId、span 能讲清原理 08.8 可观测性栈
告警 Alertmanager、路由、抑制、静默 会用 08.4 CI/CD 与可观测性
SLI/SLO 可用性、延迟、错误预算 能讲清原理 08.4 CI/CD 与可观测性

五、分模块精讲

5.1 指标模型:counter、gauge、histogram

为什么需要它:写 PromQL 之前必须先分清三种指标类型,否则 rate 用错对象、分位数算错,看板数据全是错的。

核心机制:

  • Counter(计数器):只增不减(如请求总数)。算速率用 rate(),不能直接用差值。
  • Gauge(仪表盘):可增可减(如当前内存、在线用户数)。
  • Histogram(直方图):分桶统计延迟。算 P99 用 histogram_quantile(0.99, rate(xxx_bucket[5m]))。
  • Prometheus 是 Pull 模型:Exporter 暴露 /metrics,Prometheus 定时来抓。

最小可运行示例:

# QPS(每秒请求数)
rate(http_requests_total[5m])

# 错误率
sum(rate(http_requests_total{status=~"5.."}[5m]))
  /
sum(rate(http_requests_total[5m]))

# P99 延迟
histogram_quantile(0.99,
  sum(rate(http_request_duration_seconds_bucket[5m])) by (le))

常见坑:

现象 原因 修法
rate() 结果为 0 对 gauge 用了 rate rate 只对 counter
P99 算出来是 NaN 没有按 le 聚合 加 sum by (le)
指标一直不涨 应用没暴露 /metrics 看应用是否集成了 client

5.2 Prometheus 与 Exporter

为什么需要它:Prometheus 是指标数据库,但它不自己采数据,靠各种 Exporter 把指标暴露出来。

核心机制:

  • node_exporter:主机指标(CPU、内存、磁盘、网络)。
  • kube-state-metrics:K8s 对象状态(Pod 重启次数、Deployment 副本数)。
  • 应用侧:用 client library 暴露 /metrics,如 Go 的 promhttp.Handler()。
  • 抓取配置:在 prometheus.yml 配 scrape_configs,K8s 里用 ServiceMonitor 自动发现。

最小可运行示例:

# prometheus.yml
scrape_configs:
  - job_name: 'node'
    static_configs:
      - targets: ['node-exporter:9100']
  - job_name: 'myapp'
    kubernetes_sd_configs:
      - role: pod
    relabel_configs:
      - source_labels: [__meta_kubernetes_pod_annotation_prometheus_io_scrape]
        action: keep
        regex: "true"

常见坑:

现象 原因 修法
Prometheus 抓不到应用 注解没加或端口错 核对 pod 注解
指标 cardinality 爆炸 label 里塞了 user_id/url label 只放低基数维度
磁盘涨太快 保留期太长 调 retention 或缩 label

5.3 Grafana 看板

为什么需要它:PromQL 适合临时查,看板适合日常盯着看和给非技术同事看。

核心机制:

  • DataSource 接 Prometheus/Loki/Tempo。
  • Panel 类型:时间序列(趋势)、stat(当前值)、table(明细)、bar gauge(阈值)。
  • 看板分两类:业务看板(QPS、RT、错误率)和系统看板(CPU、内存、Pod 状态)。
  • 变量:按 namespace/service 下拉筛选,不用每个服务建一个看板。

最小可运行示例:

# 业务看板:按 service 筛选 P99
histogram_quantile(0.99,
  sum(rate(http_request_duration_seconds_bucket{service="$service"}[5m])) by (le))

常见坑:

现象 原因 修法
看板加载慢 PromQL 太复杂、时间范围太大 加 recording rule
看板数字和实际不符 用了 rate(counter) 但 label 错 核对 label 值
非技术同事看不懂 全是 PromQL 术语 改成人话标题,加说明

5.4 Loki 日志聚合

为什么需要它:容器日志散在各个节点上,出问题时 kubectl logs 只能看单个 Pod。Loki 把日志集中起来,按 label 查询,能按 traceId 把一次请求在多个服务里的日志串起来。

核心机制:

  • Promtail(或 Grafana Alloy)在每个节点采日志,发给 Loki。
  • Label 设计:只放低基数维度(namespace、app、pod),不要把整行日志当 label。
  • 查询语言 LogQL:{app="myapp"} |= "error",|= "trace-id-123" 过滤。
  • 与 Grafana 集成:从指标看板一键跳到日志。

最小可运行示例:

# 查 myapp 最近 1 小时的 error 日志
{namespace="prod", app="myapp"} |= "error"

# 按 traceId 查
{app="myapp"} |= "trace-id-abc123"

常见坑:

现象 原因 修法
Loki 查询很慢 label 基数太高 只保留必要 label
日志查不到 Promtail 没采到 看 Promtail 日志
磁盘爆了 日志保留太久 调 retention

5.5 OpenTelemetry 链路追踪

为什么需要它:一个请求经过网关、用户服务、订单服务、数据库,跨 5 个服务。没有链路追踪,你只能猜哪一段慢;有了 traceId,一眼看到每个 span 的耗时。

核心机制:

  • OTel SDK 在应用侧埋点,生成 traceId 和 spanId。
  • traceId 随请求在服务间传递(HTTP header traceparent)。
  • Collector 接收所有 span,统一处理后发给后端(Tempo/Jaeger)。
  • 日志里也打 traceId,这样从链路能跳到日志,从日志能跳回链路。

最小可运行示例(Go 应用埋点):

import "go.opentelemetry.io/otel"

func handleRequest(w http.ResponseWriter, r *http.Request) {
    ctx, span := otel.Tracer("myapp").Start(r.Context(), "handleRequest")
    defer span.End()
    // 在 ctx 里继续调用下游,traceId 自动传递
    callOrderService(ctx)
}

常见坑:

现象 原因 修法
链路断了 下游没接 SDK 或没传 header 统一接入 OTel Collector
采样率太高成本大 全量采样 用 head-based 或 tail-based 采样
日志里没 traceId 日志库没集成 OTel 用 OTel 提供的 log appender

5.6 告警规则与 Alertmanager

为什么需要它:看板是给人看的,告警是主动推给 oncall 的。配不好告警,要么误报一堆(全静音),要么漏报(用户先发现)。

核心机制:

  • 告警规则写在 Prometheus(或 Grafana Alerting),判断条件 + for 持续时间。
  • Alertmanager 接收告警,路由到不同渠道(IM/邮件/电话),支持分组、抑制、静默。
  • 告警级别:page(立刻打电话,如全站不可用)、ticket(发工单,如单个 Pod 重启)、info(发群,如新版本发布成功)。
  • 告警必须带 runbook 链接:出问题照着做,不用现场翻文档。

最小可运行示例:

# 告警规则
groups:
  - name: availability
    rules:
      - alert: HighErrorRate
        expr: |
          sum(rate(http_requests_total{status=~"5.."}[5m]))
            / sum(rate(http_requests_total[5m])) > 0.02
        for: 5m
        labels:
          severity: page
        annotations:
          summary: "错误率超过 2%"
          runbook: "https://wiki.example.com/runbook/high-error-rate"

常见坑:

现象 原因 修法
告警太多全静音 阈值太敏感 加 for 持续时间,分级
告警没收到 Alertmanager 路由配错 测试通知渠道
告警来了不知道怎么处理 没 runbook 每条告警必须附 runbook 链接

六、分层练习

6.1 复现型

练习 要求 验收标准 预计耗时
部署 Prometheus 采集 node_exporter 和应用 Prometheus 能查到指标 3 小时
写 5 条 PromQL QPS、错误率、P99、CPU、内存 每条返回合理数值 2 小时
搭一个业务看板 Grafana 面板 打开能看到 QPS/RT/错误率 3 小时
配 Loki 采容器日志 能按 traceId 查日志 3 小时

6.2 改造型

练习 要求 验收标准 预计耗时
接 OTel 链路 两个服务间能看到完整 trace 一次请求能看到 span 树 4 小时
写一条 page 告警 错误率 > 2% 持续 5 分钟 触发时 oncall 收到通知 3 小时
配告警抑制 节点挂了不重复报 Pod 挂 节点宕机时只发一条 2 小时

6.3 设计型

练习 要求 验收标准 预计耗时
设计告警分级表 page/ticket/info 各 5 条 能判断哪条告警该打电话 3 小时
设计 SLO 选一个核心接口定 SLI/SLO 算得出错误预算 2 小时

七、排障表

现象 可能原因 排查步骤 解决办法
Prometheus 抓不到指标 应用没暴露 /metrics 或网络不通 curl /metrics 测试 核对端口、注解、网络策略
PromQL 返回 NaN 用错类型或 label 不匹配 查 metric 类型与 label 值 改查询条件
看板数据缺失 时间范围太大、保留期不够 调小时间范围 加保留期或 recording rule
日志查不到 Promtail 没采或 label 错 看 Promtail 日志 核对 label 配置
链路断了 下游没传 traceparent header 抓包看 header 统一接入 OTel SDK
告警没收到 Alertmanager 路由错 测试通知 核对 receiver 配置
告警风暴 一个节点挂引发几十条 配 group_by 与抑制 按 cluster/alertname 分组

八、出口条件

全部勾选后进入 阶段 6 配置与密钥、安全基线。

  • [ ] 能说出 counter/gauge/histogram 的区别并写对应 PromQL
  • [ ] 能用 Grafana 搭一个业务看板,含 QPS、P99、错误率
  • [ ] 能用 Loki 按 traceId 把一次请求在多个服务里的日志查出来
  • [ ] 能配一条 page 级告警,触发时 oncall 能收到通知
  • [ ] 能给一个核心接口定义 SLI(怎么算)和 SLO(目标是多少)
  • [ ] 能说清告警为什么要分级、为什么要加 for 持续时间

自测题:

  1. rate() 为什么不能用在 gauge 上?
    • 要点:gauge 可增可减,rate 算速率对它无意义。
  2. P99 怎么算?
    • 要点:histogram_quantile(0.99, sum by (le) rate(bucket[5m]))。
  3. Loki 的 label 为什么不能放高基数维度?
    • 要点:label 组合多会导致索引膨胀,查询慢。
  4. traceId 在链路里起什么作用?
    • 要点:串联一次请求在多个服务间的所有 span。
  5. 告警的 for 字段是什么意思?
    • 要点:条件持续多久才触发,避免抖动误报。
  6. SLO 和 SLA 的区别?
    • 要点:SLO 是内部目标,SLA 是对用户的承诺(带赔偿)。