罗罗编程学习记录
本页内容 展开查看

08.8.1 指标(Prometheus 采集、PromQL、告警规则)

所属:全栈开发面试题库 / 08 云原生与 DevOps / 08.8 可观测性栈

覆盖范围

  • Prometheus 架构与 pull 模型
  • 指标类型(counter/gauge/histogram/summary)
  • PromQL 基础函数与聚合
  • 基数(cardinality)与高基数风险
  • 告警规则(recording/alerting rule)

高频题速览

编号 题目 难度 频率
08.8.1-001 Prometheus 是什么?pull 模型是什么? 基础 ★★★★★
08.8.1-002 counter、gauge、histogram、summary 区别? 进阶 ★★★★★
08.8.1-003 PromQL 的 rate() 与 increase() 区别? 进阶 ★★★★★
08.8.1-004 什么是基数(cardinality)?为什么危险? 进阶 ★★★★★
08.8.1-005 histogram 怎么算 P99? 进阶 ★★★★★
08.8.1-006 什么是 recording rule?为什么要用? 进阶 ★★★★
08.8.1-007 告警规则怎么写?for 是什么? 基础 ★★★★
08.8.1-008 Prometheus 为什么不适合长期存储? 进阶 ★★★★
08.8.1-009 pushgateway 用在哪? 基础 ★★★
08.8.1-010 如何计算服务可用性 SLO? 高级 ★★★★

08.8.1-001 Prometheus 是什么?pull 模型是什么?

一句话结论

Prometheus 是时序数据库与监控系统,默认 pull 模型:Prometheus 主动按 scrape_interval 拉取目标的 /metrics 端点,存储为时序数据。

概念解释

  • pull:Prometheus 主动连目标,HTTP GET /metrics。
  • pushgateway:短任务无法被 pull,主动 push 到 pushgateway。
  • 服务发现:K8s SD、Consul SD、文件 SD。
  • 指标:每行一个 sample(metric{labels} value timestamp)。

原理流程

  1. Prometheus 按 scrape_interval 拉取目标。
  2. 目标返回文本格式指标。
  3. Prometheus 解析并存入本地 TSDB。
  4. PromQL 查询时从 TSDB 读。

代码 / 示例

# /metrics 返回
http_requests_total{method="GET",status="200"} 1234
http_request_duration_seconds_bucket{le="0.1"} 100

常见误区

  • 误区:Prometheus 是 push 模型;正解:默认 pull,push 是例外(pushgateway)。
  • 误区:Prometheus 适合长期存储;正解:本地 TSDB 保留 15 天,长期存储用 Thanos/Cortex/Mimir。

追问

  • Q:pull 模型优缺点? A:优点:目标 down 立即发现、集中管理采集配置;缺点:短任务、批任务不适合。
  • Q:服务发现怎么工作? A:Prometheus 从 K8s API 拉 Pod/Service 列表,自动加 scrape target。

08.8.1-002 counter、gauge、histogram、summary 区别?

一句话结论

counter 单调递增(请求数),gauge 可增可减(内存、温度),histogram 分桶统计分布(可聚合算分位),summary 客户端直接算分位(不可聚合)。

概念解释

  • counter:只增不减(重启归零),用 rate() 算速率。
  • gauge:瞬时值,可增可减。
  • histogram:分桶,服务端聚合算 P99。
  • summary:客户端算分位,不可跨实例聚合。

原理流程

  1. counter:每处理一个请求 +1。
  2. gauge:当前内存大小。
  3. histogram:请求耗时按 le 桶计数。
  4. summary:客户端直接输出 quantile="0.99"。

代码 / 示例

# counter
http_requests_total{method="GET"} 1234

# gauge
node_memory_used_bytes 8.5e9

# histogram
http_duration_seconds_bucket{le="0.1"} 100
http_duration_seconds_bucket{le="0.5"} 500
http_duration_seconds_bucket{le="+Inf"} 1000

# summary
http_duration_seconds{quantile="0.99"} 0.3

常见误区

  • 误区:counter 可以减少;正解:counter 单调递增(重启归零),用 rate() 算每秒速率。
  • 误区:summary 能跨实例聚合;正解:summary 分位是客户端算的,跨实例不能加总;histogram 才能聚合。

追问

  • Q:histogram 与 summary 怎么选? A:需要跨实例聚合算 P99 用 histogram;单实例、要精确分位用 summary。
  • Q:counter 重启归零怎么办? A:rate() 会处理 counter reset(检测到值变小就当 reset)。

08.8.1-003 PromQL 的 rate() 与 increase() 区别?

一句话结论

rate() 计算每秒平均速率(per-second per-instance),increase() 计算窗口内总增量;increase 本质是 rate * 窗口时长,两者都自动处理 counter reset。

概念解释

  • rate(metric[5m]):5 窗口内每秒平均增量。
  • increase(metric[5m]):5 窗口内总增量 = rate * 300。
  • counter reset:rate 检测值变小,自动调整。

原理流程

  1. 取窗口内所有 sample。
  2. 检测 counter reset(值下降)。
  3. 计算首末差值。
  4. rate = diff / 窗口秒数。

代码 / 示例

# 每秒请求数
rate(http_requests_total[5m])

# 5 分钟总请求数
increase(http_requests_total[5m])

常见误区

  • 误区:rate() 用瞬时值;正解:rate() 必须用范围向量([5m]),不能用瞬时向量。
  • 误区:increase() 比 rate() 准;正解:increase = rate * 窗口时长,数学等价,只是单位不同。

追问

  • Q:为什么 rate 用 [5m] 而不是 [1m]? A:采样间隔 15s,[1m] 只有 4 个点,噪声大;[5m] 20 个点,平滑。
  • Q:irate() 是什么? A:irate() 用最后两个点算瞬时速率,适合快速变化,但平滑差。

08.8.1-004 什么是基数(cardinality)?为什么危险?

一句话结论

基数是时间序列数量 = 指标数 × label 组合数;高基数(如 user_id、request_id 作为 label)会让 Prometheus TSDB 内存暴涨、查询变慢。

概念解释

  • 基数:http_requests_total{method="GET",status="200"} 是一条序列;method 有 4 种、status 有 5 种,基数 = 20。
  • 高基数 label:user_id、order_id、url 路径参数,每个值产生一条序列。
  • 风险:10 万 label 值 = 10 万条序列,内存 OOM。

原理流程

  1. 应用暴露指标,label 含 user_id。
  2. 每个用户产生一条序列。
  3. 100 万用户 = 100 万条序列。
  4. Prometheus 内存爆炸。

代码 / 示例

# 高基数(反例)
http_requests_total{user_id="12345"} 1
http_requests_total{user_id="67890"} 1
# 每个 user_id 一条序列

# 低基数(正例)
http_requests_total{method="GET",status="200"} 1234

常见误区

  • 误区:label 越多越细越好;正解:label 维度必须是有限集合(method、status),不要把 ID 类高基数字段做 label。
  • 误区:Prometheus 不怕基数;正解:单实例百万序列是常见上限,千万级要分库。

追问

  • Q:如何查高基数? A:count by (__name__)({__name__=~".+"}) 或 Prometheus UI 查 cardinality。
  • Q:url 路径怎么统计? A:用路由模板(/users/:id)做 label,不要把具体路径做 label。

08.8.1-005 histogram 怎么算 P99?

一句话结论

用 histogram_quantile(0.99, sum by (le)(rate(http_duration_bucket[5m]))):先按 le 桶聚合速率,再用 histogram_quantile 函数算分位。

概念解释

  • histogram_quantile:输入是分桶累积计数,输出分位值。
  • 必须先按 le 聚合:跨实例加总桶计数。
  • le 必须是递增的桶边界。

原理流程

  1. rate(bucket[5m]) 算每桶每秒速率。
  2. sum by (le)() 跨实例聚合。
  3. histogram_quantile(0.99, ...) 算出 P99 落在哪个桶。

代码 / 示例

histogram_quantile(
  0.99,
  sum by (le)(rate(http_request_duration_seconds_bucket[5m]))
)

常见误区

  • 误区:直接对 histogram 用 avg();正解:avg 只是平均,不是 P99;P99 必须用 histogram_quantile。
  • 误区:不聚合 le 直接算;正解:必须先 sum by (le),否则跨实例分位无意义。

追问

  • Q:桶边界怎么设? A:按业务延迟分布设(如 0.005, 0.01, 0.05, 0.1, 0.5, 1, 5),覆盖常见范围。
  • Q:P99 不准? A:桶太粗会导致分位估算误差,必要时加细桶。

08.8.1-006 什么是 recording rule?为什么要用?

一句话结论

recording rule 把复杂 PromQL 预先计算并存为新指标,避免每次查询都实时算,加快 dashboard 与告警查询速度。

概念解释

  • recording rule:预计算表达式,存为新 metric。
  • 用途:复杂聚合、常用 SLI 指标。
  • 执行:Prometheus 按 evaluation_interval 周期执行。

原理流程

  1. 定义 recording rule:job:http_requests:rate5m = sum by (job)(rate(http_requests_total[5m]))。
  2. Prometheus 每 15s 算一次,存为新指标。
  3. dashboard 直接查 job:http_requests:rate5m。

代码 / 示例

groups:
  - name: rec
    rules:
      - record: job:http_requests:rate5m
        expr: sum by (job)(rate(http_requests_total[5m]))

常见误区

  • 误区:recording rule 是告警;正解:recording rule 是预计算,告警是 alerting rule。
  • 误区:所有查询都该 recording;正解:只对高频 dashboard/告警用 recording,避免存储膨胀。

追问

  • Q:recording rule 命名规范? A:level:metric:operations,如 job:http_requests:rate5m。
  • Q:recording rule 多了会怎样? A:增加 TSDB 存储与计算压力,按需使用。

08.8.1-007 告警规则怎么写?for 是什么?

一句话结论

alerting rule 定义 PromQL 表达式与持续时间(for),表达式连续成立 for 时长后触发 Pending,再过 group_wait 触发 Firing。

概念解释

  • expr:PromQL 表达式。
  • for:持续多久才触发(避免抖动)。
  • labels/annotations:告警元数据(severity、summary、runbook)。
  • Pending vs Firing:for 内 Pending,超过 for 变 Firing。

原理流程

  1. 表达式计算。
  2. 连续成立 for 时长 -> 进入 Pending。
  3. group_wait 后 -> Firing,发 Alertmanager。

代码 / 示例

groups:
  - name: alert
    rules:
      - alert: HighErrorRate
        expr: rate(http_requests_total{status=~"5.."}[5m]) / rate(http_requests_total[5m]) > 0.05
        for: 5m
        labels:
          severity: critical
        annotations:
          summary: "High error rate on {{ $labels.job }}"

常见误区

  • 误区:for 设 0 立即触发;正解:for=0 立即 Pending,但抖动告警多;for 5m 避免瞬时抖动。
  • 误区:告警直接发通知;正解:告警先到 Alertmanager,由 Alertmanager 做路由、静默、聚合、去重。

追问

  • Q:Alertmanager 做什么? A:接收告警,按路由分发到 Slack/Email/PagerDuty,做 silences、inhibition、group_by。
  • Q:如何避免告警风暴? A:group_by、group_wait、inhibit 规则。

08.8.1-008 Prometheus 为什么不适合长期存储?

一句话结论

Prometheus 本地 TSDB 为单节点设计,默认保留 15 天,水平扩展难;长期存储与全局查询用 Thanos/Cortex/Mimir 做远程存储与聚合。

概念解释

  • 本地 TSDB:单机、块存储、保留 15 天。
  • 长期存储:Thanos/Cortex/Mimir 把样本传到对象存储(S3/GCS),支持全局查询。
  • 全局查询:跨 Prometheus 实例聚合。

原理流程

  1. Prometheus 本地存 15 天。
  2. Thanos Sidecar 把样本传到对象存储。
  3. Thanos Querier 统一查本地 + 对象存储。

代码 / 示例

Prometheus A -> Thanos Sidecar -> S3
Prometheus B -> Thanos Sidecar -> S3
Thanos Querier -> 查 A + B + S3

常见误区

  • 误区:Prometheus 能存一年;正解:本地保留调长会增加磁盘与查询压力,长期用 Thanos。
  • 误区:Prometheus 高可用就复制一份;正解:复制两份 Prometheus 是冗余,不是长期存储。

追问

  • Q:Thanos 与 Cortex/Mimir 区别? A:Thanos 是 sidecar 模式,改动小;Mimir 是中心化,多租户,适合大规模。
  • Q:为什么需要全局查询? A:多集群 Prometheus 各自管自己,全局查询需要统一聚合层。

08.8.1-009 pushgateway 用在哪?

一句话结论

pushgateway 用于短生命周期批任务(CronJob)无法被 Prometheus pull,主动 push 指标到 pushgateway,Prometheus 再从 pushgateway pull。

概念解释

  • 短任务:CronJob、批处理,跑完就消失。
  • push:任务结束前 POST 指标到 pushgateway。
  • pull:Prometheus 从 pushgateway 拉。

原理流程

  1. CronJob 跑完,push 指标到 pushgateway。
  2. Prometheus 从 pushgateway pull。
  3. pushgateway 保留最后一次 push 的指标。

代码 / 示例

# CronJob 里
echo "batch_jobs_total{job="etl"} 1" | curl --data-binary @- http://pushgateway:9091/metrics/job/etl

常见误区

  • 误区:pushgateway 替代 pull;正解:pushgateway 只用于短任务,长任务仍用 pull。
  • 误区:pushgateway 是时序数据库;正解:pushgateway 只存最后一次 push 的值,不存历史。

追问

  • Q:pushgateway 高可用? A:pushgateway 是单点,多实例会分裂;生产慎用。
  • Q:pushgateway 会有过期指标吗? A:默认不删,要配 ttl 或手动清理。

08.8.1-010 如何计算服务可用性 SLO?

一句话结论

可用性 SLO = 成功请求数 / 总请求数,用 PromQL 计算窗口内 5xx 比例;如 99.9% 可用性 = 1 小时内 5xx < 0.1%。

概念解释

  • SLI:成功率 = 成功请求 / 总请求。
  • SLO:目标 99.9%。
  • 错误预算:SLO 与 100% 的差值。
  • 窗口:通常 28 天或 30 天滚动。

原理流程

  1. 算 5xx 请求速率。
  2. 算总请求速率。
  3. 错误率 = 5xx / 总。
  4. 可用性 = 1 - 错误率。

代码 / 示例

# 5xx 比例
sum(rate(http_requests_total{status=~"5.."}[5m]))
/
sum(rate(http_requests_total[5m]))

# 可用性 SLO(99.9%)
1 - sum(rate(http_requests_total{status=~"5.."}[5m])) / sum(rate(http_requests_total[5m]))

常见误区

  • 误区:SLO 用瞬时值;正解:SLO 用长窗口(28 天),避免抖动。
  • 误区:SLO 是 100%;正解:SLO 是目标,错误预算允许一定错误。

追问

  • Q:错误预算怎么用? A:错误预算用完,冻结新功能发布,先修稳定性。
  • Q:Apdex 是什么? A:应用性能指数,按响应时间满意度分级(满意/可容忍/失望)。

待整理清单

  • [ ] Prometheus 联邦集群
  • [ ] Thanos 架构细节
  • [ ] 自定义指标(client_golang)
  • [ ] PromQL 高级聚合与子查询