08.8.1 指标(Prometheus 采集、PromQL、告警规则)
所属:全栈开发面试题库 / 08 云原生与 DevOps / 08.8 可观测性栈
覆盖范围
- Prometheus 架构与 pull 模型
- 指标类型(counter/gauge/histogram/summary)
- PromQL 基础函数与聚合
- 基数(cardinality)与高基数风险
- 告警规则(recording/alerting rule)
高频题速览
| 编号 | 题目 | 难度 | 频率 |
|---|---|---|---|
| 08.8.1-001 | Prometheus 是什么?pull 模型是什么? | 基础 | ★★★★★ |
| 08.8.1-002 | counter、gauge、histogram、summary 区别? | 进阶 | ★★★★★ |
| 08.8.1-003 | PromQL 的 rate() 与 increase() 区别? | 进阶 | ★★★★★ |
| 08.8.1-004 | 什么是基数(cardinality)?为什么危险? | 进阶 | ★★★★★ |
| 08.8.1-005 | histogram 怎么算 P99? | 进阶 | ★★★★★ |
| 08.8.1-006 | 什么是 recording rule?为什么要用? | 进阶 | ★★★★ |
| 08.8.1-007 | 告警规则怎么写?for 是什么? | 基础 | ★★★★ |
| 08.8.1-008 | Prometheus 为什么不适合长期存储? | 进阶 | ★★★★ |
| 08.8.1-009 | pushgateway 用在哪? | 基础 | ★★★ |
| 08.8.1-010 | 如何计算服务可用性 SLO? | 高级 | ★★★★ |
08.8.1-001 Prometheus 是什么?pull 模型是什么?
一句话结论
Prometheus 是时序数据库与监控系统,默认 pull 模型:Prometheus 主动按 scrape_interval 拉取目标的 /metrics 端点,存储为时序数据。
概念解释
- pull:Prometheus 主动连目标,HTTP GET /metrics。
- pushgateway:短任务无法被 pull,主动 push 到 pushgateway。
- 服务发现:K8s SD、Consul SD、文件 SD。
- 指标:每行一个 sample(metric{labels} value timestamp)。
原理流程
- Prometheus 按 scrape_interval 拉取目标。
- 目标返回文本格式指标。
- Prometheus 解析并存入本地 TSDB。
- PromQL 查询时从 TSDB 读。
代码 / 示例
# /metrics 返回
http_requests_total{method="GET",status="200"} 1234
http_request_duration_seconds_bucket{le="0.1"} 100
常见误区
- 误区:Prometheus 是 push 模型;正解:默认 pull,push 是例外(pushgateway)。
- 误区:Prometheus 适合长期存储;正解:本地 TSDB 保留 15 天,长期存储用 Thanos/Cortex/Mimir。
追问
- Q:pull 模型优缺点? A:优点:目标 down 立即发现、集中管理采集配置;缺点:短任务、批任务不适合。
- Q:服务发现怎么工作? A:Prometheus 从 K8s API 拉 Pod/Service 列表,自动加 scrape target。
08.8.1-002 counter、gauge、histogram、summary 区别?
一句话结论
counter 单调递增(请求数),gauge 可增可减(内存、温度),histogram 分桶统计分布(可聚合算分位),summary 客户端直接算分位(不可聚合)。
概念解释
- counter:只增不减(重启归零),用 rate() 算速率。
- gauge:瞬时值,可增可减。
- histogram:分桶,服务端聚合算 P99。
- summary:客户端算分位,不可跨实例聚合。
原理流程
- counter:每处理一个请求 +1。
- gauge:当前内存大小。
- histogram:请求耗时按 le 桶计数。
- summary:客户端直接输出 quantile="0.99"。
代码 / 示例
# counter
http_requests_total{method="GET"} 1234
# gauge
node_memory_used_bytes 8.5e9
# histogram
http_duration_seconds_bucket{le="0.1"} 100
http_duration_seconds_bucket{le="0.5"} 500
http_duration_seconds_bucket{le="+Inf"} 1000
# summary
http_duration_seconds{quantile="0.99"} 0.3
常见误区
- 误区:counter 可以减少;正解:counter 单调递增(重启归零),用 rate() 算每秒速率。
- 误区:summary 能跨实例聚合;正解:summary 分位是客户端算的,跨实例不能加总;histogram 才能聚合。
追问
- Q:histogram 与 summary 怎么选? A:需要跨实例聚合算 P99 用 histogram;单实例、要精确分位用 summary。
- Q:counter 重启归零怎么办? A:rate() 会处理 counter reset(检测到值变小就当 reset)。
08.8.1-003 PromQL 的 rate() 与 increase() 区别?
一句话结论
rate() 计算每秒平均速率(per-second per-instance),increase() 计算窗口内总增量;increase 本质是 rate * 窗口时长,两者都自动处理 counter reset。
概念解释
- rate(metric[5m]):5 窗口内每秒平均增量。
- increase(metric[5m]):5 窗口内总增量 = rate * 300。
- counter reset:rate 检测值变小,自动调整。
原理流程
- 取窗口内所有 sample。
- 检测 counter reset(值下降)。
- 计算首末差值。
- rate = diff / 窗口秒数。
代码 / 示例
# 每秒请求数
rate(http_requests_total[5m])
# 5 分钟总请求数
increase(http_requests_total[5m])
常见误区
- 误区:rate() 用瞬时值;正解:rate() 必须用范围向量([5m]),不能用瞬时向量。
- 误区:increase() 比 rate() 准;正解:increase = rate * 窗口时长,数学等价,只是单位不同。
追问
- Q:为什么 rate 用 [5m] 而不是 [1m]? A:采样间隔 15s,[1m] 只有 4 个点,噪声大;[5m] 20 个点,平滑。
- Q:irate() 是什么? A:irate() 用最后两个点算瞬时速率,适合快速变化,但平滑差。
08.8.1-004 什么是基数(cardinality)?为什么危险?
一句话结论
基数是时间序列数量 = 指标数 × label 组合数;高基数(如 user_id、request_id 作为 label)会让 Prometheus TSDB 内存暴涨、查询变慢。
概念解释
- 基数:http_requests_total{method="GET",status="200"} 是一条序列;method 有 4 种、status 有 5 种,基数 = 20。
- 高基数 label:user_id、order_id、url 路径参数,每个值产生一条序列。
- 风险:10 万 label 值 = 10 万条序列,内存 OOM。
原理流程
- 应用暴露指标,label 含 user_id。
- 每个用户产生一条序列。
- 100 万用户 = 100 万条序列。
- Prometheus 内存爆炸。
代码 / 示例
# 高基数(反例)
http_requests_total{user_id="12345"} 1
http_requests_total{user_id="67890"} 1
# 每个 user_id 一条序列
# 低基数(正例)
http_requests_total{method="GET",status="200"} 1234
常见误区
- 误区:label 越多越细越好;正解:label 维度必须是有限集合(method、status),不要把 ID 类高基数字段做 label。
- 误区:Prometheus 不怕基数;正解:单实例百万序列是常见上限,千万级要分库。
追问
- Q:如何查高基数? A:
count by (__name__)({__name__=~".+"})或 Prometheus UI 查 cardinality。 - Q:url 路径怎么统计? A:用路由模板(/users/:id)做 label,不要把具体路径做 label。
08.8.1-005 histogram 怎么算 P99?
一句话结论
用 histogram_quantile(0.99, sum by (le)(rate(http_duration_bucket[5m]))):先按 le 桶聚合速率,再用 histogram_quantile 函数算分位。
概念解释
- histogram_quantile:输入是分桶累积计数,输出分位值。
- 必须先按 le 聚合:跨实例加总桶计数。
- le 必须是递增的桶边界。
原理流程
- rate(bucket[5m]) 算每桶每秒速率。
- sum by (le)() 跨实例聚合。
- histogram_quantile(0.99, ...) 算出 P99 落在哪个桶。
代码 / 示例
histogram_quantile(
0.99,
sum by (le)(rate(http_request_duration_seconds_bucket[5m]))
)
常见误区
- 误区:直接对 histogram 用 avg();正解:avg 只是平均,不是 P99;P99 必须用 histogram_quantile。
- 误区:不聚合 le 直接算;正解:必须先 sum by (le),否则跨实例分位无意义。
追问
- Q:桶边界怎么设? A:按业务延迟分布设(如 0.005, 0.01, 0.05, 0.1, 0.5, 1, 5),覆盖常见范围。
- Q:P99 不准? A:桶太粗会导致分位估算误差,必要时加细桶。
08.8.1-006 什么是 recording rule?为什么要用?
一句话结论
recording rule 把复杂 PromQL 预先计算并存为新指标,避免每次查询都实时算,加快 dashboard 与告警查询速度。
概念解释
- recording rule:预计算表达式,存为新 metric。
- 用途:复杂聚合、常用 SLI 指标。
- 执行:Prometheus 按 evaluation_interval 周期执行。
原理流程
- 定义 recording rule:
job:http_requests:rate5m = sum by (job)(rate(http_requests_total[5m]))。 - Prometheus 每 15s 算一次,存为新指标。
- dashboard 直接查
job:http_requests:rate5m。
代码 / 示例
groups:
- name: rec
rules:
- record: job:http_requests:rate5m
expr: sum by (job)(rate(http_requests_total[5m]))
常见误区
- 误区:recording rule 是告警;正解:recording rule 是预计算,告警是 alerting rule。
- 误区:所有查询都该 recording;正解:只对高频 dashboard/告警用 recording,避免存储膨胀。
追问
- Q:recording rule 命名规范? A:
level:metric:operations,如job:http_requests:rate5m。 - Q:recording rule 多了会怎样? A:增加 TSDB 存储与计算压力,按需使用。
08.8.1-007 告警规则怎么写?for 是什么?
一句话结论
alerting rule 定义 PromQL 表达式与持续时间(for),表达式连续成立 for 时长后触发 Pending,再过 group_wait 触发 Firing。
概念解释
- expr:PromQL 表达式。
- for:持续多久才触发(避免抖动)。
- labels/annotations:告警元数据(severity、summary、runbook)。
- Pending vs Firing:for 内 Pending,超过 for 变 Firing。
原理流程
- 表达式计算。
- 连续成立 for 时长 -> 进入 Pending。
- group_wait 后 -> Firing,发 Alertmanager。
代码 / 示例
groups:
- name: alert
rules:
- alert: HighErrorRate
expr: rate(http_requests_total{status=~"5.."}[5m]) / rate(http_requests_total[5m]) > 0.05
for: 5m
labels:
severity: critical
annotations:
summary: "High error rate on {{ $labels.job }}"
常见误区
- 误区:for 设 0 立即触发;正解:for=0 立即 Pending,但抖动告警多;for 5m 避免瞬时抖动。
- 误区:告警直接发通知;正解:告警先到 Alertmanager,由 Alertmanager 做路由、静默、聚合、去重。
追问
- Q:Alertmanager 做什么? A:接收告警,按路由分发到 Slack/Email/PagerDuty,做 silences、inhibition、group_by。
- Q:如何避免告警风暴? A:group_by、group_wait、inhibit 规则。
08.8.1-008 Prometheus 为什么不适合长期存储?
一句话结论
Prometheus 本地 TSDB 为单节点设计,默认保留 15 天,水平扩展难;长期存储与全局查询用 Thanos/Cortex/Mimir 做远程存储与聚合。
概念解释
- 本地 TSDB:单机、块存储、保留 15 天。
- 长期存储:Thanos/Cortex/Mimir 把样本传到对象存储(S3/GCS),支持全局查询。
- 全局查询:跨 Prometheus 实例聚合。
原理流程
- Prometheus 本地存 15 天。
- Thanos Sidecar 把样本传到对象存储。
- Thanos Querier 统一查本地 + 对象存储。
代码 / 示例
Prometheus A -> Thanos Sidecar -> S3
Prometheus B -> Thanos Sidecar -> S3
Thanos Querier -> 查 A + B + S3
常见误区
- 误区:Prometheus 能存一年;正解:本地保留调长会增加磁盘与查询压力,长期用 Thanos。
- 误区:Prometheus 高可用就复制一份;正解:复制两份 Prometheus 是冗余,不是长期存储。
追问
- Q:Thanos 与 Cortex/Mimir 区别? A:Thanos 是 sidecar 模式,改动小;Mimir 是中心化,多租户,适合大规模。
- Q:为什么需要全局查询? A:多集群 Prometheus 各自管自己,全局查询需要统一聚合层。
08.8.1-009 pushgateway 用在哪?
一句话结论
pushgateway 用于短生命周期批任务(CronJob)无法被 Prometheus pull,主动 push 指标到 pushgateway,Prometheus 再从 pushgateway pull。
概念解释
- 短任务:CronJob、批处理,跑完就消失。
- push:任务结束前 POST 指标到 pushgateway。
- pull:Prometheus 从 pushgateway 拉。
原理流程
- CronJob 跑完,push 指标到 pushgateway。
- Prometheus 从 pushgateway pull。
- pushgateway 保留最后一次 push 的指标。
代码 / 示例
# CronJob 里
echo "batch_jobs_total{job="etl"} 1" | curl --data-binary @- http://pushgateway:9091/metrics/job/etl
常见误区
- 误区:pushgateway 替代 pull;正解:pushgateway 只用于短任务,长任务仍用 pull。
- 误区:pushgateway 是时序数据库;正解:pushgateway 只存最后一次 push 的值,不存历史。
追问
- Q:pushgateway 高可用? A:pushgateway 是单点,多实例会分裂;生产慎用。
- Q:pushgateway 会有过期指标吗? A:默认不删,要配 ttl 或手动清理。
08.8.1-010 如何计算服务可用性 SLO?
一句话结论
可用性 SLO = 成功请求数 / 总请求数,用 PromQL 计算窗口内 5xx 比例;如 99.9% 可用性 = 1 小时内 5xx < 0.1%。
概念解释
- SLI:成功率 = 成功请求 / 总请求。
- SLO:目标 99.9%。
- 错误预算:SLO 与 100% 的差值。
- 窗口:通常 28 天或 30 天滚动。
原理流程
- 算 5xx 请求速率。
- 算总请求速率。
- 错误率 = 5xx / 总。
- 可用性 = 1 - 错误率。
代码 / 示例
# 5xx 比例
sum(rate(http_requests_total{status=~"5.."}[5m]))
/
sum(rate(http_requests_total[5m]))
# 可用性 SLO(99.9%)
1 - sum(rate(http_requests_total{status=~"5.."}[5m])) / sum(rate(http_requests_total[5m]))
常见误区
- 误区:SLO 用瞬时值;正解:SLO 用长窗口(28 天),避免抖动。
- 误区:SLO 是 100%;正解:SLO 是目标,错误预算允许一定错误。
追问
- Q:错误预算怎么用? A:错误预算用完,冻结新功能发布,先修稳定性。
- Q:Apdex 是什么? A:应用性能指数,按响应时间满意度分级(满意/可容忍/失望)。
待整理清单
- [ ] Prometheus 联邦集群
- [ ] Thanos 架构细节
- [ ] 自定义指标(client_golang)
- [ ] PromQL 高级聚合与子查询