罗罗编程学习记录
本页内容 展开查看

08.4.1.3 指标日志追踪三件套

所属:全栈开发面试题库 / 08 云原生与 DevOps / 08.4 CI/CD 与可观测性 / 08.4.1 CI/CD 与可观测性

说明:本页为可观测性通用概念与范式;具体系统(Prometheus、ELK/Loki、Jaeger/OpenTelemetry 等)字段与能力以官方文档为准。

08.4.1.3-001 指标、日志、追踪三支柱如何分工?

一句话结论

指标回答「是否异常、趋势如何」,日志回答「发生了什么细节」,追踪回答「请求跨服务卡在哪一环」;三者互补,通过标识关联。

概念解释

  • 指标:聚合数值与时序。
  • 日志:离散事件明细。
  • 追踪:单次请求跨服务链路。

原理流程

  1. 指标告警发现异常。
  2. 日志查具体事件与错误。
  3. 追踪定位链路慢/错环节。

代码 / 对照

支柱 回答问题 数据形态
指标 有没有问题、趋势 时序数值 + 标签
日志 具体发生了什么 结构化事件记录
追踪 链路哪一环慢/错 span 调用链

常见误区

  • 误区:有监控指标就不需要日志;正解:指标只给聚合结论,细节与上下文需日志。
  • 误区:日志全量打印可以替代追踪;正解:日志难还原跨服务调用顺序与耗时分布。

追问

  • Q:三者靠什么关联? A:traceId、服务名、实例、时间戳等标识串联。
  • Q:可观测性只等于装三个工具吗? A:工具是载体,关键是埋点质量、关联能力与可行动性。

08.4.1.3-002 指标的基本概念:指标、维度、采样是什么?

一句话结论

指标是可度量的数值(如请求数、延迟),维度(标签)是区分切片的属性(服务、接口、实例),采样决定采集频率;维度组合决定指标基数。

概念解释

  • 指标名:度量类型。
  • 标签:维度切片。
  • 采样:采集频率/粒度。

原理流程

  1. 应用暴露指标与标签。
  2. 监控系统按周期采集。
  3. 按标签聚合查询。

代码 / 图示

指标:http_requests_total
标签:service="order", method="POST", status="500"
聚合:按 service/status 统计错误率

常见误区

  • 误区:指标标签越多越好;正解:高基数字段(如用户 ID)做标签会爆炸式增长时序序列。
  • 误区:采样只影响存储大小;正解:也影响指标精度与聚合结论。

追问

  • Q:计数器与仪表盘区别? A:计数器单调递增(请求总数),仪表盘可上可下(当前队列长度),具体类型以监控系统为准。
  • Q:延迟用什么指标类型? A:直方图/摘要类分位数度量,不是单一平均值。

08.4.1.3-003 Prometheus 的拉取模型是怎样的?

一句话结论

Prometheus 按配置周期主动拉取(pull)各服务暴露的指标端点,在本地时序库存储并查询;服务需暴露可被抓取的 metrics 接口。

概念解释

  • Pull:服务端主动抓取。
  • 端点:/metrics 类 HTTP 接口。
  • 抓取:按 scrape 周期采集。

原理流程

  1. 配置服务发现与抓取目标。
  2. 周期请求指标端点。
  3. 解析样本存入时序库。

代码 / 图示

Prometheus ── scrape(周期) ──→ 服务 /metrics
服务暴露:指标名 + 标签 + 当前样本值

常见误区

  • 误区:Prometheus 是推送模型;正解:默认 pull 抓取,push 网关用于短生命周期任务(适用场景有限)。
  • 误区:指标实时无限精度;正解:按抓取周期离散采样,存在采集间隔粒度。

追问

  • Q:服务实例变更如何被发现? A:靠服务发现机制注册目标,具体方式按部署环境。
  • Q:抓取失败会怎样? A:指标缺失/陈旧,需告警覆盖抓取失败本身。

08.4.1.3-004 什么是指标基数(cardinality),为什么危险?

一句话结论

基数是标签取值组合产生的时序序列数量;把高基数字段(用户 ID、订单号)做成标签会让序列数爆炸,推高存储与查询成本甚至拖垮监控系统。

概念解释

  • 基数:标签组合数。
  • 高基数:唯一值海量。
  • 风险:序列膨胀、查询变慢。

原理流程

  1. 标签取值组合生成序列。
  2. 高基数字段导致序列数激增。
  3. 存储与查询压力上升。

代码 / 图示

低基数标签:status(200/500)、method(GET/POST)
高基数标签:user_id、order_id、request_id → 禁止做指标标签

常见误区

  • 误区:URL 路径原样做标签没问题;正解:含路径参数的 URL 会形成高基数,应归一化为路由模板。
  • 误区:基数高只是占点磁盘;正解:查询与聚合成本随序列数上升,可能影响监控系统稳定性。

追问

  • Q:高基明细数据放哪里? A:放日志/追踪,指标只保留低基数聚合维度。
  • Q:如何检查基数? A:查看各指标序列数量与标签取值分布,排查异常膨胀指标。

08.4.1.3-005 什么是结构化日志,为什么要用?

一句话结论

结构化日志以键值对/JSON 输出固定字段,便于机器检索、聚合与关联;相比自由文本,结构化日志可按字段过滤统计,定位更快。

概念解释

  • 结构化:字段化键值。
  • 检索:按字段过滤。
  • 关联:携带 traceId 等标识。

原理流程

  1. 应用按字段规范输出日志。
  2. 采集解析为结构化记录。
  3. 按级别/字段/traceId 检索。

代码 / 示例

{
  "ts": "2026-11-19T10:00:00+08:00",
  "level": "ERROR",
  "service": "order",
  "trace_id": "abc123",
  "msg": "payment timeout",
  "cost_ms": 320
}

常见误区

  • 误区:打印一大段自由文本也行;正解:非结构化难以按字段检索聚合。
  • 误区:日志字段越多越好;正解:字段需稳定规范,避免每条随意加键导致检索混乱。

追问

  • Q:日志里应该带哪些公共字段? A:时间、级别、服务、实例、traceId、消息与关键上下文。
  • Q:敏感信息能进日志吗? A:不能,密钥/个人信息需脱敏后再记录。

08.4.1.3-006 日志采集链路一般是怎样的?

一句话结论

链路为「应用输出 → 节点 Agent 采集 → 聚合/解析 → 存储 → 检索展示」;Agent 负责收集与转发,服务端负责解析、索引与留存。

概念解释

  • Agent:节点侧采集转发。
  • 聚合:汇聚多路日志。
  • 存储:索引与留存策略。

原理流程

  1. 应用写标准输出/日志文件。
  2. Agent 采集并发送。
  3. 服务端解析入库,提供检索。

代码 / 图示

应用 stdout/file → Agent → 采集管道 → 解析/索引 → 日志存储 → 查询界面

常见误区

  • 误区:应用直接连日志存储最省事;正解:经 Agent 解耦采集与发送,便于伸缩与重试。
  • 误区:日志全量永久保存;正解:按级别与成本设留存周期,热温冷分层。

追问

  • Q:容器日志怎么采集? A:容器标准输出由节点 Agent 采集,结合元数据标签识别服务与实例。
  • Q:日志丢了怎么补? A:采集管道需有缓冲与重试,应用侧关键事件可另记留存。

08.4.1.3-007 日志如何与指标、追踪关联?

一句话结论

日志携带 traceId、服务名、实例等标识,可从指标异常下钻到相关日志,再凭 traceId 串起完整调用链;关联标识贯穿三支柱。

概念解释

  • traceId:单次请求标识。
  • 服务/实例:定位来源。
  • 时间:对齐时序。

原理流程

  1. 指标发现异常服务/接口。
  2. 按服务+时间+错误率查日志。
  3. 日志中 traceId 跳转追踪链路。

代码 / 图示

指标告警(order 5xx 升高)
→ 查 order 错误日志(含 trace_id)
→ 凭 trace_id 查追踪链路 → 定位下游慢调用

常见误区

  • 误区:日志只打消息不带标识;正解:缺 traceId/服务字段则无法跨支柱关联。
  • 误区:关联靠人工拼时间戳;正解:应使用贯穿请求的唯一标识自动串联。

追问

  • Q:traceId 从哪里生成? A:请求入口生成,跨服务透传(见 08.4.1.3-009)。
  • Q:指标能直接下钻到单条日志吗? A:需携带实例/接口/时间窗口等维度配合检索。

08.4.1.3-008 追踪中的 trace 与 span 是什么?

一句话结论

trace 代表一次完整请求链路,span 代表链路中的一个工作单元(一次调用/处理),span 间有父子关系,共同组成调用树与耗时分布。

概念解释

  • trace:整条链路。
  • span:单个操作。
  • 父子:调用嵌套关系。

原理流程

  1. 请求入口创建 trace 与根 span。
  2. 每次下游调用生成子 span。
  3. 汇总形成调用树与各段耗时。

代码 / 图示

trace abc123
├─ span: HTTP POST /order (parent)
│  ├─ span: call payment-svc
│  └─ span: call inventory-svc

常见误区

  • 误区:追踪只是记录调用顺序;正解:还记录各段耗时、状态与错误,用于定位慢环节。
  • 误区:每个方法都必须打 span;正解:在入口、出口与关键依赖边界埋点,控制埋点成本。

追问

  • Q:span 记录哪些信息? A:操作名、开始/结束时间、状态、标签与事件(字段以追踪系统为准)。
  • Q:跨线程/异步怎么保持链路? A:上下文需随任务传递,异步场景注意上下文不丢失。

08.4.1.3-009 traceId 如何跨服务传播?

一句话结论

traceId 与 span 上下文在请求入口生成后,通过请求头/消息元数据随调用透传到下游,下游继续生成子 span,保证全链路同一 trace。

概念解释

  • 上下文:traceId + spanId 等。
  • 透传:HTTP/gRPC 头、消息属性。
  • 续接:下游继承上下文。

原理流程

  1. 入口生成 trace 上下文。
  2. 调用下游时把上下文放入请求元数据。
  3. 下游解析并延续链路。

代码 / 图示

入口 → 生成 trace 上下文 → HTTP Header 透传
下游 → 解析 Header → 子 span 挂到同一 trace

常见误区

  • 误区:跨服务调用自动就带 traceId;正解:需在客户端/服务端正确注入与提取上下文。
  • 误区:消息队列消息天然带链路;正解:消费/生产需显式传递追踪上下文。

追问

  • Q:上下文丢失表现是什么? A:下游链路断裂成独立 trace,无法串起完整调用。
  • Q:用什么标准格式? A:W3C Trace Context 类标准,具体实现以所用 SDK/框架为准。

08.4.1.3-010 为什么需要采样策略?

一句话结论

全量追踪在高流量下成本高、开销大;采样按策略保留部分 trace,在控制成本的同时覆盖错误与关键请求,采样率与规则按业务重要性设定。

概念解释

  • 采样:保留比例。
  • 全量:成本高。
  • 策略:错误优先/头尾采样等。

原理流程

  1. 按采样率或规则决定保留。
  2. 错误/慢请求优先保留。
  3. 汇总采样后链路数据。

代码 / 对照

策略 思路
固定比例 按比例随机保留
错误优先 错误/异常链路全保留
头尾采样 入口决策 + 关键段补采

常见误区

  • 误区:采样后出问题就查不到链路;正解:应保证错误与关键请求不被采样丢弃。
  • 误区:采样率越高越好;正解:需在观测完整性与成本开销间权衡。

追问

  • Q:采样在哪一层做? A:可在 SDK 或收集层决策,具体架构按追踪系统。
  • Q:日志需要采样吗? A:错误日志通常全量保留,正常访问日志可按策略采样。

08.4.1.3-011 三条支柱如何形成闭环排障?

一句话结论

指标发现异常范围 → 日志查错误细节与 traceId → 追踪定位链路瓶颈环节,再回到指标验证影响面;闭环从聚合到明细再回到聚合。

概念解释

  • 聚合:指标看面。
  • 明细:日志看事件。
  • 链路:追踪看路径。

原理流程

  1. 指标告警定位异常服务/接口。
  2. 日志筛错误与上下文。
  3. 追踪下钻慢/错 span,关联指标确认影响。

代码 / 图示

指标: 错误率上升(面)
→ 日志: 错误事件 + traceId(点)
→ 追踪: 下游 payment span 超时(链路)
→ 指标: 核对下游错误/延迟影响面

常见误区

  • 误区:排障只盯一个支柱;正解:单一支柱信息不全,需交叉关联。
  • 误区:先翻全量日志找问题;正解:先指标缩小范围,再查明细,效率更高。

追问

  • Q:没有追踪时怎么定位跨服务慢调用? A:靠日志时间戳与接口耗时指标粗定位,精度有限,建议补齐追踪。
  • Q:三支柱数据时间不一致怎么办? A:统一时钟与时间戳格式,避免时间偏移导致关联错位。

08.4.1.3-012 什么是服务的黄金信号(Golden Signals)?

一句话结论

四个基础信号:延迟(请求耗时)、流量(请求量)、错误(失败比例)、饱和度(资源占用);是服务可观测性的最小基线,先覆盖这四项再扩展。

概念解释

  • 延迟:响应耗时分布。
  • 流量:负载水平。
  • 错误:失败请求。
  • 饱和度:资源水位。

原理流程

  1. 埋点采集四类信号。
  2. 按服务/接口建看板。
  3. 异常信号触发告警。

代码 / 对照

信号 度量方向
延迟 P50/P95/P99 耗时
流量 QPS/RPS
错误 错误率/失败数
饱和度 CPU/内存/队列/连接数

常见误区

  • 误区:只看错误率就够;正解:延迟上升、饱和度升高可能先于错误暴露风险。
  • 误区:延迟只看平均值;正解:平均值掩盖长尾,应看分位数。

追问

  • Q:饱和度和错误什么关系? A:资源接近饱和会排队、超时进而演化为错误,需提前观测。
  • Q:四个信号在哪一层采集? A:服务运行时与框架埋点 + 基础设施指标结合。

08.4.1.3-013 日志级别怎么规范使用?

一句话结论

级别按用途区分:调试细节、运行信息、异常告警、致命错误;生产控制 DEBUG 输出,错误级别携带可排查上下文,避免级别滥用淹没关键日志。

概念解释

  • DEBUG:开发细节。
  • INFO:正常运行节点。
  • WARN:可恢复异常。
  • ERROR:失败需关注。

原理流程

  1. 按事件性质选级别。
  2. 生产按级别开关输出。
  3. 错误日志带上下文与标识。

代码 / 对照

级别 用途 生产策略
DEBUG 开发排查细节 默认关闭
INFO 关键运行节点 保留精简
WARN 可恢复异常 保留
ERROR 失败/错误 全量保留并告警关联

常见误区

  • 误区:所有异常都打 ERROR;正解:可恢复的偶发问题用 WARN,避免 ERROR 泛滥。
  • 误区:ERROR 日志不带堆栈/上下文;正解:失败事件需附错误类型、标识与关键参数。

追问

  • Q:日志打多少量合适? A:关键路径与错误详记,正常循环避免高频刷屏。
  • Q:级别配置能动态调吗? A:部分框架支持动态调整级别,具体能力按实现。

08.4.1.3-014 指标标签设计有哪些原则?

一句话结论

标签只放低基数、稳定的分类维度(服务、接口、方法、状态码),不放唯一请求标识与动态值;标签语义固定,避免运行时动态生成高基数标签。

概念解释

  • 低基数:有限取值集合。
  • 稳定:标签名/取值规范。
  • 排除:唯一 ID、动态路径。

原理流程

  1. 梳理可做维度的分类字段。
  2. 排除高基数字段到日志/追踪。
  3. 固定标签命名规范。

代码 / 图示

推荐标签:service, endpoint, method, status_code
禁止标签:user_id, order_id, request_id, 原始 URL 路径参数

常见误区

  • 误区:把错误信息原文做标签;正解:错误类型归类为有限取值,原文细节进日志。
  • 误区:标签随意新增;正解:标签变更影响查询与基数,需评审。

追问

  • Q:接口维度怎么归一化? A:用路由模板(/order/{id})而非实际 URL,控制基数。
  • Q:多版本标签有必要吗? A:灰度/版本维度可保留,但需评估取值数量是否有限。

08.4.1.3-015 追踪在微服务调用链中解决什么问题?

一句话结论

微服务多跳调用下,追踪把单次请求跨服务的耗时与错误串联成链,快速定位是哪个服务/依赖导致慢或失败,而不是逐个服务翻日志。

概念解释

  • 多跳:请求经多个服务。
  • 串联:同一 trace 聚合各 span。
  • 定位:瓶颈/错误环节。

原理流程

  1. 跨服务透传上下文。
  2. 各服务上报 span。
  3. 按 trace 聚合展示链路与耗时。

代码 / 图示

Gateway → order → payment → DB
追踪展示各跳耗时:payment span 占 80% 时间 → 定位瓶颈

常见误区

  • 误区:服务多但日志量不大就不需要追踪;正解:跨服务因果关系单靠日志难以还原。
  • 误区:追踪只用于线上故障;正解:容量与性能分析同样依赖链路耗时分布。

追问

  • Q:异步消息场景链路怎么串? A:上下文随消息传递,消费侧续接 trace(见 08.4.1.3-009)。
  • Q:第三方外部调用在链路里可见吗? A:取决于客户端是否埋点,外部服务内部 span 通常不可见。

08.4.1.3-016 观测数据保留与成本怎么权衡?

一句话结论

按价值分层留存:关键指标长期保留,错误日志与关键链路较长期留存,普通访问日志缩短周期;高基数/全量明细成本高,需用采样与冷热分层控制。

概念解释

  • 分层:热/温/冷存储。
  • 周期:按价值定保留时长。
  • 采样:减少明细量。

原理流程

  1. 区分数据类型与价值。
  2. 设定保留周期与采样率。
  3. 监控存储成本与容量水位。

代码 / 对照

数据 留存倾向
核心指标 长期,趋势分析
错误日志/关键链路 较长,排障复盘
普通访问日志/全量 trace 短周期 + 采样

常见误区

  • 误区:所有观测数据永久保存;正解:成本随体量增长,需分层与过期策略。
  • 误区:删历史数据不影响排障;正解:复盘与趋势分析需要一定历史窗口。

追问

  • Q:合规要求如何影响留存? A:按合规要求保留必要记录,兼顾成本与合规。
  • Q:成本高先砍什么? A:先降低高基明细与全量采样,保留错误与关键信号。

08.4.1.3-017 埋点应该放在哪些位置?

一句话结论

核心埋点在请求入口、出口与关键依赖边界:入口记录请求量级,出口记录结果与耗时,下游调用记录依赖耗时;避免在循环与内部细节过度埋点。

概念解释

  • 入口:请求接收。
  • 出口:响应返回。
  • 依赖:DB/缓存/外部服务调用。

原理流程

  1. 框架中间件统一埋 HTTP/RPC 入口出口。
  2. 关键依赖调用单独埋 span/指标。
  3. 业务关键节点按需补充事件。

代码 / 图示

请求入口(指标/span) → 业务处理 → 依赖调用(span/耗时) → 出口(结果/状态)

常见误区

  • 误区:埋点越多越全面;正解:过度埋点增加开销与噪音,聚焦关键边界。
  • 误区:只埋成功路径;正解:错误与超时分支同样需要记录。

追问

  • Q:业务自定义指标放哪? A:在关键业务操作边界埋点,标签保持低基数。
  • Q:埋点影响性能吗? A:指标计数与 span 有一定开销,需控制粒度并测量。

08.4.1.3-018 可观测性建设有哪些常见误区?

一句话结论

常见误区:只堆工具不埋关键信号、指标基数失控、日志无结构无标识、链路上下文断裂、告警只看单点指标;建设应先明确排障路径与关联能力。

概念解释

  • 工具≠能力:埋点与关联才是关键。
  • 基数失控:监控系统被拖垮。
  • 断裂:支柱无法串联。

原理流程

  1. 从排障场景反推需要什么信号。
  2. 规范埋点、标签与关联标识。
  3. 定期检查基数、日志质量与链路完整性。

代码 / 对照

误区 后果 纠正
只装工具 排障仍无线索 补齐关键埋点
高基数标签 监控膨胀 明细转日志/追踪
日志无 traceId 无法关联 规范公共字段
链路断裂 定位不到下游 修复上下文透传

常见误区

  • 误区:可观测性是运维单方面的事;正解:埋点质量依赖应用开发配合,需前后端共同建设。
  • 误区:指标看板越多越好;正解:看板应围绕服务质量与排障场景组织,避免噪音。

追问

  • Q:怎么判断观测体系是否够用? A:用典型故障场景演练,看能否从告警定位到根因。
  • Q:先补哪个支柱? A:先覆盖黄金信号指标与错误日志,再补齐追踪链路。