08.4.1.3 指标日志追踪三件套
所属:全栈开发面试题库 / 08 云原生与 DevOps / 08.4 CI/CD 与可观测性 / 08.4.1 CI/CD 与可观测性
说明:本页为可观测性通用概念与范式;具体系统(Prometheus、ELK/Loki、Jaeger/OpenTelemetry 等)字段与能力以官方文档为准。
08.4.1.3-001 指标、日志、追踪三支柱如何分工?
一句话结论
指标回答「是否异常、趋势如何」,日志回答「发生了什么细节」,追踪回答「请求跨服务卡在哪一环」;三者互补,通过标识关联。
概念解释
- 指标:聚合数值与时序。
- 日志:离散事件明细。
- 追踪:单次请求跨服务链路。
原理流程
- 指标告警发现异常。
- 日志查具体事件与错误。
- 追踪定位链路慢/错环节。
代码 / 对照
| 支柱 | 回答问题 | 数据形态 |
|---|---|---|
| 指标 | 有没有问题、趋势 | 时序数值 + 标签 |
| 日志 | 具体发生了什么 | 结构化事件记录 |
| 追踪 | 链路哪一环慢/错 | span 调用链 |
常见误区
- 误区:有监控指标就不需要日志;正解:指标只给聚合结论,细节与上下文需日志。
- 误区:日志全量打印可以替代追踪;正解:日志难还原跨服务调用顺序与耗时分布。
追问
- Q:三者靠什么关联? A:traceId、服务名、实例、时间戳等标识串联。
- Q:可观测性只等于装三个工具吗? A:工具是载体,关键是埋点质量、关联能力与可行动性。
08.4.1.3-002 指标的基本概念:指标、维度、采样是什么?
一句话结论
指标是可度量的数值(如请求数、延迟),维度(标签)是区分切片的属性(服务、接口、实例),采样决定采集频率;维度组合决定指标基数。
概念解释
- 指标名:度量类型。
- 标签:维度切片。
- 采样:采集频率/粒度。
原理流程
- 应用暴露指标与标签。
- 监控系统按周期采集。
- 按标签聚合查询。
代码 / 图示
指标:http_requests_total
标签:service="order", method="POST", status="500"
聚合:按 service/status 统计错误率
常见误区
- 误区:指标标签越多越好;正解:高基数字段(如用户 ID)做标签会爆炸式增长时序序列。
- 误区:采样只影响存储大小;正解:也影响指标精度与聚合结论。
追问
- Q:计数器与仪表盘区别? A:计数器单调递增(请求总数),仪表盘可上可下(当前队列长度),具体类型以监控系统为准。
- Q:延迟用什么指标类型? A:直方图/摘要类分位数度量,不是单一平均值。
08.4.1.3-003 Prometheus 的拉取模型是怎样的?
一句话结论
Prometheus 按配置周期主动拉取(pull)各服务暴露的指标端点,在本地时序库存储并查询;服务需暴露可被抓取的 metrics 接口。
概念解释
- Pull:服务端主动抓取。
- 端点:/metrics 类 HTTP 接口。
- 抓取:按 scrape 周期采集。
原理流程
- 配置服务发现与抓取目标。
- 周期请求指标端点。
- 解析样本存入时序库。
代码 / 图示
Prometheus ── scrape(周期) ──→ 服务 /metrics
服务暴露:指标名 + 标签 + 当前样本值
常见误区
- 误区:Prometheus 是推送模型;正解:默认 pull 抓取,push 网关用于短生命周期任务(适用场景有限)。
- 误区:指标实时无限精度;正解:按抓取周期离散采样,存在采集间隔粒度。
追问
- Q:服务实例变更如何被发现? A:靠服务发现机制注册目标,具体方式按部署环境。
- Q:抓取失败会怎样? A:指标缺失/陈旧,需告警覆盖抓取失败本身。
08.4.1.3-004 什么是指标基数(cardinality),为什么危险?
一句话结论
基数是标签取值组合产生的时序序列数量;把高基数字段(用户 ID、订单号)做成标签会让序列数爆炸,推高存储与查询成本甚至拖垮监控系统。
概念解释
- 基数:标签组合数。
- 高基数:唯一值海量。
- 风险:序列膨胀、查询变慢。
原理流程
- 标签取值组合生成序列。
- 高基数字段导致序列数激增。
- 存储与查询压力上升。
代码 / 图示
低基数标签:status(200/500)、method(GET/POST)
高基数标签:user_id、order_id、request_id → 禁止做指标标签
常见误区
- 误区:URL 路径原样做标签没问题;正解:含路径参数的 URL 会形成高基数,应归一化为路由模板。
- 误区:基数高只是占点磁盘;正解:查询与聚合成本随序列数上升,可能影响监控系统稳定性。
追问
- Q:高基明细数据放哪里? A:放日志/追踪,指标只保留低基数聚合维度。
- Q:如何检查基数? A:查看各指标序列数量与标签取值分布,排查异常膨胀指标。
08.4.1.3-005 什么是结构化日志,为什么要用?
一句话结论
结构化日志以键值对/JSON 输出固定字段,便于机器检索、聚合与关联;相比自由文本,结构化日志可按字段过滤统计,定位更快。
概念解释
- 结构化:字段化键值。
- 检索:按字段过滤。
- 关联:携带 traceId 等标识。
原理流程
- 应用按字段规范输出日志。
- 采集解析为结构化记录。
- 按级别/字段/traceId 检索。
代码 / 示例
{
"ts": "2026-11-19T10:00:00+08:00",
"level": "ERROR",
"service": "order",
"trace_id": "abc123",
"msg": "payment timeout",
"cost_ms": 320
}
常见误区
- 误区:打印一大段自由文本也行;正解:非结构化难以按字段检索聚合。
- 误区:日志字段越多越好;正解:字段需稳定规范,避免每条随意加键导致检索混乱。
追问
- Q:日志里应该带哪些公共字段? A:时间、级别、服务、实例、traceId、消息与关键上下文。
- Q:敏感信息能进日志吗? A:不能,密钥/个人信息需脱敏后再记录。
08.4.1.3-006 日志采集链路一般是怎样的?
一句话结论
链路为「应用输出 → 节点 Agent 采集 → 聚合/解析 → 存储 → 检索展示」;Agent 负责收集与转发,服务端负责解析、索引与留存。
概念解释
- Agent:节点侧采集转发。
- 聚合:汇聚多路日志。
- 存储:索引与留存策略。
原理流程
- 应用写标准输出/日志文件。
- Agent 采集并发送。
- 服务端解析入库,提供检索。
代码 / 图示
应用 stdout/file → Agent → 采集管道 → 解析/索引 → 日志存储 → 查询界面
常见误区
- 误区:应用直接连日志存储最省事;正解:经 Agent 解耦采集与发送,便于伸缩与重试。
- 误区:日志全量永久保存;正解:按级别与成本设留存周期,热温冷分层。
追问
- Q:容器日志怎么采集? A:容器标准输出由节点 Agent 采集,结合元数据标签识别服务与实例。
- Q:日志丢了怎么补? A:采集管道需有缓冲与重试,应用侧关键事件可另记留存。
08.4.1.3-007 日志如何与指标、追踪关联?
一句话结论
日志携带 traceId、服务名、实例等标识,可从指标异常下钻到相关日志,再凭 traceId 串起完整调用链;关联标识贯穿三支柱。
概念解释
- traceId:单次请求标识。
- 服务/实例:定位来源。
- 时间:对齐时序。
原理流程
- 指标发现异常服务/接口。
- 按服务+时间+错误率查日志。
- 日志中 traceId 跳转追踪链路。
代码 / 图示
指标告警(order 5xx 升高)
→ 查 order 错误日志(含 trace_id)
→ 凭 trace_id 查追踪链路 → 定位下游慢调用
常见误区
- 误区:日志只打消息不带标识;正解:缺 traceId/服务字段则无法跨支柱关联。
- 误区:关联靠人工拼时间戳;正解:应使用贯穿请求的唯一标识自动串联。
追问
- Q:traceId 从哪里生成? A:请求入口生成,跨服务透传(见 08.4.1.3-009)。
- Q:指标能直接下钻到单条日志吗? A:需携带实例/接口/时间窗口等维度配合检索。
08.4.1.3-008 追踪中的 trace 与 span 是什么?
一句话结论
trace 代表一次完整请求链路,span 代表链路中的一个工作单元(一次调用/处理),span 间有父子关系,共同组成调用树与耗时分布。
概念解释
- trace:整条链路。
- span:单个操作。
- 父子:调用嵌套关系。
原理流程
- 请求入口创建 trace 与根 span。
- 每次下游调用生成子 span。
- 汇总形成调用树与各段耗时。
代码 / 图示
trace abc123
├─ span: HTTP POST /order (parent)
│ ├─ span: call payment-svc
│ └─ span: call inventory-svc
常见误区
- 误区:追踪只是记录调用顺序;正解:还记录各段耗时、状态与错误,用于定位慢环节。
- 误区:每个方法都必须打 span;正解:在入口、出口与关键依赖边界埋点,控制埋点成本。
追问
- Q:span 记录哪些信息? A:操作名、开始/结束时间、状态、标签与事件(字段以追踪系统为准)。
- Q:跨线程/异步怎么保持链路? A:上下文需随任务传递,异步场景注意上下文不丢失。
08.4.1.3-009 traceId 如何跨服务传播?
一句话结论
traceId 与 span 上下文在请求入口生成后,通过请求头/消息元数据随调用透传到下游,下游继续生成子 span,保证全链路同一 trace。
概念解释
- 上下文:traceId + spanId 等。
- 透传:HTTP/gRPC 头、消息属性。
- 续接:下游继承上下文。
原理流程
- 入口生成 trace 上下文。
- 调用下游时把上下文放入请求元数据。
- 下游解析并延续链路。
代码 / 图示
入口 → 生成 trace 上下文 → HTTP Header 透传
下游 → 解析 Header → 子 span 挂到同一 trace
常见误区
- 误区:跨服务调用自动就带 traceId;正解:需在客户端/服务端正确注入与提取上下文。
- 误区:消息队列消息天然带链路;正解:消费/生产需显式传递追踪上下文。
追问
- Q:上下文丢失表现是什么? A:下游链路断裂成独立 trace,无法串起完整调用。
- Q:用什么标准格式? A:W3C Trace Context 类标准,具体实现以所用 SDK/框架为准。
08.4.1.3-010 为什么需要采样策略?
一句话结论
全量追踪在高流量下成本高、开销大;采样按策略保留部分 trace,在控制成本的同时覆盖错误与关键请求,采样率与规则按业务重要性设定。
概念解释
- 采样:保留比例。
- 全量:成本高。
- 策略:错误优先/头尾采样等。
原理流程
- 按采样率或规则决定保留。
- 错误/慢请求优先保留。
- 汇总采样后链路数据。
代码 / 对照
| 策略 | 思路 |
|---|---|
| 固定比例 | 按比例随机保留 |
| 错误优先 | 错误/异常链路全保留 |
| 头尾采样 | 入口决策 + 关键段补采 |
常见误区
- 误区:采样后出问题就查不到链路;正解:应保证错误与关键请求不被采样丢弃。
- 误区:采样率越高越好;正解:需在观测完整性与成本开销间权衡。
追问
- Q:采样在哪一层做? A:可在 SDK 或收集层决策,具体架构按追踪系统。
- Q:日志需要采样吗? A:错误日志通常全量保留,正常访问日志可按策略采样。
08.4.1.3-011 三条支柱如何形成闭环排障?
一句话结论
指标发现异常范围 → 日志查错误细节与 traceId → 追踪定位链路瓶颈环节,再回到指标验证影响面;闭环从聚合到明细再回到聚合。
概念解释
- 聚合:指标看面。
- 明细:日志看事件。
- 链路:追踪看路径。
原理流程
- 指标告警定位异常服务/接口。
- 日志筛错误与上下文。
- 追踪下钻慢/错 span,关联指标确认影响。
代码 / 图示
指标: 错误率上升(面)
→ 日志: 错误事件 + traceId(点)
→ 追踪: 下游 payment span 超时(链路)
→ 指标: 核对下游错误/延迟影响面
常见误区
- 误区:排障只盯一个支柱;正解:单一支柱信息不全,需交叉关联。
- 误区:先翻全量日志找问题;正解:先指标缩小范围,再查明细,效率更高。
追问
- Q:没有追踪时怎么定位跨服务慢调用? A:靠日志时间戳与接口耗时指标粗定位,精度有限,建议补齐追踪。
- Q:三支柱数据时间不一致怎么办? A:统一时钟与时间戳格式,避免时间偏移导致关联错位。
08.4.1.3-012 什么是服务的黄金信号(Golden Signals)?
一句话结论
四个基础信号:延迟(请求耗时)、流量(请求量)、错误(失败比例)、饱和度(资源占用);是服务可观测性的最小基线,先覆盖这四项再扩展。
概念解释
- 延迟:响应耗时分布。
- 流量:负载水平。
- 错误:失败请求。
- 饱和度:资源水位。
原理流程
- 埋点采集四类信号。
- 按服务/接口建看板。
- 异常信号触发告警。
代码 / 对照
| 信号 | 度量方向 |
|---|---|
| 延迟 | P50/P95/P99 耗时 |
| 流量 | QPS/RPS |
| 错误 | 错误率/失败数 |
| 饱和度 | CPU/内存/队列/连接数 |
常见误区
- 误区:只看错误率就够;正解:延迟上升、饱和度升高可能先于错误暴露风险。
- 误区:延迟只看平均值;正解:平均值掩盖长尾,应看分位数。
追问
- Q:饱和度和错误什么关系? A:资源接近饱和会排队、超时进而演化为错误,需提前观测。
- Q:四个信号在哪一层采集? A:服务运行时与框架埋点 + 基础设施指标结合。
08.4.1.3-013 日志级别怎么规范使用?
一句话结论
级别按用途区分:调试细节、运行信息、异常告警、致命错误;生产控制 DEBUG 输出,错误级别携带可排查上下文,避免级别滥用淹没关键日志。
概念解释
- DEBUG:开发细节。
- INFO:正常运行节点。
- WARN:可恢复异常。
- ERROR:失败需关注。
原理流程
- 按事件性质选级别。
- 生产按级别开关输出。
- 错误日志带上下文与标识。
代码 / 对照
| 级别 | 用途 | 生产策略 |
|---|---|---|
| DEBUG | 开发排查细节 | 默认关闭 |
| INFO | 关键运行节点 | 保留精简 |
| WARN | 可恢复异常 | 保留 |
| ERROR | 失败/错误 | 全量保留并告警关联 |
常见误区
- 误区:所有异常都打 ERROR;正解:可恢复的偶发问题用 WARN,避免 ERROR 泛滥。
- 误区:ERROR 日志不带堆栈/上下文;正解:失败事件需附错误类型、标识与关键参数。
追问
- Q:日志打多少量合适? A:关键路径与错误详记,正常循环避免高频刷屏。
- Q:级别配置能动态调吗? A:部分框架支持动态调整级别,具体能力按实现。
08.4.1.3-014 指标标签设计有哪些原则?
一句话结论
标签只放低基数、稳定的分类维度(服务、接口、方法、状态码),不放唯一请求标识与动态值;标签语义固定,避免运行时动态生成高基数标签。
概念解释
- 低基数:有限取值集合。
- 稳定:标签名/取值规范。
- 排除:唯一 ID、动态路径。
原理流程
- 梳理可做维度的分类字段。
- 排除高基数字段到日志/追踪。
- 固定标签命名规范。
代码 / 图示
推荐标签:service, endpoint, method, status_code
禁止标签:user_id, order_id, request_id, 原始 URL 路径参数
常见误区
- 误区:把错误信息原文做标签;正解:错误类型归类为有限取值,原文细节进日志。
- 误区:标签随意新增;正解:标签变更影响查询与基数,需评审。
追问
- Q:接口维度怎么归一化? A:用路由模板(/order/{id})而非实际 URL,控制基数。
- Q:多版本标签有必要吗? A:灰度/版本维度可保留,但需评估取值数量是否有限。
08.4.1.3-015 追踪在微服务调用链中解决什么问题?
一句话结论
微服务多跳调用下,追踪把单次请求跨服务的耗时与错误串联成链,快速定位是哪个服务/依赖导致慢或失败,而不是逐个服务翻日志。
概念解释
- 多跳:请求经多个服务。
- 串联:同一 trace 聚合各 span。
- 定位:瓶颈/错误环节。
原理流程
- 跨服务透传上下文。
- 各服务上报 span。
- 按 trace 聚合展示链路与耗时。
代码 / 图示
Gateway → order → payment → DB
追踪展示各跳耗时:payment span 占 80% 时间 → 定位瓶颈
常见误区
- 误区:服务多但日志量不大就不需要追踪;正解:跨服务因果关系单靠日志难以还原。
- 误区:追踪只用于线上故障;正解:容量与性能分析同样依赖链路耗时分布。
追问
- Q:异步消息场景链路怎么串? A:上下文随消息传递,消费侧续接 trace(见 08.4.1.3-009)。
- Q:第三方外部调用在链路里可见吗? A:取决于客户端是否埋点,外部服务内部 span 通常不可见。
08.4.1.3-016 观测数据保留与成本怎么权衡?
一句话结论
按价值分层留存:关键指标长期保留,错误日志与关键链路较长期留存,普通访问日志缩短周期;高基数/全量明细成本高,需用采样与冷热分层控制。
概念解释
- 分层:热/温/冷存储。
- 周期:按价值定保留时长。
- 采样:减少明细量。
原理流程
- 区分数据类型与价值。
- 设定保留周期与采样率。
- 监控存储成本与容量水位。
代码 / 对照
| 数据 | 留存倾向 |
|---|---|
| 核心指标 | 长期,趋势分析 |
| 错误日志/关键链路 | 较长,排障复盘 |
| 普通访问日志/全量 trace | 短周期 + 采样 |
常见误区
- 误区:所有观测数据永久保存;正解:成本随体量增长,需分层与过期策略。
- 误区:删历史数据不影响排障;正解:复盘与趋势分析需要一定历史窗口。
追问
- Q:合规要求如何影响留存? A:按合规要求保留必要记录,兼顾成本与合规。
- Q:成本高先砍什么? A:先降低高基明细与全量采样,保留错误与关键信号。
08.4.1.3-017 埋点应该放在哪些位置?
一句话结论
核心埋点在请求入口、出口与关键依赖边界:入口记录请求量级,出口记录结果与耗时,下游调用记录依赖耗时;避免在循环与内部细节过度埋点。
概念解释
- 入口:请求接收。
- 出口:响应返回。
- 依赖:DB/缓存/外部服务调用。
原理流程
- 框架中间件统一埋 HTTP/RPC 入口出口。
- 关键依赖调用单独埋 span/指标。
- 业务关键节点按需补充事件。
代码 / 图示
请求入口(指标/span) → 业务处理 → 依赖调用(span/耗时) → 出口(结果/状态)
常见误区
- 误区:埋点越多越全面;正解:过度埋点增加开销与噪音,聚焦关键边界。
- 误区:只埋成功路径;正解:错误与超时分支同样需要记录。
追问
- Q:业务自定义指标放哪? A:在关键业务操作边界埋点,标签保持低基数。
- Q:埋点影响性能吗? A:指标计数与 span 有一定开销,需控制粒度并测量。
08.4.1.3-018 可观测性建设有哪些常见误区?
一句话结论
常见误区:只堆工具不埋关键信号、指标基数失控、日志无结构无标识、链路上下文断裂、告警只看单点指标;建设应先明确排障路径与关联能力。
概念解释
- 工具≠能力:埋点与关联才是关键。
- 基数失控:监控系统被拖垮。
- 断裂:支柱无法串联。
原理流程
- 从排障场景反推需要什么信号。
- 规范埋点、标签与关联标识。
- 定期检查基数、日志质量与链路完整性。
代码 / 对照
| 误区 | 后果 | 纠正 |
|---|---|---|
| 只装工具 | 排障仍无线索 | 补齐关键埋点 |
| 高基数标签 | 监控膨胀 | 明细转日志/追踪 |
| 日志无 traceId | 无法关联 | 规范公共字段 |
| 链路断裂 | 定位不到下游 | 修复上下文透传 |
常见误区
- 误区:可观测性是运维单方面的事;正解:埋点质量依赖应用开发配合,需前后端共同建设。
- 误区:指标看板越多越好;正解:看板应围绕服务质量与排障场景组织,避免噪音。
追问
- Q:怎么判断观测体系是否够用? A:用典型故障场景演练,看能否从告警定位到根因。
- Q:先补哪个支柱? A:先覆盖黄金信号指标与错误日志,再补齐追踪链路。