罗罗编程学习记录
本页内容 展开查看

08.8.4 OpenTelemetry 统一接入

所属:全栈开发面试题库 / 08 云原生与 DevOps / 08.8 可观测性栈

覆盖范围

  • OpenTelemetry 是什么(OTel)
  • OTel 三大信号:Metrics/Logs/Traces
  • OTel Collector 架构与 pipeline
  • 自动 instrumentation
  • OTLP 协议与后端选择

高频题速览

编号 题目 难度 频率
08.8.4-001 OpenTelemetry 是什么? 基础 ★★★★★
08.8.4-002 OTel 的三大信号是什么? 基础 ★★★★★
08.8.4-003 OTel Collector 架构是怎样的? 进阶 ★★★★
08.8.4-004 OTel 自动 instrumentation 怎么用? 进阶 ★★★★
08.8.4-005 OTLP 协议是什么? 基础 ★★★★
08.8.4-006 OTel 与 Prometheus/Jaeger/Loki 关系? 进阶 ★★★★
08.8.4-007 Collector 的 pipeline 怎么配? 进阶 ★★★
08.8.4-008 OTel 如何做采样与处理? 进阶 ★★★
08.8.4-009 OTel SDK 与 Collector 分工? 基础 ★★★★
08.8.4-010 为什么用 OTel 而不是直接接 Prometheus? 进阶 ★★★

08.8.4-001 OpenTelemetry 是什么?

一句话结论

OpenTelemetry(OTel)是 CNCF 可观测性标准,提供统一的 SDK、API、Collector 与协议,把 Metrics/Logs/Traces 三大信号统一采集、处理、导出到后端。

概念解释

  • OTel:合并了 OpenTracing 与 OpenCensus。
  • 标准:统一 API、SDK、协议(OTLP)。
  • 后端无关:应用代码不绑定 Prometheus/Jaeger,通过 Collector 导出。

原理流程

  1. 应用用 OTel SDK 生成信号。
  2. SDK 通过 OTLP 发到 Collector。
  3. Collector 处理(采样、过滤、转换)。
  4. 导出到 Prometheus/Jaeger/Loki/其他后端。

代码 / 示例

App (OTel SDK) -> OTLP -> Collector -> Prometheus
                                  -> Jaeger
                                  -> Loki

常见误区

  • 误区:OTel 是后端;正解:OTel 是采集与标准,后端仍是 Prometheus/Jaeger/Loki。
  • 误区:OTel 替代 Prometheus;正解:OTel 采集指标,导出到 Prometheus 后端,不替代存储。

追问

  • Q:OTel 解决什么问题? A:以前每个后端有自己的 SDK(Prometheus client、Jaeger client),应用绑定后端;OTel 统一 SDK,后端可换。
  • Q:OTel 是 CNCF 毕业项目? A:是的,CNCF 毕业,是可观测性事实标准。

08.8.4-002 OTel 的三大信号是什么?

一句话结论

OTel 统一三大信号:Metrics(指标)、Traces(链路)、Logs(日志),三者共用 SDK、上下文、协议。

概念解释

  • Metrics:计数器、直方图、 gauge。
  • Traces:span 链路。
  • Logs:日志记录(带 traceId)。
  • 统一:traceId 在三者中贯通。

原理流程

  1. SDK 同时生成 Metrics/Traces/Logs。
  2. 上下文(traceId)在三者间传递。
  3. Collector 统一处理。

代码 / 示例

一次请求:
  Metrics: http_requests_total++
  Traces: span CreateOrder
  Logs: {"traceId":"abc","msg":"order created"}

常见误区

  • 误区:OTel 只管 Traces;正解:OTel 从 Traces 扩展到 Metrics 与 Logs,统一三大信号。
  • 误区:Logs 还没稳定;正解:OTel Logs 信号 GA,与 Prometheus/Jaeger 集成。

追问

  • Q:OTel Logs 与直接写 stdout 区别? A:OTel Logs 是结构化、带 traceId,可由 Collector 统一导出;stdout 由 Fluent Bit 采集。
  • Q:为什么要统一? A:同一 SDK、同一上下文、同一 Collector,减少多套 agent 维护。

08.8.4-003 OTel Collector 架构是怎样的?

一句话结论

Collector 分接收(receivers)、处理(processors)、导出(exporters)三阶段,按 pipeline 串起来;可部署为 agent(节点)或 gateway(集中)。

概念解释

  • receivers:接收 OTLP、Jaeger、Prometheus、Zipkin。
  • processors:采样、过滤、属性转换、批量。
  • exporters:导出到 Prometheus、Jaeger、Loki、OTLP。
  • pipeline:receivers -> processors -> exporters。

原理流程

  1. receiver 接收数据。
  2. processors 处理(采样、批量)。
  3. exporters 导出到后端。

代码 / 示例

receivers:
  otlp:
    protocols:
      grpc:
      http:
processors:
  batch:
  tail_sampling:
exporters:
  prometheus:
    endpoint: "0.0.0.0:8889"
  jaeger:
    endpoint: "jaeger:4317"
service:
  pipelines:
    traces:
      receivers: [otlp]
      processors: [batch, tail_sampling]
      exporters: [jaeger]
    metrics:
      receivers: [otlp]
      processors: [batch]
      exporters: [prometheus]

常见误区

  • 误区:Collector 必须集中部署;正解:Collector 可部署为 agent(每 Pod/节点)或 gateway(集中),agent 做本地处理,gateway 做聚合。
  • 误区:Collector 是存储;正解:Collector 是处理与转发,不存储。

追问

  • Q:Agent 与 Gateway 区别? A:Agent 在节点/sidecar,本地采样、过滤;Gateway 集中聚合,多后端导出。
  • Q:Collector 高可用? A:Gateway 多副本,负载均衡;agent 挂了影响本节点,可接受。

08.8.4-004 OTel 自动 instrumentation 怎么用?

一句话结论

OTel 提供各语言自动 instrumentation 库或 agent(Java agent),引入后自动拦截 HTTP/gRPC/DB client,生成 span 与指标,无需手动埋点。

概念解释

  • 自动 instrumentation:Java agent、Python/Node/Go 的库自动拦截。
  • 手动埋点:加业务属性(orderId)。
  • 零代码:Java agent attach,应用不改。

原理流程

  1. Java:-javaagent:opentelemetry-javaagent.jar。
  2. Python:from opentelemetry.instrumentation.requests import RequestsInstrumentor。
  3. 自动拦截 HTTP 调用,生成 span。

代码 / 示例

# Java 自动
java -javaagent:opentelemetry-javaagent.jar \
     -Dotel.service.name=myapp \
     -Dotel.exporter.otlp.endpoint=collector:4317 \
     -jar app.jar

常见误区

  • 误区:自动 instrumentation 改业务代码;正解:Java agent 零代码,其他语言引入库即可。
  • 误区:自动 instrumentation 覆盖所有库;正解:主流 HTTP/DB/消息队列库都支持,小众库要手动。

追问

  • Q:如何加业务属性? A:手动埋点 span.SetAttribute("orderId", "123"),自动 instrumentation 之外补业务标签。
  • Q:OTel operator? A:K8s 里用 OpenTelemetry Operator 自动注入 agent sidecar,应用无感知。

08.8.4-005 OTLP 协议是什么?

一句话结论

OTLP(OpenTelemetry Protocol)是 OTel 统一数据协议,基于 HTTP/gRPC,传输 Metrics/Logs/Traces,是 SDK 与 Collector、Collector 与后端之间的标准协议。

概念解释

  • OTLP/gRPC:默认端口 4317。
  • OTLP/HTTP:端口 4318,JSON/protobuf。
  • 用途:SDK -> Collector、Collector -> 后端。

原理流程

  1. SDK 用 OTLP/HTTP 或 gRPC 发数据。
  2. Collector 接收 OTLP。
  3. Collector 用 OTLP 或后端协议导出。

代码 / 示例

OTLP/gRPC: 4317
OTLP/HTTP: 4318

常见误区

  • 误区:OTLP 替代 Prometheus remote write;正解:OTLP 是 OTel 标准,Prometheus 后端仍用 remote write,Collector 转换。
  • 误区:OTLP 只传 Traces;正解:OTLP 传 Metrics/Logs/Traces 三类。

追问

  • Q:为什么用 gRPC? A:gRPC 高性能、流式、多路复用,适合大量数据。
  • Q:后端不支持 OTLP 怎么办? A:Collector 有 exporter 转成后端协议(Prometheus remote write、Jaeger thrift)。

08.8.4-006 OTel 与 Prometheus/Jaeger/Loki 关系?

一句话结论

OTel 是采集与标准,Prometheus/Jaeger/Loki 是后端存储与查询;OTel SDK 采集,Collector 导出到这些后端,应用代码不直接绑定后端。

概念解释

  • OTel SDK:应用内采集。
  • OTel Collector:处理与转发。
  • Prometheus:指标后端。
  • Jaeger:Trace 后端。
  • Loki:日志后端。

原理流程

  1. 应用 OTel SDK。
  2. Collector 接收 OTLP。
  3. metrics 导出 Prometheus,traces 导出 Jaeger,logs 导出 Loki。

代码 / 示例

App (OTel SDK) -> Collector
  -> Prometheus (metrics)
  -> Jaeger (traces)
  -> Loki (logs)

常见误区

  • 误区:OTel 替代 Prometheus;正解:OTel 采集指标,导出到 Prometheus 存储,Prometheus 仍是查询后端。
  • 误区:应用直接接 Prometheus;正解:云原生用 OTel SDK 发 Collector,Collector 导出 Prometheus。

追问

  • Q:应用还能直接暴露 /metrics 给 Prometheus pull 吗? A:能,但 OTel 方式是 push 到 Collector,更统一。
  • Q:Grafana 查 OTel 数据? A:Grafana 接 Prometheus/Jaeger/Loki 后端,不直接查 OTel。

08.8.4-007 Collector 的 pipeline 怎么配?

一句话结论

pipeline 按信号分(traces/metrics/logs),每段配置 receivers、processors、exporters;多 pipeline 可并行,处理逻辑按信号独立。

概念解释

  • traces pipeline:处理链路数据。
  • metrics pipeline:处理指标。
  • logs pipeline:处理日志。
  • processors 按 pipeline 顺序执行。

原理流程

  1. service.pipelines.traces:receivers -> processors -> exporters。
  2. 同 receiver 可被多个 pipeline 引用。

代码 / 示例

service:
  pipelines:
    traces:
      receivers: [otlp, jaeger]
      processors: [memory_limiter, batch, tail_sampling]
      exporters: [jaeger, otlp]
    metrics:
      receivers: [otlp, prometheus]
      processors: [memory_limiter, batch]
      exporters: [prometheus]

常见误区

  • 误区:所有信号走一个 pipeline;正解:按信号分 pipeline,处理逻辑不同。
  • 误区:processors 顺序无所谓;正解:顺序重要(memory_limiter 先做、batch 后做)。

追问

  • Q:memory_limiter 是什么? A:限制 Collector 内存,防止 OOM,超限拒绝数据。
  • Q:batch processor? A:批量发数据,减少网络开销。

08.8.4-008 OTel 如何做采样与处理?

一句话结论

Collector processors 做采样(tail_sampling)、过滤(filter)、属性转换(transform)、批量(batch),在数据导出前统一处理。

概念解释

  • tail_sampling:按错误/慢请求采样。
  • filter:按属性过滤(去掉健康检查 trace)。
  • transform:加/改属性(加 namespace、pod)。
  • batch:批量导出。

原理流程

  1. receiver 接收。
  2. processors 按顺序处理。
  3. exporters 导出。

代码 / 示例

processors:
  tail_sampling:
    decision_wait: 10s
    policies:
      - name: error
        type: status_code
        status_code: { status_codes: [ERROR] }
      - name: slow
        type: latency
        latency: { threshold_ms: 1000 }

常见误区

  • 误区:采样只在 SDK 做;正解:SDK 头采样,Collector 尾采样,两层配合。
  • 误区:processors 改数据;正解:processors 可过滤、采样、改属性,是处理中心。

追问

  • Q:如何过滤健康检查? A:filter processor 按 span name=/healthz 丢弃。
  • Q:如何加 K8s 元数据? A:k8sattributes processor 自动加 namespace、pod、deployment 标签。

08.8.4-009 OTel SDK 与 Collector 分工?

一句话结论

SDK 在应用内生成信号,做轻量处理(头采样);Collector 做集中处理(尾采样、过滤、转换、多后端导出);SDK 不绑定后端。

概念解释

  • SDK:应用内,生成 span/metric/log,头采样。
  • Collector:集中,尾采样、过滤、转换、多后端。
  • 分工:SDK 轻量,Collector 重处理。

原理流程

  1. SDK 生成信号,头采样。
  2. 发 OTLP 到 Collector。
  3. Collector 尾采样、过滤、导出。

代码 / 示例

SDK:生成 + 头采样 + OTLP 导出
Collector:尾采样 + 过滤 + 多后端导出

常见误区

  • 误区:SDK 做所有处理;正解:SDK 轻量,重处理放 Collector。
  • 误区:Collector 必须有;正解:小应用 SDK 直接发后端,大规模用 Collector。

追问

  • Q:SDK 直接发后端行吗? A:行,但后端绑定(Jaeger endpoint 写在应用里),换后端要改应用;用 Collector 解耦。
  • Q:SDK 内存开销? A:OTel SDK 轻量,批量缓冲,开销可接受。

08.8.4-010 为什么用 OTel 而不是直接接 Prometheus?

一句话结论

OTel 统一三大信号、后端无关、自动 instrumentation、标准协议;直接接 Prometheus 只能采指标,Trace/Log 要另装 SDK,多套绑定难维护。

概念解释

  • 直接接 Prometheus:应用暴露 /metrics,Prometheus pull。
  • OTel:统一 SDK 采 Metrics/Traces/Logs,Collector 导出。
  • 收益:一套 SDK、一个 Collector、多后端。

原理流程

  1. 直接接 Prometheus:应用用 prometheus client,暴露 /metrics,Jaeger 用 jaeger client,Loki 用 stdout。
  2. OTel:一个 SDK,Collector 统一处理。

代码 / 示例

直接接:
  App -> prometheus client -> /metrics
  App -> jaeger client -> jaeger
  App -> stdout -> Fluent Bit -> Loki

OTel:
  App -> OTel SDK -> Collector -> Prometheus/Jaeger/Loki

常见误区

  • 误区:OTel 比直接接 Prometheus 慢;正解:OTel 批量处理,性能相当,但维护成本低。
  • 误区:迁移到 OTel 要重写应用;正解:OTel 兼容 Prometheus/Jaeger,渐进迁移。

追问

  • Q:现有 Prometheus 应用怎么办? A:Prometheus exporter 继续用,新应用用 OTel,Collector 统一。
  • Q:OTel 是未来方向? A:是的,CNCF 标准,各大后端都支持 OTLP。

待整理清单

  • [ ] OpenTelemetry Operator 自动注入
  • [ ] OTel Collector k8sattributes processor
  • [ ] OTel 与 Service Mesh 集成
  • [ ] OTel 语义约定(semantic conventions)