罗罗编程学习记录
本页内容 展开查看

08.8.2 日志(Loki/ELK、采集与检索)

所属:全栈开发面试题库 / 08 云原生与 DevOps / 08.8 可观测性栈

覆盖范围

  • 日志架构:采集、传输、存储、检索
  • Loki 与 Prometheus 标签模型
  • ELK/EFK 栈(Elasticsearch/Fluentd/Kibana)
  • 结构化日志与 traceId 关联
  • 日志保留与成本控制

高频题速览

编号 题目 难度 频率
08.8.2-001 日志系统的架构分哪几层? 基础 ★★★★★
08.8.2-002 Loki 与 ELK 有什么区别? 进阶 ★★★★★
08.8.2-003 为什么要结构化日志? 基础 ★★★★
08.8.2-004 日志如何与 traceId 关联? 进阶 ★★★★
08.8.2-005 Fluentd/Fluent Bit 做什么? 基础 ★★★★
08.8.2-006 日志如何采集 K8s Pod 日志? 进阶 ★★★★
08.8.2-007 Loki 为什么只索引标签不索引内容? 进阶 ★★★★
08.8.2-008 日志保留策略怎么定? 进阶 ★★★
08.8.2-009 如何从日志快速定位错误? 基础 ★★★★
08.8.2-010 日志采集对性能影响? 进阶 ★★★

08.8.2-001 日志系统的架构分哪几层?

一句话结论

日志系统分采集(Fluent Bit/Fluentd/Filebeat)、传输(Kafka/Redis)、存储(Elasticsearch/Loki)、检索(Kibana/Grafana)四层。

概念解释

  • 采集:在节点上读日志文件或 stdout。
  • 传输:缓冲、批量、解耦。
  • 存储:Elasticsearch(全文索引)、Loki(标签索引)。
  • 检索:Kibana、Grafana 日志 UI。

原理流程

  1. 应用写日志到 stdout/文件。
  2. 采集 agent 读日志,加标签。
  3. 传输层缓冲批量发到存储。
  4. 用户在 UI 查日志。

代码 / 示例

App -> stdout -> Fluent Bit -> Kafka -> Fluentd -> Elasticsearch -> Kibana

常见误区

  • 误区:应用直接写 ES;正解:应用直接写 ES 会导致 ES 压力大、丢日志,要经过采集 agent。
  • 误区:日志系统不分层;正解:采集、传输、存储、检索解耦,各层独立扩展。

追问

  • Q:为什么要 Kafka? A:削峰填谷,日志洪峰时缓冲,避免 ES 被打爆。
  • Q:K8s 里日志在哪? A:容器 stdout 写到节点 /var/log/containers/,采集 agent 读。

08.8.2-002 Loki 与 ELK 有什么区别?

一句话结论

ELK(Elasticsearch)对日志全文索引,功能强但成本高;Loki 只索引标签、日志内容压缩存储,成本低,与 Grafana/Prometheus 标签模型一致,适合云原生。

概念解释

  • ELK:Elasticsearch 全文索引,支持复杂查询、全文检索,但 ES 资源重。
  • Loki:只索引 labels(job、app、namespace),日志内容存 S3,查询用 LogQL。
  • 成本:Loki 比 ELK 便宜一个数量级。

原理流程

  1. ELK:日志写入 ES,ES 建倒排索引。
  2. Loki:日志带 labels 写入,只索引 labels,内容压缩存 S3。

代码 / 示例

# LogQL
{job="myapp"} |= "error" | json | latency > 1000

常见误区

  • 误区:Loki 是 ELK 的替代;正解:Loki 适合云原生与标签查询,ELK 适合复杂全文检索与审计。
  • 误区:Loki 查询快;正解:Loki 查询要扫描日志内容(因为不索引内容),慢于 ES,但标签过滤后扫描量小。

追问

  • Q:Loki 怎么选? A:已有 Grafana/Prometheus 栈选 Loki;复杂合规审计选 ELK。
  • Q:Loki 的架构? A:Distributor(接收)、Ingester(写)、Querier(读)、Compactor(压缩)。

08.8.2-003 为什么要结构化日志?

一句话结论

结构化日志(JSON)让日志可被机器解析,能按字段过滤、聚合、关联 traceId;纯文本日志只能 grep,无法结构化查询。

概念解释

  • 结构化日志:JSON 格式,含 timestamp、level、service、traceId、message。
  • 非结构化:纯文本,人类可读但机器难解析。
  • 收益:按 field 过滤、聚合、告警。

原理流程

  1. 应用输出 JSON 日志。
  2. 采集 agent 解析 JSON。
  3. 查询时按 field(level=error、traceId=xxx)过滤。

代码 / 示例

{"ts":"2026-11-20T10:00:00Z","level":"error","service":"api","traceId":"abc123","msg":"db timeout","latency_ms":1200}

常见误区

  • 误区:结构化日志人类不好读;正解:结构化日志也可配人类可读输出,生产用 JSON。
  • 误区:结构化日志就是打 JSON;正解:要包含 traceId、userId、latency 等字段,可关联可观测。

追问

  • Q:日志框架? A:Python logging-json、Go zap、Java logstash-encoder、Node pino。
  • Q:日志级别怎么分? A:debug/info/warn/error/fatal,生产通常 info 以上。

08.8.2-004 日志如何与 traceId 关联?

一句话结论

日志里打印 traceId 与 spanId,与链路追踪共用同一 ID,日志里按 traceId 检索,跳到对应 trace。

概念解释

  • traceId:一次请求的全局 ID。
  • spanId:单次操作 ID。
  • 日志:每条日志带 traceId。
  • 关联:日志里点 traceId 跳到 Jaeger/Grafana Tempo 对应 trace。

原理流程

  1. 请求进入网关,生成 traceId。
  2. traceId 透传到所有服务(HTTP header、gRPC metadata)。
  3. 每个服务日志带 traceId。
  4. 日志按 traceId 检索,关联整条链路。

代码 / 示例

日志:
  {"traceId":"abc123","service":"api","msg":"received request"}
  {"traceId":"abc123","service":"db","msg":"query users","latency":50}

按 traceId 查日志 -> 看到整条链路

常见误区

  • 误区:日志与 trace 是独立系统;正解:日志里带 traceId 就能关联,三支柱打通。
  • 误区:traceId 自动透传;正解:应用必须把 traceId 写到日志、下游透传,否则断链。

追问

  • Q:OpenTelemetry 自动注入 traceId? A:OTel SDK 自动把 traceId 加到日志上下文,应用不用手动写。
  • Q:日志里 traceId 缺失? A:检查中间件是否注入,日志框架是否接 OTel。

08.8.2-005 Fluentd/Fluent Bit 做什么?

一句话结论

Fluent Bit 是轻量采集 agent,在节点上读日志文件/stdout,加标签,转发到后端;Fluentd 是重型聚合层,做缓冲、过滤、转发。

概念解释

  • Fluent Bit:轻量(C 写),资源占用小,做节点采集。
  • Fluentd:Ruby 写,插件多,做聚合、缓冲、转换。
  • 关系:Fluent Bit 采集 -> Fluentd 聚合 -> ES/Loki。

原理流程

  1. Fluent Bit 在节点读 /var/log/containers/*.log。
  2. 加 labels(namespace、pod、container)。
  3. 转发到 Fluentd 或直接到 Loki/ES。

代码 / 示例

节点:Fluent Bit(采集)
聚合层:Fluentd(缓冲、过滤、输出)
存储:Loki/ES

常见误区

  • 误区:Fluent Bit 与 Fluentd 一样;正解:Fluent Bit 轻量采集,Fluentd 重型聚合,常配合。
  • 误区:应用直接写 Fluent Bit;正解:Fluent Bit 读节点日志文件,应用不直接连。

追问

  • Q:Filebeat 是什么? A:Elastic 出的采集 agent,类似 Fluent Bit,但生态偏 ELK。
  • Q:如何选择? A:云原生选 Fluent Bit + Loki,ELK 栈选 Filebeat/Fluentd。

08.8.2-006 日志如何采集 K8s Pod 日志?

一句话结论

K8s 容器 stdout 写到节点 /var/log/containers/-.log,采集 agent(Fluent Bit/DaemonSet)读这些文件,加 Pod/Namespace 标签后转发。

概念解释

  • 容器 runtime:把 stdout 写到节点日志目录。
  • DaemonSet:每节点一个采集 agent。
  • 标签:namespace、pod、container、labels。

原理流程

  1. 应用容器 stdout。
  2. containerd 写到 /var/log/containers/。
  3. Fluent Bit DaemonSet 读文件。
  4. 加 K8s metadata(namespace、pod labels)。
  5. 转发到 Loki/ES。

代码 / 示例

/var/log/containers/myapp-xxx_default_api-0.log
  -> Fluent Bit(DaemonSet)
  -> labels: {namespace="default", app="myapp"}
  -> Loki

常见误区

  • 误区:应用写日志到 volume;正解:12-factor 应用写 stdout,由节点采集,不写文件。
  • 误区:日志在 Pod 内;正解:容器内日志写到 stdout,节点文件是容器 stdout 的镜像。

追问

  • Q:容器日志轮转? A:containerd 自动按大小/时间轮转,避免撑满节点磁盘。
  • Q:如何看 Pod 日志? A:kubectl logs,或在 Grafana 按 namespace/pod 查 Loki。

08.8.2-007 Loki 为什么只索引标签不索引内容?

一句话结论

Loki 设计上只索引 labels(job、app、namespace),日志内容压缩成块存对象存储,查询时用 LogQL 先按 labels 过滤,再扫描内容块;成本低但查询慢。

概念解释

  • 标签索引:labels(job、namespace、pod)建索引。
  • 内容:压缩成 chunk 存 S3,不建倒排索引。
  • 查询:先按 labels 缩小范围,再 grep 内容。

原理流程

  1. 写入:日志带 labels,内容压缩成 chunk。
  2. 查询:{job="myapp"} |= "error"。
  3. 先按 job=myapp 找到 chunk 范围。
  4. 下载 chunk,grep "error"。

代码 / 示例

{namespace="prod", app="myapp"} |= "error" | json | latency > 1000

常见误区

  • 误区:Loki 查询快;正解:Loki 要扫描内容块,慢于 ES;但标签过滤后范围小,可接受。
  • 误区:Loki 不索引内容就不能查;正解:能查,只是用 grep/LogQL,不是全文索引。

追问

  • Q:如何加快 Loki 查询? A:缩小时间范围、精确 labels、用结构化日志后按字段过滤。
  • Q:Loki 与 Grafana 关系? A:Loki 是 Grafana Labs 出的,与 Grafana 原生集成,LogQL 类似 PromQL。

08.8.2-008 日志保留策略怎么定?

一句话结论

日志保留按合规要求(如 30 天热数据、1 年归档)与成本定:热数据在 SSD(快查询),冷数据在 S3(便宜),超期删除。

概念解释

  • 热数据:最近 7-30 天,在本地 SSD,快查询。
  • 温数据:30-90 天,在对象存储,慢查询。
  • 冷数据:90 天以上,归档 Glacier,合规保留。
  • 删除:超期自动删。

原理流程

  1. 新日志写热存储。
  2. 超过热保留期,自动迁移到对象存储。
  3. 超过冷保留期,删除。

代码 / 示例

热:30 天(SSD)
温:90 天(S3 standard)
冷:1 年(S3 glacier)

常见误区

  • 误区:日志保留越久越好;正解:日志成本高,保留按合规与排障需求,不是越久越好。
  • 误区:所有日志同等保留;正解:错误日志、审计日志保留久,debug 日志短保留。

追问

  • Q:Loki 保留配置? A:Compactor 配置 retention_enabled 与 retention_period。
  • Q:合规要求? A:金融、医疗行业有合规要求(如等保 6 个月),按合规定。

08.8.2-009 如何从日志快速定位错误?

一句话结论

按层级定位:先按服务/时间范围过滤,再按 level=error 过滤,按 traceId 关联整条链路,按 stack trace 定位代码行。

概念解释

  • 过滤:service、namespace、时间范围。
  • 错误:level=error。
  • 关联:traceId 跳到 trace。
  • stack trace:定位异常代码。

原理流程

  1. 告警触发,打开 Grafana。
  2. 按 service=api、时间范围=最近 15 分钟。
  3. 过滤 level=error。
  4. 点 traceId 看整条链路。
  5. stack trace 定位代码。

代码 / 示例

{namespace="prod", app="api"} | json | level="error" | latency > 1000

常见误区

  • 误区:全量日志 grep;正解:先按 service/时间范围缩小,再过滤错误,避免全量扫描。
  • 误区:只看错误日志;正解:错误前后的 info 日志也要看,理解上下文。

追问

  • Q:如何按 exception type 过滤? A:结构化日志里加 exception_type 字段,LogQL 按字段过滤。
  • Q:日志告警? A:Loki 可配 Ruler,对错误率超阈值告警,与 Prometheus Alertmanager 联动。

08.8.2-010 日志采集对性能影响?

一句话结论

采集 agent 在节点上读日志、解析、转发,占用 CPU/内存/网络;优化:批量发送、压缩、限流、避免复杂正则解析。

概念解释

  • 资源:Fluent Bit 每节点 CPU 0.1-0.5 核,内存 100-300MB。
  • 网络:日志量大会占节点带宽。
  • 优化:批量、压缩、过滤、轻量 agent。

原理流程

  1. 采集 agent 读文件。
  2. 解析 JSON/正则。
  3. 批量发送(缓冲 1MB 或 1s)。
  4. 压缩 gzip。

代码 / 示例

Fluent Bit:
  buffer: 1MB
  flush: 1s
  compress: gzip

常见误区

  • 误区:日志采集没影响;正解:高流量下日志占网络与磁盘 IO,要监控采集 agent 性能。
  • 误区:日志采集越多越好;正解:debug 日志生产关掉,避免洪峰。

追问

  • Q:日志洪峰怎么办? A:Kafka 缓冲、限流、降级(丢非关键日志)。
  • Q:如何监控采集 agent? A:Fluent Bit 自己暴露 metrics(Prometheus)。

待整理清单

  • [ ] Loki 多租户与权限
  • [ ] Elasticsearch 索引生命周期(ILM)
  • [ ] OpenTelemetry Logs Collector
  • [ ] 日志采样与降级