08.8.2 日志(Loki/ELK、采集与检索)
所属:全栈开发面试题库 / 08 云原生与 DevOps / 08.8 可观测性栈
覆盖范围
- 日志架构:采集、传输、存储、检索
- Loki 与 Prometheus 标签模型
- ELK/EFK 栈(Elasticsearch/Fluentd/Kibana)
- 结构化日志与 traceId 关联
- 日志保留与成本控制
高频题速览
| 编号 | 题目 | 难度 | 频率 |
|---|---|---|---|
| 08.8.2-001 | 日志系统的架构分哪几层? | 基础 | ★★★★★ |
| 08.8.2-002 | Loki 与 ELK 有什么区别? | 进阶 | ★★★★★ |
| 08.8.2-003 | 为什么要结构化日志? | 基础 | ★★★★ |
| 08.8.2-004 | 日志如何与 traceId 关联? | 进阶 | ★★★★ |
| 08.8.2-005 | Fluentd/Fluent Bit 做什么? | 基础 | ★★★★ |
| 08.8.2-006 | 日志如何采集 K8s Pod 日志? | 进阶 | ★★★★ |
| 08.8.2-007 | Loki 为什么只索引标签不索引内容? | 进阶 | ★★★★ |
| 08.8.2-008 | 日志保留策略怎么定? | 进阶 | ★★★ |
| 08.8.2-009 | 如何从日志快速定位错误? | 基础 | ★★★★ |
| 08.8.2-010 | 日志采集对性能影响? | 进阶 | ★★★ |
08.8.2-001 日志系统的架构分哪几层?
一句话结论
日志系统分采集(Fluent Bit/Fluentd/Filebeat)、传输(Kafka/Redis)、存储(Elasticsearch/Loki)、检索(Kibana/Grafana)四层。
概念解释
- 采集:在节点上读日志文件或 stdout。
- 传输:缓冲、批量、解耦。
- 存储:Elasticsearch(全文索引)、Loki(标签索引)。
- 检索:Kibana、Grafana 日志 UI。
原理流程
- 应用写日志到 stdout/文件。
- 采集 agent 读日志,加标签。
- 传输层缓冲批量发到存储。
- 用户在 UI 查日志。
代码 / 示例
App -> stdout -> Fluent Bit -> Kafka -> Fluentd -> Elasticsearch -> Kibana
常见误区
- 误区:应用直接写 ES;正解:应用直接写 ES 会导致 ES 压力大、丢日志,要经过采集 agent。
- 误区:日志系统不分层;正解:采集、传输、存储、检索解耦,各层独立扩展。
追问
- Q:为什么要 Kafka? A:削峰填谷,日志洪峰时缓冲,避免 ES 被打爆。
- Q:K8s 里日志在哪? A:容器 stdout 写到节点 /var/log/containers/,采集 agent 读。
08.8.2-002 Loki 与 ELK 有什么区别?
一句话结论
ELK(Elasticsearch)对日志全文索引,功能强但成本高;Loki 只索引标签、日志内容压缩存储,成本低,与 Grafana/Prometheus 标签模型一致,适合云原生。
概念解释
- ELK:Elasticsearch 全文索引,支持复杂查询、全文检索,但 ES 资源重。
- Loki:只索引 labels(job、app、namespace),日志内容存 S3,查询用 LogQL。
- 成本:Loki 比 ELK 便宜一个数量级。
原理流程
- ELK:日志写入 ES,ES 建倒排索引。
- Loki:日志带 labels 写入,只索引 labels,内容压缩存 S3。
代码 / 示例
# LogQL
{job="myapp"} |= "error" | json | latency > 1000
常见误区
- 误区:Loki 是 ELK 的替代;正解:Loki 适合云原生与标签查询,ELK 适合复杂全文检索与审计。
- 误区:Loki 查询快;正解:Loki 查询要扫描日志内容(因为不索引内容),慢于 ES,但标签过滤后扫描量小。
追问
- Q:Loki 怎么选? A:已有 Grafana/Prometheus 栈选 Loki;复杂合规审计选 ELK。
- Q:Loki 的架构? A:Distributor(接收)、Ingester(写)、Querier(读)、Compactor(压缩)。
08.8.2-003 为什么要结构化日志?
一句话结论
结构化日志(JSON)让日志可被机器解析,能按字段过滤、聚合、关联 traceId;纯文本日志只能 grep,无法结构化查询。
概念解释
- 结构化日志:JSON 格式,含 timestamp、level、service、traceId、message。
- 非结构化:纯文本,人类可读但机器难解析。
- 收益:按 field 过滤、聚合、告警。
原理流程
- 应用输出 JSON 日志。
- 采集 agent 解析 JSON。
- 查询时按 field(level=error、traceId=xxx)过滤。
代码 / 示例
{"ts":"2026-11-20T10:00:00Z","level":"error","service":"api","traceId":"abc123","msg":"db timeout","latency_ms":1200}
常见误区
- 误区:结构化日志人类不好读;正解:结构化日志也可配人类可读输出,生产用 JSON。
- 误区:结构化日志就是打 JSON;正解:要包含 traceId、userId、latency 等字段,可关联可观测。
追问
- Q:日志框架? A:Python logging-json、Go zap、Java logstash-encoder、Node pino。
- Q:日志级别怎么分? A:debug/info/warn/error/fatal,生产通常 info 以上。
08.8.2-004 日志如何与 traceId 关联?
一句话结论
日志里打印 traceId 与 spanId,与链路追踪共用同一 ID,日志里按 traceId 检索,跳到对应 trace。
概念解释
- traceId:一次请求的全局 ID。
- spanId:单次操作 ID。
- 日志:每条日志带 traceId。
- 关联:日志里点 traceId 跳到 Jaeger/Grafana Tempo 对应 trace。
原理流程
- 请求进入网关,生成 traceId。
- traceId 透传到所有服务(HTTP header、gRPC metadata)。
- 每个服务日志带 traceId。
- 日志按 traceId 检索,关联整条链路。
代码 / 示例
日志:
{"traceId":"abc123","service":"api","msg":"received request"}
{"traceId":"abc123","service":"db","msg":"query users","latency":50}
按 traceId 查日志 -> 看到整条链路
常见误区
- 误区:日志与 trace 是独立系统;正解:日志里带 traceId 就能关联,三支柱打通。
- 误区:traceId 自动透传;正解:应用必须把 traceId 写到日志、下游透传,否则断链。
追问
- Q:OpenTelemetry 自动注入 traceId? A:OTel SDK 自动把 traceId 加到日志上下文,应用不用手动写。
- Q:日志里 traceId 缺失? A:检查中间件是否注入,日志框架是否接 OTel。
08.8.2-005 Fluentd/Fluent Bit 做什么?
一句话结论
Fluent Bit 是轻量采集 agent,在节点上读日志文件/stdout,加标签,转发到后端;Fluentd 是重型聚合层,做缓冲、过滤、转发。
概念解释
- Fluent Bit:轻量(C 写),资源占用小,做节点采集。
- Fluentd:Ruby 写,插件多,做聚合、缓冲、转换。
- 关系:Fluent Bit 采集 -> Fluentd 聚合 -> ES/Loki。
原理流程
- Fluent Bit 在节点读 /var/log/containers/*.log。
- 加 labels(namespace、pod、container)。
- 转发到 Fluentd 或直接到 Loki/ES。
代码 / 示例
节点:Fluent Bit(采集)
聚合层:Fluentd(缓冲、过滤、输出)
存储:Loki/ES
常见误区
- 误区:Fluent Bit 与 Fluentd 一样;正解:Fluent Bit 轻量采集,Fluentd 重型聚合,常配合。
- 误区:应用直接写 Fluent Bit;正解:Fluent Bit 读节点日志文件,应用不直接连。
追问
- Q:Filebeat 是什么? A:Elastic 出的采集 agent,类似 Fluent Bit,但生态偏 ELK。
- Q:如何选择? A:云原生选 Fluent Bit + Loki,ELK 栈选 Filebeat/Fluentd。
08.8.2-006 日志如何采集 K8s Pod 日志?
一句话结论
K8s 容器 stdout 写到节点 /var/log/containers/
概念解释
- 容器 runtime:把 stdout 写到节点日志目录。
- DaemonSet:每节点一个采集 agent。
- 标签:namespace、pod、container、labels。
原理流程
- 应用容器 stdout。
- containerd 写到 /var/log/containers/。
- Fluent Bit DaemonSet 读文件。
- 加 K8s metadata(namespace、pod labels)。
- 转发到 Loki/ES。
代码 / 示例
/var/log/containers/myapp-xxx_default_api-0.log
-> Fluent Bit(DaemonSet)
-> labels: {namespace="default", app="myapp"}
-> Loki
常见误区
- 误区:应用写日志到 volume;正解:12-factor 应用写 stdout,由节点采集,不写文件。
- 误区:日志在 Pod 内;正解:容器内日志写到 stdout,节点文件是容器 stdout 的镜像。
追问
- Q:容器日志轮转? A:containerd 自动按大小/时间轮转,避免撑满节点磁盘。
- Q:如何看 Pod 日志? A:kubectl logs,或在 Grafana 按 namespace/pod 查 Loki。
08.8.2-007 Loki 为什么只索引标签不索引内容?
一句话结论
Loki 设计上只索引 labels(job、app、namespace),日志内容压缩成块存对象存储,查询时用 LogQL 先按 labels 过滤,再扫描内容块;成本低但查询慢。
概念解释
- 标签索引:labels(job、namespace、pod)建索引。
- 内容:压缩成 chunk 存 S3,不建倒排索引。
- 查询:先按 labels 缩小范围,再 grep 内容。
原理流程
- 写入:日志带 labels,内容压缩成 chunk。
- 查询:
{job="myapp"} |= "error"。 - 先按 job=myapp 找到 chunk 范围。
- 下载 chunk,grep "error"。
代码 / 示例
{namespace="prod", app="myapp"} |= "error" | json | latency > 1000
常见误区
- 误区:Loki 查询快;正解:Loki 要扫描内容块,慢于 ES;但标签过滤后范围小,可接受。
- 误区:Loki 不索引内容就不能查;正解:能查,只是用 grep/LogQL,不是全文索引。
追问
- Q:如何加快 Loki 查询? A:缩小时间范围、精确 labels、用结构化日志后按字段过滤。
- Q:Loki 与 Grafana 关系? A:Loki 是 Grafana Labs 出的,与 Grafana 原生集成,LogQL 类似 PromQL。
08.8.2-008 日志保留策略怎么定?
一句话结论
日志保留按合规要求(如 30 天热数据、1 年归档)与成本定:热数据在 SSD(快查询),冷数据在 S3(便宜),超期删除。
概念解释
- 热数据:最近 7-30 天,在本地 SSD,快查询。
- 温数据:30-90 天,在对象存储,慢查询。
- 冷数据:90 天以上,归档 Glacier,合规保留。
- 删除:超期自动删。
原理流程
- 新日志写热存储。
- 超过热保留期,自动迁移到对象存储。
- 超过冷保留期,删除。
代码 / 示例
热:30 天(SSD)
温:90 天(S3 standard)
冷:1 年(S3 glacier)
常见误区
- 误区:日志保留越久越好;正解:日志成本高,保留按合规与排障需求,不是越久越好。
- 误区:所有日志同等保留;正解:错误日志、审计日志保留久,debug 日志短保留。
追问
- Q:Loki 保留配置? A:Compactor 配置 retention_enabled 与 retention_period。
- Q:合规要求? A:金融、医疗行业有合规要求(如等保 6 个月),按合规定。
08.8.2-009 如何从日志快速定位错误?
一句话结论
按层级定位:先按服务/时间范围过滤,再按 level=error 过滤,按 traceId 关联整条链路,按 stack trace 定位代码行。
概念解释
- 过滤:service、namespace、时间范围。
- 错误:level=error。
- 关联:traceId 跳到 trace。
- stack trace:定位异常代码。
原理流程
- 告警触发,打开 Grafana。
- 按 service=api、时间范围=最近 15 分钟。
- 过滤 level=error。
- 点 traceId 看整条链路。
- stack trace 定位代码。
代码 / 示例
{namespace="prod", app="api"} | json | level="error" | latency > 1000
常见误区
- 误区:全量日志 grep;正解:先按 service/时间范围缩小,再过滤错误,避免全量扫描。
- 误区:只看错误日志;正解:错误前后的 info 日志也要看,理解上下文。
追问
- Q:如何按 exception type 过滤? A:结构化日志里加 exception_type 字段,LogQL 按字段过滤。
- Q:日志告警? A:Loki 可配 Ruler,对错误率超阈值告警,与 Prometheus Alertmanager 联动。
08.8.2-010 日志采集对性能影响?
一句话结论
采集 agent 在节点上读日志、解析、转发,占用 CPU/内存/网络;优化:批量发送、压缩、限流、避免复杂正则解析。
概念解释
- 资源:Fluent Bit 每节点 CPU 0.1-0.5 核,内存 100-300MB。
- 网络:日志量大会占节点带宽。
- 优化:批量、压缩、过滤、轻量 agent。
原理流程
- 采集 agent 读文件。
- 解析 JSON/正则。
- 批量发送(缓冲 1MB 或 1s)。
- 压缩 gzip。
代码 / 示例
Fluent Bit:
buffer: 1MB
flush: 1s
compress: gzip
常见误区
- 误区:日志采集没影响;正解:高流量下日志占网络与磁盘 IO,要监控采集 agent 性能。
- 误区:日志采集越多越好;正解:debug 日志生产关掉,避免洪峰。
追问
- Q:日志洪峰怎么办? A:Kafka 缓冲、限流、降级(丢非关键日志)。
- Q:如何监控采集 agent? A:Fluent Bit 自己暴露 metrics(Prometheus)。
待整理清单
- [ ] Loki 多租户与权限
- [ ] Elasticsearch 索引生命周期(ILM)
- [ ] OpenTelemetry Logs Collector
- [ ] 日志采样与降级