罗罗编程学习记录
本页内容 展开查看

05.12.2 时序数据库

所属:全栈开发面试题库 / 05 数据库与存储 / 05.12 图、时序与宽表

覆盖范围

  • 时序数据特点与写入模式
  • InfluxDB、TDengine、TimescaleDB 对比
  • 降采样与保留策略
  • 标签模型与高基数问题
  • 监控与 IoT 场景

高频题速览

编号 题目 难度 频率
05.12.2-001 时序数据有什么特点 基础 ★★★★
05.12.2-002 InfluxDB、TDengine、TimescaleDB 区别 进阶 ★★★★
05.12.2-003 降采样和保留策略怎么用 进阶 ★★★
05.12.2-004 高基数标签为什么是问题 进阶 ★★★
05.12.2-005 时序数据库和普通库怎么选 基础 ★★★

05.12.2-001 时序数据有什么特点?

频率 ★★★★ | 难度 基础

一句话结论

时序数据按时间顺序写入、写多读少、时间范围查询为主、按标签聚合;数据不可变(一般不修改历史),天然适合列存和压缩。


05.12.2-002 InfluxDB、TDengine、TimescaleDB 有什么区别?

频率 ★★★★ | 难度 进阶

一句话结论

InfluxDB 是专用时序库、Go 实现、生态成熟;TDengine 国产、高性能、自带缓存和消息队列;TimescaleDB 是 PostgreSQL 扩展,SQL 兼容好,适合已有 PG 团队。


05.12.2-003 降采样和保留策略怎么用?

频率 ★★★ | 难度 进阶

一句话结论

保留策略(Retention Policy)自动删除过期数据;降采样(continuous query)把高精度数据聚合为低精度(如 1 分钟点聚合为 1 小时),长期趋势查询用降采样表。


05.12.2-004 高基数标签为什么是问题?

频率 ★★★ | 难度 进阶

一句话结论

时序库按标签索引,标签基数高(如 user_id 当标签)会导致 series 数量爆炸、内存和索引膨胀;高基数字段应作为字段而非标签。


05.12.2-005 时序数据库和普通库怎么选?

频率 ★★★ | 难度 基础

一句话结论

监控、IoT、指标场景用专用时序库(高写入、自动降采样);简单业务数据用普通库即可,不要为几万行数据引入时序库。


05.12.2-006 时序数据为什么压缩率高?

频率 ★★★ | 难度 进阶

一句话结论

时序数据时间单调、相邻值变化小,用 delta-of-delta 编码和 Gorilla 压缩(XOR 浮点)可压缩 10 倍以上;列存 + 时间分区进一步提升。


05.12.2-007 Prometheus 适合什么场景?

频率 ★★ | 难度 基础

一句话结论

Prometheus 适合云原生监控,短周期指标(几天到几周),单节点存储;长期存储用 VictoriaMetrics/Thanos 或 InfluxDB。


05.12.2-008 时序数据库怎么写性能高?

频率 ★★★ | 难度 进阶

一句话结论

批量写入(攒批)、按时间分区、避免频繁单条写;写入模型是 append,不支持随机更新;TDengine 自带缓存可直接查最新值。


05.12.2-009 IoT 设备数据怎么存?

频率 ★★ | 难度 基础

一句话结论

IoT 海量设备数据用时序库(TDengine/InfluxDB),按设备 ID + 时间建表;设备元数据存关系库;告警规则在时序库中连续查询。


05.12.2-010 时序数据和日志数据怎么分?

频率 ★★ | 难度 基础

一句话结论

时序数据是数值型、带时间戳、按 tag 聚合(CPU/内存/电量);日志数据是文本事件,用 Elasticsearch;不要把日志塞时序库。

典型场景与代码示例

时序数据写入模型

tag1=host1,tag2=cpu,metric=usage,value=85.2,timestamp=1700000000
tag1=host1,tag2=mem,metric=usage,value=62.1,timestamp=1700000000
tag1=host2,tag2=cpu,metric=usage,value=45.3,timestamp=1700000000

InfluxDB 保留策略

-- 保留 30 天原始数据,降采样后保留 1 年
CREATE RETENTION POLICY "raw" ON mydb DURATION 30d REPLICATION 1;
CREATE RETENTION POLICY "downsampled" ON mydb DURATION 365d REPLICATION 1;

-- 连续查询:每分钟聚合为 1 小时平均
CREATE CONTINUOUS QUERY cq_1h ON mydb
BEGIN
  SELECT mean(usage) INTO downsampled.measurement
  FROM raw.measurement GROUP BY time(1h), *
END

高基数标签问题

好:tag = status(active/inactive),tag = region(北京/上海)
坏:tag = user_id(百万级),tag = request_id(每次请求唯一)
后果:series 数量爆炸,内存索引膨胀

时序查询

-- 查最近 1 小时 CPU 使用率,按 5 分钟聚合
SELECT mean(usage) FROM cpu
WHERE time > now() - 1h
GROUP BY time(5m), host;

面试高频追问

问:时序数据库和普通数据库有什么本质区别?

答:时序数据只写不改、按时间范围查询、高写入吞吐;普通数据库支持随机读写和事务。时序库针对写入和压缩优化。

问:为什么高基数标签是问题?

答:标签是索引维度,基数高(如 user_id)会导致 series 数量爆炸,内存索引膨胀;高基数字段应作为字段而非标签。

问:降采样怎么工作?

答:连续查询(continuous query)定期把高精度数据聚合为低精度(1分钟点聚合为1小时);长期趋势查询用降采样表,减少扫描量。

问:Prometheus 适合存多久的数据?

答:默认保留 15 天,单机内存存储;长期存储用 VictoriaMetrics/Thanos 或 InfluxDB。

核心要点速记

数据库 特点 适用
InfluxDB 专用时序、生态成熟 通用监控
TDengine 国产、自带缓存和消息队列 IoT 设备
TimescaleDB PG 扩展、SQL 兼容 已有 PG 团队
Prometheus 云原生、短周期 K8s 监控
VictoriaMetrics 兼容 Prometheus、长期存储 大规模监控

时序数据关键操作:

  • 保留策略(Retention):自动删除过期数据
  • 降采样(Downsampling):高精度聚合为低精度
  • 高基数标签:避免用 user_id 当标签

一句话记忆:时序数据只写不改、按时间查询;高基数标签是头号坑。

相关概念辨析

InfluxDB vs TDengine vs TimescaleDB

维度 InfluxDB TDengine TimescaleDB
开源 是 是 是
协议 InfluxQL SQL SQL
性能 好 好 中
生态 国内 国内 国际

降采样 vs 保留策略

  • 降采样:高精度数据转为低精度,减少数据量。
  • 保留策略:过期数据自动删除。
  • 选择:热数据高精度;冷数据降采样;过期删除。

05.12.2-009 降采样怎么实现?

频率 ★★★ | 难度 进阶

一句话结论

降采样:高精度数据转为低精度数据,减少数据量;如 1 秒间隔转为 1 分钟间隔,取平均值或最大值。

概念解释

  • 降采样:高频率数据转为低频率。
  • 保留策略:热数据高精度,冷数据降采样。
  • 存储:降采样后数据量减少 60 倍。

原理流程

  1. 热数据:1 秒间隔,保留 30 天。
  2. 降采样:1 分钟间隔,保留 1 年。
  3. 过期:1 年以上自动删除。

代码 / 示例

-- InfluxDB 降采样
CREATE CONTINUOUS POLICY cp_1m ON database
RESAMPLE EVERY 1m FOR 365d
INTO measurement_1m
SELECT mean(value) FROM measurement
GROUP BY time(1m);

常见误区

  • 误区:降采样就是删除。正解:降采样是转为低精度,不是删除。

追问延伸

  • 降采样方式:平均值、最大值、最小值。
  • 保留策略:热数据高精度,冷数据降采样。

05.12.2-010 时序数据压缩率为什么高?

频率 ★★ | 难度 进阶

一句话结论

时序数据压缩率高:1)时间戳连续,delta 编码;2)传感器值变化小,RLE;3)列存,同列数据相似。

概念解释

  • delta 编码:时间戳连续,存差值。
  • RLE:传感器值变化小,连续重复值行程编码。
  • 列存:同列数据相似,压缩率高。

原理流程

  1. 时间戳:delta 编码,存差值。
  2. 传感器值:RLE,连续重复值。
  3. 列存:同列数据相似,压缩率高。

常见误区

  • 误区:时序数据压缩率高是因为列存。正解:delta + RLE + 列存三者结合。

追问延伸

  • 压缩率:时序数据压缩率可达 10:1。
  • 编码:delta、RLE、字典编码。

05.12.2-011 InfluxDB 和 Prometheus 有什么区别?

频率 ★★ | 难度 进阶

一句话结论

InfluxDB:通用时序数据库,支持 SQL,适合 IoT;Prometheus:监控系统,适合指标采集和告警,单机存储。

概念解释

  • InfluxDB:通用时序数据库,支持 SQL,适合 IoT 数据。
  • Prometheus:监控系统,适合指标采集和告警。
  • 存储:InfluxDB 分布式;Prometheus 单机。

原理流程

  1. InfluxDB:写入时序数据,查询用 InfluxQL。
  2. Prometheus:采集指标,PromQL 查询,告警。
  3. 存储:InfluxDB 分布式;Prometheus 本地存储。

常见误区

  • 误区:InfluxDB 替代 Prometheus。正解:InfluxDB 通用时序;Prometheus 监控告警。

追问延伸

  • Prometheus:适合监控系统,单机,不适合大规模时序数据。
  • InfluxDB:适合 IoT 数据,分布式。

05.12.2-012 保留策略怎么设计?

频率 ★★ | 难度 进阶

一句话结论

保留策略:热数据高精度保留 30 天;冷数据降采样保留 1 年;过期数据自动删除。

概念解释

  • 热数据:频繁查询,高精度。
  • 冷数据:偶尔查询,降采样。
  • 过期:自动删除。

原理流程

  1. 热数据:1 秒间隔,保留 30 天。
  2. 冷数据:1 分钟间隔,保留 1 年。
  3. 过期:1 年以上自动删除。

常见误区

  • 误区:所有数据都高精度保留。正解:热数据高精度,冷数据降采样,节省空间。

追问延伸

  • 保留策略:按业务需求设计。
  • 自动删除:过期数据自动删除。

待整理清单

  • [ ] Prometheus + VictoriaMetrics 方案
  • [ ] 时序数据压缩算法( Gorilla)
  • [ ] 物化视图与连续聚合