05.8.5 实时与离线数仓选型
所属:全栈开发面试题库 / 05 数据库与存储 / 05.8 OLAP 与列存
覆盖范围
- 离线数仓 vs 实时数仓
- HTAP、OLTP、OLAP、湖仓的边界
- Lambda 架构与 Kappa 架构
- 数据时效性与成本权衡
- 选型决策路径
高频题速览
| 编号 | 题目 | 难度 | 频率 |
|---|---|---|---|
| 05.8.5-001 | 离线数仓和实时数仓区别 | 基础 | ★★★★★ |
| 05.8.5-002 | HTAP 是什么,能替代 OLAP 吗 | 进阶 | ★★★★ |
| 05.8.5-003 | Lambda 架构和 Kappa 架构 | 进阶 | ★★★★ |
| 05.8.5-004 | 湖仓一体解决什么问题 | 进阶 | ★★★ |
| 05.8.5-005 | 怎么选 OLAP 引擎 | 进阶 | ★★★★ |
05.8.5-001 离线数仓和实时数仓有什么区别?
频率 ★★★★★ | 难度 基础
一句话结论
离线数仓(T+1)用 Hive/Spark 批量处理,数据延迟小时到天,成本低、吞吐大;实时数仓用 Flink + Kafka + Doris/CK,数据延迟秒级,成本高、维护复杂;按业务时效要求选。
概念解释
- 离线:HDFS + Hive/Spark,T+1。
- 实时:Kafka + Flink + OLAP,秒级。
- 时效成本:实时链路每多一跳都要算资源和维护成本。
常见误区
- 误区:所有报表都要实时。正解:日级报表用离线足够,实时链路贵且容易出故障。
05.8.5-002 HTAP 是什么?能替代 OLAP 吗?
频率 ★★★★ | 难度 进阶
一句话结论
HTAP(Hybrid Transactional/Analytical Processing)在同一引擎同时跑事务和分析(如 TiDB + TiFlash、OceanBase),减少数仓搬运;但极限分析性能不如专用 OLAP,适合业务实时看板,不适合超大规模复杂分析。
常见误区
- 误区:HTAP 能替代数仓。正解:HTAP 覆盖业务实时场景,离线 T+1 报表仍需数仓。
05.8.5-003 Lambda 架构和 Kappa 架构有什么区别?
频率 ★★★★ | 难度 进阶
一句话结论
Lambda 同时跑离线层(批处理)和实时层(流处理),批层保证准确、流层保证低延迟,最终合并;Kappa 只用流处理,把离线重算当作流回放,链路统一但重算成本高。
概念解释
- Lambda:批+流双链路,代码两套,运维复杂。
- Kappa:一条流链路,历史回放重算。
常见误区
- 误区:Kappa 先进所以取代 Lambda。正解:Lambda 仍用于超大规模且需要批修正的场景,Kappa 适合中等规模统一链路。
05.8.5-004 湖仓一体解决什么问题?
频率 ★★★ | 难度 进阶
一句话结论
湖仓(Lakehouse)用对象存储 + 开放表格式(Iceberg/Hudi/Delta)统一存储,既支持数据湖弹性存储,又支持数仓的事务、schema、时间旅行,避免数据在湖和仓间搬运。
常见误区
- 误区:湖仓就是数据湖。正解:数据湖没有事务和 schema,湖仓加了开放表格式。
05.8.5-005 怎么选 OLAP 引擎?
频率 ★★★★ | 难度 进阶
一句话结论
单表大宽表极限分析选 ClickHouse;实时数仓即席查询选 Doris/StarRocks;已用 Trino/Spark 生态做联邦查询选 Presto/Trino;HTAP 业务实时看板选 TiDB+TiFlash/OceanBase。
常见误区
- 误区:跟着开源热度选。正解:按数据规模、更新频率、并发、JOIN 复杂度综合评估。
05.8.5-006 Lambda 架构为什么复杂?
频率 ★★ | 难度 进阶
一句话结论
批层和流层两套代码、两套口径,合并逻辑复杂;数据修正时要同时重跑批和流;团队小用 Kappa 或纯离线。
05.8.5-007 湖仓一体解决了什么?
频率 ★★ | 难度 进阶
一句话结论
数据湖存原始数据但没事务和 schema;数仓有管理但数据要搬;湖仓用开放表格式(Iceberg/Hudi/Delta)在对象存储上同时提供事务、时间旅行、schema 演化,避免搬运。
05.8.5-008 实时数仓延迟目标怎么定?
频率 ★★ | 难度 基础
一句话结论
按业务定:监控秒级、运营看板分钟级、报表 T+1;不要为所有场景都做秒级,成本高。
典型场景与代码示例
离线数仓链路
MySQL 业务库
-> DataX 每日全量同步到 Hive ODS(T+1)
-> Spark SQL 清洗到 DWD
-> Spark SQL 聚合到 DWS
-> 结果写入 ADS,供报表查询
实时数仓链路
MySQL binlog
-> Canal/Debezium -> Kafka(原始消息)
-> Flink 清洗 -> Kafka(明细)
-> Flink 聚合 -> Doris/CK(结果)
-> 报表直接查 Doris/CK
Lambda 架构
数据源
├── 批层(Hive/Spark):全量重算,准确但延迟 T+1
└── 流层(Flink):实时增量,低延迟但可能不完整
-> 合并服务:批层修正流层结果
Kappa 架构
数据源 -> Kafka
-> Flink 一条链路
-> 历史重算:从 Kafka 最早位点重放
-> 结果写 OLAP
选型决策树
数据量小、T+1 报表即可 -> Hive/Spark 离线
数据量大、秒级看板 -> Flink + Doris/CK
业务实时看板、不想拆数仓 -> TiDB+TiFlash HTAP
超大规模历史分析 -> ClickHouse 宽表
数据湖 + 多引擎查询 -> Iceberg + Trino/Spark
面试高频追问
问:HTAP 和传统数仓怎么分工?
答:HTAP 做业务实时看板(当天 GMV、实时监控),传统数仓做 T+1 报表和历史分析;两者不是替代关系。
问:Lambda 架构为什么现在用得少?
答:两套代码维护成本高,口径不一致;Kappa 架构(纯流)更简洁,但重算能力弱;多数中小团队用离线+简单实时就够。
问:湖仓一体是未来吗?
答:是趋势。对象存储成本低,开放表格式(Iceberg)提供事务和时间旅行;但目前湖仓性能不如专用 OLAP,适合中等规模。
问:实时数仓延迟目标怎么定?
答:按业务定。监控秒级、运营分钟级、报表 T+1;不要为所有场景都做秒级,成本和维护复杂度高。
核心要点速记
| 架构 | 延迟 | 成本 | 维护 | 适用 |
|---|---|---|---|---|
| 离线(Hive/Spark) | T+1 | 低 | 简单 | 日报、报表 |
| 实时(Flink+Doris) | 秒~分钟 | 高 | 复杂 | 实时看板 |
| HTAP(TiDB+TiFlash) | 实时 | 中 | 中 | 业务看板 |
| 湖仓(Iceberg+Trino) | 分钟~小时 | 中 | 中 | 多引擎分析 |
选型决策:
- 数据量小、T+1 即可 -> 离线
- 秒级看板 -> 实时数仓
- 业务实时分析 -> HTAP
- 超大规模历史分析 -> ClickHouse
一句话记忆:不要为所有场景都做实时,成本和维护复杂度随延迟指数上升。
相关概念辨析
Lambda vs Kappa
| 维度 | Lambda | Kappa |
|---|---|---|
| 架构 | 批处理层+流处理层 | 纯流处理 |
| 代码 | 两套 | 一套 |
| 成本 | 高 | 低 |
| 适合 | 复杂离线计算 | 简单实时 |
HTAP vs 数仓
- HTAP:同一份数据同时服务 OLTP 和 OLAP。
- 数仓:离线 T+1 报表,独立存储和计算。
- 选择:实时看板用 HTAP;T+1 报表用数仓。
05.8.5-009 Lambda 架构的维护成本在哪里?
频率 ★★★ | 难度 进阶
一句话结论
Lambda 架构分批处理层和流处理层,两套代码实现同一业务逻辑,维护成本高;口径变更要改两处,容易不一致。
概念解释
- Lambda:批处理层(Hive/Spark)+ 流处理层(Flink)+ 服务层。
- 维护成本:1)两套代码;2)口径变更要改两处;3)数据对账复杂。
- 适合:历史数据重算和实时看板都需要的场景。
原理流程
- 批处理层:T+1 全量计算,结果准确。
- 流处理层:实时增量计算,结果延迟低但可能不准。
- 服务层:合并批处理和流处理结果。
常见误区
- 误区:Lambda 架构先进。正解:Lambda 是过渡方案,Kappa 或纯离线更简单。
追问延伸
- Kappa:纯流处理,一套代码,用 Kafka 重放历史数据。
- 选择:团队小用 Kappa;历史重算复杂用 Lambda。
05.8.5-010 Kappa 架构的适用条件?
频率 ★★ | 难度 进阶
一句话结论
Kappa 用流处理(Flink)一套代码同时服务实时和历史重算,通过 Kafka 重放历史数据;适用于业务逻辑简单、历史数据可重放的场景。
概念解释
- Kappa:只有流处理层,没有批处理层。
- 历史重算:重新消费 Kafka topic,从最早 offset 开始。
- 适用条件:1)业务逻辑统一;2)Kafka 保留足够历史数据;3)数据可重放。
原理流程
- 实时消费 Kafka topic,写入结果表。
- 历史重算:新建一个消费任务,从最早 offset 消费,写入新结果表。
- 验证无误后切换到新结果表。
常见误区
- 误区:Kappa 替代 Lambda。正解:Kappa 适合简单业务;复杂历史计算仍需批处理。
追问延伸
- Kafka 保留:历史重算要求 topic 保留足够长时间(如 7 天)。
- 状态管理:Flink state 保存聚合状态,重算时要重置 state。
05.8.5-011 湖仓一体的事务语义是什么?
频率 ★★★ | 难度 进阶
一句话结论
湖仓一体在数据湖(S3/HDFS)之上加开放表格式(Iceberg/Hudi/Delta),提供 ACID 事务、快照隔离、时间旅行;解决数据湖无事务、无 schema 的问题。
概念解释
- 数据湖:只有文件存储,无事务、无 schema、无索引。
- 湖仓:数据湖 + 开放表格式,提供事务和 schema。
- 事务语义:提交是原子的,读者看到一致快照。
原理流程
- 写入:多个文件写入,提交时原子更新元数据(manifest)。
- 读取:读者读某个快照的 manifest,看到一致数据。
- 时间旅行:读历史快照,用于审计和回滚。
常见误区
- 误区:湖仓就是数据湖。正解:数据湖没有事务,湖仓加了开放表格式才有事务。
追问延伸
- 快照隔离:读写不阻塞,读者看到提交前的快照。
- 小文件治理:湖仓需要定期合并小文件。
场景题:公司日增 1TB 日志数据,要做实时看板和 T+1 报表,怎么选架构?答:实时看板用 Doris + Kafka 实时消费;T+1 报表用 Spark 离线;两者数据通过 ODS 层统一,避免口径不一致。
追问延伸:Lambda 架构维护成本高,团队小用 Kappa;实时看板用 HTAP;T+1 报表用离线。
核心要点:不要为了实时而实时;T+1 报表用离线足够;HTAP 覆盖实时看板,T+1 报表仍需数仓。
选型总结:小团队用纯离线;大团队用 Lambda;实时看板用 HTAP;湖仓一体适合数据湖 + 开放表格式。
一句话记忆:不要为了实时而实时;T+1 报表用离线足够;HTAP 覆盖实时看板,T+1 报表仍需数仓。
补充说明:Lambda 架构是过渡方案,Kappa 更简单;湖仓一体是数据湖 + 开放表格式。
待整理清单
- [ ] 各 OLAP 引擎 TPC-DS 基准对比
- [ ] 实时数仓 Flink 维表关联方案
- [ ] 数据分层与实时链路的对应关系