罗罗编程学习记录
本页内容 展开查看

05.8.5 实时与离线数仓选型

所属:全栈开发面试题库 / 05 数据库与存储 / 05.8 OLAP 与列存

覆盖范围

  • 离线数仓 vs 实时数仓
  • HTAP、OLTP、OLAP、湖仓的边界
  • Lambda 架构与 Kappa 架构
  • 数据时效性与成本权衡
  • 选型决策路径

高频题速览

编号 题目 难度 频率
05.8.5-001 离线数仓和实时数仓区别 基础 ★★★★★
05.8.5-002 HTAP 是什么,能替代 OLAP 吗 进阶 ★★★★
05.8.5-003 Lambda 架构和 Kappa 架构 进阶 ★★★★
05.8.5-004 湖仓一体解决什么问题 进阶 ★★★
05.8.5-005 怎么选 OLAP 引擎 进阶 ★★★★

05.8.5-001 离线数仓和实时数仓有什么区别?

频率 ★★★★★ | 难度 基础

一句话结论

离线数仓(T+1)用 Hive/Spark 批量处理,数据延迟小时到天,成本低、吞吐大;实时数仓用 Flink + Kafka + Doris/CK,数据延迟秒级,成本高、维护复杂;按业务时效要求选。

概念解释

  • 离线:HDFS + Hive/Spark,T+1。
  • 实时:Kafka + Flink + OLAP,秒级。
  • 时效成本:实时链路每多一跳都要算资源和维护成本。

常见误区

  • 误区:所有报表都要实时。正解:日级报表用离线足够,实时链路贵且容易出故障。

05.8.5-002 HTAP 是什么?能替代 OLAP 吗?

频率 ★★★★ | 难度 进阶

一句话结论

HTAP(Hybrid Transactional/Analytical Processing)在同一引擎同时跑事务和分析(如 TiDB + TiFlash、OceanBase),减少数仓搬运;但极限分析性能不如专用 OLAP,适合业务实时看板,不适合超大规模复杂分析。

常见误区

  • 误区:HTAP 能替代数仓。正解:HTAP 覆盖业务实时场景,离线 T+1 报表仍需数仓。

05.8.5-003 Lambda 架构和 Kappa 架构有什么区别?

频率 ★★★★ | 难度 进阶

一句话结论

Lambda 同时跑离线层(批处理)和实时层(流处理),批层保证准确、流层保证低延迟,最终合并;Kappa 只用流处理,把离线重算当作流回放,链路统一但重算成本高。

概念解释

  • Lambda:批+流双链路,代码两套,运维复杂。
  • Kappa:一条流链路,历史回放重算。

常见误区

  • 误区:Kappa 先进所以取代 Lambda。正解:Lambda 仍用于超大规模且需要批修正的场景,Kappa 适合中等规模统一链路。

05.8.5-004 湖仓一体解决什么问题?

频率 ★★★ | 难度 进阶

一句话结论

湖仓(Lakehouse)用对象存储 + 开放表格式(Iceberg/Hudi/Delta)统一存储,既支持数据湖弹性存储,又支持数仓的事务、schema、时间旅行,避免数据在湖和仓间搬运。

常见误区

  • 误区:湖仓就是数据湖。正解:数据湖没有事务和 schema,湖仓加了开放表格式。

05.8.5-005 怎么选 OLAP 引擎?

频率 ★★★★ | 难度 进阶

一句话结论

单表大宽表极限分析选 ClickHouse;实时数仓即席查询选 Doris/StarRocks;已用 Trino/Spark 生态做联邦查询选 Presto/Trino;HTAP 业务实时看板选 TiDB+TiFlash/OceanBase。

常见误区

  • 误区:跟着开源热度选。正解:按数据规模、更新频率、并发、JOIN 复杂度综合评估。

05.8.5-006 Lambda 架构为什么复杂?

频率 ★★ | 难度 进阶

一句话结论

批层和流层两套代码、两套口径,合并逻辑复杂;数据修正时要同时重跑批和流;团队小用 Kappa 或纯离线。


05.8.5-007 湖仓一体解决了什么?

频率 ★★ | 难度 进阶

一句话结论

数据湖存原始数据但没事务和 schema;数仓有管理但数据要搬;湖仓用开放表格式(Iceberg/Hudi/Delta)在对象存储上同时提供事务、时间旅行、schema 演化,避免搬运。


05.8.5-008 实时数仓延迟目标怎么定?

频率 ★★ | 难度 基础

一句话结论

按业务定:监控秒级、运营看板分钟级、报表 T+1;不要为所有场景都做秒级,成本高。

典型场景与代码示例

离线数仓链路

MySQL 业务库
  -> DataX 每日全量同步到 Hive ODS(T+1)
  -> Spark SQL 清洗到 DWD
  -> Spark SQL 聚合到 DWS
  -> 结果写入 ADS,供报表查询

实时数仓链路

MySQL binlog
  -> Canal/Debezium -> Kafka(原始消息)
  -> Flink 清洗 -> Kafka(明细)
  -> Flink 聚合 -> Doris/CK(结果)
  -> 报表直接查 Doris/CK

Lambda 架构

数据源
  ├── 批层(Hive/Spark):全量重算,准确但延迟 T+1
  └── 流层(Flink):实时增量,低延迟但可能不完整
        -> 合并服务:批层修正流层结果

Kappa 架构

数据源 -> Kafka
  -> Flink 一条链路
  -> 历史重算:从 Kafka 最早位点重放
  -> 结果写 OLAP

选型决策树

数据量小、T+1 报表即可 -> Hive/Spark 离线
数据量大、秒级看板 -> Flink + Doris/CK
业务实时看板、不想拆数仓 -> TiDB+TiFlash HTAP
超大规模历史分析 -> ClickHouse 宽表
数据湖 + 多引擎查询 -> Iceberg + Trino/Spark

面试高频追问

问:HTAP 和传统数仓怎么分工?

答:HTAP 做业务实时看板(当天 GMV、实时监控),传统数仓做 T+1 报表和历史分析;两者不是替代关系。

问:Lambda 架构为什么现在用得少?

答:两套代码维护成本高,口径不一致;Kappa 架构(纯流)更简洁,但重算能力弱;多数中小团队用离线+简单实时就够。

问:湖仓一体是未来吗?

答:是趋势。对象存储成本低,开放表格式(Iceberg)提供事务和时间旅行;但目前湖仓性能不如专用 OLAP,适合中等规模。

问:实时数仓延迟目标怎么定?

答:按业务定。监控秒级、运营分钟级、报表 T+1;不要为所有场景都做秒级,成本和维护复杂度高。

核心要点速记

架构 延迟 成本 维护 适用
离线(Hive/Spark) T+1 低 简单 日报、报表
实时(Flink+Doris) 秒~分钟 高 复杂 实时看板
HTAP(TiDB+TiFlash) 实时 中 中 业务看板
湖仓(Iceberg+Trino) 分钟~小时 中 中 多引擎分析

选型决策:

  • 数据量小、T+1 即可 -> 离线
  • 秒级看板 -> 实时数仓
  • 业务实时分析 -> HTAP
  • 超大规模历史分析 -> ClickHouse

一句话记忆:不要为所有场景都做实时,成本和维护复杂度随延迟指数上升。

相关概念辨析

Lambda vs Kappa

维度 Lambda Kappa
架构 批处理层+流处理层 纯流处理
代码 两套 一套
成本 高 低
适合 复杂离线计算 简单实时

HTAP vs 数仓

  • HTAP:同一份数据同时服务 OLTP 和 OLAP。
  • 数仓:离线 T+1 报表,独立存储和计算。
  • 选择:实时看板用 HTAP;T+1 报表用数仓。

05.8.5-009 Lambda 架构的维护成本在哪里?

频率 ★★★ | 难度 进阶

一句话结论

Lambda 架构分批处理层和流处理层,两套代码实现同一业务逻辑,维护成本高;口径变更要改两处,容易不一致。

概念解释

  • Lambda:批处理层(Hive/Spark)+ 流处理层(Flink)+ 服务层。
  • 维护成本:1)两套代码;2)口径变更要改两处;3)数据对账复杂。
  • 适合:历史数据重算和实时看板都需要的场景。

原理流程

  1. 批处理层:T+1 全量计算,结果准确。
  2. 流处理层:实时增量计算,结果延迟低但可能不准。
  3. 服务层:合并批处理和流处理结果。

常见误区

  • 误区:Lambda 架构先进。正解:Lambda 是过渡方案,Kappa 或纯离线更简单。

追问延伸

  • Kappa:纯流处理,一套代码,用 Kafka 重放历史数据。
  • 选择:团队小用 Kappa;历史重算复杂用 Lambda。

05.8.5-010 Kappa 架构的适用条件?

频率 ★★ | 难度 进阶

一句话结论

Kappa 用流处理(Flink)一套代码同时服务实时和历史重算,通过 Kafka 重放历史数据;适用于业务逻辑简单、历史数据可重放的场景。

概念解释

  • Kappa:只有流处理层,没有批处理层。
  • 历史重算:重新消费 Kafka topic,从最早 offset 开始。
  • 适用条件:1)业务逻辑统一;2)Kafka 保留足够历史数据;3)数据可重放。

原理流程

  1. 实时消费 Kafka topic,写入结果表。
  2. 历史重算:新建一个消费任务,从最早 offset 消费,写入新结果表。
  3. 验证无误后切换到新结果表。

常见误区

  • 误区:Kappa 替代 Lambda。正解:Kappa 适合简单业务;复杂历史计算仍需批处理。

追问延伸

  • Kafka 保留:历史重算要求 topic 保留足够长时间(如 7 天)。
  • 状态管理:Flink state 保存聚合状态,重算时要重置 state。

05.8.5-011 湖仓一体的事务语义是什么?

频率 ★★★ | 难度 进阶

一句话结论

湖仓一体在数据湖(S3/HDFS)之上加开放表格式(Iceberg/Hudi/Delta),提供 ACID 事务、快照隔离、时间旅行;解决数据湖无事务、无 schema 的问题。

概念解释

  • 数据湖:只有文件存储,无事务、无 schema、无索引。
  • 湖仓:数据湖 + 开放表格式,提供事务和 schema。
  • 事务语义:提交是原子的,读者看到一致快照。

原理流程

  1. 写入:多个文件写入,提交时原子更新元数据(manifest)。
  2. 读取:读者读某个快照的 manifest,看到一致数据。
  3. 时间旅行:读历史快照,用于审计和回滚。

常见误区

  • 误区:湖仓就是数据湖。正解:数据湖没有事务,湖仓加了开放表格式才有事务。

追问延伸

  • 快照隔离:读写不阻塞,读者看到提交前的快照。
  • 小文件治理:湖仓需要定期合并小文件。

场景题:公司日增 1TB 日志数据,要做实时看板和 T+1 报表,怎么选架构?答:实时看板用 Doris + Kafka 实时消费;T+1 报表用 Spark 离线;两者数据通过 ODS 层统一,避免口径不一致。

追问延伸:Lambda 架构维护成本高,团队小用 Kappa;实时看板用 HTAP;T+1 报表用离线。

核心要点:不要为了实时而实时;T+1 报表用离线足够;HTAP 覆盖实时看板,T+1 报表仍需数仓。

选型总结:小团队用纯离线;大团队用 Lambda;实时看板用 HTAP;湖仓一体适合数据湖 + 开放表格式。

一句话记忆:不要为了实时而实时;T+1 报表用离线足够;HTAP 覆盖实时看板,T+1 报表仍需数仓。

补充说明:Lambda 架构是过渡方案,Kappa 更简单;湖仓一体是数据湖 + 开放表格式。


待整理清单

  • [ ] 各 OLAP 引擎 TPC-DS 基准对比
  • [ ] 实时数仓 Flink 维表关联方案
  • [ ] 数据分层与实时链路的对应关系