09.10.3 批流一体与实时数仓
所属:全栈开发面试题库 / 09 高阶架构:高并发与分布式 / 09.10 大数据与流处理
覆盖范围
- Lambda 架构与 Kappa 架构
- 批流一体(流批统一)
- 实时数仓分层:ODS/DWD/DWS/ADS
- 实时数仓与离线数仓对比
- 典型技术栈:Flink + Kafka + Doris/Hologres
高频题速览
| 编号 | 题目 | 难度 | 频率 |
|---|---|---|---|
| 09.10.3-001 | Lambda 架构是什么 | 进阶 | ★★★★☆ |
| 09.10.3-002 | Kappa 架构是什么 | 进阶 | ★★★★☆ |
| 09.10.3-003 | Lambda 和 Kappa 怎么选 | 进阶 | ★★★★☆ |
| 09.10.3-004 | 批流一体是什么 | 进阶 | ★★★★☆ |
| 09.10.3-005 | 实时数仓分层 | 进阶 | ★★★★★ |
| 09.10.3-006 | ODS/DWD/DWS/ADS 各层职责 | 进阶 | ★★★★☆ |
| 09.10.3-007 | 实时数仓和离线数仓区别 | 基础 | ★★★★☆ |
| 09.10.3-008 | 实时数仓怎么保证数据准确性 | 高级 | ★★★☆☆ |
| 09.10.3-009 | 实时数仓怎么处理迟到数据 | 高级 | ★★★☆☆ |
| 09.10.3-010 | 典型实时数仓技术栈 | 进阶 | ★★★★☆ |
09.10.3-001 Lambda 架构是什么?
一句话结论
Lambda 架构同时跑批处理层(Batch Layer)和速度层(Speed Layer):批层全量计算(准确但延迟高),速度层流式计算(实时但近似);查询时合并两层结果;优点是准确 + 实时,缺点是两套代码、维护成本高。
概念解释
- Batch Layer:全量数据批处理,产出准确结果,延迟高(小时级)。
- Speed Layer:流式处理,产出实时结果,延迟低(秒级),但可能近似。
- Serving Layer:合并批层和速度层结果,响应查询。
原理流程
数据 → 同时进批层和速度层
批层:每天全量跑,产出准确视图
速度层:实时流,产出增量视图
查询时:
合并批层全量结果 + 速度层增量结果
代码或图示
Lambda:
数据 → Batch Layer (Hive/Spark) → Serving
→ Speed Layer (Storm/Streaming) → Serving
查询 → 合并两层结果
常见误区
- 误区:Lambda 是过时的架构。Lambda 在实时性要求不极端、需要精确结果时仍在用。
- 误区:批层和速度层结果完全一致。速度层是近似实时,批层是最终准确,合并时要处理差异。
追问
- 问:Lambda 痛点?答:两套代码(批和流),逻辑要维护两遍,容易不一致。
- 问:Kappa 怎么解决?答:只用流层,批处理用流的回放实现,详见 09.10.3-002。
09.10.3-002 Kappa 架构是什么?
一句话结论
Kappa 架构只用流式处理:所有数据进消息队列(Kafka),流层实时消费产出结果;需要全量计算时,重新从 Kafka 最早 offset 回放;优点是一套代码、维护简单,缺点是流引擎要支持回放和状态管理。
概念解释
- 只有流层:数据全进 Kafka,流层实时处理。
- 回放:需要全量计算时,从 Kafka 最早 offset 重新消费。
- 一套代码:批和流用同一套流处理逻辑。
原理流程
数据 → Kafka → 流层(Flink)→ 结果
需要全量:
重置 Kafka offset 到最早
→ 重新跑流层,产出全量结果
代码或图示
Kappa:
数据 → Kafka
Kafka → Flink(实时)→ 结果
全量重算 → 重置 Kafka offset → Flink 重跑
常见误区
- 误区:Kappa 不需要批处理。Kappa 用流回放代替批处理,但回放本身是批式计算。
- 误区:Kappa 适合所有场景。流引擎要支持回放和状态管理(Flink 可以),简单场景用 Lambda 也可以。
追问
- 问:Kappa 痛点?答:Kafka 保留时间有限,回放窗口受保留期限制;流引擎要支持大状态回放。
- 问:什么时候用 Kappa?答:流引擎成熟(Flink)、实时要求高、一套代码维护成本低。
09.10.3-003 Lambda 和 Kappa 怎么选?
一句话结论
Lambda 适合实时性要求不极端、需要精确结果、团队批处理经验丰富的场景;Kappa 适合实时性要求高、流处理成熟(Flink)、希望一套代码维护的场景;现代趋势是 Kappa 或批流一体。
概念解释
- Lambda:两套代码,批准确 + 流实时。
- Kappa:一套流代码,回放代替批。
- 批流一体:流引擎同时支持批和流,统一 API。
原理流程
选择:
实时要求高 + Flink 成熟 → Kappa
需要精确结果 + 批经验丰富 → Lambda
批流统一 API → 批流一体
代码或图示
对比:
Lambda:维护两套代码
Kappa:一套流代码,回放全量
批流一体:同一套 SQL/API,批流统一
常见误区
- 误区:Kappa 一定比 Lambda 好。Kappa 依赖流引擎能力,回放窗口受 Kafka 保留期限制。
- 误区:批流一体就是 Kappa。批流一体是 API 统一,底层可能仍是批流两条链路。
追问
- 问:实时数仓用哪种?答:现代实时数仓多用 Kappa 或批流一体(Flink)。
- 问:Lambda 还在用吗?答:存量系统仍在用,新建系统倾向 Kappa/批流一体。
09.10.3-004 批流一体是什么?
一句话结论
批流一体用同一套计算引擎和 API 同时处理批数据和流数据:Flink 把批看作有界流(有限数据集),流看作无界流;同一套 SQL 或 DataStream API 既能跑批又能跑流;优点是统一开发体验,减少两套代码维护。
概念解释
- 有界流:批数据,有结束。
- 无界流:流数据,无结束。
- 统一 API:同一套 SQL/DataSet/DataStream 处理两种。
原理流程
Flink:
批 = 有界流(有限数据)
流 = 无界流(无限数据)
同一套 API,调度器优化
代码或图示
Flink 批流一体:
SQL:SELECT ... FROM 表(流式表)
批: bounded 表
流: unbounded 表
常见误区
- 误区:批流一体就是 Kappa。Kappa 是架构(只用流),批流一体是引擎统一(同一 API 跑批和流)。
- 误区:批流一体没有批了。批仍在,只是用流引擎跑批,调度优化(批不需要 Checkpoint)。
追问
- 问:Spark 是批流一体吗?答:Spark 2.x 后 Structured Streaming 支持批流统一,但核心仍是批模型。
- 问:Flink 批模式?答:Flink 1.12+ 批模式成熟,用同一套 API 跑批,优化执行计划。
09.10.3-005 实时数仓分层是什么?
一句话结论
实时数仓按数据加工流程分层:ODS(原始数据层)、DWD(明细数据层)、DWS(汇总数据层)、ADS(应用数据层);每层职责清晰,数据从 ODS 流式加工到 ADS,供查询和报表使用。
概念解释
- ODS:原始数据,与业务库一致,Kafka 消息原样存。
- DWD:明细层,清洗、脱敏、维度拆分。
- DWS:汇总层,按主题轻度聚合。
- ADS:应用层,面向具体报表/接口。
原理流程
业务库 → CDC → ODS(Kafka)
→ DWD(清洗、维度关联)
→ DWS(轻度聚合)
→ ADS(应用表)
代码或图示
分层:
ODS:原始 Kafka 消息
DWD:明细事实表(订单明细、用户明细)
DWS:轻度汇总(按天/按用户聚合)
ADS:报表/接口直接查
常见误区
- 误区:实时数仓和离线数仓分层一样。分层逻辑相似,但实时用流式加工,离线用批处理。
- 误区:DWD 层做重聚合。DWD 是明细,重聚合在 DWS。
追问
- 问:维度表怎么处理?答:维度数据(用户、商品)流式更新,DWD 关联维度,或用广播状态。
- 问:为什么要分层?答:解耦,复用,每层职责清晰,便于维护。
09.10.3-006 ODS/DWD/DWS/ADS 各层职责是什么?
一句话结论
ODS 存原始数据(Kafka 消息原样),DWD 清洗明细并关联维度,DWS 按主题轻度聚合,ADS 面向应用直接查;每层数据从原始到应用逐步加工,复用性高。
概念解释
- ODS:原始,不加工,保留业务原貌。
- DWD:清洗(去重、脱敏、格式转换)、维度关联。
- DWS:按主题(用户、商品、店铺)聚合,宽表。
- ADS:应用表,报表/接口直接查。
原理流程
ODS → DWD:清洗、维度关联
DWD → DWS:按主题聚合
DWS → ADS:面向应用的最终表
代码或图示
示例:订单
ODS:原始订单 JSON
DWD:订单明细(关联用户、商品维度)
DWS:用户每日订单汇总、店铺每日销售汇总
ADS:实时大盘报表、商家后台
常见误区
- 误区:ODS 层要做清洗。ODS 是原始数据,不做清洗,清洗在 DWD。
- 误区:DWS 是最终报表。DWS 是轻度聚合,ADS 才是面向应用的最终表。
追问
- 问:DWD 怎么处理维度变化?答:维度 SCD(缓慢变化维),流式维度表,关联时取最新或历史版本。
- 问:ADS 用什么存储?答:Doris、ClickHouse、Hologres 等 OLAP 引擎。
09.10.3-007 实时数仓和离线数仓有什么区别?
一句话结论
离线数仓用批处理(Hive/Spark),数据延迟小时级,数据准确;实时数仓用流处理(Flink),数据延迟秒级,但可能有乱序和迟到数据;实时数仓是离线数仓的补充,不是替代。
概念解释
- 离线:T+1,小时级延迟,全量准确。
- 实时:秒级延迟,近实时,可能有迟到修正。
- 互补:实时看大盘,离线做精确对账。
原理流程
离线:
每天凌晨跑批 → 产出 T+1 数据
实时:
流式加工 → 秒级产出
代码或图示
对比:
离线:Hive/Spark,HDFS,T+1
实时:Flink/Kafka,Doris,秒级
常见误区
- 误区:实时数仓替代离线数仓。实时有迟到和乱序,离线做精确对账和历史回溯。
- 误区:实时数仓数据完全准确。实时数仓要处理迟到数据修正,详见 09.10.3-009。
追问
- 问:实时数仓能完全替代离线吗?答:不能,离线做精确计算和历史回溯,实时做监控和大屏。
- 问:两者数据怎么对齐?答:实时数据 + 离线修正,定期对账。
09.10.3-008 实时数仓怎么保证数据准确性?
一句话结论
实时数仓数据准确性靠:Exactly-Once 语义(Checkpoint + 两阶段提交)、乱序处理(Watermark)、迟到数据修正(更新/补算)、与离线数仓对账;实时数据先产出,迟到数据到达后修正,最终与离线对齐。
概念解释
- Exactly-Once:Flink Checkpoint 保证不重复不丢,详见 09.10.5。
- 乱序:Watermark 处理,详见 09.10.2-004。
- 迟到修正:迟到数据到达后更新结果表。
- 对账:实时数据与离线数仓定期比对。
原理流程
实时产出 → 迟到数据到达 → 更新结果
离线 T+1 产出 → 对账
代码或图示
准确性保障:
- Flink Checkpoint Exactly-Once
- Watermark 处理乱序
- 迟到数据补算(upsert)
- 与离线数仓对账
常见误区
- 误区:实时数仓数据一次产出就准确。实时数据可能因乱序和迟到需要修正。
- 误区:对账是人工的。对账自动化,差异告警。
追问
- 问:怎么修正实时结果?答:用 upsert 写结果表(Doris/Redis),迟到数据更新已有记录。
- 问:对账频率?答:T+1 离线数据出来后,自动比对实时和离线差异。
09.10.3-009 实时数仓怎么处理迟到数据?
一句话结论
迟到数据处理方式:Watermark 容忍一定乱序,allowedLateness 允许窗口延迟关闭,超过延迟的迟到数据走侧输出并补算;结果表用 upsert 语义,迟到数据更新已有记录;最终与离线数仓对账。
概念解释
- Watermark:容忍乱序延迟。
- allowedLateness:窗口延迟关闭。
- 侧输出:超过延迟的迟到数据单独收集。
- upsert:结果表支持更新,迟到数据修正已有记录。
原理流程
事件到达 → Watermark 判断是否迟到
→ 在 allowedLateness 内:窗口重新计算,upsert 结果
→ 超过 allowedLateness:侧输出,人工/补算
代码或图示
stream.keyBy(id)
.window(TumblingEventTimeWindows.of(Time.hours(1)))
.allowedLateness(Time.minutes(30))
.sideOutputLateData(lateOutputTag)
常见误区
- 误区:迟到数据直接丢弃。迟到数据是有效业务数据,要补算修正。
- 误区:结果表是 append-only。实时结果表用 upsert,迟到数据更新。
追问
- 问:迟到数据怎么补算?答:侧输出收集后,走补算任务,更新结果表。
- 问:结果表要支持 upsert?答:Doris、Hologres、Redis 都支持 upsert,详见具体存储。
09.10.3-010 典型实时数仓技术栈是什么?
一句话结论
典型实时数仓技术栈:采集(Canal/CDC)→ 消息队列(Kafka)→ 计算(Flink)→ 存储(Doris/ClickHouse/Hologres)→ 应用(报表、接口);维度数据用 Flink 广播或维度表更新。
概念解释
- 采集:Canal/Debezium 监听业务库 binlog。
- 消息队列:Kafka 缓冲。
- 计算:Flink 流处理。
- 存储:OLAP 引擎(Doris/ClickHouse)。
原理流程
业务库 → Canal → Kafka → Flink → Doris
→ Redis
→ 大屏/接口
代码或图示
典型栈:
CDC:Canal/Debezium
MQ:Kafka
计算:Flink
OLAP:Doris / ClickHouse / Hologres
应用:Superset / 自建报表
常见误区
- 误区:实时数仓一定要用 Flink。Storm、Flink、Spark Streaming 都可以,Flink 是主流。
- 误区:OLAP 存储用 Hive。Hive 是离线,实时用 Doris/ClickHouse 等实时 OLAP。
追问
- 问:Doris vs ClickHouse?答:Doris 支持 upsert 和高并发点查,ClickHouse 聚合快但更新弱。
- 问:Hologres 是什么?答:阿里云实时数仓存储,支持高并发和实时写入。
待整理清单
- [ ] 实时数仓分层建设案例
- [ ] Doris/ClickHouse/Hologres 选型
- [ ] 实时数仓数据质量监控