罗罗编程学习记录
本页内容 展开查看

09.10.3 批流一体与实时数仓

所属:全栈开发面试题库 / 09 高阶架构:高并发与分布式 / 09.10 大数据与流处理

覆盖范围

  • Lambda 架构与 Kappa 架构
  • 批流一体(流批统一)
  • 实时数仓分层:ODS/DWD/DWS/ADS
  • 实时数仓与离线数仓对比
  • 典型技术栈:Flink + Kafka + Doris/Hologres

高频题速览

编号 题目 难度 频率
09.10.3-001 Lambda 架构是什么 进阶 ★★★★☆
09.10.3-002 Kappa 架构是什么 进阶 ★★★★☆
09.10.3-003 Lambda 和 Kappa 怎么选 进阶 ★★★★☆
09.10.3-004 批流一体是什么 进阶 ★★★★☆
09.10.3-005 实时数仓分层 进阶 ★★★★★
09.10.3-006 ODS/DWD/DWS/ADS 各层职责 进阶 ★★★★☆
09.10.3-007 实时数仓和离线数仓区别 基础 ★★★★☆
09.10.3-008 实时数仓怎么保证数据准确性 高级 ★★★☆☆
09.10.3-009 实时数仓怎么处理迟到数据 高级 ★★★☆☆
09.10.3-010 典型实时数仓技术栈 进阶 ★★★★☆

09.10.3-001 Lambda 架构是什么?

一句话结论

Lambda 架构同时跑批处理层(Batch Layer)和速度层(Speed Layer):批层全量计算(准确但延迟高),速度层流式计算(实时但近似);查询时合并两层结果;优点是准确 + 实时,缺点是两套代码、维护成本高。

概念解释

  • Batch Layer:全量数据批处理,产出准确结果,延迟高(小时级)。
  • Speed Layer:流式处理,产出实时结果,延迟低(秒级),但可能近似。
  • Serving Layer:合并批层和速度层结果,响应查询。

原理流程

数据 → 同时进批层和速度层
  批层:每天全量跑,产出准确视图
  速度层:实时流,产出增量视图
查询时:
  合并批层全量结果 + 速度层增量结果

代码或图示

Lambda:
  数据 → Batch Layer (Hive/Spark) → Serving
       → Speed Layer (Storm/Streaming) → Serving
  查询 → 合并两层结果

常见误区

  • 误区:Lambda 是过时的架构。Lambda 在实时性要求不极端、需要精确结果时仍在用。
  • 误区:批层和速度层结果完全一致。速度层是近似实时,批层是最终准确,合并时要处理差异。

追问

  • 问:Lambda 痛点?答:两套代码(批和流),逻辑要维护两遍,容易不一致。
  • 问:Kappa 怎么解决?答:只用流层,批处理用流的回放实现,详见 09.10.3-002。

09.10.3-002 Kappa 架构是什么?

一句话结论

Kappa 架构只用流式处理:所有数据进消息队列(Kafka),流层实时消费产出结果;需要全量计算时,重新从 Kafka 最早 offset 回放;优点是一套代码、维护简单,缺点是流引擎要支持回放和状态管理。

概念解释

  • 只有流层:数据全进 Kafka,流层实时处理。
  • 回放:需要全量计算时,从 Kafka 最早 offset 重新消费。
  • 一套代码:批和流用同一套流处理逻辑。

原理流程

数据 → Kafka → 流层(Flink)→ 结果
需要全量:
  重置 Kafka offset 到最早
  → 重新跑流层,产出全量结果

代码或图示

Kappa:
  数据 → Kafka
  Kafka → Flink(实时)→ 结果
  全量重算 → 重置 Kafka offset → Flink 重跑

常见误区

  • 误区:Kappa 不需要批处理。Kappa 用流回放代替批处理,但回放本身是批式计算。
  • 误区:Kappa 适合所有场景。流引擎要支持回放和状态管理(Flink 可以),简单场景用 Lambda 也可以。

追问

  • 问:Kappa 痛点?答:Kafka 保留时间有限,回放窗口受保留期限制;流引擎要支持大状态回放。
  • 问:什么时候用 Kappa?答:流引擎成熟(Flink)、实时要求高、一套代码维护成本低。

09.10.3-003 Lambda 和 Kappa 怎么选?

一句话结论

Lambda 适合实时性要求不极端、需要精确结果、团队批处理经验丰富的场景;Kappa 适合实时性要求高、流处理成熟(Flink)、希望一套代码维护的场景;现代趋势是 Kappa 或批流一体。

概念解释

  • Lambda:两套代码,批准确 + 流实时。
  • Kappa:一套流代码,回放代替批。
  • 批流一体:流引擎同时支持批和流,统一 API。

原理流程

选择:
  实时要求高 + Flink 成熟 → Kappa
  需要精确结果 + 批经验丰富 → Lambda
  批流统一 API → 批流一体

代码或图示

对比:
  Lambda:维护两套代码
  Kappa:一套流代码,回放全量
  批流一体:同一套 SQL/API,批流统一

常见误区

  • 误区:Kappa 一定比 Lambda 好。Kappa 依赖流引擎能力,回放窗口受 Kafka 保留期限制。
  • 误区:批流一体就是 Kappa。批流一体是 API 统一,底层可能仍是批流两条链路。

追问

  • 问:实时数仓用哪种?答:现代实时数仓多用 Kappa 或批流一体(Flink)。
  • 问:Lambda 还在用吗?答:存量系统仍在用,新建系统倾向 Kappa/批流一体。

09.10.3-004 批流一体是什么?

一句话结论

批流一体用同一套计算引擎和 API 同时处理批数据和流数据:Flink 把批看作有界流(有限数据集),流看作无界流;同一套 SQL 或 DataStream API 既能跑批又能跑流;优点是统一开发体验,减少两套代码维护。

概念解释

  • 有界流:批数据,有结束。
  • 无界流:流数据,无结束。
  • 统一 API:同一套 SQL/DataSet/DataStream 处理两种。

原理流程

Flink:
  批 = 有界流(有限数据)
  流 = 无界流(无限数据)
  同一套 API,调度器优化

代码或图示

Flink 批流一体:
  SQL:SELECT ... FROM 表(流式表)
  批: bounded 表
  流: unbounded 表

常见误区

  • 误区:批流一体就是 Kappa。Kappa 是架构(只用流),批流一体是引擎统一(同一 API 跑批和流)。
  • 误区:批流一体没有批了。批仍在,只是用流引擎跑批,调度优化(批不需要 Checkpoint)。

追问

  • 问:Spark 是批流一体吗?答:Spark 2.x 后 Structured Streaming 支持批流统一,但核心仍是批模型。
  • 问:Flink 批模式?答:Flink 1.12+ 批模式成熟,用同一套 API 跑批,优化执行计划。

09.10.3-005 实时数仓分层是什么?

一句话结论

实时数仓按数据加工流程分层:ODS(原始数据层)、DWD(明细数据层)、DWS(汇总数据层)、ADS(应用数据层);每层职责清晰,数据从 ODS 流式加工到 ADS,供查询和报表使用。

概念解释

  • ODS:原始数据,与业务库一致,Kafka 消息原样存。
  • DWD:明细层,清洗、脱敏、维度拆分。
  • DWS:汇总层,按主题轻度聚合。
  • ADS:应用层,面向具体报表/接口。

原理流程

业务库 → CDC → ODS(Kafka)
  → DWD(清洗、维度关联)
  → DWS(轻度聚合)
  → ADS(应用表)

代码或图示

分层:
  ODS:原始 Kafka 消息
  DWD:明细事实表(订单明细、用户明细)
  DWS:轻度汇总(按天/按用户聚合)
  ADS:报表/接口直接查

常见误区

  • 误区:实时数仓和离线数仓分层一样。分层逻辑相似,但实时用流式加工,离线用批处理。
  • 误区:DWD 层做重聚合。DWD 是明细,重聚合在 DWS。

追问

  • 问:维度表怎么处理?答:维度数据(用户、商品)流式更新,DWD 关联维度,或用广播状态。
  • 问:为什么要分层?答:解耦,复用,每层职责清晰,便于维护。

09.10.3-006 ODS/DWD/DWS/ADS 各层职责是什么?

一句话结论

ODS 存原始数据(Kafka 消息原样),DWD 清洗明细并关联维度,DWS 按主题轻度聚合,ADS 面向应用直接查;每层数据从原始到应用逐步加工,复用性高。

概念解释

  • ODS:原始,不加工,保留业务原貌。
  • DWD:清洗(去重、脱敏、格式转换)、维度关联。
  • DWS:按主题(用户、商品、店铺)聚合,宽表。
  • ADS:应用表,报表/接口直接查。

原理流程

ODS → DWD:清洗、维度关联
DWD → DWS:按主题聚合
DWS → ADS:面向应用的最终表

代码或图示

示例:订单
  ODS:原始订单 JSON
  DWD:订单明细(关联用户、商品维度)
  DWS:用户每日订单汇总、店铺每日销售汇总
  ADS:实时大盘报表、商家后台

常见误区

  • 误区:ODS 层要做清洗。ODS 是原始数据,不做清洗,清洗在 DWD。
  • 误区:DWS 是最终报表。DWS 是轻度聚合,ADS 才是面向应用的最终表。

追问

  • 问:DWD 怎么处理维度变化?答:维度 SCD(缓慢变化维),流式维度表,关联时取最新或历史版本。
  • 问:ADS 用什么存储?答:Doris、ClickHouse、Hologres 等 OLAP 引擎。

09.10.3-007 实时数仓和离线数仓有什么区别?

一句话结论

离线数仓用批处理(Hive/Spark),数据延迟小时级,数据准确;实时数仓用流处理(Flink),数据延迟秒级,但可能有乱序和迟到数据;实时数仓是离线数仓的补充,不是替代。

概念解释

  • 离线:T+1,小时级延迟,全量准确。
  • 实时:秒级延迟,近实时,可能有迟到修正。
  • 互补:实时看大盘,离线做精确对账。

原理流程

离线:
  每天凌晨跑批 → 产出 T+1 数据
实时:
  流式加工 → 秒级产出

代码或图示

对比:
  离线:Hive/Spark,HDFS,T+1
  实时:Flink/Kafka,Doris,秒级

常见误区

  • 误区:实时数仓替代离线数仓。实时有迟到和乱序,离线做精确对账和历史回溯。
  • 误区:实时数仓数据完全准确。实时数仓要处理迟到数据修正,详见 09.10.3-009。

追问

  • 问:实时数仓能完全替代离线吗?答:不能,离线做精确计算和历史回溯,实时做监控和大屏。
  • 问:两者数据怎么对齐?答:实时数据 + 离线修正,定期对账。

09.10.3-008 实时数仓怎么保证数据准确性?

一句话结论

实时数仓数据准确性靠:Exactly-Once 语义(Checkpoint + 两阶段提交)、乱序处理(Watermark)、迟到数据修正(更新/补算)、与离线数仓对账;实时数据先产出,迟到数据到达后修正,最终与离线对齐。

概念解释

  • Exactly-Once:Flink Checkpoint 保证不重复不丢,详见 09.10.5。
  • 乱序:Watermark 处理,详见 09.10.2-004。
  • 迟到修正:迟到数据到达后更新结果表。
  • 对账:实时数据与离线数仓定期比对。

原理流程

实时产出 → 迟到数据到达 → 更新结果
离线 T+1 产出 → 对账

代码或图示

准确性保障:
  - Flink Checkpoint Exactly-Once
  - Watermark 处理乱序
  - 迟到数据补算(upsert)
  - 与离线数仓对账

常见误区

  • 误区:实时数仓数据一次产出就准确。实时数据可能因乱序和迟到需要修正。
  • 误区:对账是人工的。对账自动化,差异告警。

追问

  • 问:怎么修正实时结果?答:用 upsert 写结果表(Doris/Redis),迟到数据更新已有记录。
  • 问:对账频率?答:T+1 离线数据出来后,自动比对实时和离线差异。

09.10.3-009 实时数仓怎么处理迟到数据?

一句话结论

迟到数据处理方式:Watermark 容忍一定乱序,allowedLateness 允许窗口延迟关闭,超过延迟的迟到数据走侧输出并补算;结果表用 upsert 语义,迟到数据更新已有记录;最终与离线数仓对账。

概念解释

  • Watermark:容忍乱序延迟。
  • allowedLateness:窗口延迟关闭。
  • 侧输出:超过延迟的迟到数据单独收集。
  • upsert:结果表支持更新,迟到数据修正已有记录。

原理流程

事件到达 → Watermark 判断是否迟到
  → 在 allowedLateness 内:窗口重新计算,upsert 结果
  → 超过 allowedLateness:侧输出,人工/补算

代码或图示

stream.keyBy(id)
      .window(TumblingEventTimeWindows.of(Time.hours(1)))
      .allowedLateness(Time.minutes(30))
      .sideOutputLateData(lateOutputTag)

常见误区

  • 误区:迟到数据直接丢弃。迟到数据是有效业务数据,要补算修正。
  • 误区:结果表是 append-only。实时结果表用 upsert,迟到数据更新。

追问

  • 问:迟到数据怎么补算?答:侧输出收集后,走补算任务,更新结果表。
  • 问:结果表要支持 upsert?答:Doris、Hologres、Redis 都支持 upsert,详见具体存储。

09.10.3-010 典型实时数仓技术栈是什么?

一句话结论

典型实时数仓技术栈:采集(Canal/CDC)→ 消息队列(Kafka)→ 计算(Flink)→ 存储(Doris/ClickHouse/Hologres)→ 应用(报表、接口);维度数据用 Flink 广播或维度表更新。

概念解释

  • 采集:Canal/Debezium 监听业务库 binlog。
  • 消息队列:Kafka 缓冲。
  • 计算:Flink 流处理。
  • 存储:OLAP 引擎(Doris/ClickHouse)。

原理流程

业务库 → Canal → Kafka → Flink → Doris
                                      → Redis
                                      → 大屏/接口

代码或图示

典型栈:
  CDC:Canal/Debezium
  MQ:Kafka
  计算:Flink
  OLAP:Doris / ClickHouse / Hologres
  应用:Superset / 自建报表

常见误区

  • 误区:实时数仓一定要用 Flink。Storm、Flink、Spark Streaming 都可以,Flink 是主流。
  • 误区:OLAP 存储用 Hive。Hive 是离线,实时用 Doris/ClickHouse 等实时 OLAP。

追问

  • 问:Doris vs ClickHouse?答:Doris 支持 upsert 和高并发点查,ClickHouse 聚合快但更新弱。
  • 问:Hologres 是什么?答:阿里云实时数仓存储,支持高并发和实时写入。

待整理清单

  • [ ] 实时数仓分层建设案例
  • [ ] Doris/ClickHouse/Hologres 选型
  • [ ] 实时数仓数据质量监控