罗罗编程学习记录
本页内容 展开查看

05.10.2 数仓分层

所属:全栈开发面试题库 / 05 数据库与存储 / 05.10 数仓建模与 ETL

覆盖范围

  • ODS/DWD/DWS/ADS 分层职责
  • 指标口径与数据血缘
  • 维度层与数据集市
  • 分层的收益与成本
  • 实时数仓分层对应

高频题速览

编号 题目 难度 频率
05.10.2-001 ODS/DWD/DWS/ADS 各层职责 基础 ★★★★★
05.10.2-002 为什么要分层 基础 ★★★★
05.10.2-003 指标口径怎么统一 进阶 ★★★★
05.10.2-004 数据血缘是什么 进阶 ★★★
05.10.2-005 实时数仓怎么分层 进阶 ★★★

05.10.2-001 ODS/DWD/DWS/ADS 各层职责是什么?

频率 ★★★★★ | 难度 基础

一句话结论

ODS 贴源层(原样同步业务库)、DWD 明细层(清洗、规范化、维度退化)、DWS 汇总层(按主题预聚合)、ADS 应用层(报表/接口直接查);分层让数据从原始到应用逐层加工。

概念解释

  • ODS:原始数据,不做业务加工。
  • DWD:明细事实,清洗脏数据、统一命名、关联维度。
  • DWS:轻度汇总,按主题域(用户/商品/店铺)聚合。
  • ADS:面向报表的宽表。

常见误区

  • 误区:DWS 就是 ADS。正解:DWS 是通用汇总,ADS 是具体报表结果。

05.10.2-002 为什么要分层?

频率 ★★★★ | 难度 基础

一句话结论

分层解耦:原始数据变了不影响应用、复用中间层、统一口径、问题定位快;但层级多会增加开发成本,按团队规模平衡。


05.10.2-003 指标口径怎么统一?

频率 ★★★★ | 难度 进阶

一句话结论

建指标字典(metric center),定义每个业务指标的口径(如"GMV 包含支付订单还是下单、是否扣退款"),DWS 层按指标字典预聚合,ADS 直接引用;避免不同报表同一指标不同算法。


05.10.2-004 数据血缘是什么?

频率 ★★★ | 难度 进阶

一句话结论

血缘记录字段/表从哪来、到哪去(任务 A 的表 T 被任务 B 读),用于影响分析、问题定位、合规追溯;通过解析 SQL 解析器或调度平台自动采集。


05.10.2-005 实时数仓怎么分层?

频率 ★★★ | 难度 进阶

一句话结论

实时数仓 ODS 层是 Kafka 原始消息,DWD 用 Flink 清洗后写 Kafka/Iceberg,DWS 用 Flink 实时聚合写 Doris/CK,ADS 是报表查询;分层职责与离线一致,只是链路换 Flink + 实时存储。


05.10.2-006 ODS 层要不要清洗?

频率 ★★★ | 难度 进阶

一句话结论

ODS 贴源不清洗,保持与业务库一致;清洗放在 DWD 层,这样 ODS 可用于回溯问题,不会因为清洗逻辑错误而丢失原始数据。


05.10.2-007 DWD 层做哪些事?

频率 ★★★ | 难度 进阶

一句话结论

DWD 做数据清洗(去脏数据、统一编码、格式化时间)、维度退化(把常用维度冗余到明细)、脱敏(手机号等)、统一字段命名。


05.10.2-008 DWS 层按什么聚合?

频率 ★★★ | 难度 进阶

一句话结论

DWS 按主题域(用户、商品、店铺、地区)预聚合常用指标(如用户近 30 天下单次数、GMV),避免每个报表都从 DWD 扫全量明细。


05.10.2-009 数据血缘怎么采集?

频率 ★★ | 难度 进阶

一句话结论

通过解析 SQL 执行计划或任务代码,自动识别表的输入输出;字段级血缘需要解析 SELECT 列映射;调度平台通常内置血缘采集。


05.10.2-010 实时数仓和离线数仓口径怎么对齐?

频率 ★★★ | 难度 进阶

一句话结论

实时指标和离线 T+1 指标口径可能不一致(实时是当日累计,离线是全量快照),需要在报表层明确标注,或用实时链路做实时修正、离线链路做最终校准。

典型场景与代码示例

分层示例

ODS:ods_order(原始订单表,与业务库一致)
  order_id, user_id, amount, status, create_time

DWD:dwd_order_detail(清洗后的明细)
  order_id, user_id, amount, status, pay_time, dt
  -- 清洗:去脏数据、统一时间格式、脱敏手机号

DWS:dws_user_30d(用户近 30 天聚合)
  user_id, order_cnt_30d, gmv_30d, last_order_time

ADS:ads_user_dashboard(用户看板)
  user_id, order_cnt_30d, gmv_30d, level

实时分层

Kafka(原始 binlog)-> Flink 清洗 -> Kafka(明细)
  -> Flink 聚合 -> Doris(结果表)
  -> 报表查询

ODS(实时)= Kafka 原始 topic
DWD(实时)= Flink 清洗后 topic
DWS(实时)= Doris 聚合表
ADS(实时)= Doris 结果表

指标口径示例

指标:GMV(成交总额)
口径:包含已支付订单,不含已取消和退款
公式:SUM(amount) WHERE status = 'paid' AND refunded = false
负责人:数据团队

面试高频追问

问:为什么要分层?不分层行不行?

答:分层解耦:原始数据变了不影响应用、复用中间层、统一口径;但层级多增加开发成本,按团队规模平衡。

问:ODS 层要不要清洗?

答:不清洗,保持与业务库一致;清洗放 DWD,这样 ODS 可回溯问题。

问:实时数仓和离线数仓口径怎么对齐?

答:实时是当日累计,离线是全量快照;报表层明确标注,或用实时修正、离线校准。

问:DWS 层按什么聚合?

答:按主题域(用户、商品、店铺)预聚合常用指标,避免每个报表从 DWD 扫全量。

核心要点速记

层级 职责 数据
ODS 贴源、不清洗 与业务库一致
DWD 清洗、规范化、维度退化 明细事实
DWS 按主题预聚合 轻度汇总
ADS 报表/接口直接查 应用结果

实时数仓分层:

  • ODS = Kafka 原始消息
  • DWD = Flink 清洗后
  • DWS = Flink 聚合到 Doris
  • ADS = 报表查询

一句话记忆:分层是为了解耦和复用;不要为分层而分层,按团队规模平衡。

相关概念辨析

ODS vs DWD vs DWS vs ADS

层级 作用 数据粒度 更新频率
ODS 贴源 原始 实时/小时
DWD 明细 清洗后 小时/天
DWS 汇总 轻度汇总 天
ADS 应用 高度汇总 天/小时

数据仓库 vs 数据集市

  • 数据仓库:全公司统一,面向主题。
  • 数据集市:部门级,面向应用。
  • 选择:全公司用数仓;部门用数据集市。

05.10.2-009 指标口径怎么统一?

频率 ★★★★ | 难度 进阶

一句话结论

指标口径统一:1)建指标字典,每个指标有唯一定义;2)口径变更走审批;3)ADS 层统一计算,不在业务层重复定义。

概念解释

  • 指标字典:记录指标名称、业务定义、计算公式、口径。
  • 口径冲突:同一"GMV"在不同部门定义不同。
  • 统一:全公司一个口径,ADS 层统一计算。

原理流程

  1. 指标字典:记录"GMV = 已支付订单金额(不含退款)"。
  2. 口径变更:申请审批,变更后通知所有使用方。
  3. ADS 层:统一计算 GMV,所有报表引用同一个 ADS 表。

常见误区

  • 误区:指标口径随便定。正解:同一指标全公司只能有一个口径。

追问延伸

  • 指标平台:专门的指标管理系统,如 Metabase、Superset。
  • 口径治理:数据治理的核心内容。

05.10.2-010 数据血缘怎么采集?

频率 ★★★ | 难度 进阶

一句话结论

数据血缘:从 SQL 解析提取表级和字段级依赖关系;技术血缘自动采集(SQL 解析),业务血缘人工标注。

概念解释

  • 表级血缘:A 表 -> B 表,B 表 -> C 表。
  • 字段级血缘:A 表的 col1 -> B 表的 col2。
  • 采集方式:SQL 解析、调度系统 API、元数据管理系统。

原理流程

  1. SQL 解析:解析 SELECT col1 FROM A INTO B,提取 A.col1 -> B.col2。
  2. 调度系统:任务依赖关系自动采集。
  3. 血缘可视化:在元数据系统中展示 DAG。

常见误区

  • 误区:血缘只是表级。正解:字段级血缘才能定位根因。

追问延伸

  • 血缘用途:出问题时定位根因;变更时评估影响。
  • 工具:Apache Atlas、DataHub、OpenMetadata。

05.10.2-011 DWD 层要做哪些清洗?

频率 ★★★ | 难度 进阶

一句话结论

DWD 层清洗:1)去重;2)空值处理;3)格式统一(日期、编码);4)维度退化(冗余维度属性);5)敏感数据脱敏。

概念解释

  • 去重:同一业务事件可能重复上报,按主键去重。
  • 空值处理:NULL 替换为默认值或保留。
  • 格式统一:日期格式统一为 yyyy-MM-dd。
  • 维度退化:把维度属性冗余到事实表,减少 JOIN。

原理流程

  1. ODS 层:原始数据,可能重复、格式不一。
  2. DWD 层:去重、格式统一、维度退化。
  3. DWS 层:按维度汇总。

常见误区

  • 误区:DWD 就是 ODS 副本。正解:DWD 要做清洗和维度退化。

追问延伸

  • 维度退化:大表 JOIN 慢,把常用维度冗余到事实表。
  • 脱敏:手机号、身份证等敏感数据加密或掩码。

05.10.2-012 数据集市和数仓的边界?

频率 ★★ | 难度 进阶

一句话结论

数仓:全公司统一,面向主题;数据集市:部门级,面向应用;数据集市从数仓取数,不直接从业务库取数。

概念解释

  • 数仓:全公司统一存储和计算,ODS/DWD/DWS/ADS。
  • 数据集市:部门级,如销售集市、运营集市。
  • 边界:数仓是底座,集市是上层应用。

原理流程

  1. 数仓:ODS -> DWD -> DWS。
  2. 数据集市:从 DWS 取数,按部门需求组织。
  3. 集市不直接连业务库,避免口径不一致。

常见误区

  • 误区:集市直接从业务库取数。正解:集市从数仓取数,保证口径一致。

追问延伸

  • 数仓 vs 集市:数仓是 Enterprise Data Warehouse;集市是 Data Mart。
  • 选择:小团队可以只有数仓,没有集市。

待整理清单

  • [ ] 维度层 DIM 的维护
  • [ ] 数据集市与主题域划分
  • [ ] 离线与实时链路的口径对齐