05.10.2 数仓分层
所属:全栈开发面试题库 / 05 数据库与存储 / 05.10 数仓建模与 ETL
覆盖范围
- ODS/DWD/DWS/ADS 分层职责
- 指标口径与数据血缘
- 维度层与数据集市
- 分层的收益与成本
- 实时数仓分层对应
高频题速览
| 编号 | 题目 | 难度 | 频率 |
|---|---|---|---|
| 05.10.2-001 | ODS/DWD/DWS/ADS 各层职责 | 基础 | ★★★★★ |
| 05.10.2-002 | 为什么要分层 | 基础 | ★★★★ |
| 05.10.2-003 | 指标口径怎么统一 | 进阶 | ★★★★ |
| 05.10.2-004 | 数据血缘是什么 | 进阶 | ★★★ |
| 05.10.2-005 | 实时数仓怎么分层 | 进阶 | ★★★ |
05.10.2-001 ODS/DWD/DWS/ADS 各层职责是什么?
频率 ★★★★★ | 难度 基础
一句话结论
ODS 贴源层(原样同步业务库)、DWD 明细层(清洗、规范化、维度退化)、DWS 汇总层(按主题预聚合)、ADS 应用层(报表/接口直接查);分层让数据从原始到应用逐层加工。
概念解释
- ODS:原始数据,不做业务加工。
- DWD:明细事实,清洗脏数据、统一命名、关联维度。
- DWS:轻度汇总,按主题域(用户/商品/店铺)聚合。
- ADS:面向报表的宽表。
常见误区
- 误区:DWS 就是 ADS。正解:DWS 是通用汇总,ADS 是具体报表结果。
05.10.2-002 为什么要分层?
频率 ★★★★ | 难度 基础
一句话结论
分层解耦:原始数据变了不影响应用、复用中间层、统一口径、问题定位快;但层级多会增加开发成本,按团队规模平衡。
05.10.2-003 指标口径怎么统一?
频率 ★★★★ | 难度 进阶
一句话结论
建指标字典(metric center),定义每个业务指标的口径(如"GMV 包含支付订单还是下单、是否扣退款"),DWS 层按指标字典预聚合,ADS 直接引用;避免不同报表同一指标不同算法。
05.10.2-004 数据血缘是什么?
频率 ★★★ | 难度 进阶
一句话结论
血缘记录字段/表从哪来、到哪去(任务 A 的表 T 被任务 B 读),用于影响分析、问题定位、合规追溯;通过解析 SQL 解析器或调度平台自动采集。
05.10.2-005 实时数仓怎么分层?
频率 ★★★ | 难度 进阶
一句话结论
实时数仓 ODS 层是 Kafka 原始消息,DWD 用 Flink 清洗后写 Kafka/Iceberg,DWS 用 Flink 实时聚合写 Doris/CK,ADS 是报表查询;分层职责与离线一致,只是链路换 Flink + 实时存储。
05.10.2-006 ODS 层要不要清洗?
频率 ★★★ | 难度 进阶
一句话结论
ODS 贴源不清洗,保持与业务库一致;清洗放在 DWD 层,这样 ODS 可用于回溯问题,不会因为清洗逻辑错误而丢失原始数据。
05.10.2-007 DWD 层做哪些事?
频率 ★★★ | 难度 进阶
一句话结论
DWD 做数据清洗(去脏数据、统一编码、格式化时间)、维度退化(把常用维度冗余到明细)、脱敏(手机号等)、统一字段命名。
05.10.2-008 DWS 层按什么聚合?
频率 ★★★ | 难度 进阶
一句话结论
DWS 按主题域(用户、商品、店铺、地区)预聚合常用指标(如用户近 30 天下单次数、GMV),避免每个报表都从 DWD 扫全量明细。
05.10.2-009 数据血缘怎么采集?
频率 ★★ | 难度 进阶
一句话结论
通过解析 SQL 执行计划或任务代码,自动识别表的输入输出;字段级血缘需要解析 SELECT 列映射;调度平台通常内置血缘采集。
05.10.2-010 实时数仓和离线数仓口径怎么对齐?
频率 ★★★ | 难度 进阶
一句话结论
实时指标和离线 T+1 指标口径可能不一致(实时是当日累计,离线是全量快照),需要在报表层明确标注,或用实时链路做实时修正、离线链路做最终校准。
典型场景与代码示例
分层示例
ODS:ods_order(原始订单表,与业务库一致)
order_id, user_id, amount, status, create_time
DWD:dwd_order_detail(清洗后的明细)
order_id, user_id, amount, status, pay_time, dt
-- 清洗:去脏数据、统一时间格式、脱敏手机号
DWS:dws_user_30d(用户近 30 天聚合)
user_id, order_cnt_30d, gmv_30d, last_order_time
ADS:ads_user_dashboard(用户看板)
user_id, order_cnt_30d, gmv_30d, level
实时分层
Kafka(原始 binlog)-> Flink 清洗 -> Kafka(明细)
-> Flink 聚合 -> Doris(结果表)
-> 报表查询
ODS(实时)= Kafka 原始 topic
DWD(实时)= Flink 清洗后 topic
DWS(实时)= Doris 聚合表
ADS(实时)= Doris 结果表
指标口径示例
指标:GMV(成交总额)
口径:包含已支付订单,不含已取消和退款
公式:SUM(amount) WHERE status = 'paid' AND refunded = false
负责人:数据团队
面试高频追问
问:为什么要分层?不分层行不行?
答:分层解耦:原始数据变了不影响应用、复用中间层、统一口径;但层级多增加开发成本,按团队规模平衡。
问:ODS 层要不要清洗?
答:不清洗,保持与业务库一致;清洗放 DWD,这样 ODS 可回溯问题。
问:实时数仓和离线数仓口径怎么对齐?
答:实时是当日累计,离线是全量快照;报表层明确标注,或用实时修正、离线校准。
问:DWS 层按什么聚合?
答:按主题域(用户、商品、店铺)预聚合常用指标,避免每个报表从 DWD 扫全量。
核心要点速记
| 层级 | 职责 | 数据 |
|---|---|---|
| ODS | 贴源、不清洗 | 与业务库一致 |
| DWD | 清洗、规范化、维度退化 | 明细事实 |
| DWS | 按主题预聚合 | 轻度汇总 |
| ADS | 报表/接口直接查 | 应用结果 |
实时数仓分层:
- ODS = Kafka 原始消息
- DWD = Flink 清洗后
- DWS = Flink 聚合到 Doris
- ADS = 报表查询
一句话记忆:分层是为了解耦和复用;不要为分层而分层,按团队规模平衡。
相关概念辨析
ODS vs DWD vs DWS vs ADS
| 层级 | 作用 | 数据粒度 | 更新频率 |
|---|---|---|---|
| ODS | 贴源 | 原始 | 实时/小时 |
| DWD | 明细 | 清洗后 | 小时/天 |
| DWS | 汇总 | 轻度汇总 | 天 |
| ADS | 应用 | 高度汇总 | 天/小时 |
数据仓库 vs 数据集市
- 数据仓库:全公司统一,面向主题。
- 数据集市:部门级,面向应用。
- 选择:全公司用数仓;部门用数据集市。
05.10.2-009 指标口径怎么统一?
频率 ★★★★ | 难度 进阶
一句话结论
指标口径统一:1)建指标字典,每个指标有唯一定义;2)口径变更走审批;3)ADS 层统一计算,不在业务层重复定义。
概念解释
- 指标字典:记录指标名称、业务定义、计算公式、口径。
- 口径冲突:同一"GMV"在不同部门定义不同。
- 统一:全公司一个口径,ADS 层统一计算。
原理流程
- 指标字典:记录"GMV = 已支付订单金额(不含退款)"。
- 口径变更:申请审批,变更后通知所有使用方。
- ADS 层:统一计算 GMV,所有报表引用同一个 ADS 表。
常见误区
- 误区:指标口径随便定。正解:同一指标全公司只能有一个口径。
追问延伸
- 指标平台:专门的指标管理系统,如 Metabase、Superset。
- 口径治理:数据治理的核心内容。
05.10.2-010 数据血缘怎么采集?
频率 ★★★ | 难度 进阶
一句话结论
数据血缘:从 SQL 解析提取表级和字段级依赖关系;技术血缘自动采集(SQL 解析),业务血缘人工标注。
概念解释
- 表级血缘:A 表 -> B 表,B 表 -> C 表。
- 字段级血缘:A 表的 col1 -> B 表的 col2。
- 采集方式:SQL 解析、调度系统 API、元数据管理系统。
原理流程
- SQL 解析:解析 SELECT col1 FROM A INTO B,提取 A.col1 -> B.col2。
- 调度系统:任务依赖关系自动采集。
- 血缘可视化:在元数据系统中展示 DAG。
常见误区
- 误区:血缘只是表级。正解:字段级血缘才能定位根因。
追问延伸
- 血缘用途:出问题时定位根因;变更时评估影响。
- 工具:Apache Atlas、DataHub、OpenMetadata。
05.10.2-011 DWD 层要做哪些清洗?
频率 ★★★ | 难度 进阶
一句话结论
DWD 层清洗:1)去重;2)空值处理;3)格式统一(日期、编码);4)维度退化(冗余维度属性);5)敏感数据脱敏。
概念解释
- 去重:同一业务事件可能重复上报,按主键去重。
- 空值处理:NULL 替换为默认值或保留。
- 格式统一:日期格式统一为 yyyy-MM-dd。
- 维度退化:把维度属性冗余到事实表,减少 JOIN。
原理流程
- ODS 层:原始数据,可能重复、格式不一。
- DWD 层:去重、格式统一、维度退化。
- DWS 层:按维度汇总。
常见误区
- 误区:DWD 就是 ODS 副本。正解:DWD 要做清洗和维度退化。
追问延伸
- 维度退化:大表 JOIN 慢,把常用维度冗余到事实表。
- 脱敏:手机号、身份证等敏感数据加密或掩码。
05.10.2-012 数据集市和数仓的边界?
频率 ★★ | 难度 进阶
一句话结论
数仓:全公司统一,面向主题;数据集市:部门级,面向应用;数据集市从数仓取数,不直接从业务库取数。
概念解释
- 数仓:全公司统一存储和计算,ODS/DWD/DWS/ADS。
- 数据集市:部门级,如销售集市、运营集市。
- 边界:数仓是底座,集市是上层应用。
原理流程
- 数仓:ODS -> DWD -> DWS。
- 数据集市:从 DWS 取数,按部门需求组织。
- 集市不直接连业务库,避免口径不一致。
常见误区
- 误区:集市直接从业务库取数。正解:集市从数仓取数,保证口径一致。
追问延伸
- 数仓 vs 集市:数仓是 Enterprise Data Warehouse;集市是 Data Mart。
- 选择:小团队可以只有数仓,没有集市。
待整理清单
- [ ] 维度层 DIM 的维护
- [ ] 数据集市与主题域划分
- [ ] 离线与实时链路的口径对齐