05.10.4 调度与数据质量
所属:全栈开发面试题库 / 05 数据库与存储 / 05.10 数仓建模与 ETL
覆盖范围
- DAG 任务依赖调度(Airflow/DolphinScheduler)
- 任务重跑与幂等
- 数据质量校验规则
- 数据倾斜与任务失败处理
- 告警与 SLA
高频题速览
| 编号 | 题目 | 难度 | 频率 |
|---|---|---|---|
| 05.10.4-001 | 数仓调度 DAG 怎么设计 | 基础 | ★★★★ |
| 05.10.4-002 | 任务重跑怎么保证幂等 | 进阶 | ★★★★★ |
| 05.10.4-003 | 数据质量校验有哪些规则 | 进阶 | ★★★★ |
| 05.10.4-004 | 数据倾斜怎么处理 | 进阶 | ★★★★ |
| 05.10.4-005 | 任务失败怎么处理 | 基础 | ★★★ |
05.10.4-001 数仓调度 DAG 怎么设计?
频率 ★★★★ | 难度 基础
一句话结论
按分层依赖建 DAG:ODS 任务完成触发 DWD,DWD 完成触发 DWS,DWS 完成触发 ADS;每个任务按业务日期参数化,上下游依赖分区就绪。
05.10.4-002 任务重跑怎么保证幂等?
频率 ★★★★★ | 难度 进阶
一句话结论
每个任务按分区(dt)写入,重跑时先 INSERT OVERWRITE 该分区,不产生重复;任务逻辑不带外部副作用(如写接口),所有中间结果按分区可重建。
常见误区
- 误区:重跑就是再跑一遍。正解:必须先清旧分区再写,否则追加重复数据。
05.10.4-003 数据质量校验有哪些规则?
频率 ★★★★ | 难度 进阶
一句话结论
完整性(行数不为空、主键非空)、一致性(主外键匹配、指标波动阈值)、及时性(数据到达 SLA)、准确性(枚举值合法、数值范围);校验失败告警或阻断下游。
代码 / 示例
-- 行数波动:今日行数 < 昨日 50% 告警
SELECT count(*) FROM dwd_orders WHERE dt='${bizdate}';
-- 主键唯一性
SELECT order_id, count(*) c FROM dwd_orders
WHERE dt='${bizdate}' GROUP BY order_id HAVING c>1;
05.10.4-004 数据倾斜怎么处理?
频率 ★★★★ | 难度 进阶
一句话结论
数据倾斜是某 key 数据量远超其他(如某商家订单爆量),导致 reduce 阶段单节点慢;处理:加盐打散、广播小表、两阶段聚合、倾斜 key 单独处理。
05.10.4-005 任务失败怎么处理?
频率 ★★★ | 难度 基础
一句话结论
自动重试有限次、失败告警到值班群、上游失败阻断下游(DAG 依赖)、重跑窗口内手动补数;SLA 报警。
05.10.4-006 任务依赖怎么配置?
频率 ★★★ | 难度 基础
一句话结论
按数据分区依赖:上游任务 dt=2024-01-15 完成后,下游任务 dt=2024-01-15 才触发;不要按时间点依赖,按分区就绪依赖。
05.10.4-007 补数(backfill)怎么做?
频率 ★★★ | 难度 进阶
一句话结论
补历史数据时从最底层 ODS 开始逐层重跑,用 INSERT OVERWRITE 覆盖分区;注意补数窗口不要和在线任务冲突,按依赖顺序串行补。
05.10.4-008 数据倾斜怎么定位?
频率 ★★★ | 难度 进阶
一句话结论
看任务执行日志哪个 reduce/exchange 节点数据量远大于其他;按 key group by 后查 top key 数据量,倾斜 key 单独处理。
05.10.4-009 质量校验失败怎么处理?
频率 ★★★ | 难度 进阶
一句话结论
校验失败先告警阻断下游,人工排查是数据问题还是任务逻辑问题;数据问题修源数据后重跑,逻辑问题修任务重跑;不要跳过校验直接放行。
05.10.4-010 SLA 怎么定?
频率 ★★ | 难度 基础
一句话结论
核心报表(日报)要求早上 8 点前出,链路从 ODS 到 ADS 每段设定完成时间,超时告警;非核心报表放宽到中午。
典型场景与代码示例
DAG 依赖示例
每日任务 DAG:
ods_order (dt=2024-01-15)
-> dwd_order_detail (dt=2024-01-15)
-> dws_user_30d (dt=2024-01-15)
-> ads_user_dashboard (dt=2024-01-15)
数据质量校验
-- 行数波动校验
SELECT count(*) FROM dwd_order WHERE dt='2024-01-15';
-- 对比昨日:波动超过 50% 告警
-- 主键唯一性
SELECT order_id, count(*) c FROM dwd_order
WHERE dt='2024-01-15' GROUP BY order_id HAVING c > 1;
-- 非空校验
SELECT count(*) FROM dwd_order
WHERE dt='2024-01-15' AND user_id IS NULL;
数据倾斜处理
问题:某商家订单量是其他商家的 100 倍
方案:
1. 倾斜 key 单独处理(加盐打散)
2. 两阶段聚合:先局部聚合,再全局聚合
3. 广播小表
面试高频追问
问:任务重跑为什么要先删分区?
答:追加写入会产生重复数据;用 INSERT OVERWRITE 覆盖分区,保证幂等。
问:数据倾斜怎么发现?
答:看任务执行日志哪个 reduce 数据量远大于其他;按 key group by 后查 top key。
问:质量校验失败怎么处理?
答:告警阻断下游,人工排查是数据问题还是任务逻辑问题;不要跳过校验直接放行。
问:补数(backfill)怎么做?
答:从最底层 ODS 开始逐层重跑,用 INSERT OVERWRITE 覆盖分区;按依赖顺序串行补。
核心要点速记
| 质量维度 | 校验内容 |
|---|---|
| 完整性 | 行数不为空、主键非空 |
| 一致性 | 主外键匹配、指标波动阈值 |
| 及时性 | 数据到达 SLA |
| 准确性 | 枚举值合法、数值范围 |
调度要点:
- 按分区依赖(dt=2024-01-15),不按时间点
- 重跑用 INSERT OVERWRITE 覆盖分区
- 数据倾斜:加盐打散、两阶段聚合
一句话记忆:调度是数据工厂的流水线;质量校验是质检关卡,不能跳过。
相关概念辨析
Airflow vs DolphinScheduler
| 维度 | Airflow | DolphinScheduler |
|---|---|---|
| 语言 | Python | Java |
| DAG 定义 | Python | 可视化 |
| 生态 | 丰富 | 国内友好 |
| 适合 | 技术团队 | 业务团队 |
幂等 vs 重跑
- 幂等:多次执行结果一致。
- 重跑:失败后重新执行。
- 选择:任务要幂等,才能安全重跑。
05.10.4-009 幂等任务怎么实现?
频率 ★★★★ | 难度 进阶
一句话结论
幂等:多次执行结果一致;实现方式:1)按分区写入(INSERT OVERWRITE);2)先 DELETE 再 INSERT;3)用幂等键去重。
概念解释
- 幂等:多次执行结果一致,不会重复数据。
- 重跑:失败后重新执行,要求幂等。
- 实现:分区覆盖、幂等键去重。
原理流程
- INSERT OVERWRITE TABLE PARTITION (dt='2026-01-01'):覆盖分区,重跑不重复。
- 幂等键:按业务主键去重,重跑时跳过已存在的主键。
- 先 DELETE 再 INSERT:删除当天数据,重新插入。
代码 / 示例
-- 分区覆盖(幂等)
INSERT OVERWRITE TABLE t PARTITION (dt='2026-01-01')
SELECT * FROM source WHERE dt='2026-01-01';
常见误区
- 误区:任务失败直接重跑。正解:非幂等任务重跑会重复数据,先改幂等。
追问延伸
- 调度系统:Airflow/DolphinScheduler 支持重跑。
- 幂等是重跑的前提。
05.10.4-010 数据质量规则怎么分级?
频率 ★★★ | 难度 进阶
一句话结论
数据质量规则分级:1)强规则(行数为 0、主键重复)失败立即阻断;2)弱规则(波动超阈值)告警不阻断;3)一般规则(空值率)记录不告警。
概念解释
- 强规则:必须满足,失败阻断下游任务。
- 弱规则:尽量满足,失败告警。
- 一般规则:记录监控,不告警。
原理流程
- 强规则:行数 = 0,失败阻断。
- 弱规则:行数波动 > 20%,告警。
- 一般规则:空值率 > 5%,记录。
常见误区
- 误区:所有规则都阻断。正解:规则过多导致误报,影响开发效率。
追问延伸
- 核心指标:行数、唯一性、非空、值域、波动。
- 规则分级:按业务重要性分级。
05.10.4-011 DAG 依赖怎么设计?
频率 ★★ | 难度 进阶
一句话结论
DAG 依赖:任务按依赖关系编排,上游完成才触发下游;设计原则:1)粒度适中;2)避免环;3)失败影响最小。
概念解释
- DAG:有向无环图,任务依赖关系。
- 粒度:太粗影响并行度;太细管理复杂。
- 失败:上游失败,下游不触发。
原理流程
- ODS -> DWD -> DWS -> ADS。
- 上游任务成功,触发下游。
- 上游失败,下游不触发,告警人工介入。
常见误区
- 误区:DAG 越复杂越好。正解:依赖过多导致阻塞,合理拆分。
追问延伸
- 调度系统:Airflow/DolphinScheduler。
- 补数:上游数据延迟,下游手动补数。
05.10.4-012 重跑和补数怎么处理?
频率 ★★★ | 难度 进阶
一句话结论
重跑:失败任务重新执行;补数:历史数据重新计算;要求任务幂等,重跑不产生重复数据。
概念解释
- 重跑:失败任务重新执行。
- 补数:历史数据重新计算(如口径变更)。
- 幂等:重跑/补数不产生重复数据。
原理流程
- 重跑:任务失败,调度系统自动重跑(最多 3 次)。
- 补数:手动触发,指定日期范围,重新计算。
- 幂等:INSERT OVERWRITE 覆盖分区,重跑不重复。
常见误区
- 误区:补数直接重跑。正解:非幂等任务补数会重复,先改幂等。
追问延伸
- 补数场景:口径变更、上游数据修正、数据丢失。
- 补数范围:指定日期范围,批量重跑。
待整理清单
- [ ] Airflow/DolphinScheduler 的依赖模型
- [ ] 补数(backfill)的设计
- [ ] 数据质量平台(Great Expectations)