罗罗编程学习记录
本页内容 展开查看

05.10.4 调度与数据质量

所属:全栈开发面试题库 / 05 数据库与存储 / 05.10 数仓建模与 ETL

覆盖范围

  • DAG 任务依赖调度(Airflow/DolphinScheduler)
  • 任务重跑与幂等
  • 数据质量校验规则
  • 数据倾斜与任务失败处理
  • 告警与 SLA

高频题速览

编号 题目 难度 频率
05.10.4-001 数仓调度 DAG 怎么设计 基础 ★★★★
05.10.4-002 任务重跑怎么保证幂等 进阶 ★★★★★
05.10.4-003 数据质量校验有哪些规则 进阶 ★★★★
05.10.4-004 数据倾斜怎么处理 进阶 ★★★★
05.10.4-005 任务失败怎么处理 基础 ★★★

05.10.4-001 数仓调度 DAG 怎么设计?

频率 ★★★★ | 难度 基础

一句话结论

按分层依赖建 DAG:ODS 任务完成触发 DWD,DWD 完成触发 DWS,DWS 完成触发 ADS;每个任务按业务日期参数化,上下游依赖分区就绪。


05.10.4-002 任务重跑怎么保证幂等?

频率 ★★★★★ | 难度 进阶

一句话结论

每个任务按分区(dt)写入,重跑时先 INSERT OVERWRITE 该分区,不产生重复;任务逻辑不带外部副作用(如写接口),所有中间结果按分区可重建。

常见误区

  • 误区:重跑就是再跑一遍。正解:必须先清旧分区再写,否则追加重复数据。

05.10.4-003 数据质量校验有哪些规则?

频率 ★★★★ | 难度 进阶

一句话结论

完整性(行数不为空、主键非空)、一致性(主外键匹配、指标波动阈值)、及时性(数据到达 SLA)、准确性(枚举值合法、数值范围);校验失败告警或阻断下游。

代码 / 示例

-- 行数波动:今日行数 < 昨日 50% 告警
SELECT count(*) FROM dwd_orders WHERE dt='${bizdate}';

-- 主键唯一性
SELECT order_id, count(*) c FROM dwd_orders
WHERE dt='${bizdate}' GROUP BY order_id HAVING c>1;

05.10.4-004 数据倾斜怎么处理?

频率 ★★★★ | 难度 进阶

一句话结论

数据倾斜是某 key 数据量远超其他(如某商家订单爆量),导致 reduce 阶段单节点慢;处理:加盐打散、广播小表、两阶段聚合、倾斜 key 单独处理。


05.10.4-005 任务失败怎么处理?

频率 ★★★ | 难度 基础

一句话结论

自动重试有限次、失败告警到值班群、上游失败阻断下游(DAG 依赖)、重跑窗口内手动补数;SLA 报警。


05.10.4-006 任务依赖怎么配置?

频率 ★★★ | 难度 基础

一句话结论

按数据分区依赖:上游任务 dt=2024-01-15 完成后,下游任务 dt=2024-01-15 才触发;不要按时间点依赖,按分区就绪依赖。


05.10.4-007 补数(backfill)怎么做?

频率 ★★★ | 难度 进阶

一句话结论

补历史数据时从最底层 ODS 开始逐层重跑,用 INSERT OVERWRITE 覆盖分区;注意补数窗口不要和在线任务冲突,按依赖顺序串行补。


05.10.4-008 数据倾斜怎么定位?

频率 ★★★ | 难度 进阶

一句话结论

看任务执行日志哪个 reduce/exchange 节点数据量远大于其他;按 key group by 后查 top key 数据量,倾斜 key 单独处理。


05.10.4-009 质量校验失败怎么处理?

频率 ★★★ | 难度 进阶

一句话结论

校验失败先告警阻断下游,人工排查是数据问题还是任务逻辑问题;数据问题修源数据后重跑,逻辑问题修任务重跑;不要跳过校验直接放行。


05.10.4-010 SLA 怎么定?

频率 ★★ | 难度 基础

一句话结论

核心报表(日报)要求早上 8 点前出,链路从 ODS 到 ADS 每段设定完成时间,超时告警;非核心报表放宽到中午。

典型场景与代码示例

DAG 依赖示例

每日任务 DAG:
  ods_order (dt=2024-01-15)
    -> dwd_order_detail (dt=2024-01-15)
      -> dws_user_30d (dt=2024-01-15)
        -> ads_user_dashboard (dt=2024-01-15)

数据质量校验

-- 行数波动校验
SELECT count(*) FROM dwd_order WHERE dt='2024-01-15';
-- 对比昨日:波动超过 50% 告警

-- 主键唯一性
SELECT order_id, count(*) c FROM dwd_order
WHERE dt='2024-01-15' GROUP BY order_id HAVING c > 1;

-- 非空校验
SELECT count(*) FROM dwd_order
WHERE dt='2024-01-15' AND user_id IS NULL;

数据倾斜处理

问题:某商家订单量是其他商家的 100 倍
方案:
1. 倾斜 key 单独处理(加盐打散)
2. 两阶段聚合:先局部聚合,再全局聚合
3. 广播小表

面试高频追问

问:任务重跑为什么要先删分区?

答:追加写入会产生重复数据;用 INSERT OVERWRITE 覆盖分区,保证幂等。

问:数据倾斜怎么发现?

答:看任务执行日志哪个 reduce 数据量远大于其他;按 key group by 后查 top key。

问:质量校验失败怎么处理?

答:告警阻断下游,人工排查是数据问题还是任务逻辑问题;不要跳过校验直接放行。

问:补数(backfill)怎么做?

答:从最底层 ODS 开始逐层重跑,用 INSERT OVERWRITE 覆盖分区;按依赖顺序串行补。

核心要点速记

质量维度 校验内容
完整性 行数不为空、主键非空
一致性 主外键匹配、指标波动阈值
及时性 数据到达 SLA
准确性 枚举值合法、数值范围

调度要点:

  • 按分区依赖(dt=2024-01-15),不按时间点
  • 重跑用 INSERT OVERWRITE 覆盖分区
  • 数据倾斜:加盐打散、两阶段聚合

一句话记忆:调度是数据工厂的流水线;质量校验是质检关卡,不能跳过。

相关概念辨析

Airflow vs DolphinScheduler

维度 Airflow DolphinScheduler
语言 Python Java
DAG 定义 Python 可视化
生态 丰富 国内友好
适合 技术团队 业务团队

幂等 vs 重跑

  • 幂等:多次执行结果一致。
  • 重跑:失败后重新执行。
  • 选择:任务要幂等,才能安全重跑。

05.10.4-009 幂等任务怎么实现?

频率 ★★★★ | 难度 进阶

一句话结论

幂等:多次执行结果一致;实现方式:1)按分区写入(INSERT OVERWRITE);2)先 DELETE 再 INSERT;3)用幂等键去重。

概念解释

  • 幂等:多次执行结果一致,不会重复数据。
  • 重跑:失败后重新执行,要求幂等。
  • 实现:分区覆盖、幂等键去重。

原理流程

  1. INSERT OVERWRITE TABLE PARTITION (dt='2026-01-01'):覆盖分区,重跑不重复。
  2. 幂等键:按业务主键去重,重跑时跳过已存在的主键。
  3. 先 DELETE 再 INSERT:删除当天数据,重新插入。

代码 / 示例

-- 分区覆盖(幂等)
INSERT OVERWRITE TABLE t PARTITION (dt='2026-01-01')
SELECT * FROM source WHERE dt='2026-01-01';

常见误区

  • 误区:任务失败直接重跑。正解:非幂等任务重跑会重复数据,先改幂等。

追问延伸

  • 调度系统:Airflow/DolphinScheduler 支持重跑。
  • 幂等是重跑的前提。

05.10.4-010 数据质量规则怎么分级?

频率 ★★★ | 难度 进阶

一句话结论

数据质量规则分级:1)强规则(行数为 0、主键重复)失败立即阻断;2)弱规则(波动超阈值)告警不阻断;3)一般规则(空值率)记录不告警。

概念解释

  • 强规则:必须满足,失败阻断下游任务。
  • 弱规则:尽量满足,失败告警。
  • 一般规则:记录监控,不告警。

原理流程

  1. 强规则:行数 = 0,失败阻断。
  2. 弱规则:行数波动 > 20%,告警。
  3. 一般规则:空值率 > 5%,记录。

常见误区

  • 误区:所有规则都阻断。正解:规则过多导致误报,影响开发效率。

追问延伸

  • 核心指标:行数、唯一性、非空、值域、波动。
  • 规则分级:按业务重要性分级。

05.10.4-011 DAG 依赖怎么设计?

频率 ★★ | 难度 进阶

一句话结论

DAG 依赖:任务按依赖关系编排,上游完成才触发下游;设计原则:1)粒度适中;2)避免环;3)失败影响最小。

概念解释

  • DAG:有向无环图,任务依赖关系。
  • 粒度:太粗影响并行度;太细管理复杂。
  • 失败:上游失败,下游不触发。

原理流程

  1. ODS -> DWD -> DWS -> ADS。
  2. 上游任务成功,触发下游。
  3. 上游失败,下游不触发,告警人工介入。

常见误区

  • 误区:DAG 越复杂越好。正解:依赖过多导致阻塞,合理拆分。

追问延伸

  • 调度系统:Airflow/DolphinScheduler。
  • 补数:上游数据延迟,下游手动补数。

05.10.4-012 重跑和补数怎么处理?

频率 ★★★ | 难度 进阶

一句话结论

重跑:失败任务重新执行;补数:历史数据重新计算;要求任务幂等,重跑不产生重复数据。

概念解释

  • 重跑:失败任务重新执行。
  • 补数:历史数据重新计算(如口径变更)。
  • 幂等:重跑/补数不产生重复数据。

原理流程

  1. 重跑:任务失败,调度系统自动重跑(最多 3 次)。
  2. 补数:手动触发,指定日期范围,重新计算。
  3. 幂等:INSERT OVERWRITE 覆盖分区,重跑不重复。

常见误区

  • 误区:补数直接重跑。正解:非幂等任务补数会重复,先改幂等。

追问延伸

  • 补数场景:口径变更、上游数据修正、数据丢失。
  • 补数范围:指定日期范围,批量重跑。

待整理清单

  • [ ] Airflow/DolphinScheduler 的依赖模型
  • [ ] 补数(backfill)的设计
  • [ ] 数据质量平台(Great Expectations)