09.11.2 工作流编排 TemporalAirflow
所属:全栈开发面试题库 / 09 高阶架构:高并发与分布式 / 09.11 分布式任务调度
覆盖范围
- DAG 工作流模型与依赖
- Airflow 架构与调度
- Temporal 工作流引擎原理
- 工作流状态持久化与重试
- 工作流与定时任务的区别
高频题速览
| 编号 | 题目 | 难度 | 频率 |
|---|---|---|---|
| 09.11.2-001 | DAG 工作流是什么 | 基础 | ★★★★☆ |
| 09.11.2-002 | Airflow 架构组成 | 进阶 | ★★★★☆ |
| 09.11.2-003 | Temporal 工作流原理 | 高级 | ★★★☆☆ |
| 09.11.2-004 | Temporal 和 Airflow 区别 | 高级 | ★★★★☆ |
| 09.11.2-005 | 工作流状态怎么持久化 | 进阶 | ★★★☆☆ |
| 09.11.2-006 | 工作流重试与补偿 | 进阶 | ★★★★☆ |
| 09.11.2-007 | 工作流和定时任务区别 | 基础 | ★★★★☆ |
| 09.11.2-008 | Airflow Operator 是什么 | 基础 | ★★★☆☆ |
| 09.11.2-009 | Temporal Workflow 和 Activity | 高级 | ★★★☆☆ |
| 09.11.2-010 | 工作流选型怎么选 | 进阶 | ★★★☆☆ |
09.11.2-001 DAG 工作流是什么?
一句话结论
DAG(有向无环图)工作流把任务组织成有向无环图,每个节点是一个任务,边是依赖关系;上游任务完成后下游才能开始,不能有环;Airflow、Temporal、Argo Workflows 都是 DAG 工作流引擎。
概念解释
- 节点:一个任务(Python 脚本、SQL、HTTP 调用)。
- 边:依赖关系,上游完成下游才开始。
- 无环:不能 A→B→A,否则死锁。
原理流程
DAG:
extract → transform → load
extract → send_notification
transform 完成后 load 才开始
代码或图示
# Airflow DAG 示例
with DAG("etl", schedule="0 1 * * *") as dag:
t1 = PythonOperator(task_id="extract", ...)
t2 = PythonOperator(task_id="transform", ...)
t3 = PythonOperator(task_id="load", ...)
t1 >> t2 >> t3
常见误区
- 误区:DAG 是流程图。DAG 是任务依赖图,不是业务流程图。
- 误区:DAG 可以有环。有环会导致任务永远等不到上游完成。
追问
- 问:什么场景用 DAG?答:ETL、数据管道、多步骤业务流程(下单→扣库存→支付→通知)。
- 问:DAG 怎么调度?答:调度器按依赖拓扑排序,上游完成触发下游。
09.11.2-002 Airflow 架构组成是什么?
一句话结论
Airflow 由 Scheduler(调度器,解析 DAG、触发任务)、Executor(执行器,执行任务)、Worker(实际跑任务的节点)、Metadata DB(存储 DAG 状态、任务实例)、Webserver(UI)组成;DAG 是 Python 文件,调度器按 schedule_interval 触发。
概念解释
- Scheduler:解析 DAG,调度任务实例。
- Executor:决定任务怎么跑(LocalExecutor、CeleryExecutor)。
- Worker:执行任务的节点。
- Metadata DB:存 DAG 运行状态、任务实例。
原理流程
1. DAG 文件放到 dags 目录
2. Scheduler 解析 DAG,按 schedule_interval 创建 DAG Run
3. 任务依赖满足时,Scheduler 触发任务实例
4. Worker 执行任务
5. 状态写 Metadata DB
代码或图示
Airflow 架构:
Webserver (UI)
Scheduler (调度)
Worker × N (执行)
Metadata DB (状态)
常见误区
- 误区:Airflow 是实时调度。Airflow 是批处理调度,按 schedule_interval 触发,不适合长驻流处理。
- 误区:Airflow DAG 是 YAML。DAG 是 Python 代码,灵活但复杂。
追问
- 问:CeleryExecutor 是什么?答:任务分发到多个 Worker,分布式执行。
- 问:Airflow 适合实时吗?答:不适合实时流,适合批处理 ETL。
09.11.2-003 Temporal 工作流原理是什么?
一句话结论
Temporal 是分布式工作流引擎:工作流代码是普通函数(Workflow),调用 Activity(具体业务逻辑);Temporal 服务持久化工作流状态,故障时自动恢复并继续执行;工作流代码可以是阻塞的(await Activity 结果),Temporal 保证不丢。
概念解释
- Workflow:工作流代码,定义步骤和依赖。
- Activity:具体业务操作(调用 API、写数据库)。
- 持久化:Temporal 服务存储工作流状态,故障恢复。
原理流程
1. 启动 Workflow
2. Workflow 调用 Activity A
3. Temporal 持久化状态,等待 A 完成
4. A 完成,Workflow 继续,调用 Activity B
5. Temporal 持久化,等待 B
6. 工作流完成
代码或图示
// Temporal Workflow 示例
public void orderWorkflow(Order order) {
inventory.reserve(order); // Activity
payment.charge(order); // Activity
notification.send(order); // Activity
}
常见误区
- 误区:Temporal 是 Airflow 翻版。Temporal 工作流是代码(不是 DAG YAML),状态持久化在服务端,故障自动恢复。
- 误区:Temporal Activity 必须幂等。Activity 可能重试,要幂等。
追问
- 问:Temporal 状态存哪?答:Temporal 服务(Cassandra/MySQL),不是业务库。
- 问:工作流能跑多久?答:可以跑几天几个月,Temporal 持久化状态。
09.11.2-004 Temporal 和 Airflow 有什么区别?
一句话结论
Airflow 是批处理 ETL 调度,DAG 是 Python 配置,按 schedule_interval 触发,任务短(分钟级);Temporal 是通用工作流引擎,工作流是代码,支持长驻、重试、补偿,适合业务流程(下单、履约);Airflow 偏数据管道,Temporal 偏业务流程。
概念解释
- Airflow:批处理,短任务,DAG 配置。
- Temporal:业务流程,长任务,代码工作流。
- 适用:Airflow 做 ETL,Temporal 做订单履约、审批流。
原理流程
Airflow:
DAG 文件 → 按 schedule 触发 → 短任务 → 完成
Temporal:
Workflow 代码 → 调用 Activity → 持久化 → 故障恢复
代码或图示
对比:
Airflow:数据 ETL,短任务,调度器
Temporal:业务流程,长任务,代码工作流
常见误区
- 误区:Temporal 是 Airflow 的云版本。Temporal 目标不同,Airflow 偏数据,Temporal 偏业务流程。
- 误区:Airflow 不能做业务流程。Airflow 也能做,但不擅长长驻、补偿、重试。
追问
- 问:什么场景用 Temporal?答:订单履约、审批流、Saga 分布式事务,详见 09.6.1.3。
- 问:什么场景用 Airflow?答:ETL、数据管道、报表。
09.11.2-005 工作流状态怎么持久化?
一句话结论
工作流引擎把每个 DAG Run、任务实例、工作流状态存在 Metadata DB;状态包括:运行中、成功、失败、跳过;故障时调度器从 DB 恢复未完成的任务,重新调度;Temporal 持久化工作流执行历史,故障恢复后继续执行。
概念解释
- DAG Run:一次 DAG 运行实例。
- 任务实例:每个任务的运行状态。
- 恢复:调度器从 DB 读未完成任务,重新调度。
原理流程
Airflow:
DAG Run 状态:running/success/failed
任务实例状态:queued/running/success/failed/skipped
Scheduler 重启 → 从 DB 恢复未完成任务
Temporal:
工作流执行历史:事件日志
Worker 故障 → Temporal 重新调度 Activity
代码或图示
状态持久化:
Airflow:MySQL/PostgreSQL
Temporal:Cassandra/MySQL
常见误区
- 误区:工作流状态在内存。状态必须持久化到 DB,否则调度器故障丢失。
- 误区:失败任务自动重试。Airflow 要配 retries,Temporal Activity 默认重试。
追问
- 问:历史状态保留多久?答:Airflow 配 retention,Temporal 配 archival。
- 问:状态太多怎么办?答:清理历史 DAG Run,分库分表。
09.11.2-006 工作流重试与补偿怎么做?
一句话结论
工作流重试:任务失败自动重试(配 max_retries、重试间隔);补偿:某步骤失败后,执行反向操作(已扣库存就回补);Temporal 内置重试和 Saga 补偿模式;Airflow 配 retries,补偿靠任务间依赖。
概念解释
- 重试:失败自动重跑。
- 补偿:失败后执行反向操作(回滚)。
- Saga:长事务,每个步骤有补偿,详见 09.6.1.3。
原理流程
重试:
任务失败 → 等 N 秒 → 重试
补偿:
步骤 A 成功 → 步骤 B 失败
→ 执行 A 的补偿(回滚 A)
代码或图示
# Airflow 重试
t1 = PythonOperator(
task_id="task",
retries=3,
retry_delay=timedelta(minutes=5),
)
常见误区
- 误区:重试能解决所有问题。重试只解决临时故障,业务错误要补偿。
- 误区:补偿就是回滚数据库。补偿是业务级反向操作(回补库存、取消订单),不是数据库事务。
追问
- 问:Temporal 补偿怎么做?答:Saga 模式,每个 Activity 配补偿方法,详见 09.6.1.3。
- 问:Airflow 怎么做补偿?答:失败触发补偿任务(DAG 中配 on_failure_callback)。
09.11.2-007 工作流和定时任务有什么区别?
一句话结论
定时任务是单个任务按 cron 触发(XXL-Job);工作流是多步骤任务按依赖编排(Airflow/Temporal),上游完成下游才开始;定时任务是点,工作流是线;复杂多步骤流程用工作流,单任务用定时任务。
概念解释
- 定时任务:单任务,cron 触发。
- 工作流:多步骤,依赖编排。
- 区别:工作流有 DAG 依赖,定时任务没有。
原理流程
定时任务:
每天凌晨 1 点跑一个脚本
工作流:
extract → transform → load → send_report
多步骤,依赖关系
代码或图示
对比:
定时任务:单任务,cron
工作流:多步骤,DAG
常见误区
- 误区:工作流是定时任务的升级版。工作流解决多步骤依赖,定时任务解决单点触发,目标不同。
- 误区:定时任务能编排多步骤。定时任务靠脚本串步骤,没有依赖管理和重试,不如工作流。
追问
- 问:单任务 ETL 用哪个?答:定时任务(XXL-Job)。
- 问:多步骤 ETL 用哪个?答:工作流(Airflow)。
09.11.2-008 Airflow Operator 是什么?
一句话结论
Operator 是 Airflow 中一个任务的封装:PythonOperator(跑 Python)、BashOperator(跑 shell)、MySqlOperator(跑 SQL)、HttpOperator(调 HTTP);每个 Operator 定义一个任务类型,DAG 由 Operator 实例组成。
概念解释
- Operator:任务模板,定义做什么。
- Task:Operator 实例,在 DAG 中具体跑。
- 常用:PythonOperator、BashOperator、MySqlOperator。
原理流程
t1 = PythonOperator(
task_id="extract",
python_callable=extract_fn,
dag=dag,
)
代码或图示
Operator 类型:
PythonOperator:Python 函数
BashOperator:shell 命令
MySqlOperator:SQL
HttpOperator:HTTP 调用
常见误区
- 误区:Operator 是执行器。Operator 是任务定义,执行由 Worker 跑。
- 误区:所有任务用 PythonOperator。SQL 用 MySqlOperator,HTTP 用 HttpOperator,更清晰。
追问
- 问:自定义 Operator?答:继承 BaseOperator,实现 execute 方法。
- 问:Sensor 是什么?答:Sensor 是等待条件的 Operator(等待文件、等待时间)。
09.11.2-009 Temporal Workflow 和 Activity 是什么?
一句话结论
Temporal Workflow 是工作流代码,定义步骤顺序和逻辑;Activity 是具体业务操作(调 API、写库);Workflow 是轻量级的(不直接调外部服务),Activity 是实际工作单元;Workflow 持久化状态,Activity 是幂等的工作单元。
概念解释
- Workflow:编排逻辑,决定调用哪个 Activity。
- Activity:实际工作,调用外部服务。
- 隔离:Workflow 不能有副作用(不直接调 API),副作用在 Activity。
原理流程
Workflow:
编排:调 A → 调 B → 调 C
不直接调外部服务
Activity:
实际调外部服务
幂等
代码或图示
// Workflow 接口
public interface OrderWorkflow {
void processOrder(Order order);
}
// Activity 接口
public interface PaymentActivity {
void charge(Order order);
}
常见误区
- 误区:Workflow 直接调外部服务。Workflow 必须是确定性的(不能调时间、随机数、外部 API),否则故障恢复不一致。
- 误区:Activity 不需要幂等。Activity 可能重试,必须幂等。
追问
- 问:Workflow 为什么不能有副作用?答:Workflow 故障时重放,副作用会重复执行。
- 问:Activity 重试策略?答:Temporal 自动重试,配初始间隔、最大间隔、重试次数。
09.11.2-010 工作流选型怎么选?
一句话结论
选型:批处理 ETL 用 Airflow(数据管道、DAG 配置);业务流程(订单履约、审批流、Saga)用 Temporal(长驻、代码工作流、重试补偿);简单定时任务用 XXL-Job;按场景选,不要用 Airflow 做业务流程,不要用 Temporal 做 ETL。
概念解释
- Airflow:数据 ETL,DAG 配置,短任务。
- Temporal:业务流程,代码工作流,长任务。
- XXL-Job:简单定时任务。
原理流程
选择:
ETL 数据管道 → Airflow
订单履约/审批流 → Temporal
单任务定时 → XXL-Job
代码或图示
选型清单:
[ ] 数据 ETL?→ Airflow
[ ] 业务流程多步骤?→ Temporal
[ ] 单任务定时?→ XXL-Job
常见误区
- 误区:Temporal 替代 Airflow。两者目标不同,Temporal 不擅长 ETL DAG 配置。
- 误区:Airflow 能做所有工作流。Airflow 偏数据,不擅长长驻业务流程。
追问
- 问:Argo Workflows 是什么?答:K8s 原生工作流,跑容器任务,适合 K8s 环境。
- 问:公司已有 Airflow 怎么办?答:数据 ETL 继续用 Airflow,业务流程用 Temporal,两者共存。
待整理清单
- [ ] Airflow DAG 开发最佳实践
- [ ] Temporal Saga 模式示例
- [ ] 工作流选型对照