罗罗编程学习记录
本页内容 展开查看

09.11.2 工作流编排 TemporalAirflow

所属:全栈开发面试题库 / 09 高阶架构:高并发与分布式 / 09.11 分布式任务调度

覆盖范围

  • DAG 工作流模型与依赖
  • Airflow 架构与调度
  • Temporal 工作流引擎原理
  • 工作流状态持久化与重试
  • 工作流与定时任务的区别

高频题速览

编号 题目 难度 频率
09.11.2-001 DAG 工作流是什么 基础 ★★★★☆
09.11.2-002 Airflow 架构组成 进阶 ★★★★☆
09.11.2-003 Temporal 工作流原理 高级 ★★★☆☆
09.11.2-004 Temporal 和 Airflow 区别 高级 ★★★★☆
09.11.2-005 工作流状态怎么持久化 进阶 ★★★☆☆
09.11.2-006 工作流重试与补偿 进阶 ★★★★☆
09.11.2-007 工作流和定时任务区别 基础 ★★★★☆
09.11.2-008 Airflow Operator 是什么 基础 ★★★☆☆
09.11.2-009 Temporal Workflow 和 Activity 高级 ★★★☆☆
09.11.2-010 工作流选型怎么选 进阶 ★★★☆☆

09.11.2-001 DAG 工作流是什么?

一句话结论

DAG(有向无环图)工作流把任务组织成有向无环图,每个节点是一个任务,边是依赖关系;上游任务完成后下游才能开始,不能有环;Airflow、Temporal、Argo Workflows 都是 DAG 工作流引擎。

概念解释

  • 节点:一个任务(Python 脚本、SQL、HTTP 调用)。
  • 边:依赖关系,上游完成下游才开始。
  • 无环:不能 A→B→A,否则死锁。

原理流程

DAG:
  extract → transform → load
  extract → send_notification
  transform 完成后 load 才开始

代码或图示

# Airflow DAG 示例
with DAG("etl", schedule="0 1 * * *") as dag:
    t1 = PythonOperator(task_id="extract", ...)
    t2 = PythonOperator(task_id="transform", ...)
    t3 = PythonOperator(task_id="load", ...)
    t1 >> t2 >> t3

常见误区

  • 误区:DAG 是流程图。DAG 是任务依赖图,不是业务流程图。
  • 误区:DAG 可以有环。有环会导致任务永远等不到上游完成。

追问

  • 问:什么场景用 DAG?答:ETL、数据管道、多步骤业务流程(下单→扣库存→支付→通知)。
  • 问:DAG 怎么调度?答:调度器按依赖拓扑排序,上游完成触发下游。

09.11.2-002 Airflow 架构组成是什么?

一句话结论

Airflow 由 Scheduler(调度器,解析 DAG、触发任务)、Executor(执行器,执行任务)、Worker(实际跑任务的节点)、Metadata DB(存储 DAG 状态、任务实例)、Webserver(UI)组成;DAG 是 Python 文件,调度器按 schedule_interval 触发。

概念解释

  • Scheduler:解析 DAG,调度任务实例。
  • Executor:决定任务怎么跑(LocalExecutor、CeleryExecutor)。
  • Worker:执行任务的节点。
  • Metadata DB:存 DAG 运行状态、任务实例。

原理流程

1. DAG 文件放到 dags 目录
2. Scheduler 解析 DAG,按 schedule_interval 创建 DAG Run
3. 任务依赖满足时,Scheduler 触发任务实例
4. Worker 执行任务
5. 状态写 Metadata DB

代码或图示

Airflow 架构:
  Webserver (UI)
  Scheduler (调度)
  Worker × N (执行)
  Metadata DB (状态)

常见误区

  • 误区:Airflow 是实时调度。Airflow 是批处理调度,按 schedule_interval 触发,不适合长驻流处理。
  • 误区:Airflow DAG 是 YAML。DAG 是 Python 代码,灵活但复杂。

追问

  • 问:CeleryExecutor 是什么?答:任务分发到多个 Worker,分布式执行。
  • 问:Airflow 适合实时吗?答:不适合实时流,适合批处理 ETL。

09.11.2-003 Temporal 工作流原理是什么?

一句话结论

Temporal 是分布式工作流引擎:工作流代码是普通函数(Workflow),调用 Activity(具体业务逻辑);Temporal 服务持久化工作流状态,故障时自动恢复并继续执行;工作流代码可以是阻塞的(await Activity 结果),Temporal 保证不丢。

概念解释

  • Workflow:工作流代码,定义步骤和依赖。
  • Activity:具体业务操作(调用 API、写数据库)。
  • 持久化:Temporal 服务存储工作流状态,故障恢复。

原理流程

1. 启动 Workflow
2. Workflow 调用 Activity A
3. Temporal 持久化状态,等待 A 完成
4. A 完成,Workflow 继续,调用 Activity B
5. Temporal 持久化,等待 B
6. 工作流完成

代码或图示

// Temporal Workflow 示例
public void orderWorkflow(Order order) {
    inventory.reserve(order);  // Activity
    payment.charge(order);     // Activity
    notification.send(order);  // Activity
}

常见误区

  • 误区:Temporal 是 Airflow 翻版。Temporal 工作流是代码(不是 DAG YAML),状态持久化在服务端,故障自动恢复。
  • 误区:Temporal Activity 必须幂等。Activity 可能重试,要幂等。

追问

  • 问:Temporal 状态存哪?答:Temporal 服务(Cassandra/MySQL),不是业务库。
  • 问:工作流能跑多久?答:可以跑几天几个月,Temporal 持久化状态。

09.11.2-004 Temporal 和 Airflow 有什么区别?

一句话结论

Airflow 是批处理 ETL 调度,DAG 是 Python 配置,按 schedule_interval 触发,任务短(分钟级);Temporal 是通用工作流引擎,工作流是代码,支持长驻、重试、补偿,适合业务流程(下单、履约);Airflow 偏数据管道,Temporal 偏业务流程。

概念解释

  • Airflow:批处理,短任务,DAG 配置。
  • Temporal:业务流程,长任务,代码工作流。
  • 适用:Airflow 做 ETL,Temporal 做订单履约、审批流。

原理流程

Airflow:
  DAG 文件 → 按 schedule 触发 → 短任务 → 完成
Temporal:
  Workflow 代码 → 调用 Activity → 持久化 → 故障恢复

代码或图示

对比:
  Airflow:数据 ETL,短任务,调度器
  Temporal:业务流程,长任务,代码工作流

常见误区

  • 误区:Temporal 是 Airflow 的云版本。Temporal 目标不同,Airflow 偏数据,Temporal 偏业务流程。
  • 误区:Airflow 不能做业务流程。Airflow 也能做,但不擅长长驻、补偿、重试。

追问

  • 问:什么场景用 Temporal?答:订单履约、审批流、Saga 分布式事务,详见 09.6.1.3。
  • 问:什么场景用 Airflow?答:ETL、数据管道、报表。

09.11.2-005 工作流状态怎么持久化?

一句话结论

工作流引擎把每个 DAG Run、任务实例、工作流状态存在 Metadata DB;状态包括:运行中、成功、失败、跳过;故障时调度器从 DB 恢复未完成的任务,重新调度;Temporal 持久化工作流执行历史,故障恢复后继续执行。

概念解释

  • DAG Run:一次 DAG 运行实例。
  • 任务实例:每个任务的运行状态。
  • 恢复:调度器从 DB 读未完成任务,重新调度。

原理流程

Airflow:
  DAG Run 状态:running/success/failed
  任务实例状态:queued/running/success/failed/skipped
  Scheduler 重启 → 从 DB 恢复未完成任务
Temporal:
  工作流执行历史:事件日志
  Worker 故障 → Temporal 重新调度 Activity

代码或图示

状态持久化:
  Airflow:MySQL/PostgreSQL
  Temporal:Cassandra/MySQL

常见误区

  • 误区:工作流状态在内存。状态必须持久化到 DB,否则调度器故障丢失。
  • 误区:失败任务自动重试。Airflow 要配 retries,Temporal Activity 默认重试。

追问

  • 问:历史状态保留多久?答:Airflow 配 retention,Temporal 配 archival。
  • 问:状态太多怎么办?答:清理历史 DAG Run,分库分表。

09.11.2-006 工作流重试与补偿怎么做?

一句话结论

工作流重试:任务失败自动重试(配 max_retries、重试间隔);补偿:某步骤失败后,执行反向操作(已扣库存就回补);Temporal 内置重试和 Saga 补偿模式;Airflow 配 retries,补偿靠任务间依赖。

概念解释

  • 重试:失败自动重跑。
  • 补偿:失败后执行反向操作(回滚)。
  • Saga:长事务,每个步骤有补偿,详见 09.6.1.3。

原理流程

重试:
  任务失败 → 等 N 秒 → 重试
补偿:
  步骤 A 成功 → 步骤 B 失败
  → 执行 A 的补偿(回滚 A)

代码或图示

# Airflow 重试
t1 = PythonOperator(
    task_id="task",
    retries=3,
    retry_delay=timedelta(minutes=5),
)

常见误区

  • 误区:重试能解决所有问题。重试只解决临时故障,业务错误要补偿。
  • 误区:补偿就是回滚数据库。补偿是业务级反向操作(回补库存、取消订单),不是数据库事务。

追问

  • 问:Temporal 补偿怎么做?答:Saga 模式,每个 Activity 配补偿方法,详见 09.6.1.3。
  • 问:Airflow 怎么做补偿?答:失败触发补偿任务(DAG 中配 on_failure_callback)。

09.11.2-007 工作流和定时任务有什么区别?

一句话结论

定时任务是单个任务按 cron 触发(XXL-Job);工作流是多步骤任务按依赖编排(Airflow/Temporal),上游完成下游才开始;定时任务是点,工作流是线;复杂多步骤流程用工作流,单任务用定时任务。

概念解释

  • 定时任务:单任务,cron 触发。
  • 工作流:多步骤,依赖编排。
  • 区别:工作流有 DAG 依赖,定时任务没有。

原理流程

定时任务:
  每天凌晨 1 点跑一个脚本
工作流:
  extract → transform → load → send_report
  多步骤,依赖关系

代码或图示

对比:
  定时任务:单任务,cron
  工作流:多步骤,DAG

常见误区

  • 误区:工作流是定时任务的升级版。工作流解决多步骤依赖,定时任务解决单点触发,目标不同。
  • 误区:定时任务能编排多步骤。定时任务靠脚本串步骤,没有依赖管理和重试,不如工作流。

追问

  • 问:单任务 ETL 用哪个?答:定时任务(XXL-Job)。
  • 问:多步骤 ETL 用哪个?答:工作流(Airflow)。

09.11.2-008 Airflow Operator 是什么?

一句话结论

Operator 是 Airflow 中一个任务的封装:PythonOperator(跑 Python)、BashOperator(跑 shell)、MySqlOperator(跑 SQL)、HttpOperator(调 HTTP);每个 Operator 定义一个任务类型,DAG 由 Operator 实例组成。

概念解释

  • Operator:任务模板,定义做什么。
  • Task:Operator 实例,在 DAG 中具体跑。
  • 常用:PythonOperator、BashOperator、MySqlOperator。

原理流程

t1 = PythonOperator(
    task_id="extract",
    python_callable=extract_fn,
    dag=dag,
)

代码或图示

Operator 类型:
  PythonOperator:Python 函数
  BashOperator:shell 命令
  MySqlOperator:SQL
  HttpOperator:HTTP 调用

常见误区

  • 误区:Operator 是执行器。Operator 是任务定义,执行由 Worker 跑。
  • 误区:所有任务用 PythonOperator。SQL 用 MySqlOperator,HTTP 用 HttpOperator,更清晰。

追问

  • 问:自定义 Operator?答:继承 BaseOperator,实现 execute 方法。
  • 问:Sensor 是什么?答:Sensor 是等待条件的 Operator(等待文件、等待时间)。

09.11.2-009 Temporal Workflow 和 Activity 是什么?

一句话结论

Temporal Workflow 是工作流代码,定义步骤顺序和逻辑;Activity 是具体业务操作(调 API、写库);Workflow 是轻量级的(不直接调外部服务),Activity 是实际工作单元;Workflow 持久化状态,Activity 是幂等的工作单元。

概念解释

  • Workflow:编排逻辑,决定调用哪个 Activity。
  • Activity:实际工作,调用外部服务。
  • 隔离:Workflow 不能有副作用(不直接调 API),副作用在 Activity。

原理流程

Workflow:
  编排:调 A → 调 B → 调 C
  不直接调外部服务
Activity:
  实际调外部服务
  幂等

代码或图示

// Workflow 接口
public interface OrderWorkflow {
    void processOrder(Order order);
}
// Activity 接口
public interface PaymentActivity {
    void charge(Order order);
}

常见误区

  • 误区:Workflow 直接调外部服务。Workflow 必须是确定性的(不能调时间、随机数、外部 API),否则故障恢复不一致。
  • 误区:Activity 不需要幂等。Activity 可能重试,必须幂等。

追问

  • 问:Workflow 为什么不能有副作用?答:Workflow 故障时重放,副作用会重复执行。
  • 问:Activity 重试策略?答:Temporal 自动重试,配初始间隔、最大间隔、重试次数。

09.11.2-010 工作流选型怎么选?

一句话结论

选型:批处理 ETL 用 Airflow(数据管道、DAG 配置);业务流程(订单履约、审批流、Saga)用 Temporal(长驻、代码工作流、重试补偿);简单定时任务用 XXL-Job;按场景选,不要用 Airflow 做业务流程,不要用 Temporal 做 ETL。

概念解释

  • Airflow:数据 ETL,DAG 配置,短任务。
  • Temporal:业务流程,代码工作流,长任务。
  • XXL-Job:简单定时任务。

原理流程

选择:
  ETL 数据管道 → Airflow
  订单履约/审批流 → Temporal
  单任务定时 → XXL-Job

代码或图示

选型清单:
  [ ] 数据 ETL?→ Airflow
  [ ] 业务流程多步骤?→ Temporal
  [ ] 单任务定时?→ XXL-Job

常见误区

  • 误区:Temporal 替代 Airflow。两者目标不同,Temporal 不擅长 ETL DAG 配置。
  • 误区:Airflow 能做所有工作流。Airflow 偏数据,不擅长长驻业务流程。

追问

  • 问:Argo Workflows 是什么?答:K8s 原生工作流,跑容器任务,适合 K8s 环境。
  • 问:公司已有 Airflow 怎么办?答:数据 ETL 继续用 Airflow,业务流程用 Temporal,两者共存。

待整理清单

  • [ ] Airflow DAG 开发最佳实践
  • [ ] Temporal Saga 模式示例
  • [ ] 工作流选型对照