09.11.1 分布式定时任务 XXL-Job
所属:全栈开发面试题库 / 09 高阶架构:高并发与分布式 / 09.11 分布式任务调度
覆盖范围
- XXL-Job 架构:调度中心、执行器、注册表
- 任务路由策略
- 分片广播与分片参数
- 任务阻塞策略
- 与 Quartz、Elastic-Job 对比
高频题速览
| 编号 | 题目 | 难度 | 频率 |
|---|---|---|---|
| 09.11.1-001 | XXL-Job 架构组成 | 进阶 | ★★★★☆ |
| 09.11.1-002 | 调度中心和执行器关系 | 进阶 | ★★★★☆ |
| 09.11.1-003 | 分片广播是什么 | 进阶 | ★★★★☆ |
| 09.11.1-004 | 任务路由策略有哪些 | 进阶 | ★★★☆☆ |
| 09.11.1-005 | 任务阻塞策略 | 进阶 | ★★★☆☆ |
| 09.11.1-006 | XXL-Job 怎么保证任务只执行一次 | 进阶 | ★★★★☆ |
| 09.11.1-007 | XXL-Job 和 Quartz 区别 | 基础 | ★★★★☆ |
| 09.11.1-008 | XXL-Job 和 Elastic-Job 区别 | 进阶 | ★★★☆☆ |
| 09.11.1-009 | 任务分片怎么写 | 进阶 | ★★★☆☆ |
| 09.11.1-010 | XXL-Job 调度中心高可用 | 进阶 | ★★★★☆ |
09.11.1-001 XXL-Job 架构组成是什么?
一句话结论
XXL-Job 由调度中心(xxl-job-admin,负责任务调度、注册、监控)和执行器(业务项目中嵌入的 SDK,负责执行任务)组成;调度中心持久化任务配置到 MySQL,执行器启动时注册到调度中心,调度中心按时间触发任务,路由到执行器执行。
概念解释
- 调度中心:统一管理任务,触发调度,监控执行结果。
- 执行器:嵌入业务项目,接收调度中心指令,执行任务。
- 注册中心:调度中心维护执行器列表,执行器自动注册和摘除。
原理流程
1. 执行器启动 → 注册到调度中心
2. 调度中心按 cron 触发任务
3. 调度中心按路由策略选执行器
4. HTTP 调用执行器执行任务
5. 执行器回调执行结果给调度中心
代码或图示
XXL-Job 架构:
xxl-job-admin (调度中心)
↕ 注册/心跳/调度
业务项目 (执行器, 嵌入 xxl-job-core)
↕ 执行任务
MySQL (任务配置、日志)
常见误区
- 误区:XXL-Job 是一个库。它是调度中心 + 执行器的分布式调度平台,不是嵌入式库。
- 误区:执行器主动拉任务。执行器被动接收调度中心 HTTP 调用,不是主动拉。
追问
- 问:调度中心和执行器怎么通信?答:HTTP,执行器暴露 REST 接口。
- 问:任务配置存哪里?答:MySQL,调度中心持久化。
09.11.1-002 调度中心和执行器是什么关系?
一句话结论
调度中心是大脑,负责按 cron 触发任务、选执行器、监控结果;执行器是手脚,负责实际执行任务;调度中心不执行业务逻辑,只做调度;执行器不含调度逻辑,只执行调度中心分配的任务。
概念解释
- 调度中心:任务管理、cron 触发、路由、监控。
- 执行器:业务代码,接收调度指令执行。
- 解耦:调度逻辑和业务执行分离。
原理流程
调度中心:
cron 触发 → 选执行器 → HTTP 调用 → 收结果
执行器:
接收 HTTP 请求 → 执行业务代码 → 回调结果
代码或图示
解耦:
调度中心可以集群部署,不依赖业务
执行器可以水平扩展,不关心调度
常见误区
- 误区:执行器知道 cron。执行器不知道任务什么时候触发,由调度中心决定。
- 误区:调度中心执行业务。调度中心只调度,不执行业务逻辑。
追问
- 问:执行器挂了怎么办?答:调度中心按路由策略选其他执行器,或失败重试。
- 问:调度中心挂了怎么办?答:调度中心集群部署,任务暂不触发,恢复后继续。
09.11.1-003 分片广播是什么?
一句话结论
分片广播是 XXL-Job 的路由策略之一:调度中心把任务广播给所有在线执行器,每个执行器拿到分片参数(shardIndex、shardTotal),每个执行器只处理自己分片的数据;适合大数据量任务(例如全量数据按分片并行处理)。
概念解释
- 分片参数:shardIndex(当前分片号,从 0 开始)、shardTotal(总分片数 = 执行器数)。
- 数据分片:业务按 shardIndex % shardTotal 处理自己负责的数据。
- 并行执行:所有执行器同时跑,各自处理一部分。
原理流程
执行器有 3 个:A、B、C
分片广播:
A 收到 shardIndex=0, shardTotal=3
B 收到 shardIndex=1, shardTotal=3
C 收到 shardIndex=2, shardTotal=3
业务:
处理 ID % 3 == 0 的数据在 A
处理 ID % 3 == 1 的数据在 B
处理 ID % 3 == 2 的数据在 C
代码或图示
@XxlJob("shardedJob")
public void shardedJob() {
int shardIndex = XxlJobHelper.getShardIndex();
int shardTotal = XxlJobHelper.getShardTotal();
// 只处理 id % shardTotal == shardIndex 的数据
List<Data> data = dao.listByShard(shardIndex, shardTotal);
process(data);
}
常见误区
- 误区:分片广播是随机选一个执行器。分片广播是广播给所有执行器,每个执行器处理一部分。
- 误区:分片数等于执行器数。分片数就是在线执行器数,扩缩容时自动变化。
追问
- 问:执行器扩缩容怎么办?答:下次触发时分片数自动变化,业务按 shardIndex/shardTotal 处理。
- 问:分片不均怎么办?答:按 ID 取模,如果 ID 分布不均,用哈希分片。
09.11.1-004 任务路由策略有哪些?
一句话结论
XXL-Job 路由策略包括:第一个、轮询、随机、一致性哈希、最少活跃、故障转移、分片广播;根据场景选择:单执行器用第一个,多执行器用轮询/最少活跃,大数据量用分片广播。
概念解释
- 第一个:固定选第一个执行器。
- 轮询:按顺序轮询。
- 随机:随机选一个。
- 一致性哈希:同一任务路由到同一执行器。
- 最少活跃:选正在执行任务数最少的执行器。
- 故障转移:选一个执行器,失败则切下一个。
原理流程
路由策略:
第一个:固定
轮询:依次
最少活跃:负载均衡
故障转移:失败切下一个
分片广播:所有执行器
代码或图示
选择:
单执行器 → 第一个
多执行器负载均衡 → 轮询/最少活跃
大数据量并行 → 分片广播
高可用 → 故障转移
常见误区
- 误区:所有任务用轮询。有状态任务(如需要上下文)用一致性哈希,大数据量用分片广播。
- 误区:故障转移自动重试。故障转移是路由到下一个执行器,不是同一执行器重试。
追问
- 问:最少活跃怎么算?答:调度中心统计每个执行器正在执行的任务数,选最少的。
- 问:一致性哈希有什么用?答:同一任务路由到同一执行器,利用本地缓存。
09.11.1-005 任务阻塞策略是什么?
一句话结论
阻塞策略是上次任务还没跑完,下次调度又触发时的处理方式:单机串行(排队等上次跑完)、丢弃后续调度(下次不执行)、覆盖之前调度(杀掉上次,跑新的);按业务容忍度选择。
概念解释
- 单机串行:排队,上次跑完再跑下次。
- 丢弃后续调度:下次跳过,不执行。
- 覆盖之前调度:终止上次,跑新的。
原理流程
上次任务跑了 10 分钟,cron 每 5 分钟触发
单机串行:排队,下次等上次跑完
丢弃后续:下次跳过
覆盖:杀掉上次,跑新的
代码或图示
阻塞策略:
SERIAL_EXECUTION:单机串行
DISCARD_LATER:丢弃后续
COVER_EARLY:覆盖之前
常见误区
- 误区:阻塞策略是调度中心的。阻塞策略在执行器侧,调度中心触发后由执行器决定怎么处理。
- 误区:覆盖之前调度安全。杀掉上次任务可能导致数据不一致,谨慎使用。
追问
- 问:大数据量任务用什么?答:单机串行,避免并发跑导致数据重复。
- 问:实时任务用什么?答:覆盖之前,保证最新数据。
09.11.1-006 XXL-Job 怎么保证任务只执行一次?
一句话结论
XXL-Job 保证同一时刻同一任务只在一个执行器执行(除分片广播):调度中心选一个执行器触发,执行器根据阻塞策略处理;但跨调度中心实例(集群)可能重复触发,需要调度中心分布式锁或数据库唯一约束。
概念解释
- 单执行器:非分片广播任务,调度中心选一个执行器。
- 阻塞策略:单机串行避免并发。
- 集群调度:调度中心集群时,用数据库乐观锁或分布式锁保证只触发一次。
原理流程
单调度中心:
选一个执行器 → 只触发一次
调度中心集群:
两个实例同时触发?
→ XXL-Job 用数据库行锁/乐观锁保证只触发一次
代码或图示
XXL-Job 调度中心集群:
数据库锁:SELECT ... FOR UPDATE
→ 同一任务只被一个实例触发
常见误区
- 误区:XXL-Job 绝对只执行一次。执行器故障、网络重试可能导致重复,业务要幂等。
- 误区:调度中心集群会重复触发。XXL-Job 用数据库锁保证只触发一次,但业务幂等仍需要。
追问
- 问:业务幂等怎么做?答:任务按业务主键去重,详见 09.11.3。
- 问:执行器执行失败怎么办?答:失败重试,调度中心记录失败日志。
09.11.1-007 XXL-Job 和 Quartz 有什么区别?
一句话结论
Quartz 是嵌入式调度库,任务和调度在同一个 JVM,集群靠数据库锁;XXL-Job 是分布式调度平台,调度中心独立部署,执行器嵌入业务,支持分片广播、路由策略、可视化;XXL-Job 更适合分布式微服务。
概念解释
- Quartz:嵌入式,任务在应用内调度,集群靠数据库锁。
- XXL-Job:独立调度中心 + 执行器,支持可视化、分片、路由。
- 适用:单体用 Quartz,微服务用 XXL-Job。
原理流程
Quartz:
应用内集成 → 数据库锁保证集群只触发一次
→ 没有可视化、分片、路由
XXL-Job:
调度中心独立 → 执行器嵌入 → 可视化、分片、路由
代码或图示
对比:
Quartz:嵌入式,无独立调度中心
XXL-Job:独立调度中心,微服务友好
常见误区
- 误区:Quartz 不能集群。Quartz 支持集群,但靠数据库锁,功能简单。
- 误区:XXL-Job 是 Quartz 的增强。XXL-Job 是独立架构,不是 Quartz 包装。
追问
- 问:什么时候用 Quartz?答:单体应用、简单定时任务,不需要独立调度中心。
- 问:什么时候用 XXL-Job?答:微服务、需要可视化、分片、路由策略。
09.11.1-008 XXL-Job 和 Elastic-Job 有什么区别?
一句话结论
Elastic-Job 基于 ZooKeeper,分片靠 ZK 协调,更侧重分片和弹性扩缩容;XXL-Job 基于 MySQL,调度中心独立,更侧重可视化和运维;Elastic-Job 分片更自动,XXL-Job 运维更友好。
概念解释
- Elastic-Job:ZK 协调,分片靠 ZK,无独立调度中心。
- XXL-Job:MySQL 持久化,独立调度中心,可视化。
- 适用:Elastic-Job 适合大数据分片,XXL-Job 适合通用业务调度。
原理流程
Elastic-Job:
执行器注册到 ZK
→ ZK 选主调度
→ 分片靠 ZK
XXL-Job:
调度中心 MySQL
→ HTTP 调用执行器
→ 可视化运维
代码或图示
对比:
Elastic-Job:ZK,分片自动,无 UI
XXL-Job:MySQL,UI 友好,分片手动
常见误区
- 误区:Elastic-Job 没有调度中心。Elastic-Job 是去中心化调度,靠 ZK 选主,没有独立 admin。
- 误区:XXL-Job 分片不如 Elastic-Job。XXL-Job 分片广播也能用,只是配置方式不同。
追问
- 问:大数据量分片用哪个?答:Elastic-Job 分片更自动,XXL-Job 分片广播也可以。
- 问:需要可视化运维用哪个?答:XXL-Job admin 界面更完善。
09.11.1-009 任务分片怎么写?
一句话结论
分片任务代码:从 XxlJobHelper 拿 shardIndex 和 shardTotal,按 shardIndex % shardTotal 处理自己分片的数据;业务要保证按分片取数时不漏不重;常见方式是按主键 ID 取模。
概念解释
- 分片参数:shardIndex(当前分片号)、shardTotal(总分片数)。
- 取数:WHERE id % shardTotal = shardIndex。
- 不漏不重:取模保证每个 ID 只属于一个分片。
原理流程
int index = XxlJobHelper.getShardIndex();
int total = XxlJobHelper.getShardTotal();
// SQL: WHERE MOD(id, #{total}) = #{index}
List<Data> list = mapper.listByShard(index, total);
process(list);
代码或图示
-- 分片取数
SELECT * FROM data
WHERE MOD(id, #{shardTotal}) = #{shardIndex};
常见误区
- 误区:分片按 ID 范围切。按 ID 范围切可能数据不均(新数据 ID 大),按取模更均匀。
- 误区:分片数固定。分片数等于在线执行器数,扩缩容时自动变化。
追问
- 问:分片不均怎么办?答:按 ID 取模,如果 ID 分布不均,用哈希函数再散列。
- 问:分片失败怎么办?答:单分片失败不影响其他分片,调度中心记录失败,下次重试。
09.11.1-010 XXL-Job 调度中心高可用怎么做?
一句话结论
XXL-Job 调度中心集群部署:多个 admin 实例连同一个 MySQL,通过数据库行锁保证同一任务只被一个实例触发;执行器注册到所有 admin 实例,任意 admin 故障不影响调度;MySQL 是单点,要做主从。
概念解释
- 调度中心集群:多个 admin 实例,连同一个 MySQL。
- 数据库锁:同一任务只被一个实例触发。
- MySQL 单点:MySQL 做主从,避免单点。
原理流程
1. 部署多个 admin 实例
2. 连同一个 MySQL
3. 触发任务时:SELECT ... FOR UPDATE 锁任务行
4. 只有一个实例拿到锁,触发调度
5. 其他实例跳过
代码或图示
高可用:
admin 集群(无状态)
MySQL 主从(持久化)
执行器注册到所有 admin
常见误区
- 误区:调度中心集群用 ZK 选主。XXL-Job 用数据库锁,不用 ZK。
- 误区:MySQL 单点无所谓。MySQL 挂了调度中心不可用,要做主从。
追问
- 问:执行器怎么发现所有 admin?答:执行器配置 admin 列表,注册到所有 admin。
- 问:调度中心故障时任务怎样?答:故障期间不触发,恢复后继续执行,错过的任务不会补跑。
待整理清单
- [ ] XXL-Job 配置示例
- [ ] 分片任务性能调优
- [ ] XXL-Job 监控告警