09.11.4 调度系统高可用与分片扩容
所属:全栈开发面试题库 / 09 高阶架构:高并发与分布式 / 09.11 分布式任务调度
覆盖范围
- 调度中心高可用
- 执行器水平扩展
- 任务分片与扩缩容
- 故障转移与任务恢复
- 调度系统监控
高频题速览
| 编号 | 题目 | 难度 | 频率 |
|---|---|---|---|
| 09.11.4-001 | 调度中心高可用怎么做 | 进阶 | ★★★★☆ |
| 09.11.4-002 | 执行器怎么水平扩展 | 基础 | ★★★★☆ |
| 09.11.4-003 | 任务分片怎么扩缩容 | 进阶 | ★★★☆☆ |
| 09.11.4-004 | 调度中心故障怎么办 | 进阶 | ★★★☆☆ |
| 09.11.4-005 | 执行器故障怎么转移 | 进阶 | ★★★★☆ |
| 09.11.4-006 | 错过的任务怎么补 | 进阶 | ★★★☆☆ |
| 09.11.4-007 | 调度系统监控哪些指标 | 基础 | ★★★☆☆ |
| 09.11.4-008 | 任务积压怎么办 | 进阶 | ★★★☆☆ |
| 09.11.4-009 | 调度中心集群选主 | 进阶 | ★★★☆☆ |
| 09.11.4-010 | 分片一致性怎么保证 | 高级 | ★★★☆☆ |
09.11.4-001 调度中心高可用怎么做?
一句话结论
调度中心集群部署:多个实例连同一个 MySQL,通过数据库行锁或分布式锁保证同一任务只被一个实例触发;MySQL 做主从;调度中心无状态,任意实例故障不影响调度;执行器注册到所有实例。
概念解释
- 无状态:调度中心不存状态,状态在 MySQL。
- 数据库锁:同一任务只被一个实例触发。
- MySQL 主从:持久化层高可用。
原理流程
多个调度中心实例:
触发任务时 SELECT ... FOR UPDATE
→ 只有一个实例拿到锁
→ 触发调度
其他实例跳过
代码或图示
高可用架构:
调度中心集群(无状态)
MySQL 主从(持久化)
执行器注册到所有实例
常见误区
- 误区:调度中心集群用 ZK 选主。XXL-Job 用数据库锁,不用 ZK。
- 误区:MySQL 单点无所谓。MySQL 挂了调度中心不可用,要做主从。
追问
- 问:调度中心实例数?答:2~3 个足够,无状态可水平扩展。
- 问:数据库锁性能?答:任务量不大时数据库锁足够,任务量大时用分布式锁(Redis)。
09.11.4-002 执行器怎么水平扩展?
一句话结论
执行器无状态,启动时注册到调度中心;新增执行器实例自动注册,调度中心下次触发时按路由策略选新实例;执行器可以随时扩缩容,不需要重启调度中心。
概念解释
- 无状态执行器:业务状态在 DB,不在执行器内存。
- 自动注册:启动时上报调度中心。
- 心跳:定期心跳,调度中心摘除不心跳的执行器。
原理流程
1. 新执行器启动 → 注册到调度中心
2. 调度中心维护在线执行器列表
3. 下次触发 → 路由策略选执行器
4. 执行器下线 → 心跳超时 → 摘除
代码或图示
扩展:
执行器 1、2、3 在线
加执行器 4 → 自动注册
→ 下次触发可路由到 4
常见误区
- 误区:执行器扩展要重启调度中心。执行器自动注册,调度中心不需要重启。
- 误区:执行器有状态。执行器无状态,业务状态在 DB,否则扩展时状态丢失。
追问
- 问:执行器扩缩容怎么通知调度中心?答:心跳 + 注册,调度中心自动发现。
- 问:执行器下线任务怎么办?答:调度中心按路由策略(故障转移)选其他执行器。
09.11.4-003 任务分片怎么扩缩容?
一句话结论
分片广播任务的分片数等于在线执行器数;扩缩容时,下次触发分片数自动变化,业务按 shardIndex/shardTotal 处理;扩缩容期间正在跑的任务不受影响,下次触发按新分片数。
概念解释
- 分片数 = 在线执行器数。
- 下次触发:分片数自动更新。
- 正在跑的任务:不受扩缩容影响。
原理流程
3 个执行器 → 分片数 3
扩到 5 个 → 下次触发分片数 5
业务按 shardIndex % shardTotal 取数
代码或图示
扩缩容:
3 → 5 执行器
正在跑的任务:按旧分片数 3
下次触发:按新分片数 5
常见误区
- 误区:扩缩容要手动配分片数。分片数自动等于执行器数,不需要手动配。
- 误区:扩缩容影响正在跑的任务。正在跑的任务按旧分片跑完,下次触发按新分片。
追问
- 问:分片不均怎么办?答:按 ID 取模,ID 分布不均用哈希。
- 问:扩缩容时数据重复吗?答:下次触发按新分片取数,不重复(按 shardIndex % shardTotal)。
09.11.4-004 调度中心故障怎么办?
一句话结论
调度中心故障期间,任务不触发(错过的任务不会自动补跑,除非配错过策略);调度中心恢复后继续按 cron 触发;如果调度中心集群部署,单个实例故障不影响,其他实例继续。
概念解释
- 故障期间:任务不触发。
- 恢复后:继续按 cron。
- 错过策略:配 "misfire",决定错过的任务是否补跑。
原理流程
调度中心故障 30 分钟
→ 期间定时任务不触发
恢复后:
→ 继续按 cron
→ 错过的任务:
- 配 misfire 补跑 → 立即补跑
- 不配 → 跳过
代码或图示
misfire 策略:
立即补跑 / 跳过 / 按时间策略
常见误区
- 误区:调度中心故障错过任务自动补跑。要配 misfire 策略,否则跳过。
- 误区:调度中心集群就不会故障。集群是多实例,整个集群(含 MySQL)故障仍会停。
追问
- 问:misfire 怎么配?答:重要任务配立即补跑,非重要任务跳过。
- 问:补跑导致并发怎么办?答:阻塞策略单机串行,避免重复。
09.11.4-005 执行器故障怎么转移?
一句话结论
执行器故障时,调度中心按路由策略(故障转移)选其他在线执行器;任务失败后调度中心重试或告警;执行器故障不影响调度中心,只影响该执行器上正在跑的任务。
概念解释
- 故障转移:路由到其他执行器。
- 任务重试:失败任务重试。
- 告警:执行器不心跳,告警。
原理流程
执行器 A 故障
→ 正在跑的任务失败
→ 调度中心按路由策略(故障转移)选 B
→ 重试任务
代码或图示
故障转移:
A 故障 → B 接管
任务重试
常见误区
- 误区:执行器故障任务自动恢复。正在跑的任务失败,要重试或重新触发。
- 误区:故障转移要手动配。路由策略选故障转移即可自动。
追问
- 问:执行器故障怎么发现?答:心跳超时,调度中心摘除。
- 问:正在跑的任务状态?答:标记失败,调度中心记录日志。
09.11.4-006 错过的任务怎么补?
一句话结论
错过任务补跑策略:misfire 配置决定立即补跑、跳过、或按时间策略;重要任务补跑(数据不丢),非重要任务跳过(避免补跑压垮系统);补跑要考虑阻塞策略(单机串行)。
概念解释
- misfire:错过触发时间的处理策略。
- 补跑:立即执行错过的任务。
- 阻塞:补跑和下次触发冲突时,单机串行。
原理流程
调度中心故障 30 分钟
→ 错过 3 次触发
恢复后:
misfire = 立即补跑 → 立即跑 1 次(不是 3 次)
misfire = 跳过 → 跳过
代码或图示
misfire 策略:
立即补跑(跑一次)
跳过
按时间间隔策略
常见误区
- 误区:错过几次补跑几次。通常只补跑一次(最新一次),不是每次都补。
- 误区:所有任务都补跑。补跑可能压垮系统,非重要任务跳过。
追问
- 问:补跑和下次触发冲突怎么办?答:阻塞策略单机串行,避免并发。
- 问:补跑数据重复吗?答:业务幂等,补跑不产生重复数据。
09.11.4-007 调度系统监控哪些指标?
一句话结论
监控指标:任务执行成功率、执行时长、调度延迟、执行器在线数、任务积压、失败告警;成功率和执行时长是核心,调度延迟反映调度中心负载,积压反映执行器能力。
概念解释
- 成功率:成功任务数 / 总任务数。
- 执行时长:P50/P99 耗时。
- 调度延迟:cron 时间到实际触发的延迟。
- 积压:排队等待执行的任务数。
原理流程
监控:
成功率 < 99% → 告警
执行时长 P99 > 阈值 → 告警
调度延迟 > 阈值 → 调度中心负载高
积压 > 阈值 → 执行器能力不足
代码或图示
核心指标:
- 任务成功率
- 执行时长 P99
- 调度延迟
- 执行器在线数
- 失败任务数
常见误区
- 误区:只监控成功率。成功率低可能偶发,执行时长和积压反映趋势。
- 误区:调度延迟不重要。调度延迟高说明调度中心负载高,要扩容。
追问
- 问:告警怎么配?答:成功率、失败数、执行时长阈值告警。
- 问:任务失败怎么通知?答:邮件/钉钉/企微通知值班。
09.11.4-008 任务积压怎么办?
一句话结论
任务积压原因:任务量大、执行器不足、单任务慢;解决:增加执行器实例、优化慢任务、拆分大任务为小任务、错峰调度;积压是执行能力不足的信号。
概念解释
- 积压:排队等待执行的任务数。
- 原因:任务多、执行器少、任务慢。
- 解决:扩执行器、优化任务、错峰。
原理流程
积压:
任务产生速度 > 执行速度
→ 队列堆积
解决:
加执行器 → 提高执行速度
优化任务 → 单任务更快
错峰 → 分散任务产生
代码或图示
积压处理:
1. 看哪些任务慢
2. 优化慢任务
3. 加执行器
4. 错峰调度
常见误区
- 误区:积压就加执行器。先看是不是单任务慢,加执行器不解决慢任务。
- 误区:所有任务同时跑。错峰调度,避免高峰。
追问
- 问:积压怎么发现?答:监控排队任务数,超过阈值告警。
- 问:大任务怎么拆分?答:分片广播,多个执行器并行。
09.11.4-009 调度中心集群怎么选主?
一句话结论
XXL-Job 调度中心集群不选主,每个实例都能调度,靠数据库行锁保证同一任务只被一个实例触发;Elastic-Job 用 ZK 选主;选主是为了避免重复触发,数据库锁或 ZK 都能实现。
概念解释
- XXL-Job:无主,数据库锁。
- Elastic-Job:ZK 选主。
- 目标:同一任务只触发一次。
原理流程
XXL-Job:
多实例都能调度
数据库行锁 → 同一任务一个实例触发
Elastic-Job:
ZK 选主
→ 主节点调度,备节点待命
代码或图示
对比:
XXL-Job:无主,数据库锁
Elastic-Job:ZK 选主
常见误区
- 误区:调度中心一定要选主。XXL-Job 无主,靠数据库锁,更简单。
- 误区:数据库锁性能差。任务量不大时数据库锁足够。
追问
- 问:什么时候用 ZK 选主?答:Elastic-Job 等基于 ZK 的系统。
- 问:数据库锁失败怎么办?答:重试,锁超时自动释放。
09.11.4-010 分片一致性怎么保证?
一句话结论
分片一致性指扩缩容时不重不漏;按 shardIndex % shardTotal 取数保证每个 ID 只属于一个分片;扩缩容后分片数变化,下次触发按新分片取数;扩缩容期间正在跑的任务按旧分片跑完,不重复。
概念解释
- 不重不漏:每个 ID 只被一个分片处理。
- 取模:ID % shardTotal = shardIndex。
- 扩缩容:下次触发按新分片。
原理流程
3 分片:
ID % 3 = 0 → 分片 0
ID % 3 = 1 → 分片 1
ID % 3 = 2 → 分片 2
扩到 5 分片:
ID % 5 = ...
→ 每个 ID 只属于一个新分片
代码或图示
取模分片:
保证不重不漏
扩缩容后自然按新分片
常见误区
- 误区:按 ID 范围分片。范围分片扩缩容要迁移数据,取模不需要。
- 误区:扩缩容数据重复。按取模,每个 ID 只属于一个分片,不重复。
追问
- 问:取模不均怎么办?答:哈希函数散列,或按业务 ID 范围。
- 问:扩缩容时数据迁移?答:取模分片不需要迁移,下次触发自动按新分片。
待整理清单
- [ ] 调度系统监控大盘
- [ ] 分片扩缩容案例
- [ ] 调度故障演练