罗罗编程学习记录
本页内容 展开查看

09.11.4 调度系统高可用与分片扩容

所属:全栈开发面试题库 / 09 高阶架构:高并发与分布式 / 09.11 分布式任务调度

覆盖范围

  • 调度中心高可用
  • 执行器水平扩展
  • 任务分片与扩缩容
  • 故障转移与任务恢复
  • 调度系统监控

高频题速览

编号 题目 难度 频率
09.11.4-001 调度中心高可用怎么做 进阶 ★★★★☆
09.11.4-002 执行器怎么水平扩展 基础 ★★★★☆
09.11.4-003 任务分片怎么扩缩容 进阶 ★★★☆☆
09.11.4-004 调度中心故障怎么办 进阶 ★★★☆☆
09.11.4-005 执行器故障怎么转移 进阶 ★★★★☆
09.11.4-006 错过的任务怎么补 进阶 ★★★☆☆
09.11.4-007 调度系统监控哪些指标 基础 ★★★☆☆
09.11.4-008 任务积压怎么办 进阶 ★★★☆☆
09.11.4-009 调度中心集群选主 进阶 ★★★☆☆
09.11.4-010 分片一致性怎么保证 高级 ★★★☆☆

09.11.4-001 调度中心高可用怎么做?

一句话结论

调度中心集群部署:多个实例连同一个 MySQL,通过数据库行锁或分布式锁保证同一任务只被一个实例触发;MySQL 做主从;调度中心无状态,任意实例故障不影响调度;执行器注册到所有实例。

概念解释

  • 无状态:调度中心不存状态,状态在 MySQL。
  • 数据库锁:同一任务只被一个实例触发。
  • MySQL 主从:持久化层高可用。

原理流程

多个调度中心实例:
  触发任务时 SELECT ... FOR UPDATE
  → 只有一个实例拿到锁
  → 触发调度
  其他实例跳过

代码或图示

高可用架构:
  调度中心集群(无状态)
  MySQL 主从(持久化)
  执行器注册到所有实例

常见误区

  • 误区:调度中心集群用 ZK 选主。XXL-Job 用数据库锁,不用 ZK。
  • 误区:MySQL 单点无所谓。MySQL 挂了调度中心不可用,要做主从。

追问

  • 问:调度中心实例数?答:2~3 个足够,无状态可水平扩展。
  • 问:数据库锁性能?答:任务量不大时数据库锁足够,任务量大时用分布式锁(Redis)。

09.11.4-002 执行器怎么水平扩展?

一句话结论

执行器无状态,启动时注册到调度中心;新增执行器实例自动注册,调度中心下次触发时按路由策略选新实例;执行器可以随时扩缩容,不需要重启调度中心。

概念解释

  • 无状态执行器:业务状态在 DB,不在执行器内存。
  • 自动注册:启动时上报调度中心。
  • 心跳:定期心跳,调度中心摘除不心跳的执行器。

原理流程

1. 新执行器启动 → 注册到调度中心
2. 调度中心维护在线执行器列表
3. 下次触发 → 路由策略选执行器
4. 执行器下线 → 心跳超时 → 摘除

代码或图示

扩展:
  执行器 1、2、3 在线
  加执行器 4 → 自动注册
  → 下次触发可路由到 4

常见误区

  • 误区:执行器扩展要重启调度中心。执行器自动注册,调度中心不需要重启。
  • 误区:执行器有状态。执行器无状态,业务状态在 DB,否则扩展时状态丢失。

追问

  • 问:执行器扩缩容怎么通知调度中心?答:心跳 + 注册,调度中心自动发现。
  • 问:执行器下线任务怎么办?答:调度中心按路由策略(故障转移)选其他执行器。

09.11.4-003 任务分片怎么扩缩容?

一句话结论

分片广播任务的分片数等于在线执行器数;扩缩容时,下次触发分片数自动变化,业务按 shardIndex/shardTotal 处理;扩缩容期间正在跑的任务不受影响,下次触发按新分片数。

概念解释

  • 分片数 = 在线执行器数。
  • 下次触发:分片数自动更新。
  • 正在跑的任务:不受扩缩容影响。

原理流程

3 个执行器 → 分片数 3
扩到 5 个 → 下次触发分片数 5
业务按 shardIndex % shardTotal 取数

代码或图示

扩缩容:
  3 → 5 执行器
  正在跑的任务:按旧分片数 3
  下次触发:按新分片数 5

常见误区

  • 误区:扩缩容要手动配分片数。分片数自动等于执行器数,不需要手动配。
  • 误区:扩缩容影响正在跑的任务。正在跑的任务按旧分片跑完,下次触发按新分片。

追问

  • 问:分片不均怎么办?答:按 ID 取模,ID 分布不均用哈希。
  • 问:扩缩容时数据重复吗?答:下次触发按新分片取数,不重复(按 shardIndex % shardTotal)。

09.11.4-004 调度中心故障怎么办?

一句话结论

调度中心故障期间,任务不触发(错过的任务不会自动补跑,除非配错过策略);调度中心恢复后继续按 cron 触发;如果调度中心集群部署,单个实例故障不影响,其他实例继续。

概念解释

  • 故障期间:任务不触发。
  • 恢复后:继续按 cron。
  • 错过策略:配 "misfire",决定错过的任务是否补跑。

原理流程

调度中心故障 30 分钟
  → 期间定时任务不触发
恢复后:
  → 继续按 cron
  → 错过的任务:
    - 配 misfire 补跑 → 立即补跑
    - 不配 → 跳过

代码或图示

misfire 策略:
  立即补跑 / 跳过 / 按时间策略

常见误区

  • 误区:调度中心故障错过任务自动补跑。要配 misfire 策略,否则跳过。
  • 误区:调度中心集群就不会故障。集群是多实例,整个集群(含 MySQL)故障仍会停。

追问

  • 问:misfire 怎么配?答:重要任务配立即补跑,非重要任务跳过。
  • 问:补跑导致并发怎么办?答:阻塞策略单机串行,避免重复。

09.11.4-005 执行器故障怎么转移?

一句话结论

执行器故障时,调度中心按路由策略(故障转移)选其他在线执行器;任务失败后调度中心重试或告警;执行器故障不影响调度中心,只影响该执行器上正在跑的任务。

概念解释

  • 故障转移:路由到其他执行器。
  • 任务重试:失败任务重试。
  • 告警:执行器不心跳,告警。

原理流程

执行器 A 故障
  → 正在跑的任务失败
  → 调度中心按路由策略(故障转移)选 B
  → 重试任务

代码或图示

故障转移:
  A 故障 → B 接管
  任务重试

常见误区

  • 误区:执行器故障任务自动恢复。正在跑的任务失败,要重试或重新触发。
  • 误区:故障转移要手动配。路由策略选故障转移即可自动。

追问

  • 问:执行器故障怎么发现?答:心跳超时,调度中心摘除。
  • 问:正在跑的任务状态?答:标记失败,调度中心记录日志。

09.11.4-006 错过的任务怎么补?

一句话结论

错过任务补跑策略:misfire 配置决定立即补跑、跳过、或按时间策略;重要任务补跑(数据不丢),非重要任务跳过(避免补跑压垮系统);补跑要考虑阻塞策略(单机串行)。

概念解释

  • misfire:错过触发时间的处理策略。
  • 补跑:立即执行错过的任务。
  • 阻塞:补跑和下次触发冲突时,单机串行。

原理流程

调度中心故障 30 分钟
  → 错过 3 次触发
恢复后:
  misfire = 立即补跑 → 立即跑 1 次(不是 3 次)
  misfire = 跳过 → 跳过

代码或图示

misfire 策略:
  立即补跑(跑一次)
  跳过
  按时间间隔策略

常见误区

  • 误区:错过几次补跑几次。通常只补跑一次(最新一次),不是每次都补。
  • 误区:所有任务都补跑。补跑可能压垮系统,非重要任务跳过。

追问

  • 问:补跑和下次触发冲突怎么办?答:阻塞策略单机串行,避免并发。
  • 问:补跑数据重复吗?答:业务幂等,补跑不产生重复数据。

09.11.4-007 调度系统监控哪些指标?

一句话结论

监控指标:任务执行成功率、执行时长、调度延迟、执行器在线数、任务积压、失败告警;成功率和执行时长是核心,调度延迟反映调度中心负载,积压反映执行器能力。

概念解释

  • 成功率:成功任务数 / 总任务数。
  • 执行时长:P50/P99 耗时。
  • 调度延迟:cron 时间到实际触发的延迟。
  • 积压:排队等待执行的任务数。

原理流程

监控:
  成功率 < 99% → 告警
  执行时长 P99 > 阈值 → 告警
  调度延迟 > 阈值 → 调度中心负载高
  积压 > 阈值 → 执行器能力不足

代码或图示

核心指标:
  - 任务成功率
  - 执行时长 P99
  - 调度延迟
  - 执行器在线数
  - 失败任务数

常见误区

  • 误区:只监控成功率。成功率低可能偶发,执行时长和积压反映趋势。
  • 误区:调度延迟不重要。调度延迟高说明调度中心负载高,要扩容。

追问

  • 问:告警怎么配?答:成功率、失败数、执行时长阈值告警。
  • 问:任务失败怎么通知?答:邮件/钉钉/企微通知值班。

09.11.4-008 任务积压怎么办?

一句话结论

任务积压原因:任务量大、执行器不足、单任务慢;解决:增加执行器实例、优化慢任务、拆分大任务为小任务、错峰调度;积压是执行能力不足的信号。

概念解释

  • 积压:排队等待执行的任务数。
  • 原因:任务多、执行器少、任务慢。
  • 解决:扩执行器、优化任务、错峰。

原理流程

积压:
  任务产生速度 > 执行速度
  → 队列堆积
解决:
  加执行器 → 提高执行速度
  优化任务 → 单任务更快
  错峰 → 分散任务产生

代码或图示

积压处理:
  1. 看哪些任务慢
  2. 优化慢任务
  3. 加执行器
  4. 错峰调度

常见误区

  • 误区:积压就加执行器。先看是不是单任务慢,加执行器不解决慢任务。
  • 误区:所有任务同时跑。错峰调度,避免高峰。

追问

  • 问:积压怎么发现?答:监控排队任务数,超过阈值告警。
  • 问:大任务怎么拆分?答:分片广播,多个执行器并行。

09.11.4-009 调度中心集群怎么选主?

一句话结论

XXL-Job 调度中心集群不选主,每个实例都能调度,靠数据库行锁保证同一任务只被一个实例触发;Elastic-Job 用 ZK 选主;选主是为了避免重复触发,数据库锁或 ZK 都能实现。

概念解释

  • XXL-Job:无主,数据库锁。
  • Elastic-Job:ZK 选主。
  • 目标:同一任务只触发一次。

原理流程

XXL-Job:
  多实例都能调度
  数据库行锁 → 同一任务一个实例触发
Elastic-Job:
  ZK 选主
  → 主节点调度,备节点待命

代码或图示

对比:
  XXL-Job:无主,数据库锁
  Elastic-Job:ZK 选主

常见误区

  • 误区:调度中心一定要选主。XXL-Job 无主,靠数据库锁,更简单。
  • 误区:数据库锁性能差。任务量不大时数据库锁足够。

追问

  • 问:什么时候用 ZK 选主?答:Elastic-Job 等基于 ZK 的系统。
  • 问:数据库锁失败怎么办?答:重试,锁超时自动释放。

09.11.4-010 分片一致性怎么保证?

一句话结论

分片一致性指扩缩容时不重不漏;按 shardIndex % shardTotal 取数保证每个 ID 只属于一个分片;扩缩容后分片数变化,下次触发按新分片取数;扩缩容期间正在跑的任务按旧分片跑完,不重复。

概念解释

  • 不重不漏:每个 ID 只被一个分片处理。
  • 取模:ID % shardTotal = shardIndex。
  • 扩缩容:下次触发按新分片。

原理流程

3 分片:
  ID % 3 = 0 → 分片 0
  ID % 3 = 1 → 分片 1
  ID % 3 = 2 → 分片 2
扩到 5 分片:
  ID % 5 = ...
  → 每个 ID 只属于一个新分片

代码或图示

取模分片:
  保证不重不漏
  扩缩容后自然按新分片

常见误区

  • 误区:按 ID 范围分片。范围分片扩缩容要迁移数据,取模不需要。
  • 误区:扩缩容数据重复。按取模,每个 ID 只属于一个分片,不重复。

追问

  • 问:取模不均怎么办?答:哈希函数散列,或按业务 ID 范围。
  • 问:扩缩容时数据迁移?答:取模分片不需要迁移,下次触发自动按新分片。

待整理清单

  • [ ] 调度系统监控大盘
  • [ ] 分片扩缩容案例
  • [ ] 调度故障演练