罗罗编程学习记录
本页内容 展开查看

09.11.3 任务幂等重试与补偿

所属:全栈开发面试题库 / 09 高阶架构:高并发与分布式 / 09.11 分布式任务调度

覆盖范围

  • 任务幂等设计
  • 重试策略:间隔、次数、退避
  • 补偿事务:反向操作
  • 死信队列与人工介入
  • 幂等键与状态机

高频题速览

编号 题目 难度 频率
09.11.3-001 任务幂等怎么设计 进阶 ★★★★★
09.11.3-002 幂等键怎么选 进阶 ★★★★☆
09.11.3-003 重试策略怎么配 进阶 ★★★★☆
09.11.3-004 指数退避是什么 基础 ★★★☆☆
09.11.3-005 补偿事务怎么做 进阶 ★★★★☆
09.11.3-006 死信队列是什么 基础 ★★★★☆
09.11.3-007 任务状态机怎么设计 进阶 ★★★★☆
09.11.3-008 重试和补偿的区别 基础 ★★★★☆
09.11.3-009 人工介入流程 进阶 ★★★☆☆
09.11.3-010 幂等和事务的关系 进阶 ★★★☆☆

09.11.3-001 任务幂等怎么设计?

一句话结论

幂等是同一任务执行多次结果和执行一次一样;设计方式:业务主键去重(order_id 唯一)、状态机(只有特定状态才能执行)、幂等表(记录已处理的请求 ID);核心是"重复执行不产生副作用"。

概念解释

  • 幂等:多次执行结果相同。
  • 业务主键:order_id、request_id 唯一标识。
  • 状态机:只有 PENDING 状态才能转 PAID,重复 PAY 不生效。

原理流程

方式 1:幂等表
  请求 → 查幂等表 request_id
  → 已存在 → 返回上次结果
  → 不存在 → 执行,记录 request_id
方式 2:状态机
  只有 PENDING → PAID,重复 PAID 请求忽略

代码或图示

-- 幂等表
CREATE TABLE idempotent_record (
  request_id VARCHAR(64) PRIMARY KEY,
  result TEXT,
  created_at TIMESTAMP
);
-- 执行前:
SELECT * FROM idempotent_record WHERE request_id = ?;
-- 已存在 → 直接返回
-- 不存在 → 执行 → 插入记录

常见误区

  • 误区:幂等就是不重复执行。幂等是重复执行结果相同,不是不执行。
  • 误区:所有任务都需要幂等。查询类任务天然幂等,写操作需要设计幂等。

追问

  • 问:幂等表和业务事务怎么放?答:同一事务,先插幂等记录,再执行业务,避免并发。
  • 问:幂等表存多久?答:按业务要求,通常 7~30 天。

09.11.3-002 幂等键怎么选?

一句话结论

幂等键选业务唯一标识:order_id、payment_id、request_id;不要用自增 ID(每次不同);客户端生成的 request_id 是最可靠的幂等键,业务主键(order_id)是次选;键要能唯一标识一笔业务操作。

概念解释

  • 业务主键:order_id、payment_id。
  • request_id:客户端生成,唯一标识一次请求。
  • 不选:自增 ID、时间戳(可能重复)。

原理流程

客户端下单:
  生成 request_id(UUID)
  带 request_id 调下单接口
服务端:
  按 request_id 查幂等表
  重复请求 → 返回上次结果

代码或图示

好的幂等键:
  - request_id (客户端 UUID)
  - order_id (业务唯一)
不好的幂等键:
  - auto_increment id
  - timestamp (同一毫秒可能重复)

常见误区

  • 误区:用时间戳做幂等键。时间戳可能重复,尤其并发请求。
  • 误区:服务端生成幂等键。服务端生成的键每次不同,客户端重试时无法复用,要客户端生成。

追问

  • 问:客户端怎么生成 request_id?答:UUID 或雪花算法,每次请求唯一。
  • 问:跨服务怎么传?答:HTTP Header 或消息体,全链路传递。

09.11.3-003 重试策略怎么配?

一句话结论

重试策略:重试次数(3~5 次)、重试间隔(固定或指数退避)、超时时间;重试要区分可重试错误(网络超时、5xx)和不可重试错误(参数错误、4xx);不可重试错误直接失败,不重试。

概念解释

  • 重试次数:最多重试几次。
  • 重试间隔:固定间隔或指数退避。
  • 可重试错误:网络超时、502、503。
  • 不可重试错误:400、401、业务错误。

原理流程

调用外部服务:
  失败 → 判断错误类型
  可重试 → 等间隔重试
  不可重试 → 直接抛错

代码或图示

// 重试配置
RetryPolicy policy = RetryPolicy.builder()
    .handle(TimeoutException.class)  // 可重试
    .handle(ServerErrorException.class)
    .retryOnResult(response -> response.statusCode() == 503)
    .abortOn(ClientErrorException.class)  // 不可重试
    .withBackoff(1, 30, ChronoUnit.SECONDS)  // 指数退避
    .withMaxRetries(5)
    .build();

常见误区

  • 误区:所有错误都重试。参数错误、业务错误重试也没用,浪费资源。
  • 误区:重试次数越多越好。重试太多雪崩,要有限制和退避。

追问

  • 问:重试多久?答:指数退避,1s、2s、4s、8s、16s,最多 5 次。
  • 问:重试导致雪崩怎么办?答:指数退避 + 抖动,避免同时重试。

09.11.3-004 指数退避是什么?

一句话结论

指数退避是重试间隔按指数增长:1s、2s、4s、8s、16s;避免所有客户端同时重试导致服务雪崩;加抖动(jitter)随机化间隔,进一步避免同时重试。

概念解释

  • 指数退避:间隔 = base * 2^n。
  • 抖动:在间隔基础上加随机量。
  • 避免雪崩:所有客户端不同时重试。

原理流程

第 1 次重试:1s
第 2 次:2s
第 3 次:4s
第 4 次:8s
+ 抖动:±20% 随机

代码或图示

间隔 = min(max_interval, base * 2^n)
  + random(0, jitter)

常见误区

  • 误区:固定间隔重试。固定间隔所有客户端同时重试,雪崩。
  • 误区:指数退避不需要抖动。不加抖动,所有客户端仍按相同间隔重试,加抖动打散。

追问

  • 问:最大间隔多少?答:通常 30s 或 60s,避免等太久。
  • 问:重试总时长?答:1+2+4+8+16 = 31s,加上业务超时,总时长可控。

09.11.3-005 补偿事务怎么做?

一句话结论

补偿是某步骤失败后,执行反向操作:已扣库存就回补、已冻结金额就解冻;补偿不是数据库回滚,是业务级反向操作;Saga 模式中每个步骤都有对应补偿,详见 09.6.1.3。

概念解释

  • 补偿操作:业务级反向操作。
  • 触发:步骤失败或超时。
  • 幂等:补偿也要幂等,可能重试。

原理流程

步骤 A:扣库存
步骤 B:支付(失败)
  → 补偿 A:回补库存

代码或图示

Saga:
  T1: 扣库存 → C1: 回补库存
  T2: 扣款 → C2: 退款
  T3: 发通知 → C3: (无需补偿)

常见误区

  • 误区:补偿就是数据库 ROLLBACK。补偿是业务操作,不是数据库事务。
  • 误区:补偿一定成功。补偿也可能失败,要重试和人工介入。

追问

  • 问:补偿失败怎么办?答:重试 + 死信 + 人工介入,详见 09.11.3-009。
  • 问:补偿和 TCC 区别?答:TCC 是 Try-Confirm-Cancel,补偿是 Saga 反向操作,详见 09.6.1.2。

09.11.3-006 死信队列是什么?

一句话结论

死信队列(DLQ)是重试多次仍失败的任务进入的队列:不再自动重试,等人工或补偿任务处理;死信队列是兜底,避免失败任务无限重试占资源。

概念解释

  • 死信:多次重试失败的消息。
  • DLQ:存放死信的队列。
  • 处理:人工排查或补偿任务重新投递。

原理流程

消息 → 重试 5 次仍失败
  → 进入死信队列
  → 告警通知
  → 人工处理或补偿任务

代码或图示

正常队列 → 重试 → 死信队列
死信队列 → 告警 → 人工/补偿

常见误区

  • 误区:死信队列自动处理。死信队列是兜底,需要人工或补偿任务介入。
  • 误区:死信队列不重要。没有死信队列,失败任务无限重试,占资源且无法排查。

追问

  • 问:死信消息怎么处理?答:人工排查原因,修复后重新投递;或写补偿任务自动处理。
  • 问:死信队列存多久?答:长期保留,直到人工处理。

09.11.3-007 任务状态机怎么设计?

一句话结论

任务状态机:PENDING → RUNNING → SUCCESS / FAILED;状态转换有方向,只有特定状态才能转换;幂等靠状态机保证(只有 PENDING 才能转 RUNNING);状态持久化到 DB,故障恢复时从当前状态继续。

概念解释

  • 状态:PENDING、RUNNING、SUCCESS、FAILED。
  • 转换:PENDING → RUNNING → SUCCESS。
  • 幂等:状态机防止重复转换。

原理流程

PENDING → RUNNING(执行)
  RUNNING → SUCCESS(成功)
  RUNNING → FAILED(失败)
  FAILED → RUNNING(重试)

代码或图示

-- 状态机
UPDATE task SET status = 'RUNNING'
WHERE id = ? AND status = 'PENDING';
-- 影响行数 = 0 → 已在执行,不重复跑

常见误区

  • 误区:状态机靠代码 if/else 保证。状态转换要在数据库层用 WHERE status = 'PENDING' 原子更新。
  • 误区:FAILED 状态不能重试。FAILED 可以转 RUNNING 重试,但要有限制。

追问

  • 问:状态存哪?答:数据库,任务表带 status 字段。
  • 问:超时任务怎么处理?答:定时扫描 RUNNING 超时的任务,标记 FAILED 或重新调度。

09.11.3-008 重试和补偿有什么区别?

一句话结论

重试是同一任务失败后再跑一次(解决临时故障);补偿是任务失败后执行反向操作(回滚已完成的步骤);重试解决"这次没跑成",补偿解决"已完成的步骤要回退"。

概念解释

  • 重试:同一任务再跑。
  • 补偿:反向操作回退。
  • 区别:重试是正向再试,补偿是反向回退。

原理流程

重试:
  任务失败 → 再跑一次
补偿:
  步骤 A 成功,步骤 B 失败
  → 执行 A 的反向操作

代码或图示

重试:临时故障 → 再跑
补偿:业务失败 → 回退已完成步骤

常见误区

  • 误区:重试就是补偿。重试是再跑,补偿是回退,目标不同。
  • 误区:补偿不需要重试。补偿也可能失败,要重试 + 死信。

追问

  • 问:什么场景重试?答:网络超时、5xx 临时故障。
  • 问:什么场景补偿?答:业务流程中某步骤失败,前面步骤要回退。

09.11.3-009 人工介入流程是什么?

一句话结论

人工介入流程:死信队列告警 → 值班人员排查原因 → 修复数据或重新触发 → 验证结果;人工介入是最后兜底,自动化解决不了才人工;要有操作记录和审批,避免误操作。

概念解释

  • 告警:死信队列消息通知值班。
  • 排查:查日志、查数据、找根因。
  • 处理:修复后重新投递或补数据。

原理流程

死信 → 告警 → 值班排查
  → 根因修复
  → 重新投递/补数据
  → 验证

代码或图示

人工介入清单:
  [ ] 告警收到
  [ ] 日志排查
  [ ] 数据修复
  [ ] 重新触发
  [ ] 结果验证

常见误区

  • 误区:人工介入随便改。人工操作要审批、记录、备份,避免误操作。
  • 误区:所有失败都人工。能自动化补偿的不要人工,人工是兜底。

追问

  • 问:人工操作怎么审计?答:操作记录留痕,谁、什么时候、改了什么。
  • 问:常见人工介入场景?答:外部系统故障、数据错误、边界 case。

09.11.3-010 幂等和事务有什么关系?

一句话结论

事务保证单个操作原子性(全部成功或全部失败);幂等保证重复操作结果相同;事务内可以做幂等(先插幂等记录再执行业务,同一事务);跨服务事务靠幂等 + 补偿实现最终一致,不是数据库事务。

概念解释

  • 事务:单库原子性。
  • 幂等:重复操作结果相同。
  • 关系:事务内做幂等,跨服务靠幂等 + 补偿。

原理流程

单库事务:
  BEGIN
  INSERT idempotent_record (request_id)
  INSERT order (...)
  COMMIT
跨服务:
  服务 A 本地事务 + 幂等
  服务 B 本地事务 + 幂等
  最终一致靠事件 + 补偿

代码或图示

事务内幂等:
  BEGIN
    INSERT INTO idempotent ...
    INSERT INTO order ...
  COMMIT

常见误区

  • 误区:幂等就是事务。事务是单库原子性,幂等是重复操作结果相同,概念不同。
  • 误区:跨服务能用事务。跨服务没有分布式事务(除非 2PC/TCC),靠幂等 + 补偿。

追问

  • 问:幂等记录和业务数据同一事务吗?答:同一事务,避免并发插入重复。
  • 问:跨服务幂等怎么做?答:每个服务自己幂等,靠业务主键和状态机。

待整理清单

  • [ ] 幂等表设计示例
  • [ ] 重试与补偿框架
  • [ ] 人工介入 SOP