罗罗编程学习记录
本页内容 展开查看

05.14.3 数据迁移

所属:全栈开发面试题库 / 05 数据库与存储 / 05.14 中间件与迁移

覆盖范围

  • 双写、迁移、切流
  • 数据校验与对账
  • 回滚预案
  • 全量+增量迁移
  • 常见风险

高频题速览

编号 题目 难度 频率
05.14.3-001 数据库迁移整体流程 进阶 ★★★★★
05.14.3-002 双写怎么设计 进阶 ★★★★
05.14.3-003 数据校验怎么做 进阶 ★★★★
05.14.3-004 切流与回滚怎么预案 进阶 ★★★★
05.14.3-005 全量迁移期间增量怎么追 进阶 ★★★

05.14.3-001 数据库迁移整体流程是什么?

频率 ★★★★★ | 难度 进阶

一句话结论

评估数据量 → 全量迁移 → 增量同步(CDC)→ 双写校验 → 切读 → 切写 → 观察期 → 下线旧库;每步可回滚。

原理流程

  1. 评估:表大小、行数、停机窗口。
  2. 全量:批量导出导入。
  3. 增量:CDC 同步 binlog。
  4. 校验:行数、checksum、业务抽样。
  5. 切流:灰度切读,再切写。

05.14.3-002 双写怎么设计?

频率 ★★★★ | 难度 进阶

一句话结论

新老库同时写,以老库为准;双写失败不能影响业务,新库写失败异步补偿;双写期间新库只读不做业务判断。


05.14.3-003 数据校验怎么做?

频率 ★★★★ | 难度 进阶

一句话结论

行数校验、整表 checksum、按主键抽样对比、业务指标对账(如订单金额总和);差异记录并修复。


05.14.3-004 切流与回滚怎么预案?

频率 ★★★★ | 难度 进阶

一句话结论

灰度切流(1%→10%→50%→100%),每档观察错误率和延迟;发现问题立刻切回老库;切流期间老库保留写能力。


05.14.3-005 全量迁移期间增量怎么追?

频率 ★★★ | 难度 进阶

一句话结论

全量导出时记录 binlog 位点,全量完成后从该位点用 CDC 追增量,直到新老库延迟接近零再切流。


05.14.3-006 迁移期间自增主键冲突怎么办?

频率 ★★★ | 难度 进阶

一句话结论

新老库双写时自增 ID 会冲突;处理:新库起始 ID 设偏移量、或迁移后用分布式 ID、或新库只写不读老 ID 段。


05.14.3-007 字符集和类型转换问题?

频率 ★★ | 难度 进阶

一句话结论

老库 latin1 存中文、datetime 精度不同、decimal 精度差异,迁移时容易乱码或精度丢失;先做类型映射评估,预发验证。


05.14.3-008 迁移后多久下线老库?

频率 ★★ | 难度 基础

一句话结论

切流后观察 1~2 周,错误率为零、延迟正常、业务确认无问题再下线;保留老库只读 1 个月作为回滚兜底。


05.14.3-009 迁移遇到数据不一致怎么修?

频率 ★★ | 难度 进阶

一句话结论

对账发现差异记录差异表,按业务主键修复(以新库或老库为准);不要批量重导,定位差异原因后修。


05.14.3-010 跨云迁移怎么做?

频率 ★★ | 难度 进阶

一句话结论

跨云迁移走专线或公网(加密),带宽是瓶颈;先迁冷数据,再迁热数据,最后追增量;用 DTS/DataX 等工具自动同步。

典型场景与代码示例

迁移流程时间线

Day 0: 评估数据量、表结构、停机窗口
Day 1-3: 全量迁移(导出导入),记录 binlog 位点
Day 4-7: CDC 增量同步,追平延迟
Day 8: 数据校验(行数、checksum、抽样)
Day 9: 灰度切读(1% -> 10% -> 50%)
Day 10: 切写,老库保留只读
Day 17: 观察期结束,下线老库

数据校验

-- 行数对比
SELECT count(*) FROM old_db.orders;
SELECT count(*) FROM new_db.orders;

-- Checksum 对比
CHECKSUM TABLE old_db.orders;
CHECKSUM TABLE new_db.orders;

-- 抽样对比
SELECT * FROM old_db.orders WHERE id IN (随机100个ID);
SELECT * FROM new_db.orders WHERE id IN (相同ID);

回滚预案

切流后发现问题:
1. 立即把流量切回老库(老库仍保留写能力)
2. 排查问题原因
3. 修复后重新校验
4. 再次切流或继续观察

老库下线前保留只读 1 个月

面试高频追问

问:迁移最大的风险是什么?

答:数据不一致和切流后业务异常;通过校验对账和灰度切流降低风险。

问:双写怎么保证一致性?

答:以老库为准,新库写失败异步补偿;双写期间新库只读不做业务判断。

问:什么时候下线老库?

答:切流后观察 1-2 周,错误率为零、延迟正常再下线;保留老库只读 1 个月作为回滚兜底。

问:迁移期间自增主键冲突怎么办?

答:新库起始 ID 设偏移量,或用分布式 ID;双写时新老库自增会冲突。

核心要点速记

阶段 动作
全量 导出导入,记录 binlog 位点
增量 CDC 追平延迟
校验 行数、checksum、抽样
切流 灰度 1%->10%->50%->100%
回滚 切回老库,老库保留只读 1 月

一句话记忆:迁移是灰度+校验+回滚;不要一把切流。

相关概念辨析

双写 vs CDC

  • 双写:应用层同时写两个库。
  • CDC:数据库层同步 binlog。
  • 选择:双写简单但有失败补偿;CDC 可靠但复杂。

切流 vs 回滚

  • 切流:流量从老系统切到新系统。
  • 回滚:切流失败后切回老系统。
  • 选择:先灰度切流,观察无问题再全量。

05.14.3-009 双写的数据一致性怎么保证?

频率 ★★★★ | 难度 进阶

一句话结论

双写:应用同时写老库和新库;失败要补偿;用对账任务校验一致性。

概念解释

  • 双写:应用同时写老库和新库。
  • 失败补偿:新库写失败,重试或记录日志。
  • 对账:定时校验老库和新库数据一致性。

原理流程

  1. 双写:写老库成功,写新库。
  2. 新库失败:重试,失败记录日志。
  3. 对账:定时校验老库和新库数据。

常见误区

  • 误区:双写就是两个都写。正解:双写要保证一致,失败要补偿。

追问延伸

  • 双写方式:应用层双写,或 CDC 同步。
  • 对账:定时校验,不一致补偿。

05.14.3-010 数据校验有哪些具体方法?

频率 ★★★ | 难度 进阶

一句话结论

数据校验:1)行数对比;2)关键字段校验和;3)抽样比对;4)全量比对。

概念解释

  • 行数对比:COUNT(*) 是否一致。
  • 关键字段校验和:SUM(amount) 是否一致。
  • 抽样比对:随机抽 100 行比对。
  • 全量比对:所有行比对。

原理流程

  1. 行数对比:SELECT COUNT(*) 是否一致。
  2. 关键字段校验和:SUM(amount) 是否一致。
  3. 抽样比对:随机抽 100 行比对。

常见误区

  • 误区:数据校验就是行数对。正解:行数对不代表数据一致,要校验关键字段。

追问延伸

  • 校验和:SUM(amount)、COUNT(DISTINCT user_id)。
  • 抽样:随机抽 100 行比对。

05.14.3-011 灰度切流怎么分步?

频率 ★★★ | 难度 进阶

一句话结论

灰度切流:1)1% 流量到新系统;2)观察无问题;3)10% -> 50% -> 100%;每步观察。

概念解释

  • 灰度切流:逐步把流量切到新系统。
  • 观察:每步观察性能和错误率。
  • 回滚:切流失败,切回老系统。

原理流程

  1. 1% 流量:切 1% 到新系统。
  2. 观察:观察性能和错误率。
  3. 逐步:10% -> 50% -> 100%。

常见误区

  • 误区:切流就是改配置。正解:切流要灰度,观察无问题再全量。

追问延伸

  • 灰度比例:1% -> 10% -> 50% -> 100%。
  • 回滚:切流失败,切回老系统。

05.14.3-012 迁移回滚的预案是什么?

频率 ★★ | 难度 进阶

一句话结论

回滚预案:1)切流是可逆的;2)老系统保持运行;3)回滚步骤:切回老系统 -> 排查问题 -> 重新切流。

概念解释

  • 切流可逆:切流是配置,可切回。
  • 老系统保持:迁移期间老系统保持运行。
  • 回滚步骤:切回老系统 -> 排查问题。

原理流程

  1. 切流:流量到新系统。
  2. 回滚:切回老系统。
  3. 排查:排查问题,重新切流。

常见误区

  • 误区:迁移完就下线老系统。正解:迁移后观察几天,确认无问题再下线。

追问延伸

  • 回滚步骤:切回老系统 -> 排查问题。
  • 观察期:迁移后观察 3~7 天。

待整理清单

  • [ ] 大表迁移工具(DTS/DataX)
  • [ ] 字符集与类型转换问题
  • [ ] 迁移期间自增主键冲突