05.14.3 数据迁移
所属:全栈开发面试题库 / 05 数据库与存储 / 05.14 中间件与迁移
覆盖范围
- 双写、迁移、切流
- 数据校验与对账
- 回滚预案
- 全量+增量迁移
- 常见风险
高频题速览
| 编号 | 题目 | 难度 | 频率 |
|---|---|---|---|
| 05.14.3-001 | 数据库迁移整体流程 | 进阶 | ★★★★★ |
| 05.14.3-002 | 双写怎么设计 | 进阶 | ★★★★ |
| 05.14.3-003 | 数据校验怎么做 | 进阶 | ★★★★ |
| 05.14.3-004 | 切流与回滚怎么预案 | 进阶 | ★★★★ |
| 05.14.3-005 | 全量迁移期间增量怎么追 | 进阶 | ★★★ |
05.14.3-001 数据库迁移整体流程是什么?
频率 ★★★★★ | 难度 进阶
一句话结论
评估数据量 → 全量迁移 → 增量同步(CDC)→ 双写校验 → 切读 → 切写 → 观察期 → 下线旧库;每步可回滚。
原理流程
- 评估:表大小、行数、停机窗口。
- 全量:批量导出导入。
- 增量:CDC 同步 binlog。
- 校验:行数、checksum、业务抽样。
- 切流:灰度切读,再切写。
05.14.3-002 双写怎么设计?
频率 ★★★★ | 难度 进阶
一句话结论
新老库同时写,以老库为准;双写失败不能影响业务,新库写失败异步补偿;双写期间新库只读不做业务判断。
05.14.3-003 数据校验怎么做?
频率 ★★★★ | 难度 进阶
一句话结论
行数校验、整表 checksum、按主键抽样对比、业务指标对账(如订单金额总和);差异记录并修复。
05.14.3-004 切流与回滚怎么预案?
频率 ★★★★ | 难度 进阶
一句话结论
灰度切流(1%→10%→50%→100%),每档观察错误率和延迟;发现问题立刻切回老库;切流期间老库保留写能力。
05.14.3-005 全量迁移期间增量怎么追?
频率 ★★★ | 难度 进阶
一句话结论
全量导出时记录 binlog 位点,全量完成后从该位点用 CDC 追增量,直到新老库延迟接近零再切流。
05.14.3-006 迁移期间自增主键冲突怎么办?
频率 ★★★ | 难度 进阶
一句话结论
新老库双写时自增 ID 会冲突;处理:新库起始 ID 设偏移量、或迁移后用分布式 ID、或新库只写不读老 ID 段。
05.14.3-007 字符集和类型转换问题?
频率 ★★ | 难度 进阶
一句话结论
老库 latin1 存中文、datetime 精度不同、decimal 精度差异,迁移时容易乱码或精度丢失;先做类型映射评估,预发验证。
05.14.3-008 迁移后多久下线老库?
频率 ★★ | 难度 基础
一句话结论
切流后观察 1~2 周,错误率为零、延迟正常、业务确认无问题再下线;保留老库只读 1 个月作为回滚兜底。
05.14.3-009 迁移遇到数据不一致怎么修?
频率 ★★ | 难度 进阶
一句话结论
对账发现差异记录差异表,按业务主键修复(以新库或老库为准);不要批量重导,定位差异原因后修。
05.14.3-010 跨云迁移怎么做?
频率 ★★ | 难度 进阶
一句话结论
跨云迁移走专线或公网(加密),带宽是瓶颈;先迁冷数据,再迁热数据,最后追增量;用 DTS/DataX 等工具自动同步。
典型场景与代码示例
迁移流程时间线
Day 0: 评估数据量、表结构、停机窗口
Day 1-3: 全量迁移(导出导入),记录 binlog 位点
Day 4-7: CDC 增量同步,追平延迟
Day 8: 数据校验(行数、checksum、抽样)
Day 9: 灰度切读(1% -> 10% -> 50%)
Day 10: 切写,老库保留只读
Day 17: 观察期结束,下线老库
数据校验
-- 行数对比
SELECT count(*) FROM old_db.orders;
SELECT count(*) FROM new_db.orders;
-- Checksum 对比
CHECKSUM TABLE old_db.orders;
CHECKSUM TABLE new_db.orders;
-- 抽样对比
SELECT * FROM old_db.orders WHERE id IN (随机100个ID);
SELECT * FROM new_db.orders WHERE id IN (相同ID);
回滚预案
切流后发现问题:
1. 立即把流量切回老库(老库仍保留写能力)
2. 排查问题原因
3. 修复后重新校验
4. 再次切流或继续观察
老库下线前保留只读 1 个月
面试高频追问
问:迁移最大的风险是什么?
答:数据不一致和切流后业务异常;通过校验对账和灰度切流降低风险。
问:双写怎么保证一致性?
答:以老库为准,新库写失败异步补偿;双写期间新库只读不做业务判断。
问:什么时候下线老库?
答:切流后观察 1-2 周,错误率为零、延迟正常再下线;保留老库只读 1 个月作为回滚兜底。
问:迁移期间自增主键冲突怎么办?
答:新库起始 ID 设偏移量,或用分布式 ID;双写时新老库自增会冲突。
核心要点速记
| 阶段 | 动作 |
|---|---|
| 全量 | 导出导入,记录 binlog 位点 |
| 增量 | CDC 追平延迟 |
| 校验 | 行数、checksum、抽样 |
| 切流 | 灰度 1%->10%->50%->100% |
| 回滚 | 切回老库,老库保留只读 1 月 |
一句话记忆:迁移是灰度+校验+回滚;不要一把切流。
相关概念辨析
双写 vs CDC
- 双写:应用层同时写两个库。
- CDC:数据库层同步 binlog。
- 选择:双写简单但有失败补偿;CDC 可靠但复杂。
切流 vs 回滚
- 切流:流量从老系统切到新系统。
- 回滚:切流失败后切回老系统。
- 选择:先灰度切流,观察无问题再全量。
05.14.3-009 双写的数据一致性怎么保证?
频率 ★★★★ | 难度 进阶
一句话结论
双写:应用同时写老库和新库;失败要补偿;用对账任务校验一致性。
概念解释
- 双写:应用同时写老库和新库。
- 失败补偿:新库写失败,重试或记录日志。
- 对账:定时校验老库和新库数据一致性。
原理流程
- 双写:写老库成功,写新库。
- 新库失败:重试,失败记录日志。
- 对账:定时校验老库和新库数据。
常见误区
- 误区:双写就是两个都写。正解:双写要保证一致,失败要补偿。
追问延伸
- 双写方式:应用层双写,或 CDC 同步。
- 对账:定时校验,不一致补偿。
05.14.3-010 数据校验有哪些具体方法?
频率 ★★★ | 难度 进阶
一句话结论
数据校验:1)行数对比;2)关键字段校验和;3)抽样比对;4)全量比对。
概念解释
- 行数对比:COUNT(*) 是否一致。
- 关键字段校验和:SUM(amount) 是否一致。
- 抽样比对:随机抽 100 行比对。
- 全量比对:所有行比对。
原理流程
- 行数对比:SELECT COUNT(*) 是否一致。
- 关键字段校验和:SUM(amount) 是否一致。
- 抽样比对:随机抽 100 行比对。
常见误区
- 误区:数据校验就是行数对。正解:行数对不代表数据一致,要校验关键字段。
追问延伸
- 校验和:SUM(amount)、COUNT(DISTINCT user_id)。
- 抽样:随机抽 100 行比对。
05.14.3-011 灰度切流怎么分步?
频率 ★★★ | 难度 进阶
一句话结论
灰度切流:1)1% 流量到新系统;2)观察无问题;3)10% -> 50% -> 100%;每步观察。
概念解释
- 灰度切流:逐步把流量切到新系统。
- 观察:每步观察性能和错误率。
- 回滚:切流失败,切回老系统。
原理流程
- 1% 流量:切 1% 到新系统。
- 观察:观察性能和错误率。
- 逐步:10% -> 50% -> 100%。
常见误区
- 误区:切流就是改配置。正解:切流要灰度,观察无问题再全量。
追问延伸
- 灰度比例:1% -> 10% -> 50% -> 100%。
- 回滚:切流失败,切回老系统。
05.14.3-012 迁移回滚的预案是什么?
频率 ★★ | 难度 进阶
一句话结论
回滚预案:1)切流是可逆的;2)老系统保持运行;3)回滚步骤:切回老系统 -> 排查问题 -> 重新切流。
概念解释
- 切流可逆:切流是配置,可切回。
- 老系统保持:迁移期间老系统保持运行。
- 回滚步骤:切回老系统 -> 排查问题。
原理流程
- 切流:流量到新系统。
- 回滚:切回老系统。
- 排查:排查问题,重新切流。
常见误区
- 误区:迁移完就下线老系统。正解:迁移后观察几天,确认无问题再下线。
追问延伸
- 回滚步骤:切回老系统 -> 排查问题。
- 观察期:迁移后观察 3~7 天。
待整理清单
- [ ] 大表迁移工具(DTS/DataX)
- [ ] 字符集与类型转换问题
- [ ] 迁移期间自增主键冲突