03.7 阶段 6:分库分表与容量评估
所属:全栈开发面试题库 / 学习路径 / 03 MySQL 与 PostgreSQL
本页目录
一、阶段定位
读写分离把读流量分散了,但单库的写容量与单表数据量仍有上限。订单表到几千万、单库 TPS 到 5000 以上时,就要考虑分库分表。本阶段解决"什么时候该拆、怎么拆、拆了之后跨片查询怎么办、扩容怎么不停机"。
判断自己是否卡在本阶段:
- 一听到分库分表就觉得"高大上",但说不清单表多大该拆、单库多大该拆——这是容量判断没有标准。
- 知道按 user_id 取模分片,但没想过"按订单时间范围查"这种查询会扫所有分片——这是分片键与查询模式不匹配。
- 以为 ShardingSphere 能像黑盒一样解决所有跨片 JOIN——这是对中间件能力边界理解不清。
- 设计分片时没考虑未来扩容,分片数写死 4 个,后来加机器要全量迁移——这是扩容策略缺失。
衔接关系:阶段 5 的读写分离是本阶段的前置,分库分表后每个分片仍是一主一从;阶段 8 的架构综合会把"单库 → 读写分离 → 分库分表 → 中间件"串成演进路线。分片键选错后期调整成本极高,这是本阶段反复强调的教训。
二、阶段目标与投入
| 能力目标(可验证的行为) | 验证方式 |
|---|---|
| 能说出单表/单库的经验阈值与判断依据 | 对一张 5000 万行表给出是否分片的结论 |
| 能区分垂直拆分与水平拆分,举例各自适用场景 | 对用户库/订单库拆分写出方案 |
| 能按查询模式选择分片键 | 对"按用户查订单"与"按商家查订单"给出不同键 |
| 能说清跨分片 JOIN、聚合、分页的代价 | 解释为什么跨片排序分页要中间层组装 |
| 能对比雪花、号段、数据库序列三种分布式 ID | 对订单表选型并说时钟回拨风险 |
| 能写出双写迁移步骤(双写→追平→校验→切流) | 对一次从单库到分片的迁移列出流程 |
| 能说清什么情况下不该分片 | 给出过早分片的反例 |
建议学时:
- 全职:1.5 周,约 35 小时。容量判断 4 小时、垂直/水平拆分 6 小时、分片键 6 小时、跨片查询 8 小时、分布式 ID 6 小时、迁移与扩容 5 小时。
- 在职:3 周,约 40 小时。分片中间件本阶段以理解原理为主,不要求搭复杂集群。
学时分配:容量阈值与拆分方式 20%、分片键选择 20%、跨片查询 25%、分布式 ID 15%、迁移扩容 15%、中间件对比 5%。
三、先修自检
| 先修项 | 合格标准 | 不合格时回到 |
|---|---|---|
| 索引与执行计划 | 能判断单表查询是否走索引 | 03.3 阶段 2 |
| 主从复制 | 知道每个分片是独立的主从 | 03.6 阶段 5 |
| 事务 | 知道跨库不能用本地事务 | 03.4 阶段 3 |
| 高并发基础 | 知道流量削峰、缓存 | 09.1 高并发基础 |
经验判断:分库分表是"用应用复杂度换数据库容量",90% 的中小系统不需要。本阶段要刻意练习"判断不该分片"的能力,而不是上来就拆。
四、知识地图
| 模块 | 知识点 | 掌握程度 | 对应题库章节 |
|---|---|---|---|
| 容量评估 | 单表行数、单库 TPS、磁盘/连接数阈值 | 能讲清原理 | 09.1 高并发基础 |
| 垂直拆分 | 按业务域拆库、微服务对应 | 会用 | 09.1 高并发基础 |
| 水平拆分 | 按行拆分、分片键、分片数 | 能讲清原理 | 09.1 高并发基础 |
| 分片键 | 选择原则、热点、范围 vs 取模 | 能讲清原理 | 09.1 高并发基础 |
| 跨片查询 | 跨片 JOIN、聚合、排序分页 | 能讲清原理 | 09.1 高并发基础 |
| 分布式 ID | 雪花、号段、序列、时钟回拨 | 能讲清原理 | 05.2 MySQL |
| 分片中间件 | ShardingSphere、Vitess 定位 | 了解 | 09.1 高并发基础 |
| 迁移扩容 | 双写、追平、校验、切流 | 能讲清原理 | 09.1 高并发基础 |
| NoSQL 搭配 | 宽表/文档/时序专用存储 | 了解 | 05.5 NoSQL 与专用存储 |
进度管理建议:分片键与跨片查询是面试重灾区。术语见 03.12 术语表。
五、分模块精讲
5.1 容量评估:什么时候该拆
为什么需要它:过早分片带来大量复杂度,过晚分片单库扛不住。本模块给出可量化的判断依据,而不是"感觉该拆了"。
核心机制:
- 单表经验阈值:InnoDB 单表 2000 万行以内、单表大小 10–20GB 通常还能靠索引撑住;超过 5000 万行、单表 50GB+ 开始考虑分片或归档冷数据。
- 单库经验阈值:TPS 3000–5000 以上、磁盘 IO 持续 >80%、连接数打满、buffer pool 命中率下降。
- 先做这些再考虑分片:
- 加索引、优化慢查询(阶段 2)。
- 读写分离(阶段 5)。
- 加缓存(Redis)挡读。
- 冷热分离:3 年前的订单归档到历史库/冷库。
- 分片是最后手段,不是第一步。
最小可运行示例:
-- MySQL:查表大小与行数
SELECT table_name, table_rows,
ROUND(data_length/1024/1024, 1) AS data_mb,
ROUND(index_length/1024/1024, 1) AS index_mb
FROM information_schema.tables
WHERE table_schema='shop';
-- PG
SELECT relname, n_live_tup,
pg_size_pretty(pg_total_relation_size('orders'))
FROM pg_stat_user_tables WHERE relname='orders';
常见坑:
| 现象 | 原因 | 修法 |
|---|---|---|
| 单表 1 亿行但索引好、查询 10ms | 还没到必须拆 | 先归档冷数据、加缓存 |
| 每秒写 1 万 TPS | 单库写瓶颈 | 水平拆分 |
| 只看行数就拆 | 没看实际查询与 IO | 先看慢查询与资源 |
面试考法:"单表多大该拆""分片前先做什么"。要点:2000 万行内靠索引;先优化/读写分离/缓存/归档,分片是最后手段。
5.2 垂直拆分与水平拆分
为什么需要它:拆分有两个方向——垂直(按业务域拆库)与水平(按行拆表)。两者常结合使用,但解决的问题不同。
核心机制:
- 垂直拆分:按业务域拆成用户库、订单库、商品库,对应微服务。解决"单库表太多、不同业务互相影响"。
- 代价:跨库 JOIN 消失,要用应用层组装或冗余字段。
- 水平拆分:同一张表按行分散到多个库/表。解决"单表数据量过大"。
- 如
orders_0、orders_1、orders_2(分表),或分布在不同数据库(分库)。 - 分片键决定一行落在哪个片。
- 如
- 分库分表结合:如 4 库 × 8 表 = 32 个分片。
最小可运行示例:
-- 水平分表:按 user_id 取模 4 张表
CREATE TABLE orders_0 (LIKE orders);
CREATE TABLE orders_1 (LIKE orders);
CREATE TABLE orders_2 (LIKE orders);
CREATE TABLE orders_3 (LIKE orders);
-- 路由:table = "orders_" + (user_id % 4)
常见坑:
| 现象 | 原因 | 修法 |
|---|---|---|
| 垂直拆分后跨库 JOIN 报错 | 跨库无法 JOIN | 应用层组装;冗余字段 |
| 分表后全局唯一约束丢失 | 每张表独立 | 用分布式 ID;唯一键含分片键 |
| 分片数写死 4,扩容要全迁 | 预留不够 | 按 2 倍扩容规划,或用一致性哈希 |
面试考法:"垂直与水平拆分区别""什么时候用哪个"。要点:垂直按业务、水平按行;常结合。
5.3 分片键选择
为什么需要它:分片键选错是分库分表最大的坑。它决定数据分布是否均匀、查询是否能落在单分片、有没有热点。
核心机制:
- 原则:
- 高频查询条件尽量带分片键,让查询路由到单分片(避免广播)。
- 分布均匀,避免热点(如用商家 ID 分片,大商家数据倾斜)。
- 与业务关联:订单按 user_id 分片,用户查自己订单只查一片。
- 取模(user_id % N):分布均匀,但扩容时数据迁移量大(N 变大部分行要移动)。
- 范围(按时间/ID 区间):扩容容易(加新片),但热点集中在最新片。
- 一致性哈希:扩容只迁移 N 分之一数据,但范围查询不友好。
- 典型反例:分片键是商家 ID,但用户侧查询占多数 → 用户查询全部广播。
最小可运行示例:
按 user_id 取模 4 分片:
user_id=1001 % 4 = 1 → orders_1
user_id=1002 % 4 = 2 → orders_2
user_id=1003 % 4 = 3 → orders_3
user_id=1004 % 4 = 0 → orders_0
"查 user_id=1001 的订单" → 只打 orders_1(单分片)
"查今天所有订单" → 广播 4 片,应用层聚合(慢)
常见坑:
| 现象 | 原因 | 修法 |
|---|---|---|
| 某个大商家占 30% 数据 | 按商家 ID 分片倾斜 | 分片键打散(如 user_id) |
| 所有查询都广播 | 查询不带分片键 | 改分片键;或冗余一份按其他维度 |
| 热点在最新一个分片 | 按时间范围分片 | 取模 + 时间双维度;或加缓存 |
面试考法:"分片键怎么选""取模与范围分片取舍"。要点:查询单分片、分布均匀;取模均匀但扩容难,范围扩容易但热点。
5.4 跨分片 JOIN、聚合与排序分页
为什么需要它:单库 JOIN 很自然,分片后跨片 JOIN 几乎不可能由数据库完成。这是分片后应用复杂度的主要来源。
核心机制:
- 单分片查询:带分片键,路由到一片,正常 JOIN。
- 跨分片 JOIN:
- 广播:小表(如字典表)每片冗余一份。
- 应用层组装:各片查回来,内存中按 key 关联。
- 反范式:把需要关联的字段冗余到主表。
- 跨分片聚合(SUM/COUNT):各片分别聚合,应用层二次聚合(SUM 可加、COUNT 可加;AVG 要加权)。
- 跨分片排序分页:各片取排序后的前 N 条,中间层归并排序再分页。深分页极慢。
最小可运行示例:
跨分片求和:
SELECT user_id, SUM(amount) FROM orders GROUP BY user_id
→ 4 片各返回部分 sum
→ 应用层按 user_id 再 SUM
跨分片 top 10:
每片 SELECT ... ORDER BY amount DESC LIMIT 10
→ 4 组 top10 共 40 行
→ 应用层归并排序取最终 top10
常见坑:
| 现象 | 原因 | 修法 |
|---|---|---|
| 跨片 JOIN 慢 | 中间层拉回大量数据 | 小表冗余;反范式 |
| 跨片 count 不准 | 各片 count 简单相加 | 可加;但 distinct 要单独处理 |
| 深分页跨片极慢 | 每片都要扫 offset | 禁止跨片深分页;改游标/搜索 |
面试考法:"跨片 JOIN 怎么办""跨片分页怎么做"。要点:广播小表、应用组装、反范式;跨片排序归并;禁止深分页。
5.5 分布式 ID
为什么需要它:分片后自增主键各片独立,会冲突。需要全局唯一 ID。
核心机制:
- 雪花算法(Snowflake):64 位 = 1 符号位 + 41 时间戳(毫秒)+ 10 机器 ID + 12 序列号。约 69 年、每毫秒每机器 4096 个。
- 趋势递增(同一毫秒内有序),对 InnoDB 聚簇索引友好。
- 风险:时钟回拨。解决:检测回拨拒绝服务,或用号段。
- 号段模式:从数据库/Redis 批量取一段 ID(如 1–1000),用完再取。简单、趋势递增、无时钟问题,但依赖号段中心。
- 数据库序列:
SELECT nextval('seq')(PG 原生),单点但简单。 - UUID:无序、长、对索引不友好(阶段 1/2 已述),不推荐做主键。
最小可运行示例:
雪花 ID 结构:
0 | 0000000000 0000000000 0000000000 0000000000 0 | 0000000000 | 000000000000
符号 | 41 bit 时间戳(ms) | 10 bit 机器 | 12 bit 序列
号段模式:
SELECT max_id FROM id_alloc WHERE biz_tag='order';
应用拿到 [max_id+1, max_id+1000],内存自增发放
UPDATE id_alloc SET max_id=max_id+1000 WHERE biz_tag='order';
常见坑:
| 现象 | 原因 | 修法 |
|---|---|---|
| 雪花 ID 重复 | 机器 ID 重复或时钟回拨 | 唯一机器 ID;回拨检测 |
| 号段中心单点 | 数据库挂 | 多号段服务;本地缓存兜底 |
| UUID 主键插入慢 | 无序页分裂 | 改雪花/UUIDv7 |
面试考法:"雪花结构""时钟回拨怎么办""号段 vs 雪花"。要点:时间+机器+序列;回拨检测;号段简单无时钟问题。
5.6 分片中间件:ShardingSphere 与 Vitess
为什么需要它:手写路由在应用里散落在各处,中间件统一做路由、改写、聚合。但要知道它能做什么、不能做什么。
核心机制:
- ShardingSphere:
- JDBC 版:嵌在应用内,轻量,语言绑定 Java。
- Proxy 版:独立部署,对应用透明,支持多语言。
- 能做:分库分表路由、改写 SQL、弱聚合、读写分离、加密。
- 限制:跨片复杂 JOIN、事务(跨片事务性能差)不擅长。
- Vitess:YouTube 开源,面向 MySQL 超大规模,有 vtgate/vttablet,自动分片、在线迁移,复杂但成熟。
- 客户端式 vs 代理式取舍:客户端无中间件、性能好但绑定语言;代理透明但加一跳。
最小可运行示例:
# ShardingSphere-Proxy 简化分片规则
rules:
- !SHARDING
tables:
orders:
actualDataNodes: ds_${0..3}.orders_${0..3}
tableStrategy:
standard:
shardingColumn: user_id
shardingAlgorithmName: user_inline
shardingAlgorithms:
user_inline:
type: INLINE
props:
algorithm-expression: orders_${user_id % 4}
常见坑:
| 现象 | 原因 | 修法 |
|---|---|---|
| 中间件成为性能瓶颈 | 代理一跳 | 压测;分片规则下推 |
| 跨片事务慢 | 两阶段提交 | 避免跨片事务;最终一致 |
| 误把中间件当万能 | 跨片复杂 JOIN 不支持 | 应用层组装 |
面试考法:"ShardingSphere JDBC 与 Proxy 区别""中间件能解决跨片 JOIN 吗"。要点:JDBC 嵌应用、Proxy 独立;跨片复杂 JOIN 仍要应用层。
5.7 扩容迁移:双写与一致性校验
为什么需要它:分片不是一次到位,总要扩容。不停机扩容的标准动作是双写 + 追平 + 校验 + 切流。
核心机制:
- 双写:新数据同时写旧库与新分片集群。
- 追平:把旧库历史数据迁移到新分片(离线/同步工具,如 DataX、Canal 订阅 binlog)。
- 校验:比对新旧行数、抽样 checksum。
- 切流:读切新、写切新,旧库只读观察。
- 下线旧库。
最小可运行示例:
迁移流程:
1. 新分片集群建好,双写(写旧库 + 异步写新库)
2. Canal 订阅旧库 binlog,实时同步到新库
3. 全量历史数据迁移(DataX 批量)
4. 校验:
- 行数对比:SELECT count(*) 各片
- 抽样 checksum:按主键范围比对
5. 读切新库(灰度 1% → 100%)
6. 写切新库,旧库转只读
7. 观察一周,下线旧库
常见坑:
| 现象 | 原因 | 修法 |
|---|---|---|
| 迁移后新旧数据不一致 | 双写期间异常未补偿 | 校验 + 补偿任务 |
| 切流后回滚困难 | 没有旧库兜底 | 切流灰度,旧库保留只读 |
| 大表迁移锁库 | 全量导出锁 | 用 binlog 同步 + 在线工具 |
面试考法:"分库分表怎么扩容""双写迁移步骤"。要点:双写→追平→校验→灰度切流→下线;一致性校验。
六、分层练习
6.1 复现型
| 练习 | 要求 | 验收标准 | 预计耗时 |
|---|---|---|---|
| 容量测量 | 用 information_schema 查 orders 表大小 | 输出 data_mb/index_mb | 0.5 小时 |
| 水平分表 | 建 orders_0..3,按 user_id%4 路由 | 同一 user_id 落同一表 | 1.5 小时 |
| 跨片聚合 | 4 片各 SUM,应用层二次聚合 | 总数正确 | 1.5 小时 |
| 雪花 ID | 写一个简化雪花发号器 | 1 万个 ID 无重复、趋势递增 | 2 小时 |
| 分片规则 | 写一段 ShardingSphere 配置 | 理解路由逻辑 | 1 小时 |
6.2 改造型
| 练习 | 要求 | 验收标准 | 预计耗时 |
|---|---|---|---|
| 改分片键 | 给定按商家 ID 分片方案,改为按用户 | 说明查询路由变化 | 1.5 小时 |
| 跨片 JOIN 改造 | 把一个跨片 JOIN 改为应用组装或冗余 | 性能可接受 | 2 小时 |
| 双写代码 | 在应用层加双写逻辑 | 新旧库都有数据 | 2 小时 |
| 一致性校验脚本 | 写行数+抽样 checksum 脚本 | 能比对差异 | 2 小时 |
6.3 设计型
| 练习 | 要求 | 验收标准 | 预计耗时 |
|---|---|---|---|
| 订单分片方案 | 对日增 100 万订单设计分片 | 分片键、片数、扩容路径 | 3 小时 |
| 演进路线 | 从单库到分片的 3 阶段演进 | 每阶段触发条件 | 2 小时 |
| 不该分片案例 | 找一个 100 万行的后台系统,论证不拆 | 给出替代方案 | 1.5 小时 |
七、排障表
| 现象 | 可能原因 | 排查步骤 | 解决办法 |
|---|---|---|---|
| 一上来就分片 | 过早分片 | 评估查询/资源 | 先优化/读写分离/缓存 |
| 某片数据倾斜 | 分片键分布不均 | 统计各片行数 | 换分片键;打散 |
| 查询广播所有片 | 不带分片键 | 看 SQL 路由日志 | 加分片键条件;冗余 |
| 跨片分页极慢 | 每片 offset 扫描 | 看中间层耗时 | 禁止深分页;改游标 |
| 雪花 ID 重复 | 机器 ID 冲突/时钟回拨 | 查发号器日志 | 唯一机器 ID;回拨检测 |
| 迁移后数据不一致 | 双写异常/漏同步 | 校验脚本 | 补偿任务 |
| 中间件慢 | 代理瓶颈 | 压测各层 | 下推规则;扩容 |
| 跨片事务超时 | 两阶段提交慢 | 看事务日志 | 避免跨片;最终一致 |
八、出口条件
全部勾选后再进入 阶段 7 性能诊断、参数调优与运维。
- [ ] 能说出单表/单库的经验阈值,对给定场景判断该不该分片
- [ ] 能区分垂直拆分与水平拆分,举例各自适用场景
- [ ] 能按查询模式选分片键,说出取模与范围的取舍
- [ ] 能解释跨片 JOIN、聚合、分页的代价与应对
- [ ] 能写出雪花 ID 结构与时钟回拨处理
- [ ] 能列出双写迁移的 5 步并做一致性校验
- [ ] 能说出至少 3 个"不该分片"的理由
自测题:
- 单表 5000 万行是否必须分片?还能做什么?
- 要点:不一定;先优化索引、读写分离、缓存、冷热归档,分片是最后手段。
- 垂直拆分与水平拆分解决的问题有何不同?
- 要点:垂直按业务域拆库、解决业务耦合;水平按行拆表、解决单表数据量。
- 按 user_id 取模分片,"查今天所有商家的订单"为什么慢?
- 要点:不带 user_id,广播所有片再聚合;这类报表应走独立数仓。
- 雪花 ID 由哪几部分组成?时钟回拨怎么办?
- 要点:时间戳+机器 ID+序列号;检测回拨、拒绝服务或改号段。
- 跨分片排序分页怎么实现?为什么深分页慢?
- 要点:各片取前 N、中间层归并;每片都要扫 offset,深分页极慢,应改游标。
- 双写迁移的步骤?
- 要点:双写→追平(binlog 同步)→校验(行数+checksum)→灰度切流→下线旧库。
- ShardingSphere JDBC 与 Proxy 的取舍?
- 要点:JDBC 嵌应用、轻量、Java 绑定;Proxy 独立、透明、多语言,但加一跳。