罗罗编程学习记录
本页内容 展开查看

03.7 阶段 6:分库分表与容量评估

所属:全栈开发面试题库 / 学习路径 / 03 MySQL 与 PostgreSQL

本页目录

一、阶段定位

读写分离把读流量分散了,但单库的写容量与单表数据量仍有上限。订单表到几千万、单库 TPS 到 5000 以上时,就要考虑分库分表。本阶段解决"什么时候该拆、怎么拆、拆了之后跨片查询怎么办、扩容怎么不停机"。

判断自己是否卡在本阶段:

  • 一听到分库分表就觉得"高大上",但说不清单表多大该拆、单库多大该拆——这是容量判断没有标准。
  • 知道按 user_id 取模分片,但没想过"按订单时间范围查"这种查询会扫所有分片——这是分片键与查询模式不匹配。
  • 以为 ShardingSphere 能像黑盒一样解决所有跨片 JOIN——这是对中间件能力边界理解不清。
  • 设计分片时没考虑未来扩容,分片数写死 4 个,后来加机器要全量迁移——这是扩容策略缺失。

衔接关系:阶段 5 的读写分离是本阶段的前置,分库分表后每个分片仍是一主一从;阶段 8 的架构综合会把"单库 → 读写分离 → 分库分表 → 中间件"串成演进路线。分片键选错后期调整成本极高,这是本阶段反复强调的教训。

二、阶段目标与投入

能力目标(可验证的行为) 验证方式
能说出单表/单库的经验阈值与判断依据 对一张 5000 万行表给出是否分片的结论
能区分垂直拆分与水平拆分,举例各自适用场景 对用户库/订单库拆分写出方案
能按查询模式选择分片键 对"按用户查订单"与"按商家查订单"给出不同键
能说清跨分片 JOIN、聚合、分页的代价 解释为什么跨片排序分页要中间层组装
能对比雪花、号段、数据库序列三种分布式 ID 对订单表选型并说时钟回拨风险
能写出双写迁移步骤(双写→追平→校验→切流) 对一次从单库到分片的迁移列出流程
能说清什么情况下不该分片 给出过早分片的反例

建议学时:

  • 全职:1.5 周,约 35 小时。容量判断 4 小时、垂直/水平拆分 6 小时、分片键 6 小时、跨片查询 8 小时、分布式 ID 6 小时、迁移与扩容 5 小时。
  • 在职:3 周,约 40 小时。分片中间件本阶段以理解原理为主,不要求搭复杂集群。

学时分配:容量阈值与拆分方式 20%、分片键选择 20%、跨片查询 25%、分布式 ID 15%、迁移扩容 15%、中间件对比 5%。

三、先修自检

先修项 合格标准 不合格时回到
索引与执行计划 能判断单表查询是否走索引 03.3 阶段 2
主从复制 知道每个分片是独立的主从 03.6 阶段 5
事务 知道跨库不能用本地事务 03.4 阶段 3
高并发基础 知道流量削峰、缓存 09.1 高并发基础

经验判断:分库分表是"用应用复杂度换数据库容量",90% 的中小系统不需要。本阶段要刻意练习"判断不该分片"的能力,而不是上来就拆。

四、知识地图

模块 知识点 掌握程度 对应题库章节
容量评估 单表行数、单库 TPS、磁盘/连接数阈值 能讲清原理 09.1 高并发基础
垂直拆分 按业务域拆库、微服务对应 会用 09.1 高并发基础
水平拆分 按行拆分、分片键、分片数 能讲清原理 09.1 高并发基础
分片键 选择原则、热点、范围 vs 取模 能讲清原理 09.1 高并发基础
跨片查询 跨片 JOIN、聚合、排序分页 能讲清原理 09.1 高并发基础
分布式 ID 雪花、号段、序列、时钟回拨 能讲清原理 05.2 MySQL
分片中间件 ShardingSphere、Vitess 定位 了解 09.1 高并发基础
迁移扩容 双写、追平、校验、切流 能讲清原理 09.1 高并发基础
NoSQL 搭配 宽表/文档/时序专用存储 了解 05.5 NoSQL 与专用存储

进度管理建议:分片键与跨片查询是面试重灾区。术语见 03.12 术语表。

五、分模块精讲

5.1 容量评估:什么时候该拆

为什么需要它:过早分片带来大量复杂度,过晚分片单库扛不住。本模块给出可量化的判断依据,而不是"感觉该拆了"。

核心机制:

  • 单表经验阈值:InnoDB 单表 2000 万行以内、单表大小 10–20GB 通常还能靠索引撑住;超过 5000 万行、单表 50GB+ 开始考虑分片或归档冷数据。
  • 单库经验阈值:TPS 3000–5000 以上、磁盘 IO 持续 >80%、连接数打满、buffer pool 命中率下降。
  • 先做这些再考虑分片:
    • 加索引、优化慢查询(阶段 2)。
    • 读写分离(阶段 5)。
    • 加缓存(Redis)挡读。
    • 冷热分离:3 年前的订单归档到历史库/冷库。
  • 分片是最后手段,不是第一步。

最小可运行示例:

-- MySQL:查表大小与行数
SELECT table_name, table_rows,
       ROUND(data_length/1024/1024, 1) AS data_mb,
       ROUND(index_length/1024/1024, 1) AS index_mb
FROM information_schema.tables
WHERE table_schema='shop';

-- PG
SELECT relname, n_live_tup,
       pg_size_pretty(pg_total_relation_size('orders'))
FROM pg_stat_user_tables WHERE relname='orders';

常见坑:

现象 原因 修法
单表 1 亿行但索引好、查询 10ms 还没到必须拆 先归档冷数据、加缓存
每秒写 1 万 TPS 单库写瓶颈 水平拆分
只看行数就拆 没看实际查询与 IO 先看慢查询与资源

面试考法:"单表多大该拆""分片前先做什么"。要点:2000 万行内靠索引;先优化/读写分离/缓存/归档,分片是最后手段。

5.2 垂直拆分与水平拆分

为什么需要它:拆分有两个方向——垂直(按业务域拆库)与水平(按行拆表)。两者常结合使用,但解决的问题不同。

核心机制:

  • 垂直拆分:按业务域拆成用户库、订单库、商品库,对应微服务。解决"单库表太多、不同业务互相影响"。
    • 代价:跨库 JOIN 消失,要用应用层组装或冗余字段。
  • 水平拆分:同一张表按行分散到多个库/表。解决"单表数据量过大"。
    • 如 orders_0、orders_1、orders_2(分表),或分布在不同数据库(分库)。
    • 分片键决定一行落在哪个片。
  • 分库分表结合:如 4 库 × 8 表 = 32 个分片。

最小可运行示例:

-- 水平分表:按 user_id 取模 4 张表
CREATE TABLE orders_0 (LIKE orders);
CREATE TABLE orders_1 (LIKE orders);
CREATE TABLE orders_2 (LIKE orders);
CREATE TABLE orders_3 (LIKE orders);
-- 路由:table = "orders_" + (user_id % 4)

常见坑:

现象 原因 修法
垂直拆分后跨库 JOIN 报错 跨库无法 JOIN 应用层组装;冗余字段
分表后全局唯一约束丢失 每张表独立 用分布式 ID;唯一键含分片键
分片数写死 4,扩容要全迁 预留不够 按 2 倍扩容规划,或用一致性哈希

面试考法:"垂直与水平拆分区别""什么时候用哪个"。要点:垂直按业务、水平按行;常结合。

5.3 分片键选择

为什么需要它:分片键选错是分库分表最大的坑。它决定数据分布是否均匀、查询是否能落在单分片、有没有热点。

核心机制:

  • 原则:
    • 高频查询条件尽量带分片键,让查询路由到单分片(避免广播)。
    • 分布均匀,避免热点(如用商家 ID 分片,大商家数据倾斜)。
    • 与业务关联:订单按 user_id 分片,用户查自己订单只查一片。
  • 取模(user_id % N):分布均匀,但扩容时数据迁移量大(N 变大部分行要移动)。
  • 范围(按时间/ID 区间):扩容容易(加新片),但热点集中在最新片。
  • 一致性哈希:扩容只迁移 N 分之一数据,但范围查询不友好。
  • 典型反例:分片键是商家 ID,但用户侧查询占多数 → 用户查询全部广播。

最小可运行示例:

按 user_id 取模 4 分片:
  user_id=1001 % 4 = 1  → orders_1
  user_id=1002 % 4 = 2  → orders_2
  user_id=1003 % 4 = 3  → orders_3
  user_id=1004 % 4 = 0  → orders_0

"查 user_id=1001 的订单" → 只打 orders_1(单分片)
"查今天所有订单"        → 广播 4 片,应用层聚合(慢)

常见坑:

现象 原因 修法
某个大商家占 30% 数据 按商家 ID 分片倾斜 分片键打散(如 user_id)
所有查询都广播 查询不带分片键 改分片键;或冗余一份按其他维度
热点在最新一个分片 按时间范围分片 取模 + 时间双维度;或加缓存

面试考法:"分片键怎么选""取模与范围分片取舍"。要点:查询单分片、分布均匀;取模均匀但扩容难,范围扩容易但热点。

5.4 跨分片 JOIN、聚合与排序分页

为什么需要它:单库 JOIN 很自然,分片后跨片 JOIN 几乎不可能由数据库完成。这是分片后应用复杂度的主要来源。

核心机制:

  • 单分片查询:带分片键,路由到一片,正常 JOIN。
  • 跨分片 JOIN:
    • 广播:小表(如字典表)每片冗余一份。
    • 应用层组装:各片查回来,内存中按 key 关联。
    • 反范式:把需要关联的字段冗余到主表。
  • 跨分片聚合(SUM/COUNT):各片分别聚合,应用层二次聚合(SUM 可加、COUNT 可加;AVG 要加权)。
  • 跨分片排序分页:各片取排序后的前 N 条,中间层归并排序再分页。深分页极慢。

最小可运行示例:

跨分片求和:
  SELECT user_id, SUM(amount) FROM orders GROUP BY user_id
  → 4 片各返回部分 sum
  → 应用层按 user_id 再 SUM

跨分片 top 10:
  每片 SELECT ... ORDER BY amount DESC LIMIT 10
  → 4 组 top10 共 40 行
  → 应用层归并排序取最终 top10

常见坑:

现象 原因 修法
跨片 JOIN 慢 中间层拉回大量数据 小表冗余;反范式
跨片 count 不准 各片 count 简单相加 可加;但 distinct 要单独处理
深分页跨片极慢 每片都要扫 offset 禁止跨片深分页;改游标/搜索

面试考法:"跨片 JOIN 怎么办""跨片分页怎么做"。要点:广播小表、应用组装、反范式;跨片排序归并;禁止深分页。

5.5 分布式 ID

为什么需要它:分片后自增主键各片独立,会冲突。需要全局唯一 ID。

核心机制:

  • 雪花算法(Snowflake):64 位 = 1 符号位 + 41 时间戳(毫秒)+ 10 机器 ID + 12 序列号。约 69 年、每毫秒每机器 4096 个。
    • 趋势递增(同一毫秒内有序),对 InnoDB 聚簇索引友好。
    • 风险:时钟回拨。解决:检测回拨拒绝服务,或用号段。
  • 号段模式:从数据库/Redis 批量取一段 ID(如 1–1000),用完再取。简单、趋势递增、无时钟问题,但依赖号段中心。
  • 数据库序列:SELECT nextval('seq')(PG 原生),单点但简单。
  • UUID:无序、长、对索引不友好(阶段 1/2 已述),不推荐做主键。

最小可运行示例:

雪花 ID 结构:
  0 | 0000000000 0000000000 0000000000 0000000000 0 | 0000000000 | 000000000000
  符号 | 41 bit 时间戳(ms)                        | 10 bit 机器  | 12 bit 序列

号段模式:
  SELECT max_id FROM id_alloc WHERE biz_tag='order';
  应用拿到 [max_id+1, max_id+1000],内存自增发放
  UPDATE id_alloc SET max_id=max_id+1000 WHERE biz_tag='order';

常见坑:

现象 原因 修法
雪花 ID 重复 机器 ID 重复或时钟回拨 唯一机器 ID;回拨检测
号段中心单点 数据库挂 多号段服务;本地缓存兜底
UUID 主键插入慢 无序页分裂 改雪花/UUIDv7

面试考法:"雪花结构""时钟回拨怎么办""号段 vs 雪花"。要点:时间+机器+序列;回拨检测;号段简单无时钟问题。

5.6 分片中间件:ShardingSphere 与 Vitess

为什么需要它:手写路由在应用里散落在各处,中间件统一做路由、改写、聚合。但要知道它能做什么、不能做什么。

核心机制:

  • ShardingSphere:
    • JDBC 版:嵌在应用内,轻量,语言绑定 Java。
    • Proxy 版:独立部署,对应用透明,支持多语言。
    • 能做:分库分表路由、改写 SQL、弱聚合、读写分离、加密。
    • 限制:跨片复杂 JOIN、事务(跨片事务性能差)不擅长。
  • Vitess:YouTube 开源,面向 MySQL 超大规模,有 vtgate/vttablet,自动分片、在线迁移,复杂但成熟。
  • 客户端式 vs 代理式取舍:客户端无中间件、性能好但绑定语言;代理透明但加一跳。

最小可运行示例:

# ShardingSphere-Proxy 简化分片规则
rules:
- !SHARDING
  tables:
    orders:
      actualDataNodes: ds_${0..3}.orders_${0..3}
      tableStrategy:
        standard:
          shardingColumn: user_id
          shardingAlgorithmName: user_inline
  shardingAlgorithms:
    user_inline:
      type: INLINE
      props:
        algorithm-expression: orders_${user_id % 4}

常见坑:

现象 原因 修法
中间件成为性能瓶颈 代理一跳 压测;分片规则下推
跨片事务慢 两阶段提交 避免跨片事务;最终一致
误把中间件当万能 跨片复杂 JOIN 不支持 应用层组装

面试考法:"ShardingSphere JDBC 与 Proxy 区别""中间件能解决跨片 JOIN 吗"。要点:JDBC 嵌应用、Proxy 独立;跨片复杂 JOIN 仍要应用层。

5.7 扩容迁移:双写与一致性校验

为什么需要它:分片不是一次到位,总要扩容。不停机扩容的标准动作是双写 + 追平 + 校验 + 切流。

核心机制:

  1. 双写:新数据同时写旧库与新分片集群。
  2. 追平:把旧库历史数据迁移到新分片(离线/同步工具,如 DataX、Canal 订阅 binlog)。
  3. 校验:比对新旧行数、抽样 checksum。
  4. 切流:读切新、写切新,旧库只读观察。
  5. 下线旧库。

最小可运行示例:

迁移流程:
  1. 新分片集群建好,双写(写旧库 + 异步写新库)
  2. Canal 订阅旧库 binlog,实时同步到新库
  3. 全量历史数据迁移(DataX 批量)
  4. 校验:
     - 行数对比:SELECT count(*) 各片
     - 抽样 checksum:按主键范围比对
  5. 读切新库(灰度 1% → 100%)
  6. 写切新库,旧库转只读
  7. 观察一周,下线旧库

常见坑:

现象 原因 修法
迁移后新旧数据不一致 双写期间异常未补偿 校验 + 补偿任务
切流后回滚困难 没有旧库兜底 切流灰度,旧库保留只读
大表迁移锁库 全量导出锁 用 binlog 同步 + 在线工具

面试考法:"分库分表怎么扩容""双写迁移步骤"。要点:双写→追平→校验→灰度切流→下线;一致性校验。

六、分层练习

6.1 复现型

练习 要求 验收标准 预计耗时
容量测量 用 information_schema 查 orders 表大小 输出 data_mb/index_mb 0.5 小时
水平分表 建 orders_0..3,按 user_id%4 路由 同一 user_id 落同一表 1.5 小时
跨片聚合 4 片各 SUM,应用层二次聚合 总数正确 1.5 小时
雪花 ID 写一个简化雪花发号器 1 万个 ID 无重复、趋势递增 2 小时
分片规则 写一段 ShardingSphere 配置 理解路由逻辑 1 小时

6.2 改造型

练习 要求 验收标准 预计耗时
改分片键 给定按商家 ID 分片方案,改为按用户 说明查询路由变化 1.5 小时
跨片 JOIN 改造 把一个跨片 JOIN 改为应用组装或冗余 性能可接受 2 小时
双写代码 在应用层加双写逻辑 新旧库都有数据 2 小时
一致性校验脚本 写行数+抽样 checksum 脚本 能比对差异 2 小时

6.3 设计型

练习 要求 验收标准 预计耗时
订单分片方案 对日增 100 万订单设计分片 分片键、片数、扩容路径 3 小时
演进路线 从单库到分片的 3 阶段演进 每阶段触发条件 2 小时
不该分片案例 找一个 100 万行的后台系统,论证不拆 给出替代方案 1.5 小时

七、排障表

现象 可能原因 排查步骤 解决办法
一上来就分片 过早分片 评估查询/资源 先优化/读写分离/缓存
某片数据倾斜 分片键分布不均 统计各片行数 换分片键;打散
查询广播所有片 不带分片键 看 SQL 路由日志 加分片键条件;冗余
跨片分页极慢 每片 offset 扫描 看中间层耗时 禁止深分页;改游标
雪花 ID 重复 机器 ID 冲突/时钟回拨 查发号器日志 唯一机器 ID;回拨检测
迁移后数据不一致 双写异常/漏同步 校验脚本 补偿任务
中间件慢 代理瓶颈 压测各层 下推规则;扩容
跨片事务超时 两阶段提交慢 看事务日志 避免跨片;最终一致

八、出口条件

全部勾选后再进入 阶段 7 性能诊断、参数调优与运维。

  • [ ] 能说出单表/单库的经验阈值,对给定场景判断该不该分片
  • [ ] 能区分垂直拆分与水平拆分,举例各自适用场景
  • [ ] 能按查询模式选分片键,说出取模与范围的取舍
  • [ ] 能解释跨片 JOIN、聚合、分页的代价与应对
  • [ ] 能写出雪花 ID 结构与时钟回拨处理
  • [ ] 能列出双写迁移的 5 步并做一致性校验
  • [ ] 能说出至少 3 个"不该分片"的理由

自测题:

  1. 单表 5000 万行是否必须分片?还能做什么?
    • 要点:不一定;先优化索引、读写分离、缓存、冷热归档,分片是最后手段。
  2. 垂直拆分与水平拆分解决的问题有何不同?
    • 要点:垂直按业务域拆库、解决业务耦合;水平按行拆表、解决单表数据量。
  3. 按 user_id 取模分片,"查今天所有商家的订单"为什么慢?
    • 要点:不带 user_id,广播所有片再聚合;这类报表应走独立数仓。
  4. 雪花 ID 由哪几部分组成?时钟回拨怎么办?
    • 要点:时间戳+机器 ID+序列号;检测回拨、拒绝服务或改号段。
  5. 跨分片排序分页怎么实现?为什么深分页慢?
    • 要点:各片取前 N、中间层归并;每片都要扫 offset,深分页极慢,应改游标。
  6. 双写迁移的步骤?
    • 要点:双写→追平(binlog 同步)→校验(行数+checksum)→灰度切流→下线旧库。
  7. ShardingSphere JDBC 与 Proxy 的取舍?
    • 要点:JDBC 嵌应用、轻量、Java 绑定;Proxy 独立、透明、多语言,但加一跳。