罗罗编程学习记录
本页内容 展开查看

05.1.4.2 分库分表与路由

所属:全栈开发面试题库 / 05 数据库与存储 / 05.1 关系型数据库通用能力 / 05.1.4 高可用与扩展

覆盖范围

  • 垂直拆分与水平拆分的适用场景
  • 路由键选择、分片算法与数据倾斜
  • 跨分片查询、聚合与分布式事务
  • 全局唯一 ID、分片索引、非分片键查询
  • 扩容迁移、预分片、分片中间件,与分区表的区别

高频题速览

编号 题目 难度 频率
05.1.4.2-001 垂直拆分与水平拆分 基础 ★★★★★
05.1.4.2-003 路由键怎么选 进阶 ★★★★★
05.1.4.2-008 全局唯一 ID 生成 进阶 ★★★★★
05.1.4.2-006 跨分片查询与聚合 高级 ★★★★☆
05.1.4.2-011 分片扩容与数据迁移 高级 ★★★★☆

拆分决策主线

单库容量/写入到达上限
  → 垂直拆分:按业务域拆库,解耦服务
  → 水平拆分:按路由键把行分散到多库/多表
       路由键 → 分片算法 → 定位分片
       配套:全局 ID、跨片查询/事务、扩容迁移

05.1.4.2-001 垂直拆分和水平拆分有什么区别?

频率 ★★★★★ | 难度 基础

一句话结论

垂直拆分按业务/功能把不同表拆到不同库(或服务),解耦业务边界;水平拆分按数据行把同一张表的数据分散到多个库/表,突破单表容量与写入上限。两者解决的问题不同,常组合使用。

概念解释

  • 垂直拆库:按业务域划分表,如订单库、用户库、商品库。
  • 垂直拆表:宽表按列冷热/功能拆成多表。
  • 水平分片:同结构表按路由键拆成多个分片,每片存一部分行。
  • 组合:先垂直按业务拆库,单库内大表再水平分片。

原理流程

  1. 识别瓶颈:业务耦合 vs 单表数据量/写入量。
  2. 业务边界混乱 → 垂直拆分;单表过大/写入过高 → 水平分片。
  3. 拆分后明确跨库关联与事务边界。

代码 / 命令

垂直拆分:
  原库:user / order / goods 表
  → 用户库:user;订单库:order;商品库:goods

水平拆分:
  order 表按 user_id 分片
  → order_0 / order_1 / order_2 ... 同结构,各存一部分行

常见误区

  • 误区:分库分表就是把一张表拆成多张。正解:分库含垂直业务拆分;分表多指水平拆行,两者概念不同。
  • 误区:水平拆分后业务代码不用改。正解:路由、跨片查询、全局 ID、事务都要配套改造,成本不低。

追问

  • 问:什么时候优先垂直拆分?答:业务边界清晰、不同模块独立演进与扩容时;垂直拆分先解耦服务。
  • 问:单表多大才需要水平拆分?答:没有固定阈值;结合数据增长、写入压力、索引体积与查询性能综合判断,见 05.1.4.5。

05.1.4.2-002 什么场景下才需要分库分表?

频率 ★★★★☆ | 难度 进阶

一句话结论

当单库/单表在容量、写入吞吐、查询性能或维护窗口上到达瓶颈,且优化索引、读写分离、分区表、归档等手段仍不足时,才考虑分库分表;它引入分布式复杂度,不应过早使用。

概念解释

  • 容量瓶颈:表数据量过大,索引体积与查询扫描成本上升。
  • 写入瓶颈:单库写入吞吐/锁/日志到达上限。
  • 替代手段:索引优化、读写分离、分区表、归档冷热分离先评估。
  • 复杂度成本:跨片查询、事务、扩容、运维复杂度显著上升。

原理流程

  1. 量化当前瓶颈:容量、QPS、写入延迟、慢查询。
  2. 先尝试单机优化与读写分离、分区、归档。
  3. 仍不足再评估分片;明确分片后业务改造成本。

代码 / 命令

评估顺序:
  索引/SQL 优化 → 读写分离 → 分区表 → 归档冷热分离
  → 仍不足:垂直拆库 → 水平分片
避免:为"将来可能大"而提前分片,承担不必要的分布式复杂度

常见误区

  • 误区:大表就一定要分库分表。正解:分区表、归档、索引优化常能解决大部分场景;分片是最后手段之一。
  • 误区:分片后性能线性提升。正解:跨片查询与协调开销会抵消部分收益;只在分片键命中单分片的场景扩展效果好。

追问

  • 问:分片能解决读慢吗?答:只解决单表扫描过大导致的读瓶颈;无路由条件的跨片读会放大到所有分片,不一定更快。
  • 问:小团队过早分片有什么风险?答:运维、路由、事务与扩容成本高;业务未稳定时分片键还可能选错,二次拆分代价大。

05.1.4.2-003 路由键(分片键)怎么选?

频率 ★★★★★ | 难度 进阶

一句话结论

路由键应满足:高频查询条件能带上它(定位单分片)、分布均匀避免热点、与业务实体稳定不变更;常见选择用户 ID、租户 ID、订单 ID。选错会导致跨片查询与数据倾斜。

概念解释

  • 查询命中:绝大多数读写请求能按路由键定位到单个分片。
  • 分布均匀:键值在分片间均衡,避免热点分片。
  • 稳定不变:路由键一经确定不随意变更,避免数据迁移。
  • 业务标识:通常对应实体归属,如 tenant_id、user_id、customer_id。

原理流程

  1. 梳理高频查询的过滤条件与业务归属实体。
  2. 选最常作为过滤条件、且分布均匀的实体标识作路由键。
  3. 校验典型查询是否命中单分片;评估键值变更频率。

代码 / 命令

常见路由键:
  多租户:tenant_id
  C 端订单:user_id(订单归属用户)
  商户平台:merchant_id

反例:用性别、地区等低区分度/易倾斜字段;用会变更的字段作路由键

常见误区

  • 误区:路由键选自增主键就行。正解:自增 ID 顺序写入会集中到最后一个分片形成热点;需结合哈希或设计热点打散。
  • 误区:路由键选区分度最高的字段即可。正解:还要看查询是否总带该字段;从不被查询的高区分度键无法减少跨片。

追问

  • 问:一个表能按多个字段路由吗?答:主路由键只有一个;其他字段查询需二级索引表/映射表或跨片扫描,见 05.1.4.2-010。
  • 问:路由键选错能改吗?答:可改但需二次分片迁移,成本高;设计阶段应充分论证,见 05.1.4.2-013。

05.1.4.2-004 常见分片算法有哪些?

频率 ★★★★☆ | 难度 进阶

一句话结论

常见分片算法:**范围(range)**按键值区间分片、哈希按键哈希取模打散、一致性哈希增减节点时减少迁移量;各有热点、顺序性与扩容迁移上的取舍。

概念解释

  • 范围分片:键值区间映射分片,支持范围查询,但易在新区间产生写热点。
  • 哈希分片:键哈希后取模打散,分布均匀,但范围查询需跨片。
  • 一致性哈希:环上节点与键映射,增减节点只迁移相邻区间,迁移量小。
  • 虚拟节点:一致性哈希中为节点设多个虚拟节点,改善均衡。

原理流程

  1. 按查询形态选算法:需要范围查询用范围;追求均衡打散用哈希。
  2. 评估扩容迁移需求:一致性哈希减少迁移量。
  3. 实现路由函数:键 → 分片编号 → 库表。

代码 / 命令

范围分片:
  [1, 1000000) → shard0;[1000000, 2000000) → shard1

哈希分片:
  hash(user_id) % N → shard 编号

一致性哈希:
  键与节点映射到哈希环;新增节点只接管环上相邻一段

常见误区

  • 误区:哈希分片支持高效范围查询。正解:哈希打散后同一范围键值散布各片,范围条件需跨片扫描。
  • 误区:取模哈希扩容只迁移少量数据。正解:普通取模在 N 变 2N 时大部分键要重映射;一致性哈希才减少迁移量。

追问

  • 问:自增 ID 用哈希分片会失去顺序性吗?答:会;哈希后同一用户/时间范围分散在各片,范围聚合需跨片。
  • 问:范围分片怎么缓解热点?答:按业务区间预分片、热点区间单独拆分,避免新写入全挤在最后一片。

05.1.4.2-005 数据倾斜与热点分片怎么产生和处理?

频率 ★★★★☆ | 难度 高级

一句话结论

数据倾斜指大量数据/请求集中在少数分片,成因包括键分布不均、大租户/大用户、顺序写入与算法缺陷;处理靠选均衡路由键、打散热点、拆分大分片与限流,避免单片成为瓶颈。

概念解释

  • 数据倾斜:各分片行数/容量差异显著。
  • 请求倾斜:热点实体的读写集中打到一个分片。
  • 成因:业务头部租户/用户、顺序 ID 写入、哈希/范围算法不均。
  • 处理:键设计打散、热点子分片、大实体单独拆分、读写限流。

原理流程

  1. 监控各分片容量、QPS 与慢查询,识别倾斜分片。
  2. 定位倾斜来源:键分布、热点实体还是算法。
  3. 调整路由/拆分热点片,必要时大实体独立分片。

代码 / 命令

监控:每分片行数、容量、QPS、锁等待
处理手段:
  路由键打散热点;热点实体再分片/子分片
  顺序写入改哈希或预分片区间
  热点读走缓存,降低分片直接压力

常见误区

  • 误区:哈希分片就不会倾斜。正解:哈希只均匀分布普通键;头部大租户/大用户数据量本身悬殊,仍会倾斜。
  • 误区:倾斜只是数据量不均,不影响性能。正解:热点分片 CPU/IO/锁先到达瓶颈,拖累整体;容量与请求都要监控。

追问

  • 问:超大租户单独分片好不好?答:可隔离大租户风险,但该分片仍可能成为热点;需结合其增长与访问模式评估。
  • 问:范围分片的热点怎么识别?答:新写入集中在最后区间;监控最新区间分片的写入量与水位。

05.1.4.2-006 跨分片查询和聚合怎么处理?

频率 ★★★★☆ | 难度 高级

一句话结论

带路由键的查询定位单分片;不带路由键的查询需扫描多个分片,由中间件/应用层合并结果。跨片聚合(count/sum/排序/分页)在各片局部计算后再全局归并,代价随分片数增长,应尽量避免高频跨片查询。

概念解释

  • 单分片查询:条件含路由键,只访问一片。
  • 全片扫描:无路由键条件,向所有分片下发查询。
  • 全局归并:各片返回局部结果,上层合并、再排序/聚合/分页。
  • 代价放大:跨片查询并发访问所有分片,协调与网络成本高。

原理流程

  1. 查询解析路由键:有则定位单片。
  2. 无路由键:广播到相关分片,各片执行局部查询。
  3. 上层归并:合并行、全局排序/聚合/分页,返回结果。

代码 / 命令

-- 命中单分片:带 user_id
SELECT * FROM orders WHERE user_id = 1001 AND id = 9001;

-- 跨片:无 user_id,按 status 查
SELECT * FROM orders WHERE status = 'PAID';
-- 各分片返回局部结果 → 上层合并;全局 count/sum/ORDER BY/LIMIT 需归并

-- 优化:为非分片键建映射表/索引表,把条件转为路由键(见 05.1.4.2-010)

常见误区

  • 误区:分库分表后查询和单表一样写就行。正解:跨片查询需中间件归并;不带路由键的高频查询是分片架构的主要痛点。
  • 误区:跨片 LIMIT N 只取 N 行很快。正解:每片都要取前 N 行再全局排序归并;深分页跨片代价更高。

追问

  • 问:跨片全局排序怎么做?答:各片按相同顺序局部排序,上层多路归并取全局 Top N;索引与排序键需各片一致。
  • 问:跨片 count 怎么准?答:各片 count 求和;估算场景可结合分片元数据,但精确值需各片统计。

05.1.4.2-007 跨分片事务怎么处理?

频率 ★★★★☆ | 难度 高级

一句话结论

单分片事务走本地事务保证原子性;跨分片事务需分布式事务机制(两阶段提交、事务消息、最终一致补偿),成本高、可用性约束多。架构上应尽量让一个业务实体的核心操作落在单分片,减少跨片事务。

概念解释

  • 本地事务:单库单分片,ACID 由本地事务保证。
  • 跨片写:一个业务操作修改多个分片,需跨片原子性。
  • 分布式事务方案:2PC/XA、TCC、事务消息、本地消息表 + 补偿。
  • 设计规避:按业务实体聚合划分分片,使核心交易闭环在单片。

原理流程

  1. 分析业务操作涉及哪些分片。
  2. 单片操作走本地事务;跨片操作选分布式事务方案。
  3. 明确一致性等级:强一致还是最终一致,设计补偿与对账。

代码 / 命令

优先:同一业务实体的数据按路由键落在单片,交易闭环本地事务
跨片场景方案:
  强一致:2PC/XA(性能与可用性代价高)
  最终一致:事务消息 / 本地消息表 + 补偿重试 + 对账

常见误区

  • 误区:分库分表后还能像单库一样随意跨表事务。正解:跨片事务没有原生本地事务保证,需额外机制且可用性受限。
  • 误区:最终一致不需要兜底。正解:消息丢失、补偿失败都可能造成不一致;必须有对账与人工修复流程。

追问

  • 问:2PC 有什么缺点?答:协调者阻塞、锁持有时间长、可用性下降;高并发场景少用,详见 09 分布式事务章节。
  • 问:如何设计减少跨片事务?答:按业务聚合划分分片边界,关联频繁的实体放同片;跨片只做只读或最终一致操作。

05.1.4.2-008 分库分表后全局唯一 ID 怎么生成?

频率 ★★★★★ | 难度 进阶

一句话结论

分片后各库自增主键会重复,需要全局唯一 ID;常见方案:雪花算法(时间戳 + 机器位 + 序列号)、号段模式(段式分配)、Redis/数据库号表发号;要求唯一、趋势有序、高可用、不依赖单点。

概念解释

  • 自增冲突:各分片独立自增,相同 ID 在不同片重复。
  • 雪花 ID:时间戳 + 工作节点 ID + 序列号,趋势递增、本地生成。
  • 号段模式:集中服务/数据库批量发放一段 ID,应用段内自增。
  • 发号器:Redis 或号表分配,需保证高可用与不重复。

原理流程

  1. 选择 ID 方案:趋势有序、唯一性、吞吐与时序要求。
  2. 生成全局 ID 写入各分片主键。
  3. 监控时钟回拨、号段耗尽与发号器可用性。

代码 / 命令

雪花结构(示意):
  时间戳 | 工作节点 ID | 序列号
  优点:本地生成无远程调用;趋势递增利于索引
  注意:时钟回拨会影响唯一性,需处理

号段模式:
  发号器分配 [min, max] 一段 → 应用段内递增 → 用完再申领

常见误区

  • 误区:UUID 适合做主键。正解:UUID 无序导致索引页分裂与插入随机,体积大;趋势有序的 ID 更适合 B+ 树主键。
  • 误区:发号服务单点无所谓。正解:发号器不可用阻塞写入;需高可用部署与号段缓冲兜底。

追问

  • 问:雪花 ID 时钟回拨怎么办?答:检测回拨后等待或拒绝生成;节点 ID 需唯一分配,避免多机重复。
  • 问:号段模式会不会浪费 ID?答:段内未用完的部分在实例重启后可能丢弃;号段长度与预分配策略权衡。

05.1.4.2-009 分片后的索引怎么设计?

频率 ★★★☆☆ | 难度 进阶

一句话结论

每个分片表内部索引设计与单库一致;分片键通常作为索引前缀以加速片内定位。跨片检索的非分片键需额外的索引表/映射表,把非分片键条件换算成路由键,避免全片扫描。

概念解释

  • 片内索引:分片表与普通表一样建二级索引。
  • 分片键前缀:路由键放入索引前部,配合路由定位。
  • 映射索引:非分片键 → 分片键的映射表(独立维护)。
  • 一致性维护:映射表随主数据同步更新。

原理流程

  1. 片内按查询模式设计联合索引(与 05.1.3.2 规则一致)。
  2. 非分片键高频查询建映射表,写入时同步维护。
  3. 查询先查映射表得路由键,再定位分片。

代码 / 命令

主表 orders 按 user_id 分片
查询条件:order_no(非分片键)
映射表 order_no → user_id(路由键)
  先查映射表得 user_id → 再定位分片查订单

常见误区

  • 误区:分片后各片索引可以随便建。正解:片内索引规则与单库相同,过多索引同样放大写入代价。
  • 误区:映射表是多余的。正解:没有映射表,非分片键查询只能全片扫描;映射表是跨片检索的常规补偿手段。

追问

  • 问:映射表本身怎么存?答:可单独按分片键或全局索引存储;其一致性需随主表写入维护,失败有补偿对账。
  • 问:分片键需要单独建索引吗?答:片内查询按路由键定位,通常作为索引前缀;分片路由本身由路由函数完成。

05.1.4.2-010 非分片键的查询怎么办?

频率 ★★★☆☆ | 难度 进阶

一句话结论

非分片键查询无法直接定位分片,可选方案:建映射表/索引表转换路由键、搜索引擎 secondary index、必要时全片扫描;高频非分片键查询应在设计阶段评估是否应调整路由键或建立独立检索链路。

概念解释

  • 映射表:非分片键 → 分片键,先查映射再路由。
  • 二级索引体系:跨片维护倒排/索引结构(如搜索引擎)。
  • 全片扫描:广播到所有分片,代价高,只适合低频。
  • 设计回看:高频非分片条件说明路由键可能不匹配查询模式。

原理流程

  1. 统计非分片键查询频率。
  2. 高频:建映射表/独立检索;低频:评估全片扫描代价。
  3. 反复出现的非分片查询回看分片键选择是否合理。

代码 / 命令

方案对比:
  映射表:结构化精确查询,需维护一致性
  搜索引擎:多条件/全文检索,异步同步数据
  全片扫描:低频后台任务,避免在线高频使用

常见误区

  • 误区:非分片键查询加个索引就能在分片库快速定位。正解:索引只在单片内有效;跨片定位问题索引解决不了,需映射或检索链路。
  • 误区:全片扫描和单表索引扫描差不多。正解:查询放大到所有分片,协调与网络开销随分片数增长。

追问

  • 问:什么时候说明路由键选错了?答:大量高频查询都不带路由键、需要全片扫描或频繁建映射表,应回看分片键设计。
  • 问:搜索引擎与主库数据不一致怎么办?答:异步同步有延迟;按业务容忍度设计更新链路与对账,详见 05.5.2。

05.1.4.2-011 分片后如何平滑扩容(增加分片)?

频率 ★★★★☆ | 难度 高级

一句话结论

扩容通过**预分片(逻辑分片多于物理库)**减少迁移:新增物理节点时把部分逻辑分片迁移过去;或一致性哈希/双写 + 数据校验 + 灰度切流。迁移期间处理增量写入,完成后切读流量并校验一致性。

概念解释

  • 预分片:一开始划分大量逻辑分片,物理库可先少后多,扩容只搬逻辑分片。
  • 数据迁移:把源分片历史数据复制到新分片。
  • 增量同步:迁移期间通过双写/日志订阅同步新增变更。
  • 灰度切流:校验一致后逐步把路由切到新分片,可回滚。

原理流程

  1. 评估新分片数量与数据迁移范围。
  2. 复制历史数据,同步增量变更。
  3. 校验一致后灰度切读/写流量,下线旧分片数据。

代码 / 命令

扩容步骤:
  1. 扩容路由规则:新增物理节点,分配待迁逻辑分片
  2. 迁移历史数据到新节点
  3. 增量同步(双写 / binlog/日志订阅)
  4. 数据校验:行数、抽样、聚合对账
  5. 灰度切流 → 观察 → 下线旧分片

常见误区

  • 误区:扩容就是把数据按新哈希重新全量分配。正解:预分片/一致性哈希尽量减少迁移量;全量重哈希代价最大,应避免。
  • 误区:迁移完历史数据就可以切流。正解:必须同步并校验迁移期间增量;漏同步会导致新旧分片数据不一致。

追问

  • 问:双写如何保证一致?答:写顺序控制、失败补偿与对账;双写期以哪边为准、冲突如何处理需明确。
  • 问:扩容期间热点怎么避免?答:按分片均衡分配,迁移限速,避免多个分片同时迁移冲击资源。

05.1.4.2-012 什么是预分片(逻辑分片)?

频率 ★★★☆☆ | 难度 进阶

一句话结论

预分片指初始就划分足够多的逻辑分片,物理库先承载若干逻辑分片;扩容时把整个逻辑分片迁移到新物理库,路由只改逻辑分片与物理节点的映射,数据无需按新算法重排。

概念解释

  • 逻辑分片:路由算法产出的分片编号,数量预先定好。
  • 物理节点:实际数据库实例,初期多片共享一库。
  • 映射层:逻辑分片 → 物理库表的映射可调整。
  • 扩容收益:搬逻辑分片即可,不重算全量数据。

原理流程

  1. 按未来规模预估逻辑分片数量。
  2. 初期多逻辑片映射到少数物理库。
  3. 扩容时迁移逻辑分片,更新映射。

代码 / 命令

逻辑分片 0~1023
  初始:shard 0~255 → db0;256~511 → db1;...
  扩容:把 shard 128~255 迁到新库 db2,更新映射

常见误区

  • 误区:预分片数量越多越好。正解:逻辑片过多增加管理与路由复杂度;按可预见增长预估,避免过度拆分。
  • 误区:预分片后物理库不用扩容。正解:预分片只是降低迁移成本,物理容量仍随数据增长横向扩展。

追问

  • 问:逻辑分片数量怎么估?答:结合未来数据量、单库容量与增长周期;留有余量但不过量。
  • 问:预分片能解决分片键选错吗?答:不能;分片键决定数据归属,预分片只优化扩容迁移。

05.1.4.2-013 分片键可以变更吗?二次拆分怎么做?

频率 ★★★☆☆ | 难度 高级

一句话结论

分片键变更等于按新键重新分布全量数据,属于二次分片:需建新分片体系、双写或日志同步迁移、校验后切流,旧体系下线;成本高,设计阶段应尽量选稳路由键。

概念解释

  • 二次分片:路由键或分片算法改变,数据重新分布。
  • 迁移路径:新体系建表 → 历史迁移 → 增量同步 → 校验切流。
  • 双写过渡:过渡期新旧体系同时写入,保证可回退。
  • 回滚方案:切流后观察期内可切回旧体系。

原理流程

  1. 确定新分片键与算法,搭建新分片结构。
  2. 迁移历史数据并同步增量。
  3. 校验一致后灰度切流,观察期后下线旧分片。

代码 / 命令

二次拆分流程:
  新分片体系就绪 → 全量迁移 → 增量同步(双写/订阅)
  → 对账校验 → 灰度切流 → 观察期 → 旧体系下线

常见误区

  • 误区:分片键选错改个路由函数就行。正解:数据物理分布在旧分片,必须全量迁移;改函数不搬数据会导致定位错误。
  • 误区:二次拆分可以停机一次性完成。正解:大表停机窗口不可接受;通常双写 + 灰度迁移,详见 05.1.4.5。

追问

  • 问:如何降低二次拆分概率?答:设计期梳理全量查询模式与实体归属,选稳定不变的业务标识作路由键。
  • 问:过渡期双写冲突怎么办?答:明确主写侧与冲突解决规则;对账发现差异按主写侧修正。

05.1.4.2-014 分片后的主键、唯一约束和外键怎么处理?

频率 ★★★☆☆ | 难度 进阶

一句话结论

分片后本地唯一约束只能保证单片内唯一;跨片唯一需全局唯一 ID 或全局唯一校验(映射表/唯一索引体系)。外键跨库无法由数据库强制,需应用层保证引用完整性。

概念解释

  • 本地唯一:片内唯一索引有效,跨片可能重复。
  • 全局唯一:全局 ID 保证主键唯一;业务唯一键(如账号)需全局去重机制。
  • 外键约束:跨分片外键数据库不强制,应用层维护。
  • 校验补偿:唯一冲突与引用完整性靠校验与对账兜底。

原理流程

  1. 主键用全局唯一 ID。
  2. 业务唯一键建全局映射/唯一校验结构。
  3. 关联完整性由应用层 + 对账保证,不依赖数据库外键。

代码 / 命令

主键:全局 ID(雪花/号段)保证跨片唯一
业务唯一键(如登录名):全局唯一映射表去重
外键:应用层校验存在性;删除/更新关联时按业务规则处理

常见误区

  • 误区:片内唯一索引能防止跨片重复业务键。正解:唯一索引只约束本分片;跨片重复需全局去重结构。
  • 误区:分片后还能依赖数据库外键保证关联。正解:跨库外键不生效;引用完整性上移到应用层与业务流程。

追问

  • 问:全局唯一映射表怎么保证并发不重复?答:靠唯一约束/原子插入;冲突时重试或报错,保证只插入一条。
  • 问:删除被关联数据怎么处理?答:应用层检查关联或采用软删除/业务状态,跨片无法用外键级联。

05.1.4.2-015 分片中间件和应用层路由怎么选?

频率 ★★★☆☆ | 难度 进阶

一句话结论

路由可由中间件(代理层解析 SQL 路由)或应用层(代码内按分片规则路由)实现;中间件对业务透明但有代理层开销与能力限制,应用层路由灵活可控但业务代码侵入。常见方案按团队栈与复杂度选择。

概念解释

  • 中间件路由:代理层接收 SQL,解析路由键并转发到对应分片,结果归并。
  • 应用层路由:代码按分片规则选数据源/表,显式访问分片。
  • 中间件优势:业务 SQL 改动小,统一治理。
  • 应用层优势:灵活、无代理层,控制逻辑清晰;侵入业务代码。

原理流程

  1. 评估团队技术栈、SQL 复杂度与运维能力。
  2. 选中间件或应用层路由;定义分片规则与归并逻辑。
  3. 测试跨片查询、事务与扩容场景。

代码 / 命令

中间件:SQL → 代理解析路由键 → 转发分片 → 归并结果
应用层:代码计算分片 → 选数据源/表 → 执行 → 应用层归并

常见误区

  • 误区:中间件能透明解决所有跨片问题。正解:跨片事务、归并、特殊 SQL 仍受中间件能力限制;复杂场景需应用层配合。
  • 误区:应用层路由就不需要规范。正解:分片规则、连接数据源选择必须统一封装,避免各处手写规则不一致。

追问

  • 问:中间件本身会不会成为单点?答:代理层需集群部署与高可用;其故障影响所有分片访问,需纳入高可用设计。
  • 问:常见分片中间件有哪些?答:按技术栈有分库分表中间件/代理;具体产品与能力以选型调研为准,不在本库展开。

05.1.4.2-016 分库分表有哪些常见坑?

频率 ★★★★☆ | 难度 进阶

一句话结论

常见坑:路由键不当导致跨片/倾斜、跨片事务复杂、非分片键查询全片扫描、全局 ID 重复、扩容迁移漏增量、唯一约束与外键失效、跨片深分页与归并代价;设计评审时逐项对照规避。

概念解释

  • 路由类坑:键选择不当、热点倾斜。
  • 查询类坑:跨片扫描、全局排序分页、归并放大。
  • 一致性坑:跨片事务、唯一/外键、映射表不一致。
  • 运维类坑:扩容迁移、双写对账、中间件高可用。

原理流程

  1. 评审分片方案:路由键、查询模式、事务边界。
  2. 核对全局 ID、约束与映射一致性方案。
  3. 设计扩容迁移与对账流程,预留回滚。

代码 / 命令

坑清单:
  路由键不匹配高频查询 / 数据倾斜热点
  高频跨片查询、跨片深分页
  跨片强一致事务
  全局 ID 重复或无序
  扩容漏同步增量 / 双写不一致
  跨片唯一约束、外键失效
  中间件单点与 SQL 兼容性

常见误区

  • 误区:分片框架能自动规避所有坑。正解:框架只提供路由与归并;业务建模、一致性与迁移仍需自己设计。
  • 误区:上线后再慢慢补跨片查询方案。正解:跨片查询与事务代价在设计期就要评估,事后改造牵连大。

追问

  • 问:分片后如何做代码评审?答:检查每个查询是否带路由键、跨片操作是否有归并与对账、ID 与约束方案是否落地。
  • 问:分片架构出问题先查什么?答:先定位是路由错误、数据倾斜、跨片慢查询还是一致性差异,按链路环节排查。

05.1.4.2-017 分区表和分库分表有什么区别?

频率 ★★★★☆ | 难度 进阶

一句话结论

分区表是单库内按分区规则把表数据拆成分区,由数据库管理,跨分区查询对应用透明;分库分表是把数据分散到多个独立库/表,需应用/中间件路由与归并。分区表解决单表维护与扫描裁剪,分库分表突破单机容量与写入上限。

概念解释

  • 分区表:逻辑一张表,物理多分区;分区键裁剪扫描范围。
  • 分库分表:多物理库表,路由键定位分片,跨片需协调。
  • 透明性:分区表 SQL 基本不改;分片需路由改造。
  • 扩展边界:分区仍受单机资源限制;分片横向扩展多机。

原理流程

  1. 瓶颈在单表扫描/维护 → 先评估分区表。
  2. 单机容量/写入到顶 → 评估分库分表。
  3. 两者可组合:分片内再按时间分区。

代码 / 命令

-- 分区表示意:按时间范围分区(语法按引擎)
-- CREATE TABLE orders (...) PARTITION BY RANGE (created_at) (...);

-- 分库分表:数据分布在多个独立库/表,路由层定位

常见误区

  • 误区:分区表就是分表。正解:分区是库内物理拆分、引擎管理;分表是跨库/跨表的水平分片,路由与归并需自行实现。
  • 误区:分区表能提升写入吞吐到多机。正解:分区仍在单库实例内,CPU/IO/锁上限不变;多机扩展要靠分片。

追问

  • 问:什么查询能利用分区裁剪?答:条件带分区键,优化器只扫描相关分区;不带分区键则全分区扫描。
  • 问:分区与归档怎么配合?答:历史分区可单独 detach/归档,减少在线表扫描;详见 05.1.3.5-007。

05.1.4.2-018 分片设计评审要回答哪些问题?

频率 ★★★☆☆ | 难度 进阶

一句话结论

评审分片方案需回答:为什么分片、路由键是什么、查询是否命中单片、跨片查询与事务如何处理、全局 ID 与约束怎么保证、扩容迁移路径、数据倾斜监控与回滚方案。

概念解释

  • 必要性:单机优化手段是否已用尽。
  • 路由设计:分片键、算法、映射规则。
  • 查询与事务:跨片比例、归并与一致性方案。
  • 运维演进:扩容、监控、对账、回滚。

原理流程

  1. 列出现有与规划的高频查询,标注是否命中分片键。
  2. 明确跨片查询/事务的处理方案与一致性等级。
  3. 给出扩容迁移、监控指标与回滚预案。

代码 / 命令

评审问题清单:
  瓶颈是否确认,替代手段是否用尽?
  路由键依据哪些高频查询?分布是否均衡?
  哪些查询跨片?归并代价与方案?
  跨片事务一致性等级与补偿?
  全局 ID、唯一约束、外键如何保证?
  扩容迁移与增量同步方案?
  倾斜/慢查询监控与回滚预案?

常见误区

  • 误区:评审只看分片算法。正解:查询命中、事务一致性、扩容迁移与监控同样关键。
  • 误区:分片方案一次定终身。正解:需随业务增长复核;预留扩容与二次拆分评估路径。

追问

  • 问:如何量化跨片查询比例?答:统计上线后 SQL 模板中带/不带路由键的比例与耗时占比,作为方案合理性依据。
  • 问:分片后团队运维要准备什么?答:路由治理、迁移工具、对账监控、中间件高可用与故障演练。

参考来源