05.14.1 分库分表中间件
所属:全栈开发面试题库 / 05 数据库与存储 / 05.14 中间件与迁移
覆盖范围
- ShardingSphere 架构与路由
- 分片键与分布式主键
- 读写分离与加密
- 中间件与 NewSQL 对比
- 跨分片问题
高频题速览
| 编号 | 题目 | 难度 | 频率 |
|---|---|---|---|
| 05.14.1-001 | ShardingSphere 怎么工作 | 进阶 | ★★★★ |
| 05.14.1-002 | 分布式主键怎么生成 | 进阶 | ★★★★ |
| 05.14.1-003 | 跨分片分页怎么处理 | 进阶 | ★★★ |
| 05.14.1-004 | 分库分表中间件有什么局限 | 进阶 | ★★★★ |
| 05.14.1-005 | ShardingSphere 和 TiDB 怎么选 | 进阶 | ★★★ |
05.14.1-001 ShardingSphere 怎么工作?
频率 ★★★★ | 难度 进阶
一句话结论
ShardingSphere 作为 JDBC 驱动(或 Proxy)拦截 SQL,按分片规则路由到对应库表,改写 SQL 执行,合并结果;支持分库分表、读写分离、加密、影子库。
05.14.1-002 分布式主键怎么生成?
频率 ★★★★ | 难度 进阶
一句话结论
常见方案:雪花算法(Snowflake,时间戳+机器ID+序列)、号段模式(数据库发号器)、UUID;雪花 ID 有序但依赖时钟,号段简单但有 DB 依赖。
05.14.1-003 跨分片分页怎么处理?
频率 ★★★ | 难度 进阶
一句话结论
跨分片 LIMIT N,M 中间层从每个分片取 N+M 行再合并排序,深分页性能差;优化:带分片键、用游标分页。
05.14.1-004 分库分表中间件有什么局限?
频率 ★★★★ | 难度 进阶
一句话结论
跨分片 JOIN、分布式事务、扩容迁移都需业务侵入;SQL 兼容性受限(部分函数不支持);运维复杂度高;业务增长后是技术债。
05.14.1-005 ShardingSphere 和 TiDB 怎么选?
频率 ★★★ | 难度 进阶
一句话结论
已用 MySQL 生态、不想引入新存储选 ShardingSphere;业务量超 MySQL 单库、希望透明分片选 TiDB;ShardingSphere 是中间件,TiDB 是替代方案。
05.14.1-006 雪花算法时钟回拨怎么办?
频率 ★★★ | 难度 进阶
一句话结论
时钟回拨导致 ID 重复;处理:检测回拨后等待时钟追平、或用备用位、或用号段模式替代;生产用百度 UidGenerator 或美团 Leaf。
05.14.1-007 ShardingSphere-Proxy 比 JDBC 模式好吗?
频率 ★★ | 难度 基础
一句话结论
JDBC 模式嵌应用,无额外部署但语言绑定;Proxy 模式独立部署,多语言共用但多一层网络;新项目用 Proxy,已有 Java 应用用 JDBC。
05.14.1-008 分库分表后跨库 JOIN 怎么办?
频率 ★★★ | 难度 进阶
一句话结论
避免跨库 JOIN:用绑定表(同分片键)、冗余字段到宽表、应用层拼装;中间件提供绑定表和广播小表,不支持任意跨库 JOIN。
05.14.1-009 分库分表后全局唯一 ID 怎么保证?
频率 ★★★ | 难度 进阶
一句话结论
用分布式 ID(雪花/号段),不依赖自增;自增 ID 在不同分片会重复,不能做主键。
05.14.1-010 分库分表迁移到 NewSQL 怎么做?
频率 ★★ | 难度 进阶
一句话结论
先把分库分表中间件下线,数据汇总到单库(NewSQL);双写过渡,校验后切流;NewSQL 自动分片,业务不再需要中间件。
典型场景与代码示例
分片规则配置
# ShardingSphere 分片规则
tables:
orders:
actualDataNodes: ds_${0..1}.orders_${0..15}
tableStrategy:
standard:
shardingColumn: user_id
shardingAlgorithmName: orders_inline
databaseStrategy:
standard:
shardingColumn: user_id
shardingAlgorithmName: db_inline
shardingAlgorithms:
orders_inline:
type: INLINE
props:
algorithm-expression: orders_${user_id % 16}
db_inline:
type: INLINE
props:
algorithm-expression: ds_${user_id % 2}
雪花算法结构
| 1 bit 符号位 | 41 bit 时间戳 | 10 bit 机器ID | 12 bit 序列 |
时间戳:毫秒级,可用 69 年
机器ID:1024 个节点
序列:每毫秒 4096 个 ID
绑定表
orders(按 user_id 分 16 表)
order_items(按 user_id 分 16 表)
-- 相同 user_id 的 orders 和 items 落在同一分片
-- JOIN 时本地完成,不需要跨分片 shuffle
面试高频追问
问:分库分表中间件有什么局限?
答:跨分片 JOIN、分布式事务、扩容迁移都需业务侵入;SQL 兼容性受限;是技术债,不是银弹。
问:分片键选错了怎么办?
答:只能重新分片(建新分片、双写、迁移、切流),代价极大;一开始就要选好。
问:雪花算法时钟回拨怎么处理?
答:检测回拨后等待时钟追平,或用备用位;生产用百度 UidGenerator 或美团 Leaf 更稳。
问:ShardingSphere 和 TiDB 怎么选?
答:已用 MySQL 生态、不想引入新存储选 ShardingSphere;业务量超 MySQL 单库、希望透明分片选 TiDB。
核心要点速记
| 概念 | 说明 |
|---|---|
| 分片键 | 决定数据分布,选高离散列 |
| 分布式 ID | 雪花算法/号段,不依赖自增 |
| 绑定表 | 同分片键,JOIN 本地完成 |
| 全局索引 | 跨分片索引,需路由表 |
ShardingSphere 模式:
- JDBC:嵌应用,Java 绑定
- Proxy:独立部署,多语言共用
一句话记忆:分库分表是最后手段;分片键选错是灾难。
相关概念辨析
ShardingSphere vs MyCat
| 维度 | ShardingSphere | MyCat |
|---|---|---|
| 架构 | JDBC/Proxy | Proxy |
| 性能 | JDBC 快 | Proxy 慢 |
| 生态 | Apache | 开源 |
| 适合 | 新项目 | 老项目 |
雪花 ID vs UUID
- 雪花 ID:趋势递增,有序,64 位。
- UUID:无序,128 位。
- 选择:MySQL 主键用雪花 ID;分布式追踪用 UUID。
05.14.1-009 雪花 ID 时钟回拨怎么处理?
频率 ★★★ | 难度 高级
一句话结论
雪花 ID 依赖时间戳,时钟回拨会导致重复 ID;处理:1)回拨小则等待;2)回拨大则报错;3)用号段模式替代。
概念解释
- 雪花 ID:时间戳 + 机器 ID + 序列号。
- 时钟回拨:系统时间回退,生成重复 ID。
- 处理:等待回拨结束,或报错人工介入。
原理流程
- 雪花 ID:时间戳 + 机器 ID + 序列号。
- 时钟回拨:系统时间回退,时间戳变小。
- 处理:回拨小则等待;回拨大则报错。
常见误区
- 误区:雪花 ID 不会重复。正解:时钟回拨会导致重复。
追问延伸
- 回拨处理:等待 5ms 或报错。
- 替代:号段模式,数据库发号。
05.14.1-010 跨分片查询怎么处理?
频率 ★★★ | 难度 进阶
一句话结论
跨分片查询:中间件不支持,应用层组装;或用全局表、广播表减少跨分片。
概念解释
- 跨分片 JOIN:中间件不支持,应用层组装。
- 全局表:小表复制到所有分片,避免 JOIN。
- 广播表:小表广播,JOIN 时本地完成。
原理流程
- 跨分片 JOIN:中间件不支持,应用层组装。
- 全局表:小表复制到所有分片。
- 广播表:JOIN 时本地完成。
常见误区
- 误区:分库分表后不用改 SQL。正解:跨分片 JOIN 要改 SQL。
追问延伸
- 全局表:小表复制到所有分片。
- 应用层组装:应用查多个分片,合并结果。
05.14.1-011 ShardingSphere 分片策略有哪些?
频率 ★★ | 难度 进阶
一句话结论
ShardingSphere 分片策略:精确分片(=)、范围分片(BETWEEN)、哈希分片(HASH)、复合分片(多列)。
概念解释
- 精确分片:= 条件,路由到单分片。
- 范围分片:BETWEEN 条件,路由到多分片。
- 哈希分片:HASH 取模,数据均匀分布。
原理流程
- 精确分片:WHERE user_id = 100,路由到单分片。
- 范围分片:WHERE user_id BETWEEN 1 AND 100,路由到多分片。
- 哈希分片:HASH(user_id) % N。
常见误区
- 误区:分片策略随便选。正解:分片策略决定路由和数据分布。
追问延伸
- 分片策略:精确、范围、哈希、复合。
- 选择:按查询条件和数据分布选。
05.14.1-012 分布式主键怎么选?
频率 ★★★ | 难度 进阶
一句话结论
分布式主键:雪花 ID(趋势递增,64 位)、UUID(无序,128 位)、号段模式(数据库发号);MySQL 主键用雪花 ID。
概念解释
- 雪花 ID:趋势递增,64 位,适合 MySQL。
- UUID:无序,128 位,适合分布式追踪。
- 号段模式:数据库发号,简单但有单点。
原理流程
- 雪花 ID:时间戳 + 机器 ID + 序列号。
- UUID:随机生成,无序。
- 号段模式:数据库发号段,应用内自增。
常见误区
- 误区:分布式主键用 UUID。正解:UUID 无序,MySQL 主键用雪花 ID。
追问延伸
- 雪花 ID:趋势递增,适合 MySQL B+ Tree。
- UUID:无序,适合分布式追踪。
待整理清单
- [ ] ShardingSphere-Proxy 与 JDBC 模式
- [ ] 影子库压测
- [ ] 数据加密与脱敏