05.11.4 分片路由、分布式事务与全局索引
所属:全栈开发面试题库 / 05 数据库与存储 / 05.11 NewSQL 与分布式数据库
覆盖范围
- 分片键选择与路由
- 跨分片查询与聚合
- 分布式事务(2PC/TCC/Saga)
- 全局索引与二级索引
- 分片扩容与数据迁移
高频题速览
| 编号 | 题目 | 难度 | 频率 |
|---|---|---|---|
| 05.11.4-001 | 分片键怎么选 | 进阶 | ★★★★★ |
| 05.11.4-002 | 跨分片查询怎么处理 | 进阶 | ★★★★ |
| 05.11.4-003 | 分布式事务方案怎么选 | 进阶 | ★★★★★ |
| 05.11.4-004 | 全局索引和二级分片索引 | 高级 | ★★★ |
| 05.11.4-005 | 分片扩容怎么迁移数据 | 进阶 | ★★★ |
05.11.4-001 分片键怎么选?
频率 ★★★★★ | 难度 进阶
一句话结论
分片键原则:高离散(避免热点)、查询尽量带分片键(避免全路由)、事务尽量落在单分片;常见选 user_id、order_id,避免按时间分片(热点)或按性别等低基数字段。
常见误区
- 误区:分片键就是主键。正解:分片键决定数据分布,主键唯一;两者可不同。
- 误区:自增 ID 分片均匀。正解:自增 ID 都路由到最后一个分片,热点。
05.11.4-002 跨分片查询怎么处理?
频率 ★★★★ | 难度 进阶
一句话结论
带分片键的查询路由到单分片;不带分片键的全路由(广播到所有分片再合并);跨分片聚合由中间层二次聚合;JOIN 跨分片需用绑定表(同分片键)或广播小表。
05.11.4-003 分布式事务方案怎么选?
频率 ★★★★★ | 难度 进阶
一句话结论
强一致场景用 2PC(XA)但性能差、阻塞;最终一致用 TCC(Try/Confirm/Cancel,业务侵入)或 Saga(长事务编排,补偿);互联网一般用本地消息表 + 最终一致,避免跨库强事务。
常见误区
- 误区:分布式事务一定用 2PC。正解:2PC 性能差,互联网多数用最终一致。
05.11.4-004 全局索引和二级分片索引有什么区别?
频率 ★★★ | 难度 高级
一句话结论
分片内二级索引只在分片内有效;全局索引(非分片键上的索引)需要全局路由或额外索引表,查询可能跨所有分片;NewSQL(TiDB)自动维护全局索引,分库分表中间件需业务自己处理。
05.11.4-005 分片扩容怎么迁移数据?
频率 ★★★ | 难度 进阶
一句话结论
扩容用一致性哈希或预分片(逻辑分片数远大于物理节点数),迁移时把部分分片搬到新节点,双写切换,再下线旧数据;业务无感知。
05.11.4-006 分片键选错了怎么办?
频率 ★★★ | 难度 高级
一句话结论
分片键选错导致热点或跨分片查询,唯一方案是重新分片(migrate):建新分片、双写、数据迁移、切流;代价极大,所以一开始就要选好。
05.11.4-007 一致性哈希和取模分片怎么选?
频率 ★★★ | 难度 进阶
一句话结论
取模分片(hash(key) % N)简单但扩容要迁移大量数据;一致性哈希(虚拟节点)扩容只迁移相邻节点数据;NewSQL 用预分片(逻辑分片数远大于物理节点数),扩容只搬分片。
05.11.4-008 TCC 的空回滚和悬挂是什么?
频率 ★★★ | 难度 高级
一句话结论
TCC 中 Try 超时未执行但 Cancel 先到,Cancel 空回滚;Try 迟到在 Cancel 之后执行,称为悬挂;用事务状态表记录,空回滚时标记,Try 时检查状态拒绝悬挂。
05.11.4-009 本地消息表怎么实现最终一致?
频率 ★★★ | 难度 进阶
一句话结论
业务写本地库同时写消息表(同一事务),后台任务把消息投到 MQ,消费者消费;消息表记录投递状态,失败重试;不依赖分布式事务。
05.11.4-010 全局二级索引怎么实现?
频率 ★★ | 难度 高级
一句话结论
分片键外的索引需要全局索引表(按索引列建索引表,指向分片位置);查询全局索引要先查索引表定位分片,再回原分片取数据;NewSQL 自动维护,分库分表需业务自己建。
典型场景与代码示例
分片路由示例
分片键:user_id
分片规则:user_id % 16
查询:WHERE user_id = 12345
-> 12345 % 16 = 9
-> 路由到分片 9,单分片查询
查询:WHERE dept_id = 10
-> 不带分片键,全路由到 16 个分片
-> 中间层合并结果
分布式事务方案对比
方案 一致性 性能 业务侵入 适用
2PC/XA 强一致 低 无 短事务、资金
TCC 最终一致 中 高 支付、下单
Saga 最终一致 中 中 长事务、跨服务
本地消息表 最终一致 高 低 互联网通用
一致性哈希 vs 取模
取模:hash(key) % 4
节点 4 -> 节点 8 扩容时,几乎所有 key 要迁移
一致性哈希:
虚拟节点 100 个
扩容时只迁移相邻虚拟节点的数据
数据迁移量最小
面试高频追问
问:分片键选择最核心的原则是什么?
答:高离散(避免热点)、查询尽量带分片键、事务尽量落单分片;选错只能重新分片,代价极大。
问:2PC 和 TCC 怎么选?
答:短事务用 2PC(强一致但性能差);长事务用 TCC(业务侵入但灵活);互联网通用本地消息表最终一致。
问:全局索引和分片内索引有什么区别?
答:分片内索引只在分片内有效;全局索引需全局路由表,查询跨分片;NewSQL 自动维护,分库分表需业务自己建。
问:分片扩容怎么迁移数据?
答:用预分片(逻辑分片数远大于物理节点数),扩容只搬分片;业务无感知,双写切换。
核心要点速记
| 方案 | 一致性 | 性能 | 侵入 | 适用 |
|---|---|---|---|---|
| 2PC/XA | 强 | 低 | 无 | 短事务、资金 |
| TCC | 最终 | 中 | 高 | 支付、下单 |
| Saga | 最终 | 中 | 中 | 长事务 |
| 本地消息表 | 最终 | 高 | 低 | 互联网通用 |
分片键原则:
- 高离散(避免热点)
- 查询尽量带分片键
- 事务尽量落单分片
一句话记忆:分片键选错是灾难;分布式事务互联网用最终一致。
相关概念辨析
水平分片 vs 垂直分片
| 维度 | 水平分片 | 垂直分片 |
|---|---|---|
| 拆分 | 按行 | 按列 |
| 路由 | 分片键 | 表 |
| 适合 | 大表 | 宽表 |
| 事务 | 跨分片 | 单库 |
2PC vs 最终一致性
- 2PC:强一致,性能差。
- 最终一致性:弱一致,性能好。
- 选择:金融用 2PC;互联网用最终一致。
05.11.4-009 分片键选择有哪些原则?
频率 ★★★★ | 难度 进阶
一句话结论
分片键选择原则:1)高基数;2)查询频繁;3)分布均匀;4)避免自增主键(导致写入热点)。
概念解释
- 高基数:分片键值多,数据分布均匀。
- 查询频繁:查询条件命中分片键,路由到单分片。
- 分布均匀:避免数据倾斜,某些分片过大。
原理流程
- 选 user_id 分片:用户查询命中分片,路由到单分片。
- 选自增 id:所有写入到最后一个分片,热点。
- 选 status(低基数):数据分布不均匀,3 个值。
常见误区
- 误区:分片键随便选。正解:分片键决定数据分布,选错会热点和倾斜。
追问延伸
- 分片键选择:user_id、order_id 高基数。
- 避免:自增 id、status、type 低基数。
05.11.4-010 全局二级索引怎么实现?
频率 ★★ | 难度 高级
一句话结论
全局二级索引:索引数据跨分片存储;查询要先查索引分片,再路由到数据分片;代价是两次路由。
概念解释
- 全局索引:索引 key 和数据 key 不在同一分片。
- 两次路由:先查索引分片,再路由到数据分片。
- 代价:查询性能比单分片差。
原理流程
- 查询:WHERE user_name = 'xxx'。
- 先查索引分片:找到 user_name 对应的 user_id。
- 再路由到数据分片:按 user_id 查数据。
常见误区
- 误区:全局索引就是普通索引。正解:全局索引跨分片,查询要二次路由。
追问延伸
- 局部索引:索引和数据在同一分片,性能好但不支持跨分片查询。
- 全局索引:支持跨分片查询,但性能差。
05.11.4-011 TCC 模式的三阶段是什么?
频率 ★★★ | 难度 高级
一句话结论
TCC(Try-Confirm-Cancel):Try 预留资源,Confirm 确认执行,Cancel 取消释放;每个操作都要实现三个接口。
概念解释
- Try:尝试执行,预留资源。
- Confirm:确认执行,真正提交。
- Cancel:取消执行,释放预留资源。
原理流程
- Try:冻结订单库存,预留资源。
- Confirm:扣减库存,真正提交。
- Cancel:解冻库存,释放资源。
常见误区
- 误区:TCC 就是 2PC。正解:TCC 是业务层柔性事务,2PC 是数据库层强一致。
追问延伸
- TCC 适合:业务层最终一致,如电商下单扣库存。
- 实现:每个操作都要实现 Try/Confirm/Cancel 三个接口。
05.11.4-012 本地消息表怎么实现最终一致?
频率 ★★★ | 难度 高级
一句话结论
本地消息表:业务操作和消息写入在同一事务;后台任务轮询消息表,发送到 MQ;消费方消费 MQ,确认后删除消息。
概念解释
- 本地消息表:和业务表在同一数据库,同一事务。
- 后台任务:轮询消息表,发送到 MQ。
- 消费方:消费 MQ,确认后删除消息。
原理流程
- 业务操作:写业务表 + 写消息表,同一事务。
- 后台任务:轮询消息表,发送到 MQ。
- 消费方:消费 MQ,确认后删除消息。
常见误区
- 误区:本地消息表就是 MQ。正解:本地消息表是数据库表,后台任务同步到 MQ。
追问延伸
- 保证:业务操作和消息写入在同一事务,不会丢。
- 重试:发送失败重试,消费失败重试。
待整理清单
- [ ] 一致性哈希 vs 取模分片
- [ ] TCC 空回滚、悬挂问题
- [ ] 本地消息表与事务消息