罗罗编程学习记录
本页内容 展开查看

05.11.4 分片路由、分布式事务与全局索引

所属:全栈开发面试题库 / 05 数据库与存储 / 05.11 NewSQL 与分布式数据库

覆盖范围

  • 分片键选择与路由
  • 跨分片查询与聚合
  • 分布式事务(2PC/TCC/Saga)
  • 全局索引与二级索引
  • 分片扩容与数据迁移

高频题速览

编号 题目 难度 频率
05.11.4-001 分片键怎么选 进阶 ★★★★★
05.11.4-002 跨分片查询怎么处理 进阶 ★★★★
05.11.4-003 分布式事务方案怎么选 进阶 ★★★★★
05.11.4-004 全局索引和二级分片索引 高级 ★★★
05.11.4-005 分片扩容怎么迁移数据 进阶 ★★★

05.11.4-001 分片键怎么选?

频率 ★★★★★ | 难度 进阶

一句话结论

分片键原则:高离散(避免热点)、查询尽量带分片键(避免全路由)、事务尽量落在单分片;常见选 user_id、order_id,避免按时间分片(热点)或按性别等低基数字段。

常见误区

  • 误区:分片键就是主键。正解:分片键决定数据分布,主键唯一;两者可不同。
  • 误区:自增 ID 分片均匀。正解:自增 ID 都路由到最后一个分片,热点。

05.11.4-002 跨分片查询怎么处理?

频率 ★★★★ | 难度 进阶

一句话结论

带分片键的查询路由到单分片;不带分片键的全路由(广播到所有分片再合并);跨分片聚合由中间层二次聚合;JOIN 跨分片需用绑定表(同分片键)或广播小表。


05.11.4-003 分布式事务方案怎么选?

频率 ★★★★★ | 难度 进阶

一句话结论

强一致场景用 2PC(XA)但性能差、阻塞;最终一致用 TCC(Try/Confirm/Cancel,业务侵入)或 Saga(长事务编排,补偿);互联网一般用本地消息表 + 最终一致,避免跨库强事务。

常见误区

  • 误区:分布式事务一定用 2PC。正解:2PC 性能差,互联网多数用最终一致。

05.11.4-004 全局索引和二级分片索引有什么区别?

频率 ★★★ | 难度 高级

一句话结论

分片内二级索引只在分片内有效;全局索引(非分片键上的索引)需要全局路由或额外索引表,查询可能跨所有分片;NewSQL(TiDB)自动维护全局索引,分库分表中间件需业务自己处理。


05.11.4-005 分片扩容怎么迁移数据?

频率 ★★★ | 难度 进阶

一句话结论

扩容用一致性哈希或预分片(逻辑分片数远大于物理节点数),迁移时把部分分片搬到新节点,双写切换,再下线旧数据;业务无感知。


05.11.4-006 分片键选错了怎么办?

频率 ★★★ | 难度 高级

一句话结论

分片键选错导致热点或跨分片查询,唯一方案是重新分片(migrate):建新分片、双写、数据迁移、切流;代价极大,所以一开始就要选好。


05.11.4-007 一致性哈希和取模分片怎么选?

频率 ★★★ | 难度 进阶

一句话结论

取模分片(hash(key) % N)简单但扩容要迁移大量数据;一致性哈希(虚拟节点)扩容只迁移相邻节点数据;NewSQL 用预分片(逻辑分片数远大于物理节点数),扩容只搬分片。


05.11.4-008 TCC 的空回滚和悬挂是什么?

频率 ★★★ | 难度 高级

一句话结论

TCC 中 Try 超时未执行但 Cancel 先到,Cancel 空回滚;Try 迟到在 Cancel 之后执行,称为悬挂;用事务状态表记录,空回滚时标记,Try 时检查状态拒绝悬挂。


05.11.4-009 本地消息表怎么实现最终一致?

频率 ★★★ | 难度 进阶

一句话结论

业务写本地库同时写消息表(同一事务),后台任务把消息投到 MQ,消费者消费;消息表记录投递状态,失败重试;不依赖分布式事务。


05.11.4-010 全局二级索引怎么实现?

频率 ★★ | 难度 高级

一句话结论

分片键外的索引需要全局索引表(按索引列建索引表,指向分片位置);查询全局索引要先查索引表定位分片,再回原分片取数据;NewSQL 自动维护,分库分表需业务自己建。

典型场景与代码示例

分片路由示例

分片键:user_id
分片规则:user_id % 16

查询:WHERE user_id = 12345
  -> 12345 % 16 = 9
  -> 路由到分片 9,单分片查询

查询:WHERE dept_id = 10
  -> 不带分片键,全路由到 16 个分片
  -> 中间层合并结果

分布式事务方案对比

方案        一致性    性能    业务侵入    适用
2PC/XA      强一致    低      无          短事务、资金
TCC         最终一致  中      高          支付、下单
Saga        最终一致  中      中          长事务、跨服务
本地消息表  最终一致  高      低          互联网通用

一致性哈希 vs 取模

取模:hash(key) % 4
  节点 4 -> 节点 8 扩容时,几乎所有 key 要迁移

一致性哈希:
  虚拟节点 100 个
  扩容时只迁移相邻虚拟节点的数据
  数据迁移量最小

面试高频追问

问:分片键选择最核心的原则是什么?

答:高离散(避免热点)、查询尽量带分片键、事务尽量落单分片;选错只能重新分片,代价极大。

问:2PC 和 TCC 怎么选?

答:短事务用 2PC(强一致但性能差);长事务用 TCC(业务侵入但灵活);互联网通用本地消息表最终一致。

问:全局索引和分片内索引有什么区别?

答:分片内索引只在分片内有效;全局索引需全局路由表,查询跨分片;NewSQL 自动维护,分库分表需业务自己建。

问:分片扩容怎么迁移数据?

答:用预分片(逻辑分片数远大于物理节点数),扩容只搬分片;业务无感知,双写切换。

核心要点速记

方案 一致性 性能 侵入 适用
2PC/XA 强 低 无 短事务、资金
TCC 最终 中 高 支付、下单
Saga 最终 中 中 长事务
本地消息表 最终 高 低 互联网通用

分片键原则:

  • 高离散(避免热点)
  • 查询尽量带分片键
  • 事务尽量落单分片

一句话记忆:分片键选错是灾难;分布式事务互联网用最终一致。

相关概念辨析

水平分片 vs 垂直分片

维度 水平分片 垂直分片
拆分 按行 按列
路由 分片键 表
适合 大表 宽表
事务 跨分片 单库

2PC vs 最终一致性

  • 2PC:强一致,性能差。
  • 最终一致性:弱一致,性能好。
  • 选择:金融用 2PC;互联网用最终一致。

05.11.4-009 分片键选择有哪些原则?

频率 ★★★★ | 难度 进阶

一句话结论

分片键选择原则:1)高基数;2)查询频繁;3)分布均匀;4)避免自增主键(导致写入热点)。

概念解释

  • 高基数:分片键值多,数据分布均匀。
  • 查询频繁:查询条件命中分片键,路由到单分片。
  • 分布均匀:避免数据倾斜,某些分片过大。

原理流程

  1. 选 user_id 分片:用户查询命中分片,路由到单分片。
  2. 选自增 id:所有写入到最后一个分片,热点。
  3. 选 status(低基数):数据分布不均匀,3 个值。

常见误区

  • 误区:分片键随便选。正解:分片键决定数据分布,选错会热点和倾斜。

追问延伸

  • 分片键选择:user_id、order_id 高基数。
  • 避免:自增 id、status、type 低基数。

05.11.4-010 全局二级索引怎么实现?

频率 ★★ | 难度 高级

一句话结论

全局二级索引:索引数据跨分片存储;查询要先查索引分片,再路由到数据分片;代价是两次路由。

概念解释

  • 全局索引:索引 key 和数据 key 不在同一分片。
  • 两次路由:先查索引分片,再路由到数据分片。
  • 代价:查询性能比单分片差。

原理流程

  1. 查询:WHERE user_name = 'xxx'。
  2. 先查索引分片:找到 user_name 对应的 user_id。
  3. 再路由到数据分片:按 user_id 查数据。

常见误区

  • 误区:全局索引就是普通索引。正解:全局索引跨分片,查询要二次路由。

追问延伸

  • 局部索引:索引和数据在同一分片,性能好但不支持跨分片查询。
  • 全局索引:支持跨分片查询,但性能差。

05.11.4-011 TCC 模式的三阶段是什么?

频率 ★★★ | 难度 高级

一句话结论

TCC(Try-Confirm-Cancel):Try 预留资源,Confirm 确认执行,Cancel 取消释放;每个操作都要实现三个接口。

概念解释

  • Try:尝试执行,预留资源。
  • Confirm:确认执行,真正提交。
  • Cancel:取消执行,释放预留资源。

原理流程

  1. Try:冻结订单库存,预留资源。
  2. Confirm:扣减库存,真正提交。
  3. Cancel:解冻库存,释放资源。

常见误区

  • 误区:TCC 就是 2PC。正解:TCC 是业务层柔性事务,2PC 是数据库层强一致。

追问延伸

  • TCC 适合:业务层最终一致,如电商下单扣库存。
  • 实现:每个操作都要实现 Try/Confirm/Cancel 三个接口。

05.11.4-012 本地消息表怎么实现最终一致?

频率 ★★★ | 难度 高级

一句话结论

本地消息表:业务操作和消息写入在同一事务;后台任务轮询消息表,发送到 MQ;消费方消费 MQ,确认后删除消息。

概念解释

  • 本地消息表:和业务表在同一数据库,同一事务。
  • 后台任务:轮询消息表,发送到 MQ。
  • 消费方:消费 MQ,确认后删除消息。

原理流程

  1. 业务操作:写业务表 + 写消息表,同一事务。
  2. 后台任务:轮询消息表,发送到 MQ。
  3. 消费方:消费 MQ,确认后删除消息。

常见误区

  • 误区:本地消息表就是 MQ。正解:本地消息表是数据库表,后台任务同步到 MQ。

追问延伸

  • 保证:业务操作和消息写入在同一事务,不会丢。
  • 重试:发送失败重试,消费失败重试。

待整理清单

  • [ ] 一致性哈希 vs 取模分片
  • [ ] TCC 空回滚、悬挂问题
  • [ ] 本地消息表与事务消息