罗罗编程学习记录
本页内容 展开查看

05.14.1 分库分表中间件

所属:全栈开发面试题库 / 05 数据库与存储 / 05.14 中间件与迁移

覆盖范围

  • ShardingSphere 架构与路由
  • 分片键与分布式主键
  • 读写分离与加密
  • 中间件与 NewSQL 对比
  • 跨分片问题

高频题速览

编号 题目 难度 频率
05.14.1-001 ShardingSphere 怎么工作 进阶 ★★★★
05.14.1-002 分布式主键怎么生成 进阶 ★★★★
05.14.1-003 跨分片分页怎么处理 进阶 ★★★
05.14.1-004 分库分表中间件有什么局限 进阶 ★★★★
05.14.1-005 ShardingSphere 和 TiDB 怎么选 进阶 ★★★

05.14.1-001 ShardingSphere 怎么工作?

频率 ★★★★ | 难度 进阶

一句话结论

ShardingSphere 作为 JDBC 驱动(或 Proxy)拦截 SQL,按分片规则路由到对应库表,改写 SQL 执行,合并结果;支持分库分表、读写分离、加密、影子库。


05.14.1-002 分布式主键怎么生成?

频率 ★★★★ | 难度 进阶

一句话结论

常见方案:雪花算法(Snowflake,时间戳+机器ID+序列)、号段模式(数据库发号器)、UUID;雪花 ID 有序但依赖时钟,号段简单但有 DB 依赖。


05.14.1-003 跨分片分页怎么处理?

频率 ★★★ | 难度 进阶

一句话结论

跨分片 LIMIT N,M 中间层从每个分片取 N+M 行再合并排序,深分页性能差;优化:带分片键、用游标分页。


05.14.1-004 分库分表中间件有什么局限?

频率 ★★★★ | 难度 进阶

一句话结论

跨分片 JOIN、分布式事务、扩容迁移都需业务侵入;SQL 兼容性受限(部分函数不支持);运维复杂度高;业务增长后是技术债。


05.14.1-005 ShardingSphere 和 TiDB 怎么选?

频率 ★★★ | 难度 进阶

一句话结论

已用 MySQL 生态、不想引入新存储选 ShardingSphere;业务量超 MySQL 单库、希望透明分片选 TiDB;ShardingSphere 是中间件,TiDB 是替代方案。


05.14.1-006 雪花算法时钟回拨怎么办?

频率 ★★★ | 难度 进阶

一句话结论

时钟回拨导致 ID 重复;处理:检测回拨后等待时钟追平、或用备用位、或用号段模式替代;生产用百度 UidGenerator 或美团 Leaf。


05.14.1-007 ShardingSphere-Proxy 比 JDBC 模式好吗?

频率 ★★ | 难度 基础

一句话结论

JDBC 模式嵌应用,无额外部署但语言绑定;Proxy 模式独立部署,多语言共用但多一层网络;新项目用 Proxy,已有 Java 应用用 JDBC。


05.14.1-008 分库分表后跨库 JOIN 怎么办?

频率 ★★★ | 难度 进阶

一句话结论

避免跨库 JOIN:用绑定表(同分片键)、冗余字段到宽表、应用层拼装;中间件提供绑定表和广播小表,不支持任意跨库 JOIN。


05.14.1-009 分库分表后全局唯一 ID 怎么保证?

频率 ★★★ | 难度 进阶

一句话结论

用分布式 ID(雪花/号段),不依赖自增;自增 ID 在不同分片会重复,不能做主键。


05.14.1-010 分库分表迁移到 NewSQL 怎么做?

频率 ★★ | 难度 进阶

一句话结论

先把分库分表中间件下线,数据汇总到单库(NewSQL);双写过渡,校验后切流;NewSQL 自动分片,业务不再需要中间件。

典型场景与代码示例

分片规则配置

# ShardingSphere 分片规则
tables:
  orders:
    actualDataNodes: ds_${0..1}.orders_${0..15}
    tableStrategy:
      standard:
        shardingColumn: user_id
        shardingAlgorithmName: orders_inline
    databaseStrategy:
      standard:
        shardingColumn: user_id
        shardingAlgorithmName: db_inline
shardingAlgorithms:
  orders_inline:
    type: INLINE
    props:
      algorithm-expression: orders_${user_id % 16}
  db_inline:
    type: INLINE
    props:
      algorithm-expression: ds_${user_id % 2}

雪花算法结构

| 1 bit 符号位 | 41 bit 时间戳 | 10 bit 机器ID | 12 bit 序列 |
时间戳:毫秒级,可用 69 年
机器ID:1024 个节点
序列:每毫秒 4096 个 ID

绑定表

orders(按 user_id 分 16 表)
order_items(按 user_id 分 16 表)
-- 相同 user_id 的 orders 和 items 落在同一分片
-- JOIN 时本地完成,不需要跨分片 shuffle

面试高频追问

问:分库分表中间件有什么局限?

答:跨分片 JOIN、分布式事务、扩容迁移都需业务侵入;SQL 兼容性受限;是技术债,不是银弹。

问:分片键选错了怎么办?

答:只能重新分片(建新分片、双写、迁移、切流),代价极大;一开始就要选好。

问:雪花算法时钟回拨怎么处理?

答:检测回拨后等待时钟追平,或用备用位;生产用百度 UidGenerator 或美团 Leaf 更稳。

问:ShardingSphere 和 TiDB 怎么选?

答:已用 MySQL 生态、不想引入新存储选 ShardingSphere;业务量超 MySQL 单库、希望透明分片选 TiDB。

核心要点速记

概念 说明
分片键 决定数据分布,选高离散列
分布式 ID 雪花算法/号段,不依赖自增
绑定表 同分片键,JOIN 本地完成
全局索引 跨分片索引,需路由表

ShardingSphere 模式:

  • JDBC:嵌应用,Java 绑定
  • Proxy:独立部署,多语言共用

一句话记忆:分库分表是最后手段;分片键选错是灾难。

相关概念辨析

ShardingSphere vs MyCat

维度 ShardingSphere MyCat
架构 JDBC/Proxy Proxy
性能 JDBC 快 Proxy 慢
生态 Apache 开源
适合 新项目 老项目

雪花 ID vs UUID

  • 雪花 ID:趋势递增,有序,64 位。
  • UUID:无序,128 位。
  • 选择:MySQL 主键用雪花 ID;分布式追踪用 UUID。

05.14.1-009 雪花 ID 时钟回拨怎么处理?

频率 ★★★ | 难度 高级

一句话结论

雪花 ID 依赖时间戳,时钟回拨会导致重复 ID;处理:1)回拨小则等待;2)回拨大则报错;3)用号段模式替代。

概念解释

  • 雪花 ID:时间戳 + 机器 ID + 序列号。
  • 时钟回拨:系统时间回退,生成重复 ID。
  • 处理:等待回拨结束,或报错人工介入。

原理流程

  1. 雪花 ID:时间戳 + 机器 ID + 序列号。
  2. 时钟回拨:系统时间回退,时间戳变小。
  3. 处理:回拨小则等待;回拨大则报错。

常见误区

  • 误区:雪花 ID 不会重复。正解:时钟回拨会导致重复。

追问延伸

  • 回拨处理:等待 5ms 或报错。
  • 替代:号段模式,数据库发号。

05.14.1-010 跨分片查询怎么处理?

频率 ★★★ | 难度 进阶

一句话结论

跨分片查询:中间件不支持,应用层组装;或用全局表、广播表减少跨分片。

概念解释

  • 跨分片 JOIN:中间件不支持,应用层组装。
  • 全局表:小表复制到所有分片,避免 JOIN。
  • 广播表:小表广播,JOIN 时本地完成。

原理流程

  1. 跨分片 JOIN:中间件不支持,应用层组装。
  2. 全局表:小表复制到所有分片。
  3. 广播表:JOIN 时本地完成。

常见误区

  • 误区:分库分表后不用改 SQL。正解:跨分片 JOIN 要改 SQL。

追问延伸

  • 全局表:小表复制到所有分片。
  • 应用层组装:应用查多个分片,合并结果。

05.14.1-011 ShardingSphere 分片策略有哪些?

频率 ★★ | 难度 进阶

一句话结论

ShardingSphere 分片策略:精确分片(=)、范围分片(BETWEEN)、哈希分片(HASH)、复合分片(多列)。

概念解释

  • 精确分片:= 条件,路由到单分片。
  • 范围分片:BETWEEN 条件,路由到多分片。
  • 哈希分片:HASH 取模,数据均匀分布。

原理流程

  1. 精确分片:WHERE user_id = 100,路由到单分片。
  2. 范围分片:WHERE user_id BETWEEN 1 AND 100,路由到多分片。
  3. 哈希分片:HASH(user_id) % N。

常见误区

  • 误区:分片策略随便选。正解:分片策略决定路由和数据分布。

追问延伸

  • 分片策略:精确、范围、哈希、复合。
  • 选择:按查询条件和数据分布选。

05.14.1-012 分布式主键怎么选?

频率 ★★★ | 难度 进阶

一句话结论

分布式主键:雪花 ID(趋势递增,64 位)、UUID(无序,128 位)、号段模式(数据库发号);MySQL 主键用雪花 ID。

概念解释

  • 雪花 ID:趋势递增,64 位,适合 MySQL。
  • UUID:无序,128 位,适合分布式追踪。
  • 号段模式:数据库发号,简单但有单点。

原理流程

  1. 雪花 ID:时间戳 + 机器 ID + 序列号。
  2. UUID:随机生成,无序。
  3. 号段模式:数据库发号段,应用内自增。

常见误区

  • 误区:分布式主键用 UUID。正解:UUID 无序,MySQL 主键用雪花 ID。

追问延伸

  • 雪花 ID:趋势递增,适合 MySQL B+ Tree。
  • UUID:无序,适合分布式追踪。

待整理清单

  • [ ] ShardingSphere-Proxy 与 JDBC 模式
  • [ ] 影子库压测
  • [ ] 数据加密与脱敏