罗罗编程学习记录
本页内容 展开查看

05.11.1 TiDB 架构与 TiKV 存储

所属:全栈开发面试题库 / 05 数据库与存储 / 05.11 NewSQL 与分布式数据库

覆盖范围

  • TiDB 三层架构:TiDB/TiKV/PD
  • Raft 复制与 Region
  • TiKV RocksDB 存储
  • 计算存储分离与 HTAP
  • 与 MySQL 兼容性

高频题速览

编号 题目 难度 频率
05.11.1-001 TiDB 架构由哪些组件组成 基础 ★★★★★
05.11.1-002 Region 和 Raft 怎么工作 进阶 ★★★★
05.11.1-003 TiKV 为什么用 RocksDB 进阶 ★★★
05.11.1-004 TiDB HTAP 怎么实现 进阶 ★★★★
05.11.1-005 TiDB 和 MySQL 怎么选 基础 ★★★

05.11.1-001 TiDB 架构由哪些组件组成?

频率 ★★★★★ | 难度 基础

一句话结论

TiDB 是计算存储分离:TiDB Server 负责 SQL 解析和计算(无状态)、TiKV 负责 KV 存储(Raft 多副本)、PD(Placement Driver)负责元数据、Region 调度和全局时间戳;TiFlash 是列存副本用于 HTAP。

概念解释

  • TiDB:无状态计算层,兼容 MySQL 协议。
  • TiKV:分布式 KV,Raft 复制。
  • PD:元数据、调度、TSO。

05.11.1-002 Region 和 Raft 怎么工作?

频率 ★★★★ | 难度 进阶

一句话结论

TiKV 按 key 范围把数据切分成 Region(默认 96MB),每个 Region 是 Raft 组,多副本分布在不同节点;写先写 Leader,复制到多数派再提交;Region 过大分裂、过小合并,PD 调度 Region 均衡。

常见误区

  • 误区:分片固定表。正解:Region 按 key 范围自动分裂和迁移,业务无感。

05.11.1-003 TiKV 为什么用 RocksDB?

频率 ★★★ | 难度 进阶

一句话结论

TiKV 单机本地存储用 RocksDB(LSM 树),适合写多读少、顺序写;LSM 把随机写转成顺序写 memtable + SSTable,后台 compaction。


05.11.1-004 TiDB HTAP 怎么实现?

频率 ★★★★ | 难度 进阶

一句话结论

TiFlash 是 TiKV 的列存 learner 副本,通过 Raft 日志同步数据,事务最新;OLTP 走 TiKV 行存,OLAP 查询自动下推到 TiFlash 列存,无需手动同步。


05.11.1-005 TiDB 和 MySQL 怎么选?

频率 ★★★ | 难度 基础

一句话结论

业务量小、单机 MySQL 能扛就用 MySQL(简单成熟);数据量超大、需要水平扩展、对 MySQL 兼容要求高选 TiDB;TiDB 极限点查性能不如原生 MySQL。


05.11.1-006 TiDB 分布式事务怎么实现?

频率 ★★★ | 难度 高级

一句话结论

TiDB 用 Percolator 模型:两阶段提交,PD 分配全局时间戳 TSO,写主锁(primary lock),再写从锁,全部成功后提交;读用时间戳快照,MVCC。

常见误区

  • 误区:TiDB 事务是本地事务。正解:跨 Region 是 2PC,延迟比 MySQL 高,单 Region 事务走 1PC 优化。

05.11.1-007 PD 是做什么的?

频率 ★★★ | 难度 进阶

一句话结论

PD 负责三个事:元数据管理(Region 路由表)、全局时间戳 TSO 分配、Region 调度(负载均衡、分裂、合并);PD 自身用 Raft 选主。


05.11.1-008 TiDB 热点问题怎么处理?

频率 ★★★ | 难度 进阶

一句话结论

自增主键导致写入集中在最后一个 Region;处理:用 hash 打散写入、调整 Region 分裂策略、用 AutoRandom 或 SHARD_ROW_ID_BITS。


05.11.1-009 TiDB 性能不如 MySQL 的场景?

频率 ★★★ | 难度 进阶

一句话结论

单行点查(by id)跨网络到 TiKV,延迟比 MySQL 高;复杂大事务 2PC 开销大;超大规模聚合不如 ClickHouse;TiDB 适合中等规模 OLTP,不追求极限点查。


05.11.1-010 TiDB 扩容怎么做?

频率 ★★ | 难度 进阶

一句话结论

加新 TiKV 节点,PD 自动把部分 Region 迁移到新节点,业务无感;扩 TiDB Server 加无状态计算节点,负载均衡;PD 不建议频繁扩容。

典型场景与代码示例

TiDB 架构图

客户端
  -> TiDB Server(无状态,SQL 解析和计算)
    -> PD(元数据、TSO、调度)
    -> TiKV Node 1(Region Raft 组)
       - Region 1: user_id 1~1000
       - Region 2: user_id 1001~2000
    -> TiKV Node 2
       - Region 1 副本
       - Region 3: user_id 2001~3000
    -> TiKV Node 3
       - Region 2 副本
       - Region 3 副本
    -> TiFlash(列存 learner 副本)

Region 分裂

Region 默认 96MB
写入持续增长,到 96MB 时分裂成两个 Region
PD 把新 Region 调度到负载低的节点
业务无感

TiDB 事务流程

1. 客户端从 PD 获取 start_ts(TSO)
2. 写主锁(primary key 所在 Region)
3. 写从锁(其他 key)
4. 全部成功后,主锁提交,异步提交从锁
5. 读用 start_ts 快照,MVCC

面试高频追问

问:TiDB 和 MySQL 兼容到什么程度?

答:兼容 MySQL 协议和大部分语法,但存储过程、触发器、部分函数不支持;迁移时要验证。

问:TiDB 为什么点查不如 MySQL?

答:点查要跨网络到 TiKV,延迟比单机 MySQL 高;TiDB 适合中等规模 OLTP,不追求极限点查。

问:PD 的 TSO 是什么?

答:PD 分配全局单调递增时间戳(Timestamp Oracle),用于 MVCC 和事务排序;TSO 是 TiDB 的时钟。

问:TiDB 热点问题怎么处理?

答:自增主键导致写入集中在最后一个 Region;用 hash 打散、AutoRandom、SHARD_ROW_ID_BITS。

核心要点速记

组件 职责
TiDB Server 无状态、SQL 解析计算
TiKV 分布式 KV、Raft 多副本
PD 元数据、TSO、Region 调度
TiFlash 列存 learner 副本、HTAP

关键概念:

  • Region:按 key 范围切分,默认 96MB,Raft 组
  • TSO:PD 分配全局时间戳,MVCC 用
  • 热点:自增主键导致写入集中,用 AutoRandom 打散

一句话记忆:TiDB 是计算存储分离的 NewSQL;TiKV 存数据,PD 做调度,TiFlash 做分析。

相关概念辨析

TiDB vs MySQL 集群

维度 TiDB MySQL 主从
架构 计算存储分离 主从复制
分片 自动 手动
一致性 Raft 异步复制
扩展性 好 差
适合 大规模 中小规模

TiKV vs RocksDB

  • TiKV:分布式 KV,Raft 复制,多层 Raft。
  • RocksDB:嵌入式 KV,单机 LSM。
  • 选择:分布式用 TiKV;单机用 RocksDB。

05.11.1-009 TiDB Region 怎么分裂和迁移?

频率 ★★★ | 难度 高级

一句话结论

TiKV 数据按 Region 拆分(默认 96MB),Region 超过大小自动分裂;PD 根据负载自动迁移 Region 到不同节点。

概念解释

  • Region:TiKV 最小数据单元,按主键范围拆分。
  • 分裂:Region 超过 96MB,自动分裂成两个。
  • 迁移:PD 根据负载,把 Region 迁移到负载低的节点。

原理流程

  1. 写入:数据按主键范围写入 Region。
  2. 分裂:Region 超过 96MB,自动分裂成两个。
  3. 迁移:PD 监控负载,把热点 Region 迁移到其他节点。

常见误区

  • 误区:Region 分裂影响性能。正解:分裂是后台操作,不影响在线写入。

追问延伸

  • Region 大小:默认 96MB,可调。
  • 热点:自增主键导致写入热点,PD 自动迁移。

05.11.1-010 TiDB 事务怎么冲突检测?

频率 ★★★ | 难度 高级

一句话结论

TiDB 用 Percolator 模型,2PC 提交;冲突检测在提交时,检查提交时间戳和读取时间戳是否有冲突。

概念解释

  • Percolator:Google 的分布式事务模型,2PC。
  • 冲突检测:提交时检查是否有其他事务修改了同一行。
  • 乐观锁:先读,提交时检查,冲突则回滚。

原理流程

  1. 阶段一:Prepare,写主锁,记录提交时间戳。
  2. 阶段二:Commit,写次级锁,释放主锁。
  3. 冲突:提交时检查,冲突则回滚。

常见误区

  • 误区:TiDB 事务性能和 MySQL 一样。正解:2PC 有网络开销,短事务可接受,长事务慢。

追问延伸

  • 事务隔离:SI(Snapshot Isolation)。
  • 乐观事务:先读后写,冲突少。

05.11.1-011 TiDB 热点问题怎么排查?

频率 ★★ | 难度 高级

一句话结论

热点:自增主键导致所有写入到一个 Region;排查:SHOW TABLE REGIONS 看 Region 分布;解决:选高基数分片键,或用哈希分片。

概念解释

  • 热点:自增主键导致所有写入到最后一个 Region。
  • 排查:SHOW TABLE REGIONS 看 Region 的写入负载。
  • 解决:选高基数分片键,或用 SHARD_ROW_ID_BITS 哈希分片。

原理流程

  1. 自增主键:id 递增,所有写入到最后一个 Region。
  2. 排查:SHOW TABLE REGIONS 看 Region 分布。
  3. 解决:SHARD_ROW_ID_BITS=4 哈希分片,分散写入。

代码 / 示例

-- 开启哈希分片,分散热点
CREATE TABLE t (
  id BIGINT AUTO_INCREMENT,
  ...
) SHARD_ROW_ID_BITS=4;

常见误区

  • 误区:TiDB 自动解决热点。正解:自增主键导致热点,要手动优化。

追问延伸

  • 热点症状:写入 QPS 上不去,单个 Region CPU 高。
  • 解决:高基数分片键,或哈希分片。

05.11.1-012 TiDB 和 MySQL 有哪些兼容性差异?

频率 ★★★ | 难度 进阶

一句话结论

TiDB 兼容 MySQL 协议,但有差异:1)自增主键行为;2)存储过程支持有限;3)大事务限制;4)不支持 SELECT FOR UPDATE。

概念解释

  • 兼容性:TiDB 兼容 MySQL 5.7 协议,但不是 100% 兼容。
  • 差异:自增、存储过程、大事务、隔离级别。
  • 迁移:先做兼容性评估,再迁移。

原理流程

  1. 自增主键:TiDB 自增是保证唯一,不是连续。
  2. 存储过程:TiDB 不支持存储过程,要改应用层。
  3. 大事务:TiDB 事务大小限制(默认 100MB)。

常见误区

  • 误区:TiDB 替换 MySQL 零成本。正解:自增、存储过程、大事务都有差异。

追问延伸

  • 兼容性工具:TiDB 的 compatibility 检查。
  • 迁移:先兼容性评估,再数据迁移,最后灰度切流。

待整理清单

  • [ ] TiDB 分布式事务(2PC + Percolator)
  • [ ] PD TSO 与时钟
  • [ ] TiDB 与 ShardingSphere 的对比