05.11.3 HTAP 与读写分离的取舍
所属:全栈开发面试题库 / 05 数据库与存储 / 05.11 NewSQL 与分布式数据库
覆盖范围
- 读写分离的原理与局限
- HTAP 的本质与场景
- 分析查询对 OLTP 的影响
- 分库分表 vs NewSQL
- 何时该拆分析库
高频题速览
| 编号 | 题目 | 难度 | 频率 |
|---|---|---|---|
| 05.11.3-001 | 读写分离能解决分析查询吗 | 进阶 | ★★★★ |
| 05.11.3-002 | HTAP 真正解决什么问题 | 进阶 | ★★★★ |
| 05.11.3-003 | 大查询为什么要隔离 | 基础 | ★★★ |
| 05.11.3-004 | 分库分表和 NewSQL 怎么选 | 进阶 | ★★★★ |
| 05.11.3-005 | 什么时候该拆出数仓 | 基础 | ★★★ |
05.11.3-001 读写分离能解决分析查询吗?
频率 ★★★★ | 难度 进阶
一句话结论
不能。只读副本仍跑 OLTP 引擎(行存),大分析查询会占满 CPU/IO,影响业务;读写分离只缓解读压力,不能把 OLTP 库变成 OLAP。
05.11.3-002 HTAP 真正解决什么问题?
频率 ★★★★ | 难度 进阶
一句话结论
HTAP 在同一引擎同时跑事务和分析,用列存副本承接分析,避免业务数据同步到数仓的延迟和成本;适合实时看板、运营实时报表,但不替代大规模离线数仓。
05.11.3-003 大查询为什么要隔离?
频率 ★★★ | 难度 基础
一句话结论
分析查询扫全表会占满 IO 和连接池,拖垮业务;通过资源组隔离、只读副本、分析专用库三种方式隔离。
05.11.3-004 分库分表和 NewSQL 怎么选?
频率 ★★★★ | 难度 进阶
一句话结论
分库分表(ShardingSphere)是应用层中间件,业务要处理跨库事务、聚合、扩容,运维复杂但无新依赖;NewSQL(TiDB)屏蔽分片,兼容 MySQL 协议,业务改造成本低但引入新组件;团队小、业务量中等用分库分表,超大规模选 NewSQL。
05.11.3-005 什么时候该拆出数仓?
频率 ★★★ | 难度 基础
一句话结论
报表需求复杂、数据量大、T+1 分析即可时,把业务库数据同步到数仓(Hive/ClickHouse/Doris),业务库只跑事务;HTAP 只覆盖实时看板,不替代数仓。
05.11.3-006 读写分离的主从延迟怎么处理?
频率 ★★★ | 难度 进阶
一句话结论
写后立即读走主库(强制路由),读多写少走从库;监控主从延迟,延迟超阈值时把读请求切回主库;不要无脑读写分离。
05.11.3-007 大查询 kill 怎么做?
频率 ★★ | 难度 进阶
一句话结论
设置查询超时(如 30s),超时自动 kill;资源组隔离,分析查询在独立资源组,不影响 OLTP;监控长查询并告警。
05.11.3-008 分库分表的业务侵入有多大?
频率 ★★★ | 难度 进阶
一句话结论
业务要选分片键、处理跨分片查询、分布式事务、扩容迁移;一旦分片键选错,后续改造代价极大;分库分表是最后手段,优先用缓存、读库、NewSQL。
05.11.3-009 什么时候该上 TiDB?
频率 ★★★ | 难度 进阶
一句话结论
MySQL 单库容量到瓶颈(几百 GB)、业务增长快、不想改业务代码用分库分表;TiDB 兼容 MySQL 协议,迁移成本低;但团队要能运维分布式集群。
05.11.3-010 HTAP 真的能替代数仓吗?
频率 ★★★ | 难度 基础
一句话结论
不能。HTAP 覆盖业务实时看板和运营分析,T+1 报表、超大规模历史分析、复杂多维分析仍需数仓(Hive/ClickHouse/Doris)。
典型场景与代码示例
读写分离路由规则
应用层路由:
- 写请求(INSERT/UPDATE/DELETE)-> 主库
- 读请求(SELECT)-> 从库
- 写后立即读(如刚创建订单查订单)-> 主库
- 从库延迟 > 1s -> 读请求切回主库
资源组隔离
MySQL:
- 业务连接池(OLTP):max_connections=500
- 分析连接池(OLAP):max_connections=10,超时 30s
TiDB:
- 资源组 rg_oltp:CPU=80%, 内存=80%
- 资源组 rg_olap:CPU=20%, 内存=20%,超时 60s
分库分表 vs NewSQL 决策
数据量 < 500GB:MySQL 单库
数据量 500GB~2TB:MySQL + 分库分表(ShardingSphere)
数据量 2TB+、不想改业务:TiDB/OceanBase
需要 HTAP 实时看板:TiDB+TiFlash
超大规模分析:ClickHouse/Doris
大查询 kill 配置
-- MySQL 设置超时
SET SESSION max_execution_time = 30000; -- 30s
-- TiDB 设置超时
SET tidb_execution_timeout = 30000;
-- 自动 kill 长查询
-- 通过 information_schema.processlist 监控并 KILL
面试高频追问
问:读写分离主从延迟怎么发现?
答:监控Seconds_Behind_Master;延迟超阈值时读请求切回主库;写后立即读走主库(用线程本地路由)。
问:大查询为什么会拖垮 OLTP?
答:大查询扫全表占满 IO 和 CPU,连接池被占满,新请求排队;通过资源组隔离和查询超时解决。
问:分库分表什么时候是技术债?
答:分片键选错、跨分片查询多、扩容频繁迁移时;一开始就该选好分片键,不要事后改。
问:NewSQL 能完全替代 MySQL 吗?
答:不能。NewSQL 运维复杂、成本高,小团队用 MySQL 更划算;超大规模才考虑 NewSQL。
核心要点速记
| 方案 | 适用 | 局限 |
|---|---|---|
| 读写分离 | 读多写少 | 不解决分析查询 |
| HTAP | 业务实时看板 | 不替代数仓 |
| 分库分表 | 超大规模 OLTP | 业务侵入大 |
| 拆数仓 | T+1 报表 | 有延迟 |
选型决策:
- MySQL 单库能扛 -> 不要折腾
- 读压力大 -> 读写分离
- 分析查询拖垮业务 -> 拆数仓或 HTAP
- 数据量超单库 -> NewSQL 或分库分表
一句话记忆:读写分离只缓解读压力,不解决分析;HTAP 是业务看板,不是数仓。
相关概念辨析
HTAP vs TP+AP 分离
| 维度 | HTAP | TP+AP 分离 |
|---|---|---|
| 数据 | 同一份 | 两份 |
| 一致性 | 强 | 弱 |
| 成本 | 高 | 中 |
| 适合 | 实时看板 | T+1 报表 |
读写分离 vs 分库分表
- 读写分离:主写从读,解决读压力。
- 分库分表:水平拆分,解决写压力和容量。
- 选择:读多用读写分离;写多用分库分表。
05.11.3-009 TiFlash 副本的一致性怎么保证?
频率 ★★ | 难度 高级
一句话结论
TiFlash 是 TiKV 的列存副本,通过 Raft 协议同步数据;TiKV 行存提交后,TiFlash 列存异步更新,最终一致。
概念解释
- TiFlash:TiKV 的列存副本,用于 OLAP。
- Raft 同步:TiKV 行存提交后,TiFlash 通过 Raft 同步。
- 最终一致:TiFlash 列存异步更新,有延迟。
原理流程
- TiKV 行存提交:写入 Raft 多数派。
- TiFlash 列存:通过 Raft 同步数据。
- 查询:OLAP 查询读 TiFlash,OLTP 读 TiKV。
常见误区
- 误区:TiFlash 和 TiKV 强一致。正解:TiFlash 异步同步,有延迟。
追问延伸
- 延迟:通常秒级,网络抖动会更大。
- 用途:OLAP 查询加速,不适合强一致 OLTP。
05.11.3-010 读写分离的延迟问题怎么解决?
频率 ★★★ | 难度 进阶
一句话结论
读写分离延迟:主库写入后,从库异步同步有延迟;解决:1)延迟敏感的读走主库;2)监控延迟,超阈值告警;3)半同步复制减少延迟。
概念解释
- 主从延迟:主库写入,从库异步同步,有延迟。
- 延迟敏感:刚写入的数据马上读,走主库。
- 半同步复制:主库等待至少一个从库确认,减少延迟。
原理流程
- 主库写入:写 binlog,同步到从库。
- 从库应用:应用 relay log,有延迟。
- 延迟敏感读:走主库,不读从库。
常见误区
- 误区:读写分离没有延迟。正解:异步复制有延迟,要处理。
追问延伸
- 延迟监控:Seconds_Behind_Master。
- 半同步:rpl_semi_sync_master_enabled。
05.11.3-011 HTAP 和 TP+AP 分离怎么选?
频率 ★★★ | 难度 进阶
一句话结论
HTAP:同一份数据同时服务 OLTP 和 OLAP,强一致;TP+AP 分离:OLTP 和 OLAP 独立存储,通过 CDC 同步,弱一致。
概念解释
- HTAP:同一份数据,强一致,成本高。
- TP+AP 分离:两份数据,弱一致,成本中。
- 选择:实时看板用 HTAP;T+1 报表用 TP+AP 分离。
原理流程
- HTAP:TiKV 行存 + TiFlash 列存,同一份数据。
- TP+AP 分离:MySQL OLTP,CDC 同步到 Doris/CK OLAP。
- 选择:看实时性要求和成本。
常见误区
- 误区:HTAP 替代数仓。正解:HTAP 覆盖实时看板,T+1 报表仍需数仓。
追问延伸
- HTAP 适合:实时看板、实时推荐。
- 数仓适合:T+1 报表、历史分析。
05.11.3-012 主从延迟对业务有什么影响?
频率 ★★ | 难度 进阶
一句话结论
主从延迟影响:1)刚写入的数据马上读,读到旧数据;2)订单状态查询延迟;3)对账数据不一致。
概念解释
- 延迟:主库写入,从库同步有延迟。
- 业务影响:刚下单马上查订单状态,可能读到未同步的数据。
- 解决:延迟敏感走主库。
原理流程
- 用户下单:主库写入订单。
- 马上查订单:从库还没同步,读到旧数据。
- 解决:订单查询走主库。
常见误区
- 误区:所有读都走从库。正解:延迟敏感的读走主库。
追问延伸
- 业务场景:刚支付马上查支付状态,走主库。
- 延迟监控:超阈值告警。
待整理清单
- [ ] 资源组隔离实践
- [ ] 大查询 kill 与超时
- [ ] 读写分离的主从延迟问题