罗罗编程学习记录
本页内容 展开查看

05.11.3 HTAP 与读写分离的取舍

所属:全栈开发面试题库 / 05 数据库与存储 / 05.11 NewSQL 与分布式数据库

覆盖范围

  • 读写分离的原理与局限
  • HTAP 的本质与场景
  • 分析查询对 OLTP 的影响
  • 分库分表 vs NewSQL
  • 何时该拆分析库

高频题速览

编号 题目 难度 频率
05.11.3-001 读写分离能解决分析查询吗 进阶 ★★★★
05.11.3-002 HTAP 真正解决什么问题 进阶 ★★★★
05.11.3-003 大查询为什么要隔离 基础 ★★★
05.11.3-004 分库分表和 NewSQL 怎么选 进阶 ★★★★
05.11.3-005 什么时候该拆出数仓 基础 ★★★

05.11.3-001 读写分离能解决分析查询吗?

频率 ★★★★ | 难度 进阶

一句话结论

不能。只读副本仍跑 OLTP 引擎(行存),大分析查询会占满 CPU/IO,影响业务;读写分离只缓解读压力,不能把 OLTP 库变成 OLAP。


05.11.3-002 HTAP 真正解决什么问题?

频率 ★★★★ | 难度 进阶

一句话结论

HTAP 在同一引擎同时跑事务和分析,用列存副本承接分析,避免业务数据同步到数仓的延迟和成本;适合实时看板、运营实时报表,但不替代大规模离线数仓。


05.11.3-003 大查询为什么要隔离?

频率 ★★★ | 难度 基础

一句话结论

分析查询扫全表会占满 IO 和连接池,拖垮业务;通过资源组隔离、只读副本、分析专用库三种方式隔离。


05.11.3-004 分库分表和 NewSQL 怎么选?

频率 ★★★★ | 难度 进阶

一句话结论

分库分表(ShardingSphere)是应用层中间件,业务要处理跨库事务、聚合、扩容,运维复杂但无新依赖;NewSQL(TiDB)屏蔽分片,兼容 MySQL 协议,业务改造成本低但引入新组件;团队小、业务量中等用分库分表,超大规模选 NewSQL。


05.11.3-005 什么时候该拆出数仓?

频率 ★★★ | 难度 基础

一句话结论

报表需求复杂、数据量大、T+1 分析即可时,把业务库数据同步到数仓(Hive/ClickHouse/Doris),业务库只跑事务;HTAP 只覆盖实时看板,不替代数仓。


05.11.3-006 读写分离的主从延迟怎么处理?

频率 ★★★ | 难度 进阶

一句话结论

写后立即读走主库(强制路由),读多写少走从库;监控主从延迟,延迟超阈值时把读请求切回主库;不要无脑读写分离。


05.11.3-007 大查询 kill 怎么做?

频率 ★★ | 难度 进阶

一句话结论

设置查询超时(如 30s),超时自动 kill;资源组隔离,分析查询在独立资源组,不影响 OLTP;监控长查询并告警。


05.11.3-008 分库分表的业务侵入有多大?

频率 ★★★ | 难度 进阶

一句话结论

业务要选分片键、处理跨分片查询、分布式事务、扩容迁移;一旦分片键选错,后续改造代价极大;分库分表是最后手段,优先用缓存、读库、NewSQL。


05.11.3-009 什么时候该上 TiDB?

频率 ★★★ | 难度 进阶

一句话结论

MySQL 单库容量到瓶颈(几百 GB)、业务增长快、不想改业务代码用分库分表;TiDB 兼容 MySQL 协议,迁移成本低;但团队要能运维分布式集群。


05.11.3-010 HTAP 真的能替代数仓吗?

频率 ★★★ | 难度 基础

一句话结论

不能。HTAP 覆盖业务实时看板和运营分析,T+1 报表、超大规模历史分析、复杂多维分析仍需数仓(Hive/ClickHouse/Doris)。

典型场景与代码示例

读写分离路由规则

应用层路由:
  - 写请求(INSERT/UPDATE/DELETE)-> 主库
  - 读请求(SELECT)-> 从库
  - 写后立即读(如刚创建订单查订单)-> 主库
  - 从库延迟 > 1s -> 读请求切回主库

资源组隔离

MySQL:
  - 业务连接池(OLTP):max_connections=500
  - 分析连接池(OLAP):max_connections=10,超时 30s

TiDB:
  - 资源组 rg_oltp:CPU=80%, 内存=80%
  - 资源组 rg_olap:CPU=20%, 内存=20%,超时 60s

分库分表 vs NewSQL 决策

数据量 < 500GB:MySQL 单库
数据量 500GB~2TB:MySQL + 分库分表(ShardingSphere)
数据量 2TB+、不想改业务:TiDB/OceanBase
需要 HTAP 实时看板:TiDB+TiFlash
超大规模分析:ClickHouse/Doris

大查询 kill 配置

-- MySQL 设置超时
SET SESSION max_execution_time = 30000;  -- 30s

-- TiDB 设置超时
SET tidb_execution_timeout = 30000;

-- 自动 kill 长查询
-- 通过 information_schema.processlist 监控并 KILL

面试高频追问

问:读写分离主从延迟怎么发现?

答:监控Seconds_Behind_Master;延迟超阈值时读请求切回主库;写后立即读走主库(用线程本地路由)。

问:大查询为什么会拖垮 OLTP?

答:大查询扫全表占满 IO 和 CPU,连接池被占满,新请求排队;通过资源组隔离和查询超时解决。

问:分库分表什么时候是技术债?

答:分片键选错、跨分片查询多、扩容频繁迁移时;一开始就该选好分片键,不要事后改。

问:NewSQL 能完全替代 MySQL 吗?

答:不能。NewSQL 运维复杂、成本高,小团队用 MySQL 更划算;超大规模才考虑 NewSQL。

核心要点速记

方案 适用 局限
读写分离 读多写少 不解决分析查询
HTAP 业务实时看板 不替代数仓
分库分表 超大规模 OLTP 业务侵入大
拆数仓 T+1 报表 有延迟

选型决策:

  • MySQL 单库能扛 -> 不要折腾
  • 读压力大 -> 读写分离
  • 分析查询拖垮业务 -> 拆数仓或 HTAP
  • 数据量超单库 -> NewSQL 或分库分表

一句话记忆:读写分离只缓解读压力,不解决分析;HTAP 是业务看板,不是数仓。

相关概念辨析

HTAP vs TP+AP 分离

维度 HTAP TP+AP 分离
数据 同一份 两份
一致性 强 弱
成本 高 中
适合 实时看板 T+1 报表

读写分离 vs 分库分表

  • 读写分离:主写从读,解决读压力。
  • 分库分表:水平拆分,解决写压力和容量。
  • 选择:读多用读写分离;写多用分库分表。

05.11.3-009 TiFlash 副本的一致性怎么保证?

频率 ★★ | 难度 高级

一句话结论

TiFlash 是 TiKV 的列存副本,通过 Raft 协议同步数据;TiKV 行存提交后,TiFlash 列存异步更新,最终一致。

概念解释

  • TiFlash:TiKV 的列存副本,用于 OLAP。
  • Raft 同步:TiKV 行存提交后,TiFlash 通过 Raft 同步。
  • 最终一致:TiFlash 列存异步更新,有延迟。

原理流程

  1. TiKV 行存提交:写入 Raft 多数派。
  2. TiFlash 列存:通过 Raft 同步数据。
  3. 查询:OLAP 查询读 TiFlash,OLTP 读 TiKV。

常见误区

  • 误区:TiFlash 和 TiKV 强一致。正解:TiFlash 异步同步,有延迟。

追问延伸

  • 延迟:通常秒级,网络抖动会更大。
  • 用途:OLAP 查询加速,不适合强一致 OLTP。

05.11.3-010 读写分离的延迟问题怎么解决?

频率 ★★★ | 难度 进阶

一句话结论

读写分离延迟:主库写入后,从库异步同步有延迟;解决:1)延迟敏感的读走主库;2)监控延迟,超阈值告警;3)半同步复制减少延迟。

概念解释

  • 主从延迟:主库写入,从库异步同步,有延迟。
  • 延迟敏感:刚写入的数据马上读,走主库。
  • 半同步复制:主库等待至少一个从库确认,减少延迟。

原理流程

  1. 主库写入:写 binlog,同步到从库。
  2. 从库应用:应用 relay log,有延迟。
  3. 延迟敏感读:走主库,不读从库。

常见误区

  • 误区:读写分离没有延迟。正解:异步复制有延迟,要处理。

追问延伸

  • 延迟监控:Seconds_Behind_Master。
  • 半同步:rpl_semi_sync_master_enabled。

05.11.3-011 HTAP 和 TP+AP 分离怎么选?

频率 ★★★ | 难度 进阶

一句话结论

HTAP:同一份数据同时服务 OLTP 和 OLAP,强一致;TP+AP 分离:OLTP 和 OLAP 独立存储,通过 CDC 同步,弱一致。

概念解释

  • HTAP:同一份数据,强一致,成本高。
  • TP+AP 分离:两份数据,弱一致,成本中。
  • 选择:实时看板用 HTAP;T+1 报表用 TP+AP 分离。

原理流程

  1. HTAP:TiKV 行存 + TiFlash 列存,同一份数据。
  2. TP+AP 分离:MySQL OLTP,CDC 同步到 Doris/CK OLAP。
  3. 选择:看实时性要求和成本。

常见误区

  • 误区:HTAP 替代数仓。正解:HTAP 覆盖实时看板,T+1 报表仍需数仓。

追问延伸

  • HTAP 适合:实时看板、实时推荐。
  • 数仓适合:T+1 报表、历史分析。

05.11.3-012 主从延迟对业务有什么影响?

频率 ★★ | 难度 进阶

一句话结论

主从延迟影响:1)刚写入的数据马上读,读到旧数据;2)订单状态查询延迟;3)对账数据不一致。

概念解释

  • 延迟:主库写入,从库同步有延迟。
  • 业务影响:刚下单马上查订单状态,可能读到未同步的数据。
  • 解决:延迟敏感走主库。

原理流程

  1. 用户下单:主库写入订单。
  2. 马上查订单:从库还没同步,读到旧数据。
  3. 解决:订单查询走主库。

常见误区

  • 误区:所有读都走从库。正解:延迟敏感的读走主库。

追问延伸

  • 业务场景:刚支付马上查支付状态,走主库。
  • 延迟监控:超阈值告警。

待整理清单

  • [ ] 资源组隔离实践
  • [ ] 大查询 kill 与超时
  • [ ] 读写分离的主从延迟问题