06.5.8.7 MySQL 分库分表与慢查询
所属:全栈开发面试题库 / 06 后端框架与工程实践 / 06.5 PHP 后端 / 06.5.8 PHP 配套技术栈
06.5.8.7-001 垂直拆分与水平拆分有什么区别?
一句话结论
垂直拆分按业务域/字段把库表分开(不同模块独立库、宽表拆窄表),解决耦合与容量局部问题;水平拆分按同一结构把数据分散到多个库表,解决单表数据量与并发瓶颈;两者可组合使用。
概念解释
垂直分库:用户、订单、商品各成独立库,按业务边界隔离;垂直分表:把宽表的大字段/低频字段拆到扩展表。水平分表:同一张表按分片键拆成 order_0、order_1 等结构相同的表;水平分库再把分片分布到不同数据库实例。拆分先做垂直厘清边界,水平解决单表膨胀。
原理流程
- 评估瓶颈:是业务耦合、宽表过大,还是单表行数/并发过高。
- 垂直:按域拆库,宽表按访问频率拆字段。
- 水平:确定分片键与分片数量,同结构表分散存储。
- 应用层或中间件按路由规则访问对应分片。
代码或图示
// 水平分表:同结构表按分片键路由
// $shard = $userId % 8;
// $table = "order_{$shard}";
// 垂直拆分:user 库、order 库、product 库独立连接
常见误区
- 一上来就水平分表:垂直边界未厘清时跨库关联与事务问题先复杂化。
- 把垂直拆分成水平:字段拆分不是按行分散,不要混淆两种方向。
追问
- 宽表拆窄表怎么拆?答:主表留高频字段,扩展表存大文本/低频字段,按主键关联。
- 拆分后跨域关联怎么办?答:应用层聚合、冗余字段或搜索引擎补充,跨库 join 基本不可用。
06.5.8.7-002 什么情况下应该考虑分库分表?
一句话结论
单表行数、数据容量、写入并发或单实例资源达到瓶颈,且索引优化、归档、读写分离等手段已评估不足时再拆;分库分表引入路由、跨片查询、扩容与分布式事务成本,不是越早越好。
概念解释
经验阈值(行数、容量)因引擎、硬件与业务访问模式而异,未实测前标注待确认,不写死统一数字。判断依据:慢查询无法靠索引优化、单表维护(DDL、统计信息)成本高、写入 CPU/IO 打满、归档后仍增长迅速。先尝试索引优化、冷热分离、归档历史数据,再评估拆分。
原理流程
- 监控单表行数、容量、QPS、锁等待与慢查询趋势。
- 评估索引优化、归档、读写分离能否缓解。
- 瓶颈确认在单表/单实例容量与并发。
- 设计分片方案:分片键、数量、路由与迁移路径。
代码或图示
// 评估清单(指标来自监控,具体阈值待确认)
// 表行数 / 数据容量 / 写入 QPS / 慢查询占比 / DDL 耗时 / 锁等待时长
// 归档优先:历史订单迁移到归档表,在线表只保留近期数据
常见误区
- 按固定行数数字决定拆分:访问模式与硬件不同,阈值只能参考。
- 拆分后不做容量规划:分片数量一次定死,后续扩容迁移成本高。
追问
- 单表多大算大?答:结合 InnoDB 页大小、索引数量与查询模式评估;社区经验值仅供参考,以压测与监控为准。
- 不拆还有哪些手段?答:归档冷热数据、优化索引与 SQL、读写分离、缓存兜底,优先低改造方案。
06.5.8.7-003 分片键选择有哪些原则?
一句话结论
分片键应满足:大部分查询能定位到单分片、数据分布均匀、业务稳定不变更;常用用户 ID、订单用户归属等;避免选易变更、区分度低或查询中常缺失的字段,减少跨片查询。
概念解释
分片键决定数据落哪个分片,也决定查询路由。理想分片键:高频查询条件包含它,可直接路由到目标分片;值分布均匀避免数据倾斜;字段稳定不更新,避免数据迁移。订单按用户 ID 分片便于查某用户订单;按订单号分片利于订单详情,但跨用户查询要扫多分片。
原理流程
- 列出高频查询条件:按谁查、查什么范围。
- 选查询必带且稳定的标识作为分片键。
- 评估值分布均匀性,避免热点分片。
- 识别不含分片键的查询,准备跨片方案。
代码或图示
// 按用户 ID 分片:用户订单查询定位单分片
// $shard = $userId % 8;
// 按订单号分片:详情查询走订单号;列表查询需跨片聚合
常见误区
- 分片键选性别、状态等低区分度字段:大量数据落同分片,倾斜严重。
- 分片键会被更新:分片键变更要迁移数据,代价高。
追问
- 一个表能有多个分片键吗?答:路由通常按主分片键;另一维度查询靠冗余表、异构索引或搜索引擎支持。
- 分片键分布不均怎么办?答:取模/哈希打散,热点单独评估;必要时引入一致性哈希减少迁移量。
06.5.8.7-004 水平拆分的路由方式有哪些?
一句话结论
常见路由:取模(哈希)分片、范围分片、一致性哈希、预分表固定数量;取模分布均匀但扩容迁移量大,范围分片易热点,一致性哈希扩容迁移少但分布可能不均,预分表扩容时再映射。
概念解释
取模:hash(key) % N,扩容到 2N 时大部分 key 需迁移。范围分片:按 ID/时间区间分片,实现简单但新数据集中在最新分片形成热点。一致性哈希:节点环上映射,扩容只迁移相邻区间数据。预分表:一开始建足够多空表,扩容时只调整表到实例的映射,不挪表内数据。
原理流程
- 评估数据增长预期与扩容频率。
- 选路由算法:均匀性、迁移成本、热点承受能力权衡。
- 应用层或中间件实现路由函数,key 到分片映射固定。
- 扩容方案与路由算法配套设计。
代码或图示
// 取模路由
$shard = crc32((string) $userId) % 8;
// 范围路由:按 ID 区间落分片(新分片易热点)
// 一致性哈希:节点环与虚拟节点,扩容仅迁移相邻区间
常见误区
- 取模扩容直接改模数:大量数据需迁移,应配合双写迁移方案。
- 范围分片不处理热点:最新分片承接全部写入,成为瓶颈。
追问
- 预分表多少合适?答:按远期容量估算表数量,单表结构不变;过多表增加元数据管理成本,具体数量待容量评估。
- 路由逻辑放哪?答:应用层封装路由组件,或分片中间件统一处理;业务代码不直接拼分片表名。
06.5.8.7-005 跨片查询有哪些应对方案?
一句话结论
不含分片键的查询需跨分片执行:方案有广播表(小字典表各片冗余)、应用层聚合多分片结果、冗余字段/异构索引、搜索引擎承接复杂检索;按查询频率与实时性选择,避免每次全分片扫描。
概念解释
跨片查询问题:列表分页、排序、聚合、关联都要在多分片执行后合并。广播表:低频变更的字典数据冗余到每个分片,本地关联。异构索引:按另一维度建冗余分片表。搜索引擎:把宽字段检索与全文搜索放到 ES 类服务。实时性要求高的聚合在应用层合并,大数据量离线计算走数仓。
原理流程
- 识别不含分片键的查询场景与频率。
- 小表关联:广播冗余。
- 另一维度检索:建异构索引或同步到搜索引擎。
- 多分片结果:应用层并发查询后归并排序分页。
代码或图示
// 跨片聚合:依次查各分片,应用层合并
// foreach ($shards as $shard) { $rows[] = queryShard($shard, $condition); }
// 合并:内存排序、分页;大数据量避免全量拉取到应用层
常见误区
- 跨片分页在应用层跳页:各分片取页内数据再合并,深分页代价高。
- 字典表只放一个分片:其他分片关联查不到,需广播冗余。
追问
- 跨片 count 怎么算?答:各分片 count 求和;实时性要求不高时可用估算值。
- 跨片事务怎么办?答:单分片内走本地事务,跨片用最终一致方案(消息、补偿),不搞分布式强事务。
06.5.8.7-006 全局唯一 ID 有哪些生成方案?
一句话结论
常见方案:数据库号段模式、雪花算法(时间戳 + 机器 ID + 序列号)、UUID、数据库自增序列;号段与雪花趋势递增、适合索引,UUID 无序且长,分布式下要避免单点生成器瓶颈。
概念解释
分库分表后不能依赖单表自增。号段模式:数据库一次取一段 ID 缓存到应用,用完再取,简单可靠但有号段浪费。雪花 ID:时间高位保证趋势递增,机器 ID 标识节点,序列号防同毫秒重复,长度 64 位。UUID 无序导致聚簇索引页分裂,且长度 36 字符。方案需保证时钟回拨处理与机器 ID 唯一分配。
原理流程
- 确定 ID 要求:趋势递增、长度、可用性、是否含业务信息。
- 号段:DB 表记录当前段,应用批量领取。
- 雪花:时间戳 + 节点 ID + 序列号生成,处理时钟回拨。
- 唯一性通过号段分配或节点登记保证,不依赖单机自增。
代码或图示
// 雪花 ID 结构示意:时间戳高位 + 节点 ID + 序列号
// 号段模式:SELECT next_val, step FROM id_segment WHERE biz = 'order' FOR UPDATE;
// UUID 无序长串,不建议作为聚簇主键(见索引页面主键选型)
常见误区
- 雪花不处理时钟回拨:回拨后可能生成重复 ID,需检测并等待/报错。
- 节点 ID 手工配置重复:多节点并发生成冲突,需统一分配登记。
追问
- 号段浪费多少?答:应用重启可能丢弃当前号段剩余部分;step 大小按 QPS 权衡。
- ID 要暴露给前端吗?答:对外可加编码映射,内部主键不直接暴露业务规律。
06.5.8.7-007 分库分表后的分页、排序、聚合问题怎么处理?
一句话结论
分页排序聚合在多分片执行后由应用层或中间件归并:各分片取有序子集,归并排序后取目标页;跨片深分页代价高,优先按分片键路由查询,复杂聚合交给搜索引擎或离线数仓。
概念解释
单表 LIMIT offset, size 在分片下变成:每片取前 offset+size 行,归并后再截取。排序键必须全局有序,分页游标基于全局排序键。聚合(sum/count/avg)各片计算后合并,avg 需按行数加权。深分页与跨片跳页是性能重灾区,业务上限制页码或改游标翻页。
原理流程
- 查询带分片键:路由单分片,走原生分页排序。
- 跨片:并发查各分片有序结果,归并排序。
- 聚合:分片内先算,应用层按规则合并。
- 深分页改游标;超复杂检索走搜索引擎。
代码或图示
// 归并排序示意:各分片返回按 created_at 倒序的子集
// 合并后取第 N 页;游标分页:WHERE created_at < :lastTime ORDER BY ... LIMIT size
常见误区
- 跨片直接用 LIMIT 偏移:各分片偏移语义不同,结果错乱。
- avg 在分片结果上简单平均:需按各片行数加权计算。
追问
- 归并排序内存压力?答:只取各片前若干行,不全量拉取;结果集仍需控制。
- 实时大盘聚合怎么办?答:Redis 预聚合或流式计算,不在在线查询时跨片扫描全量。
06.5.8.7-008 扩容从 4 库到 8 库如何做数据迁移?
一句话结论
扩容采用双写 + 数据搬迁 + 灰度切流:新旧路由并行,存量数据迁移并校验,增量通过双写或同步追平,按比例灰度切换读流量,验证无误后下线旧分片;迁移过程可回滚。
概念解释
扩容不是一次性改路由:先部署新分片与路由规则,存量数据按新规则迁移到新分片;迁移期间新旧双写保证增量一致;对比校验行数与抽样内容;读流量按灰度比例切到新路由;全部切换后清理旧分片。停机方案简单但影响业务,在线迁移需双写与对账兜底。
原理流程
- 部署新分片,确定新路由映射。
- 迁移存量数据:分批读取旧片写入新片,记录断点。
- 增量双写或 binlog 同步追平,周期对账校验。
- 灰度切读 → 全切 → 旧片下线,保留回滚窗口。
代码或图示
// 分批迁移示意:按主键区间断点续传
// foreach (array_chunk($ids, 500) as $batch) { copyToNewShard($batch); }
// 对账:COUNT(*) 与抽样字段 hash 对比新旧分片
常见误区
- 只迁存量不追增量:迁移期间新写入落旧片,新片缺数据。
- 一次性全切:无灰度与回滚,异常时影响面大。
追问
- 双写写失败怎么办?答:写失败进重试队列,对账发现差异补偿;不能静默丢弃。
- 迁移期间索引怎么建?答:新分片先建好索引再灌数据,避免迁移后二次重建。
06.5.8.7-009 双写迁移灰度切流如何对账与回滚?
一句话结论
灰度期新旧链路并行:写双写、读按比例切新链路;对账按行数、抽样内容哈希、业务汇总定期比对;异常时把读流量切回旧链路,写保留双写兜底;回滚预案在切换前就绪。
概念解释
灰度切流先切少量用户/比例,观察错误率、延迟与对账差异。对账手段:分片行数比对、抽样记录字段 hash、关键业务指标(订单数、余额)核对。回滚触发条件:新链路错误率升高、对账差异超阈值、延迟劣化。写双写保留期间回滚读不丢数据。
原理流程
- 写链路双写:旧片与新片同时写入,失败补偿。
- 读流量按 1% → 10% → 50% → 100% 灰度。
- 每阶段跑对账:行数、抽样 hash、业务指标。
- 异常触发回滚:读切回旧片,保留双写排查。
代码或图示
// 灰度路由:按 uid 哈希或比例标记走新链路
// if (grayHit($uid)) { readFromNewShard(); } else { readFromOldShard(); }
// 对账:SELECT COUNT(*) 新旧分片比对 + 抽样字段 MD5 核对
常见误区
- 灰度期不跑自动对账:差异靠人工发现,滞后严重。
- 回滚只准备应用层方案:还要确认新片写入可丢弃或可回灌,避免脏数据残留。
追问
- 双写顺序有要求吗?答:以旧片为准先写旧、再写新;新写失败补偿,旧写失败按原错误处理。
- 对账差异怎么定位?答:按时间窗口与分片排查,结合双写失败日志与重试记录。
06.5.8.7-010 慢查询日志如何开启与配置?
一句话结论
慢查询由 slow_query_log 开关、long_query_time 阈值与日志路径控制,未命中索引的查询可通过 log_queries_not_using_indexes 补充记录;生产低峰评估开启,日志需轮转避免占满磁盘。
概念解释
慢日志记录执行时间超阈值的 SQL;阈值按业务 SLA 设定,过短噪声多,过长漏掉问题查询。未走索引开关单独记录全表扫描类 SQL,数量可能很大需评估。日志文件定期轮转与归档,结合 pt-query-digest 分析。具体参数默认值以实例版本为准,未连实例前标注待确认。
原理流程
- 确认慢日志开关与日志路径配置。
- 设定
long_query_time阈值与未用索引记录开关。 - 开启后观察日志量,配置轮转清理。
- 定期用分析工具汇总慢 SQL 与执行频次。
代码或图示
-- 配置参数(数据库侧;默认值待确认实例版本)
-- SET GLOBAL slow_query_log = ON;
-- SET GLOBAL long_query_time = 1.0;
-- SET GLOBAL log_queries_not_using_indexes = ON;
-- 日志路径:slow_query_log_file 变量查看
常见误区
- 阈值设 0 全量记录:日志暴涨,磁盘与 IO 压力大。
- 慢日志不轮转:长期累积占满磁盘,影响数据库运行。
追问
- 慢日志记录哪些信息?答:SQL 文本、执行时间、锁等待时间、扫描行数、返回行数等,字段含义按版本文档核对。
- 怎么确认参数生效?答:
SHOW VARIABLES LIKE 'slow_query%'与long_query_time实测。
06.5.8.7-011 pt-query-digest 输出结构怎么解读?
一句话结论
pt-query-digest 按 SQL 指纹聚合慢日志,输出整体统计、排名前列的查询(次数、耗时占比、平均/P95 延迟、扫描行数)与示例 SQL;优先处理调用频次高、总耗时占比大的指纹。
概念解释
工具把同类 SQL(参数不同)归一为指纹,避免单条日志淹没高频问题。输出第一段是全局汇总,后面按响应时间排名:每条指纹有执行次数、总耗时、平均/中位数/P95、行数扫描等。优化顺序:总耗时 = 频次 × 单次延迟,先抓高频高耗时指纹,再看单次极慢的长尾查询。
原理流程
- 收集一段时间慢日志,运行 pt-query-digest 聚合。
- 看全局:查询总量、耗时分布、慢查询占比。
- 按总耗时与次数排名定位重点指纹。
- 取示例 SQL 逐条 EXPLAIN 分析与优化。
代码或图示
// 命令行示例(工具需独立安装,环境未确认安装状态)
// pt-query-digest /path/to/slow.log
// 关注: Rank、Query ID、exec count、R (total time)、P95、rows examine
常见误区
- 只看单次最慢 SQL:高频中等延迟的查询累计耗时可能更大。
- 忽略扫描行数:单次快但扫描大量行的查询仍有隐患。
追问
- SQL 指纹怎么归一?答:字面量参数被替换为占位符,同类条件结构合并;工具规则按版本文档核对。
- 没装工具怎么分析?答:按 SQL 文本手工分组统计频次与耗时,日志字段对照排序。
06.5.8.7-012 慢查询排查的标准思路是什么?
一句话结论
先看 SQL 与执行计划(EXPLAIN),定位是否走索引、扫描行数与回表量;再从索引设计、条件写法、数据分布、表结构迭代;最后验证改写后计划与延迟,不靠猜测调参。
概念解释
排查顺序:拿到慢 SQL → EXPLAIN 看 type/key/rows/Extra → 判断索引缺失或失效 → 检查条件写法与隐式转换 → 评估数据量与深分页 → 改写 SQL 或补索引 → 上线前后对比延迟与扫描行数。区分偶发慢(锁等待、数据抖动)与稳定慢(计划问题)。
原理流程
- 从慢日志取 SQL 文本、频次、扫描与返回行数。
- EXPLAIN 分析访问类型、索引、rows、Extra。
- 定位瓶颈:缺索引、索引失效、回表、filesort、深分页。
- 改写/加索引后复测执行计划与实际延迟,监控复发。
代码或图示
// 排查链路
// 1) EXPLAIN <慢SQL>;
// 2) 核对索引:SHOW INDEX FROM <表>;
// 3) 改写后复测:对比 rows、type、Extra 与接口 P95
常见误区
- 慢了就加索引:没看执行计划,可能是条件写法、锁等待或数据倾斜问题。
- 优化后不复测:计划可能因统计信息变化再次劣化。
追问
- 偶发慢怎么判断?答:看是否伴随锁等待、主库压力、数据量突增;慢日志里锁等待时间字段辅助区分。
- 一条 SQL 多个问题先改哪个?答:先解决全表扫描与大扫描行数,再处理排序/回表细节。
06.5.8.7-013 批量写入如何优化?
一句话结论
批量写入用批量 INSERT、合并事务、控制单批大小,避免循环单条插入;大批量配合 LOAD DATA、禁用非必要索引与约束检查(导入场景),分批提交避免大事务与主从延迟。
概念解释
循环单条 INSERT 每条一次网络往返与事务提交,批量 INSERT 一次多行减少往返;事务合并批量提交,但单批过大会产生大事务与锁范围。LOAD DATA INFILE 导入速度最快,适合初始化与批量迁移。索引在写入时逐行维护,大批量导入可先延迟建索引(注意线上风险)。批次大小按行大小、锁与主从延迟压测确定,未实测标注待确认。
原理流程
- 收集待写数据,按批次切分。
- 每批用多行 INSERT,包在一个事务内提交。
- 批次之间提交,控制单事务行数与锁范围。
- 海量初始化用 LOAD DATA,评估索引与约束时机。
代码或图示
// 批量 INSERT:每批 200~500 行(批次大小按压测调整,待确认)
// INSERT INTO item (name, price) VALUES (?, ?), (?, ?), (?, ?);
// 循环单条插入:往返与提交次数翻倍,应避免
常见误区
- 单事务包整批十万行:大事务锁持有久、undo 膨胀、回滚成本高。
- 批量 INSERT 列表无上限:包过大导致 SQL 超参数长度与网络包限制。
追问
- 批量更新怎么优化?答:按主键分批 UPDATE,或 CASE WHEN 合并;避免每条独立事务。
- 写入导致主从延迟怎么办?答:控制批次与提交频率,监控回放延迟,必要时分峰导入。
06.5.8.7-014 批量删除/更新如何分片处理避免大事务?
一句话结论
大批量删除或更新按主键区间/小批次循环处理,每批独立提交,批次间限流;避免一条语句扫全表长事务,同时关注索引、磁盘空间释放与主从延迟。
概念解释
DELETE FROM log WHERE created_at < ... 一次扫描并锁定大量行,长事务持锁、undo 膨胀、主从回放慢。分片做法:按主键每批取 N 条处理,提交后再取下一批,循环直到清空。删除空间回收依赖 InnoDB 机制,表空间不会立即缩小;更新类批量同理。批次大小与间隔按锁等待和延迟监控调整。
原理流程
- 按条件定位主键范围,确定分批边界。
- 每批取 N 个主键,执行 DELETE/UPDATE 并提交。
- 批次间短暂间隔,控制主从延迟与锁竞争。
- 循环直到无匹配行,记录处理进度可中断续跑。
代码或图示
// 分批删除示意:每批按主键上限推进
// DELETE FROM log WHERE created_at < ? ORDER BY id LIMIT 500;
// 循环执行,每批提交;监控影响行数直至为 0
常见误区
- 一条 SQL 删几十万行:大事务 + 长锁 + 主从延迟风险。
- 批量删后不评估表空间:删除后空闲页保留,磁盘占用不下降。
追问
- 删历史数据还有什么方式?答:归档表迁移后再删,或按分区表 DROP 分区;分区方案按业务增长模式设计。
- 批量更新失败如何续跑?答:记录最后处理的主键/时间断点,中断后从断点继续,不重复整批。
06.5.8.7-015 大表 DDL 有哪些在线方案?
一句话结论
在线 DDL(INPLACE)减少锁表时间;超大表可用 pt-online-schema-change 影子表 + 触发器/同步 + rename,或原生类似机制;DDL 低峰执行,评估主从延迟、磁盘空间与回滚方案。
概念解释
直接 ALTER 大表可能重建全表,期间锁与 IO 压力大。在线 DDL 算法在表上拷贝重建,减少元数据锁持有时间;工具方案建新影子表,同步增量变更后切换。无论哪种方案,都需要双倍磁盘空间,且期间写入要能同步到新表。具体支持的算法与锁模式按 MySQL 版本核对,待确认。
原理流程
- 评估 DDL 类型:加索引、改列、加列各自重建成本。
- 低峰期执行,优先在线算法,明确 LOCK 模式。
- 大表用影子表方案:建新表、灌数据、同步增量、rename 切换。
- 监控主从延迟与磁盘空间,准备回滚预案。
代码或图示
-- 在线加索引(算法与锁行为按版本核对,待确认)
-- ALTER TABLE orders ADD INDEX idx_user (user_id), ALGORITHM=INPLACE, LOCK=NONE;
-- 工具方案:影子表 + 增量同步 + 原子 rename;工具部署状态以环境为准
常见误区
- 高峰期跑大表 DDL:资源占用与业务高峰叠加。
- 不预留双倍空间:重建中途空间不足失败,回滚成本高。
追问
- 加索引与改列哪个代价大?答:改列类型可能全表重建,加索引通常只构建索引结构;以版本在线 DDL 能力为准。
- DDL 期间主从延迟?答:重建在从库同样回放,延迟升高需观察,必要时分批或低峰窗口执行。
06.5.8.7-016 冷热分离与历史数据归档怎么做?
一句话结论
热数据留在线表承接近期访问,冷数据按周期迁移到归档表/归档库或对象存储,在线表定期清理;归档保留可查询路径,迁移分批进行并校验,避免在线表无限膨胀。
概念解释
归档依据时间或访问频率:近期数据高频访问留主表,历史订单/日志迁到归档表。迁移流程:分批读取冷数据写入归档存储 → 校验后删除在线表对应行。归档表结构可与在线表一致,或按分析需求优化。日志类数据可直接落对象存储/数仓,不进在线库。归档周期按容量增长与查询时效设定。
原理流程
- 定义冷热分界:时间阈值、访问频率、业务保留周期。
- 分批迁移冷数据到归档表/存储,记录断点。
- 校验行数与抽样内容后清理在线表。
- 提供归档查询入口,归档数据按周期再下沉。
代码或图示
// 归档流程示意
// 1) INSERT INTO order_archive SELECT * FROM orders WHERE created_at < :cutoff LIMIT 500;
// 2) 校验后 DELETE FROM orders WHERE id IN (:batchIds);
// 日志类:直接写对象存储/数仓,不长期堆积在线表
常见误区
- 只迁数据不删在线表:容量不降,归档失去意义。
- 归档后无查询入口:历史业务诉求无法满足,被迫回查主表。
追问
- 归档表要建同样索引吗?答:按归档查询场景建,不照搬在线表全部索引。
- 迁移期间新写入冷分区?答:按分界时间过滤,边界附近数据留在线表下一批处理。
06.5.8.7-017 应用层路由与分片中间件如何取舍?
一句话结论
应用层路由可控、无额外组件但每个应用重复实现;分片中间件统一路由、改写与聚合,但引入依赖与黑盒;PHP 项目按团队规模、多语言情况与运维能力选择,核心是路由规则可测试、可观测。
概念解释
应用层:在数据访问层封装分片函数,表名与连接按分片键路由,聚合逻辑自己写。优点:透明可控、无中间件单点;缺点:多应用要同步规则,跨片聚合重复开发。中间件(如 ShardingSphere 类):SQL 解析后路由、改写、归并,业务侧少感知;代价是组件学习成本、版本兼容与排查复杂度。本项目技术栈精简原则下,优先评估应用层简单方案。
原理流程
- 评估分片规模:少量固定分片、路由规则简单用应用层。
- 多语言/多应用共享规则、复杂跨片归并:评估中间件。
- 路由规则集中配置,单测覆盖分片映射与扩容场景。
- 无论哪种,日志记录实际分片路由便于排查。
代码或图示
// 应用层路由封装(示意)
final class OrderTableRouter {
public static function shard(int $userId): string {
return "order_" . ($userId % 8);
}
}
// 中间件方案:SQL 到达中间件后解析路由,应用侧只面向逻辑表
常见误区
- 过早引入重量级中间件:分片规则简单时增加运维与排障成本。
- 路由逻辑散落在业务代码:表名拼接到处可见,扩容时难以统一修改。
追问
- 中间件有单点吗?答:部署多实例无状态化;自身高可用与连接池需单独规划。
- 应用层路由怎么支持扩容?答:路由映射表集中维护,双写迁移期按映射规则切换。
06.5.8.7-018 读写分离下主从延迟如何影响读一致性?
一句话结论
写主库后读从库可能读到旧值(复制延迟),一致性敏感的读走主库或等待追平;延迟监控、强制走主库策略与业务容忍度配合,不能假设从库实时一致。
概念解释
主库写入后 binlog 异步/半同步复制到从库,存在时间差。下单后立即查询走从库可能查不到。策略:关键读(写后立即读)强制走主库;非关键读容忍短暂延迟;监控Seconds_Behind_Master 类延迟指标,延迟超阈值时读流量回切主库。中间件可按读写类型路由,应用层也可显式指定连接。
原理流程
- 写入走主库连接,读按策略路由从库。
- 写后立即读、账务核对类请求强制走主库。
- 监控主从延迟,超阈值降级读主。
- 延迟原因排查:大事务、网络、从库回放压力。
代码或图示
// 写后立即读:走主库连接
// $masterDb->query("SELECT * FROM orders WHERE id = ?");
// 普通列表读:从库连接;延迟超阈值时回切主库
常见误区
- 所有读都打从库:写后读场景出现"刚下单查不到"的投诉。
- 不监控延迟:从库落后严重时仍把流量切过去。
追问
- 半同步复制能消除延迟吗?答:保证提交时至少一个从库确认接收,仍不保证回放完成,读一致性需额外策略。
- 延迟怎么排查?答:对比主从位点、大事务、从库 IO/线程状态与慢查询。
06.5.8.7-019 分片数量与数据库连接数有什么关系?
一句话结论
分片越多,应用需要维护的连接(或连接池规模)越大;PHP FPM 短连接模型下连接数 = 进程数 × 分片数,容量规划要把连接纳入评估,避免打满数据库 max_connections。
概念解释
每个分片对应独立库实例或连接入口。应用访问多分片时,连接需求随分片数增长。FPM 每进程按需建立连接,常驻框架用连接池复用。规划:分片数 × 每进程最大连接数 × 进程数,对照数据库连接上限;连接闲置超时与回收策略配套。分片不是越多越好,连接成本与运维复杂度随数量上升。
原理流程
- 统计分片实例数量与每实例连接入口。
- 按 FPM 进程数/常驻池大小估算连接峰值。
- 对照数据库
max_connections预留余量。 - 设置连接超时与空闲回收,避免连接泄漏堆积。
代码或图示
// 连接规划示意:分片数 8,每进程按需连接分片
// 连接峰值 ≈ FPM 进程数 × 同时活跃分片连接数
// 数据库侧:SHOW VARIABLES LIKE 'max_connections'; 实测上限(待确认)
常见误区
- 分片数量只按数据量算:忽略连接数与运维成本。
- 每请求每分片开新连接:FPM 下频繁握手,连接数波动大。
追问
- 常驻框架连接池怎么配?答:池大小按分片数与并发设定,空闲连接超时回收;本环境未装 swoole/swow,池机制以实际运行时为准。
- 连接打满怎么表现?答:应用报连接拒绝/超时,数据库侧看连接数与活跃线程。
06.5.8.7-020 迁移后如何验证分片正确性?
一句话结论
验证分三层:路由正确性(分片键落片符合规则)、数据一致性(行数、抽样内容、聚合值对账)、业务回归(关键查询路径与跨片场景);上线后持续对账一段时间,差异可定位补偿。
概念解释
分片迁移常见错误:路由映射错、双写遗漏、迁移断点重复/丢失、跨片聚合结果错。验证:单测覆盖路由函数各分片键;对账脚本比对新旧库行数、抽样记录字段 hash、关键汇总值;业务回归覆盖单分片查询、跨片列表、详情与聚合。灰度期持续对账,保留差异告警与补偿脚本。
原理流程
- 单测:分片键 → 分片映射边界与取模结果。
- 数据对账:全量行数 + 抽样内容 hash + 关键指标汇总。
- 业务回归:详情、列表、排序分页、聚合、跨片场景。
- 灰度期持续对账,差异记录来源并补偿。
代码或图示
// 路由单测:assertSame("order_3", Router::shard(1003));
// 对账:COUNT(*) 分片汇总比对 + 抽样 MD5(字段拼接) 核对
// 业务回归:下单、订单列表、详情、状态变更链路走查
常见误区
- 只验写入不读回归:跨片列表与分页错误常到线上才暴露。
- 对账只比行数:行数相同也可能字段内容错位,需抽样内容核对。
追问
- 对账频率怎么定?答:迁移期高频(按批次),灰度期按周期,稳定后转抽检。
- 发现差异怎么补偿?答:按分片与时间窗口定位双写/迁移遗漏,重放缺失数据并记录。