03.6 阶段 5:复制、高可用与读写分离
所属:全栈开发面试题库 / 学习路径 / 03 MySQL 与 PostgreSQL
本页目录
一、阶段定位
单库能跑、能备份之后,下一个问题是"主库挂了怎么办""读请求是主库的 10 倍怎么办"。本阶段解决复制(数据同步)、高可用(自动切换)、读写分离(流量分发)三件事。这是从"能用的数据库"到"生产可用的数据库"的分水岭。
判断自己是否卡在本阶段:
- 知道主从复制存在,但说不清主库 dump 线程、从库 IO 线程、SQL 线程怎么协作,复制延迟怎么产生——这是复制原理没建立。
- 搭了主从,但写后立刻读从库读到旧数据,不知道复制是异步的——这是读写分离的一致性边界没搞懂。
- 主库宕机后手动改应用配置指向新主,RTO 十几分钟——这是没有自动化高可用。
- 听说过"脑裂",但说不清为什么切换时要隔离旧主(fencing)——这是高可用安全机制不理解。
衔接关系:本阶段依赖阶段 4 的 binlog(MySQL)与 WAL(PG)作为复制源;阶段 7 的监控指标会把复制延迟纳入告警。不理解异步复制的延迟边界,应用层写后读会出现"我刚提交的订单查不到"这类客诉。
二、阶段目标与投入
| 能力目标(可验证的行为) | 验证方式 |
|---|---|
| 能搭一主一从 MySQL 与 PG 复制拓扑 | SHOW REPLICA STATUS / pg_stat_wal_replay 状态正常 |
| 能解释三个线程的协作与复制延迟来源 | 白板画出 dump→IO→SQL 流程 |
| 能配置 GTID 与半同步复制 | 主库宕机时从库不丢已确认事务 |
| 能观察并解读复制延迟 | Seconds_Behind_Source 与 PG replay_lag |
| 能完成一次主从切换演练 | 新主可读写、旧主重新加入 |
| 能说明脑裂风险与 fencing 措施 | 写出切换时怎么阻止旧主被写 |
| 能在应用层实现读写分离路由 | 写走主、读走从、写后读走主 |
建议学时:
- 全职:2 周,约 45 小时。MySQL 复制 10 小时、GTID/半同步 6 小时、MGR/HA 6 小时、PG 流复制 8 小时、逻辑复制 4 小时、高可用组件 6 小时、读写分离 5 小时。
- 在职:4 周,约 50 小时。拓扑要在本机用 3 个容器搭,不要只看文档。
学时分配:复制原理 25%、GTID 与半同步 15%、PG 流复制与逻辑复制 20%、HA 组件与脑裂 20%、读写分离 15%、延迟治理 5%。
三、先修自检
| 先修项 | 合格标准 | 不合格时回到 |
|---|---|---|
| binlog/WAL | 知道 binlog row 格式与 WAL 作用 | 03.5 阶段 4 |
| 网络连接 | 知道端口、防火墙、容器网络 | 01.2 计算机网络 |
| 容器多实例 | 能起 3 个容器并互相连通 | 08.1 容器化 |
| SQL 基础 | 能建库建表 | 03.2 阶段 1 |
经验判断:高可用组件(MHA/Patroni)配置复杂,本阶段先把复制原理与手动切换走通,HA 工具作为了解——面试问的是原理与脑裂,不是配 MHA 的 50 个参数。
四、知识地图
| 模块 | 知识点 | 掌握程度 | 对应题库章节 |
|---|---|---|---|
| MySQL 复制 | dump/IO/SQL 三线程、异步、位点 | 能讲清原理 | 05.2 MySQL |
| GTID | 全局事务 ID、自动定位 | 会用 | 05.2 MySQL |
| 半同步 | AFTER_SYNC/AFTER_COMMIT、牺牲换一致 | 能讲清原理 | 05.2 MySQL |
| 并行复制 | 基于组提交并行、基于写集 | 了解 | 05.2 MySQL |
| MGR | 组复制、Paxos、多主一致 | 了解 | 05.2 MySQL |
| PG 流复制 | WAL 传输、standby 回放、同步级别 | 能讲清原理 | 05.3 PostgreSQL |
| PG 逻辑复制 | publication/subscription、粒度 | 会用 | 05.3 PostgreSQL |
| HA 与脑裂 | MHA/Patroni、fencing、RPO/RTO | 能讲清原理 | 09.1 高并发基础 |
| 读写分离 | 代理式/客户端式、写后读一致性 | 会用 | 09.1 高并发基础 |
进度管理建议:复制延迟与写后读是最常被客诉的点,重点练。术语见 03.12 术语表。
五、分模块精讲
5.1 MySQL 主从复制原理
为什么需要它:主从复制是读扩展、灾备、测试环境的基础。不理解三个线程的协作,就解释不了"为什么从库会延迟""为什么从库读不到刚写的数据"。
核心机制:
- 主库(source):每个事务提交时写 binlog。
- 主库 dump 线程:把 binlog 发送给从库。
- 从库 IO 线程:接收 binlog 写到本地 relay log(中继日志)。
- 从库 SQL 线程:回放 relay log,执行变更。
- 默认异步复制:主库提交不等待从库确认,主库宕机可能丢已提交但未同步的事务(RPO>0)。
- 复制位点:binlog 文件 + 位置(file, pos)或 GTID。
最小可运行示例:
-- 主库:建复制账号
CREATE USER 'repl'@'%' IDENTIFIED BY 'Repl@123';
GRANT REPLICATION SLAVE ON *.* TO 'repl'@'%';
-- 主库:查位点
SHOW MASTER STATUS;
-- File: bin.000003, Position: 157
-- 从库:指向主库(MySQL 8.0.23+ 用 REPLICA)
CHANGE REPLICATION SOURCE TO
SOURCE_HOST='mysql8',
SOURCE_USER='repl',
SOURCE_PASSWORD='Repl@123',
SOURCE_LOG_FILE='bin.000003',
SOURCE_LOG_POS=157,
SOURCE_SSL=1;
START REPLICA;
-- 从库状态
SHOW REPLICA STATUS\G
-- 看:Replica_IO_Running=Yes, Replica_SQL_Running=Yes,
-- Seconds_Behind_Source=0
常见坑:
| 现象 | 原因 | 修法 |
|---|---|---|
Replica_IO_Running=No |
网络不通、账号密码错、GTID 不一致 | 看 Last_Error;检查账号权限 |
Replica_SQL_Running=No |
从库回放冲突(主键重复) | 跳过事务或重建从库 |
Seconds_Behind_Source 持续上涨 |
大事务、从库 IO 慢、单线程回放 | 见 5.3 |
| 写后读从库旧数据 | 异步复制有延迟 | 写后读走主库,或等同步 |
面试考法:"主从复制原理""三个线程""为什么异步复制会丢数据"。要点:dump/IO/SQL;主提交不等从确认。
5.2 GTID 与半同步复制
为什么需要它:传统位点(file+pos)在主从切换时容易找错位置。GTID 给每个事务一个全局唯一 ID,自动定位。半同步复制则牺牲一点性能换"主库提交时至少一个从库已收到"的保证。
核心机制:
- GTID(Global Transaction ID):
source_uuid:transaction_id,如3E11FA47-71CA-11E1-9E33-C80AA9429562:23。 - 主从切换时从库自动找未同步的 GTID ,不用手动记位点。
gtid_mode=ON、enforce_gtid_consistency=ON。- 半同步:
- 主库提交后等待至少一个从库 ACK(AFTER_SYNC:从库收到并写 relay log 后 ACK)。
- 超时(
rpl_semi_sync_master_timeout,默认 10ms 即 10000 毫秒)降级为异步。 - 牺牲写吞吐,换 RPO≈0(不丢已确认事务)。
最小可运行示例:
-- 主从都开 GTID
-- my.cnf: gtid_mode=ON, enforce_gtid_consistency=ON
CHANGE REPLICATION SOURCE TO
SOURCE_AUTO_POSITION=1; -- 不用写 file/pos
-- 半同步插件(主库)
INSTALL PLUGIN rpl_semi_sync_source SONAME 'semisync_source.so';
SET GLOBAL rpl_semi_sync_source_enabled=1;
SET GLOBAL rpl_semi_sync_source_timeout=10000;
-- 从库
INSTALL PLUGIN rpl_semi_sync_replica SONAME 'semisync_replica.so';
SET GLOBAL rpl_semi_sync_replica_enabled=1;
常见坑:
| 现象 | 原因 | 修法 |
|---|---|---|
| GTID 不一致无法切换 | 从库有独立事务 | 清空从库重建;或用 GTID 跳过 |
| 半同步延迟高 | 等从库 ACK | 调超时;或只在关键写用半同步 |
| 网络闪断后降级异步 | 超时自动降级 | 监控半同步状态,恢复后自动切回 |
面试考法:"GTID 解决什么""半同步牺牲什么"。要点:自动定位位点、切换无脑;牺牲写延迟换不丢已确认事务。
5.3 复制延迟来源与并行复制
为什么需要它:从库延迟是读写分离最大的坑。理解延迟来源才能治理,而不是盲目加机器。
核心机制:
- 延迟来源:
- 大事务:一个 UPDATE 改 100 万行,从库单线程回放要几分钟。
- 从库硬件差:IO/CPU 跟不上。
- 单线程回放:MySQL 5.7 前 SQL 线程单线程,主库并发写从库串行追。
- 从库承担了大量读查询,挤占回放资源。
- 并行复制(MySQL 5.7+):
- 基于组提交(MTS,
slave_parallel_workers):同一组提交的事务在从库并行回放。 - 基于写集(5.7.20+ / 8.0,
binlog_transaction_dependency_history_size):无冲突事务并行。
- 基于组提交(MTS,
- 治理:拆大事务、从库专用不承担重查询、提升从库硬件、开并行复制。
最小可运行示例:
-- 查看延迟
SHOW REPLICA STATUS\G
-- Seconds_Behind_Source: 120 -- 延迟 2 分钟
-- 开并行复制(MySQL 8)
SET GLOBAL replica_parallel_workers=4;
SET GLOBAL replica_parallel_type='LOGICAL_CLOCK';
-- 大事务治理:把 100 万行 UPDATE 拆成每批 1000 行
-- 错误:
UPDATE orders SET status='ARCHIVED' WHERE created_at < '2020-01-01';
-- 正确:循环分批
常见坑:
| 现象 | 原因 | 修法 |
|---|---|---|
| 延迟在大促暴涨 | 批量任务/大事务 | 拆批、低峰执行 |
| 从库回放 CPU 打满 | 单线程 | 开并行复制 |
| 从库同时跑报表 | 读挤占回放 | 报表移到独立从库 |
面试考法:"复制延迟怎么排查""怎么治理"。要点:大事务、硬件、单线程、读挤占;拆批、并行复制、专用从库。
5.4 PostgreSQL 流复制
为什么需要它:PG 流复制基于 WAL,与 MySQL binlog 思路相同但实现不同。同步级别(async/sync/quorum)对主库性能影响是面试重点。
核心机制:
- 主库:WAL 发送进程(walsender)把 WAL 流发给从库。
- 从库:WAL 接收进程(walreceiver)写本地 WAL,回放(redo)。
- 从库是只读的(Hot Standby),可承担读查询。
- 同步级别(
synchronous_commit与synchronous_standby_names):- async(默认):主库提交不等从库。
- sync:等至少一个同步从库收到 WAL 才返回。
- quorum:等 N 个从库。
- 物理流复制要求主从版本、配置基本一致,不能做部分表复制。
最小可运行示例:
# 从库用 pg_basebackup 克隆主库
pg_basebackup -h pg-primary -U replicator -D /var/lib/postgresql/data -P -R
# -R 自动写 primary_conninfo
# postgresql.auto.conf(从库)
primary_conninfo = 'host=pg-primary user=replicator'
-- 主库查看
SELECT pid, state, sync_state FROM pg_stat_replication;
-- sync_state: async / sync / quorum
-- 从库查看
SELECT pg_is_in_recovery(); -- t
SELECT EXTRACT(EPOCH FROM (now() - pg_last_xact_replay_timestamp())) AS lag;
常见坑:
| 现象 | 原因 | 修法 |
|---|---|---|
| 从库查询报 "in recovery" | 从库只读 | 只读查询可以,写要走主库 |
| 主库提交变慢 | 配了 sync 同步复制 | 评估是否需要;用 quorum |
| WAL 大量堆积 | 从库断开 | 查从库;重启 walreceiver |
面试考法:"PG 流复制与 MySQL 复制区别""同步复制对性能影响"。要点:WAL 流、从库只读;sync 等从库 ACK,写延迟上升但不丢数据。
5.5 PostgreSQL 逻辑复制
为什么需要它:物理流复制是整库镜像,跨大版本、跨平台、只想同步部分表时不行。逻辑复制(publication/subscription)基于 WAL 逻辑解码,能做表级订阅。
核心机制:
- 主库(发布端):建 publication 指定哪些表。
- 从库(订阅端):建 subscription 指向发布端,复制数据。
- 粒度:表级,可只订阅部分表、部分行(行过滤)。
- 支持跨大版本(从库版本 >= 主库)、跨平台、跨 PG 实例。
- 限制:只能复制表(不复制 DDL、序列/函数默认值需处理),表必须有主键或 replica identity。
最小可运行示例:
-- 主库(wal_level=logical)
CREATE PUBLICATION shop_pub FOR TABLE orders, order_item;
-- 从库
CREATE TABLE orders (id BIGINT PRIMARY KEY, ...); -- 结构先建好
CREATE SUBSCRIPTION shop_sub
CONNECTION 'host=pg-primary dbname=shop user=replicator'
PUBLICATION shop_pub;
-- 查看
SELECT * FROM pg_stat_subscription;
常见坑:
| 现象 | 原因 | 修法 |
|---|---|---|
| 逻辑复制延迟大 | 大事务、行过滤 | 拆大事务 |
| 无主键表无法复制 | 逻辑复制需要 replica identity | 加主键或 REPLICA IDENTITY FULL |
| DDL 不同步 | 逻辑复制不复制 DDL | 应用层/迁移工具同步 schema |
面试考法:"物理复制与逻辑复制区别""什么时候用逻辑复制"。要点:物理整库、同版本;逻辑表级、跨版本、部分表、数据迁移。
5.6 高可用组件与脑裂
为什么需要它:主库宕机要自动提升从库为主,否则 RTO 太长。但自动切换最大的风险是脑裂——旧主其实没挂(网络分区),被自动提升的新主开始接写,两个主同时写导致数据分裂。
核心机制:
- 组件职责:
- MySQL:MHA(Master HA,老牌)、Orchestrator、MGR(组复制自带故障转移)。
- PG:Patroni(最流行,用 etcd/Consul 做协调)、Repmgr、Pgpool-II(同时做连接池)。
- 切换流程:
- 检测主库不可达(心跳失败,通常 30s+)。
- 选最新从库(应用最多 WAL/binlog)。
- fencing(隔离旧主):阻止旧主被写——云环境可用安全组/隔离网络,物理环境可 STONITH(shoot the other node in the head)。
- 提升从库为主,更新连接配置(VIP/服务发现)。
- 脑裂防护:quorum(多数派)、 fencing、旧主自动降级为从。
最小可运行示例:
# Patroni 简化配置(主库)
scope: shop
name: mysql1
restapi:
listen: 0.0.0.0:8008
etcd3:
hosts: etcd:2379
postgresql:
listen: 0.0.0.0:5432
data_dir: /var/lib/postgresql/data
replica_method: basebackup
# 切换时 Patroni 自动:
# 1. 检查 etcd 多数派
# 2. 选最新 standby
# 3. 把旧主改成只读/隔离
# 4. 提升新主并写 DNS/VIP
常见坑:
| 现象 | 原因 | 修法 |
|---|---|---|
| 网络抖动误切换 | 心跳太短 | 调大检测时间(30s+),quorum |
| 脑裂双主写 | fencing 未做 | 切换时隔离旧主(安全组/STONITH) |
| 旧主恢复后又是主 | 没有自动降级 | Patroni 检测到新主后把旧主降为从 |
| RTO 太长 | 检测+提升串行 | 压测切换流程,优化脚本 |
面试考法:"脑裂是什么""怎么防止""RTO/RPO 怎么定"。要点:网络分区导致双主;quorum + fencing;RTO 目标切换时间、RPO 目标丢数据量。
5.7 读写分离与写后读一致性
为什么需要它:读流量是写的 10 倍时,把读分发到从库能扩展读吞吐。但"我刚下单查不到"是最常见的客诉——因为异步复制有延迟。
核心机制:
- 代理式:中间件(ShardingSphere-Proxy、Pgpool-II、MaxScale)解析 SQL 路由。
- 客户端式:应用内多数据源,注解/AOP 决定走主从(如 Spring AbstractRoutingDataSource、MyBatis 插件)。
- 写后读一致:
- 写操作后的 N 秒内/同一请求内,读走主库。
- 或用 GTID/WAL LSN 等待从库追平(
WAIT_FOR_EXECUTED_GTID_SET/pg_stat_replication等待)。 - 关键读(如支付结果)强制走主库。
- 从库还承担备份、报表(独立从库)。
最小可运行示例:
// 客户端式路由简化逻辑(Spring)
public class RWRoutingDataSource extends AbstractRoutingDataSource {
@Override
protected Object determineCurrentLookupKey() {
return DbContextHolder.isReadOnly() ? "slave" : "master";
}
}
// @ReadOnly 注解的 Service 走从库;写走主库
// 写后读:同一线程内 ThreadLocal 标记走主库 N 秒
-- MySQL:等从库追平到某 GTID
SELECT WAIT_FOR_EXECUTED_GTID_SET('3E11FA47...:23', 5); -- 最多等 5 秒
常见坑:
| 现象 | 原因 | 修法 |
|---|---|---|
| 刚下单查不到 | 读走从库有延迟 | 写后请求内读走主库 |
| 从库延迟时读旧数据 | 没监控延迟 | 延迟超阈值把读切回主库 |
| 代理式中间件成为单点 | 单点故障 | 中间件集群 + 负载均衡 |
面试考法:"读写分离怎么做""写后读一致性怎么保证"。要点:代理 vs 客户端;写后读走主库或等从库追平。
六、分层练习
6.1 复现型
| 练习 | 要求 | 验收标准 | 预计耗时 |
|---|---|---|---|
| 搭一主一从 | MySQL 与 PG 各搭一套 | Replica_IO_Running=Yes、pg_stat_replication 有行 |
2 小时 |
| 观察延迟 | 主库批量写,看从库延迟 | 能抄下 Seconds_Behind_Source 变化 |
1 小时 |
| 写后读实验 | 主库插入后立刻从从库读 | 能复现读不到,解释原因 | 1 小时 |
| GTID 配置 | 开 GTID 自动定位 | 从库无需写 pos | 1.5 小时 |
| 逻辑复制 | PG 建 publication/subscription 同步 orders | 从库能查到新行 | 1.5 小时 |
6.2 改造型
| 练习 | 要求 | 验收标准 | 预计耗时 |
|---|---|---|---|
| 并行复制 | MySQL 开 replica_parallel_workers | 大促延迟下降 | 1.5 小时 |
| 半同步 | 配 AFTER_SYNC | 主库提交等待从库 ACK | 1.5 小时 |
| 写后读路由 | 应用层写后 N 秒读走主库 | 不再客诉 | 2 小时 |
| 延迟自动切主 | 从库延迟超 5s 时读切回主 | 监控联动 | 2 小时 |
6.3 设计型
| 练习 | 要求 | 验收标准 | 预计耗时 |
|---|---|---|---|
| 拓扑设计 | 对日订单 100 万的系统设计主从拓扑 | 含读从、报表从、灾备从 | 2 小时 |
| 切换演练 | 手动 kill 主库,提升新主 | RTO 记录、旧主重新加入 | 3 小时 |
| 脑裂方案 | 写出 fencing 具体措施 | 可执行 | 1.5 小时 |
七、排障表
| 现象 | 可能原因 | 排查步骤 | 解决办法 |
|---|---|---|---|
Replica_IO_Running=No |
网络/账号/GTID | SHOW REPLICA STATUS 看 Last_Error |
修网络、授权、对齐 GTID |
Replica_SQL_Running=No |
回放冲突(主键重复) | 看 Last_SQLError | 跳过事务或重建从库 |
| 延迟持续上涨 | 大事务、单线程、从库慢 | 查 Seconds_Behind_Source |
拆批、开并行复制、换硬件 |
| 写后读从库旧数据 | 异步延迟 | 等同步或读走主 | 写后读走主库 |
| PG 从库不可写 | 物理流复制只读 | pg_is_in_recovery() |
写走主库 |
| 切换后双主写 | 脑裂 | 查旧主是否可达 | fencing;quorum |
| WAL/binlog 堆积 | 从库断开 | 查复制状态 | 重启从库接收 |
| 半同步超时降级 | 从库网络慢 | 查 rpl_semi_sync_*_status |
优化网络,或降级异步 |
八、出口条件
全部勾选后再进入 阶段 6 分库分表与容量评估。
- [ ] 能在本机搭一主一从 MySQL 与 PG 复制拓扑
- [ ] 能画出 dump/IO/SQL 三线程流程,说出默认异步复制的 RPO
- [ ] 能配置 GTID 并说清它与位点的区别
- [ ] 能列出至少 3 个复制延迟来源与对应治理
- [ ] 能区分物理流复制与逻辑复制的适用场景
- [ ] 能解释脑裂风险与 fencing 措施
- [ ] 能在应用层实现读写分离并处理写后读一致性
自测题:
- MySQL 主从复制三个线程各做什么?
- 要点:主库 dump 发 binlog;从库 IO 收 relay log;从库 SQL 回放。
- 默认异步复制与半同步复制对 RPO 的影响?
- 要点:异步主库宕机可能丢未同步事务;半同步等至少一个从库 ACK,RPO≈0 但写延迟上升。
- 复制延迟怎么治理?
- 要点:拆大事务、开并行复制、提升从库硬件、报表独立从库。
- 写后读从库读到旧数据怎么解决?
- 要点:写后请求内读走主库,或等从库追平(WAIT_FOR_GTID_SET / pg 等 LSN),关键读强制主库。
- 脑裂是什么?怎么防止?
- 要点:网络分区导致新旧主同时接写;quorum 多数派 + fencing 隔离旧主 + 旧主自动降级。
- PG 逻辑复制与物理流复制怎么选?
- 要点:物理整库镜像、同版本、灾备读扩展;逻辑表级、跨版本、部分表、数据迁移。
- 读写分离代理式与客户端式各有什么取舍?
- 要点:代理式透明但中间件是单点/性能瓶颈;客户端式无中间件但语言绑定、分散在应用。