罗罗编程学习记录
本页内容 展开查看

03.6 阶段 5:复制、高可用与读写分离

所属:全栈开发面试题库 / 学习路径 / 03 MySQL 与 PostgreSQL

本页目录

一、阶段定位

单库能跑、能备份之后,下一个问题是"主库挂了怎么办""读请求是主库的 10 倍怎么办"。本阶段解决复制(数据同步)、高可用(自动切换)、读写分离(流量分发)三件事。这是从"能用的数据库"到"生产可用的数据库"的分水岭。

判断自己是否卡在本阶段:

  • 知道主从复制存在,但说不清主库 dump 线程、从库 IO 线程、SQL 线程怎么协作,复制延迟怎么产生——这是复制原理没建立。
  • 搭了主从,但写后立刻读从库读到旧数据,不知道复制是异步的——这是读写分离的一致性边界没搞懂。
  • 主库宕机后手动改应用配置指向新主,RTO 十几分钟——这是没有自动化高可用。
  • 听说过"脑裂",但说不清为什么切换时要隔离旧主(fencing)——这是高可用安全机制不理解。

衔接关系:本阶段依赖阶段 4 的 binlog(MySQL)与 WAL(PG)作为复制源;阶段 7 的监控指标会把复制延迟纳入告警。不理解异步复制的延迟边界,应用层写后读会出现"我刚提交的订单查不到"这类客诉。

二、阶段目标与投入

能力目标(可验证的行为) 验证方式
能搭一主一从 MySQL 与 PG 复制拓扑 SHOW REPLICA STATUS / pg_stat_wal_replay 状态正常
能解释三个线程的协作与复制延迟来源 白板画出 dump→IO→SQL 流程
能配置 GTID 与半同步复制 主库宕机时从库不丢已确认事务
能观察并解读复制延迟 Seconds_Behind_Source 与 PG replay_lag
能完成一次主从切换演练 新主可读写、旧主重新加入
能说明脑裂风险与 fencing 措施 写出切换时怎么阻止旧主被写
能在应用层实现读写分离路由 写走主、读走从、写后读走主

建议学时:

  • 全职:2 周,约 45 小时。MySQL 复制 10 小时、GTID/半同步 6 小时、MGR/HA 6 小时、PG 流复制 8 小时、逻辑复制 4 小时、高可用组件 6 小时、读写分离 5 小时。
  • 在职:4 周,约 50 小时。拓扑要在本机用 3 个容器搭,不要只看文档。

学时分配:复制原理 25%、GTID 与半同步 15%、PG 流复制与逻辑复制 20%、HA 组件与脑裂 20%、读写分离 15%、延迟治理 5%。

三、先修自检

先修项 合格标准 不合格时回到
binlog/WAL 知道 binlog row 格式与 WAL 作用 03.5 阶段 4
网络连接 知道端口、防火墙、容器网络 01.2 计算机网络
容器多实例 能起 3 个容器并互相连通 08.1 容器化
SQL 基础 能建库建表 03.2 阶段 1

经验判断:高可用组件(MHA/Patroni)配置复杂,本阶段先把复制原理与手动切换走通,HA 工具作为了解——面试问的是原理与脑裂,不是配 MHA 的 50 个参数。

四、知识地图

模块 知识点 掌握程度 对应题库章节
MySQL 复制 dump/IO/SQL 三线程、异步、位点 能讲清原理 05.2 MySQL
GTID 全局事务 ID、自动定位 会用 05.2 MySQL
半同步 AFTER_SYNC/AFTER_COMMIT、牺牲换一致 能讲清原理 05.2 MySQL
并行复制 基于组提交并行、基于写集 了解 05.2 MySQL
MGR 组复制、Paxos、多主一致 了解 05.2 MySQL
PG 流复制 WAL 传输、standby 回放、同步级别 能讲清原理 05.3 PostgreSQL
PG 逻辑复制 publication/subscription、粒度 会用 05.3 PostgreSQL
HA 与脑裂 MHA/Patroni、fencing、RPO/RTO 能讲清原理 09.1 高并发基础
读写分离 代理式/客户端式、写后读一致性 会用 09.1 高并发基础

进度管理建议:复制延迟与写后读是最常被客诉的点,重点练。术语见 03.12 术语表。

五、分模块精讲

5.1 MySQL 主从复制原理

为什么需要它:主从复制是读扩展、灾备、测试环境的基础。不理解三个线程的协作,就解释不了"为什么从库会延迟""为什么从库读不到刚写的数据"。

核心机制:

  • 主库(source):每个事务提交时写 binlog。
  • 主库 dump 线程:把 binlog 发送给从库。
  • 从库 IO 线程:接收 binlog 写到本地 relay log(中继日志)。
  • 从库 SQL 线程:回放 relay log,执行变更。
  • 默认异步复制:主库提交不等待从库确认,主库宕机可能丢已提交但未同步的事务(RPO>0)。
  • 复制位点:binlog 文件 + 位置(file, pos)或 GTID。

最小可运行示例:

-- 主库:建复制账号
CREATE USER 'repl'@'%' IDENTIFIED BY 'Repl@123';
GRANT REPLICATION SLAVE ON *.* TO 'repl'@'%';

-- 主库:查位点
SHOW MASTER STATUS;
-- File: bin.000003, Position: 157

-- 从库:指向主库(MySQL 8.0.23+ 用 REPLICA)
CHANGE REPLICATION SOURCE TO
  SOURCE_HOST='mysql8',
  SOURCE_USER='repl',
  SOURCE_PASSWORD='Repl@123',
  SOURCE_LOG_FILE='bin.000003',
  SOURCE_LOG_POS=157,
  SOURCE_SSL=1;
START REPLICA;

-- 从库状态
SHOW REPLICA STATUS\G
-- 看:Replica_IO_Running=Yes, Replica_SQL_Running=Yes,
--    Seconds_Behind_Source=0

常见坑:

现象 原因 修法
Replica_IO_Running=No 网络不通、账号密码错、GTID 不一致 看 Last_Error;检查账号权限
Replica_SQL_Running=No 从库回放冲突(主键重复) 跳过事务或重建从库
Seconds_Behind_Source 持续上涨 大事务、从库 IO 慢、单线程回放 见 5.3
写后读从库旧数据 异步复制有延迟 写后读走主库,或等同步

面试考法:"主从复制原理""三个线程""为什么异步复制会丢数据"。要点:dump/IO/SQL;主提交不等从确认。

5.2 GTID 与半同步复制

为什么需要它:传统位点(file+pos)在主从切换时容易找错位置。GTID 给每个事务一个全局唯一 ID,自动定位。半同步复制则牺牲一点性能换"主库提交时至少一个从库已收到"的保证。

核心机制:

  • GTID(Global Transaction ID):source_uuid:transaction_id,如 3E11FA47-71CA-11E1-9E33-C80AA9429562:23。
  • 主从切换时从库自动找未同步的 GTID ,不用手动记位点。
  • gtid_mode=ON、enforce_gtid_consistency=ON。
  • 半同步:
    • 主库提交后等待至少一个从库 ACK(AFTER_SYNC:从库收到并写 relay log 后 ACK)。
    • 超时(rpl_semi_sync_master_timeout,默认 10ms 即 10000 毫秒)降级为异步。
    • 牺牲写吞吐,换 RPO≈0(不丢已确认事务)。

最小可运行示例:

-- 主从都开 GTID
-- my.cnf: gtid_mode=ON, enforce_gtid_consistency=ON
CHANGE REPLICATION SOURCE TO
  SOURCE_AUTO_POSITION=1;   -- 不用写 file/pos

-- 半同步插件(主库)
INSTALL PLUGIN rpl_semi_sync_source SONAME 'semisync_source.so';
SET GLOBAL rpl_semi_sync_source_enabled=1;
SET GLOBAL rpl_semi_sync_source_timeout=10000;
-- 从库
INSTALL PLUGIN rpl_semi_sync_replica SONAME 'semisync_replica.so';
SET GLOBAL rpl_semi_sync_replica_enabled=1;

常见坑:

现象 原因 修法
GTID 不一致无法切换 从库有独立事务 清空从库重建;或用 GTID 跳过
半同步延迟高 等从库 ACK 调超时;或只在关键写用半同步
网络闪断后降级异步 超时自动降级 监控半同步状态,恢复后自动切回

面试考法:"GTID 解决什么""半同步牺牲什么"。要点:自动定位位点、切换无脑;牺牲写延迟换不丢已确认事务。

5.3 复制延迟来源与并行复制

为什么需要它:从库延迟是读写分离最大的坑。理解延迟来源才能治理,而不是盲目加机器。

核心机制:

  • 延迟来源:
    • 大事务:一个 UPDATE 改 100 万行,从库单线程回放要几分钟。
    • 从库硬件差:IO/CPU 跟不上。
    • 单线程回放:MySQL 5.7 前 SQL 线程单线程,主库并发写从库串行追。
    • 从库承担了大量读查询,挤占回放资源。
  • 并行复制(MySQL 5.7+):
    • 基于组提交(MTS,slave_parallel_workers):同一组提交的事务在从库并行回放。
    • 基于写集(5.7.20+ / 8.0,binlog_transaction_dependency_history_size):无冲突事务并行。
  • 治理:拆大事务、从库专用不承担重查询、提升从库硬件、开并行复制。

最小可运行示例:

-- 查看延迟
SHOW REPLICA STATUS\G
-- Seconds_Behind_Source: 120  -- 延迟 2 分钟

-- 开并行复制(MySQL 8)
SET GLOBAL replica_parallel_workers=4;
SET GLOBAL replica_parallel_type='LOGICAL_CLOCK';

-- 大事务治理:把 100 万行 UPDATE 拆成每批 1000 行
-- 错误:
UPDATE orders SET status='ARCHIVED' WHERE created_at < '2020-01-01';
-- 正确:循环分批

常见坑:

现象 原因 修法
延迟在大促暴涨 批量任务/大事务 拆批、低峰执行
从库回放 CPU 打满 单线程 开并行复制
从库同时跑报表 读挤占回放 报表移到独立从库

面试考法:"复制延迟怎么排查""怎么治理"。要点:大事务、硬件、单线程、读挤占;拆批、并行复制、专用从库。

5.4 PostgreSQL 流复制

为什么需要它:PG 流复制基于 WAL,与 MySQL binlog 思路相同但实现不同。同步级别(async/sync/quorum)对主库性能影响是面试重点。

核心机制:

  • 主库:WAL 发送进程(walsender)把 WAL 流发给从库。
  • 从库:WAL 接收进程(walreceiver)写本地 WAL,回放(redo)。
  • 从库是只读的(Hot Standby),可承担读查询。
  • 同步级别(synchronous_commit 与 synchronous_standby_names):
    • async(默认):主库提交不等从库。
    • sync:等至少一个同步从库收到 WAL 才返回。
    • quorum:等 N 个从库。
  • 物理流复制要求主从版本、配置基本一致,不能做部分表复制。

最小可运行示例:

# 从库用 pg_basebackup 克隆主库
pg_basebackup -h pg-primary -U replicator -D /var/lib/postgresql/data -P -R
# -R 自动写 primary_conninfo

# postgresql.auto.conf(从库)
primary_conninfo = 'host=pg-primary user=replicator'
-- 主库查看
SELECT pid, state, sync_state FROM pg_stat_replication;
-- sync_state: async / sync / quorum

-- 从库查看
SELECT pg_is_in_recovery();  -- t
SELECT EXTRACT(EPOCH FROM (now() - pg_last_xact_replay_timestamp())) AS lag;

常见坑:

现象 原因 修法
从库查询报 "in recovery" 从库只读 只读查询可以,写要走主库
主库提交变慢 配了 sync 同步复制 评估是否需要;用 quorum
WAL 大量堆积 从库断开 查从库;重启 walreceiver

面试考法:"PG 流复制与 MySQL 复制区别""同步复制对性能影响"。要点:WAL 流、从库只读;sync 等从库 ACK,写延迟上升但不丢数据。

5.5 PostgreSQL 逻辑复制

为什么需要它:物理流复制是整库镜像,跨大版本、跨平台、只想同步部分表时不行。逻辑复制(publication/subscription)基于 WAL 逻辑解码,能做表级订阅。

核心机制:

  • 主库(发布端):建 publication 指定哪些表。
  • 从库(订阅端):建 subscription 指向发布端,复制数据。
  • 粒度:表级,可只订阅部分表、部分行(行过滤)。
  • 支持跨大版本(从库版本 >= 主库)、跨平台、跨 PG 实例。
  • 限制:只能复制表(不复制 DDL、序列/函数默认值需处理),表必须有主键或 replica identity。

最小可运行示例:

-- 主库(wal_level=logical)
CREATE PUBLICATION shop_pub FOR TABLE orders, order_item;

-- 从库
CREATE TABLE orders (id BIGINT PRIMARY KEY, ...);  -- 结构先建好
CREATE SUBSCRIPTION shop_sub
  CONNECTION 'host=pg-primary dbname=shop user=replicator'
  PUBLICATION shop_pub;

-- 查看
SELECT * FROM pg_stat_subscription;

常见坑:

现象 原因 修法
逻辑复制延迟大 大事务、行过滤 拆大事务
无主键表无法复制 逻辑复制需要 replica identity 加主键或 REPLICA IDENTITY FULL
DDL 不同步 逻辑复制不复制 DDL 应用层/迁移工具同步 schema

面试考法:"物理复制与逻辑复制区别""什么时候用逻辑复制"。要点:物理整库、同版本;逻辑表级、跨版本、部分表、数据迁移。

5.6 高可用组件与脑裂

为什么需要它:主库宕机要自动提升从库为主,否则 RTO 太长。但自动切换最大的风险是脑裂——旧主其实没挂(网络分区),被自动提升的新主开始接写,两个主同时写导致数据分裂。

核心机制:

  • 组件职责:
    • MySQL:MHA(Master HA,老牌)、Orchestrator、MGR(组复制自带故障转移)。
    • PG:Patroni(最流行,用 etcd/Consul 做协调)、Repmgr、Pgpool-II(同时做连接池)。
  • 切换流程:
    1. 检测主库不可达(心跳失败,通常 30s+)。
    2. 选最新从库(应用最多 WAL/binlog)。
    3. fencing(隔离旧主):阻止旧主被写——云环境可用安全组/隔离网络,物理环境可 STONITH(shoot the other node in the head)。
    4. 提升从库为主,更新连接配置(VIP/服务发现)。
  • 脑裂防护:quorum(多数派)、 fencing、旧主自动降级为从。

最小可运行示例:

# Patroni 简化配置(主库)
scope: shop
name: mysql1
restapi:
  listen: 0.0.0.0:8008
etcd3:
  hosts: etcd:2379
postgresql:
  listen: 0.0.0.0:5432
  data_dir: /var/lib/postgresql/data
  replica_method: basebackup
# 切换时 Patroni 自动:
# 1. 检查 etcd 多数派
# 2. 选最新 standby
# 3. 把旧主改成只读/隔离
# 4. 提升新主并写 DNS/VIP

常见坑:

现象 原因 修法
网络抖动误切换 心跳太短 调大检测时间(30s+),quorum
脑裂双主写 fencing 未做 切换时隔离旧主(安全组/STONITH)
旧主恢复后又是主 没有自动降级 Patroni 检测到新主后把旧主降为从
RTO 太长 检测+提升串行 压测切换流程,优化脚本

面试考法:"脑裂是什么""怎么防止""RTO/RPO 怎么定"。要点:网络分区导致双主;quorum + fencing;RTO 目标切换时间、RPO 目标丢数据量。

5.7 读写分离与写后读一致性

为什么需要它:读流量是写的 10 倍时,把读分发到从库能扩展读吞吐。但"我刚下单查不到"是最常见的客诉——因为异步复制有延迟。

核心机制:

  • 代理式:中间件(ShardingSphere-Proxy、Pgpool-II、MaxScale)解析 SQL 路由。
  • 客户端式:应用内多数据源,注解/AOP 决定走主从(如 Spring AbstractRoutingDataSource、MyBatis 插件)。
  • 写后读一致:
    • 写操作后的 N 秒内/同一请求内,读走主库。
    • 或用 GTID/WAL LSN 等待从库追平(WAIT_FOR_EXECUTED_GTID_SET / pg_stat_replication 等待)。
    • 关键读(如支付结果)强制走主库。
  • 从库还承担备份、报表(独立从库)。

最小可运行示例:

// 客户端式路由简化逻辑(Spring)
public class RWRoutingDataSource extends AbstractRoutingDataSource {
  @Override
  protected Object determineCurrentLookupKey() {
    return DbContextHolder.isReadOnly() ? "slave" : "master";
  }
}
// @ReadOnly 注解的 Service 走从库;写走主库
// 写后读:同一线程内 ThreadLocal 标记走主库 N 秒
-- MySQL:等从库追平到某 GTID
SELECT WAIT_FOR_EXECUTED_GTID_SET('3E11FA47...:23', 5);  -- 最多等 5 秒

常见坑:

现象 原因 修法
刚下单查不到 读走从库有延迟 写后请求内读走主库
从库延迟时读旧数据 没监控延迟 延迟超阈值把读切回主库
代理式中间件成为单点 单点故障 中间件集群 + 负载均衡

面试考法:"读写分离怎么做""写后读一致性怎么保证"。要点:代理 vs 客户端;写后读走主库或等从库追平。

六、分层练习

6.1 复现型

练习 要求 验收标准 预计耗时
搭一主一从 MySQL 与 PG 各搭一套 Replica_IO_Running=Yes、pg_stat_replication 有行 2 小时
观察延迟 主库批量写,看从库延迟 能抄下 Seconds_Behind_Source 变化 1 小时
写后读实验 主库插入后立刻从从库读 能复现读不到,解释原因 1 小时
GTID 配置 开 GTID 自动定位 从库无需写 pos 1.5 小时
逻辑复制 PG 建 publication/subscription 同步 orders 从库能查到新行 1.5 小时

6.2 改造型

练习 要求 验收标准 预计耗时
并行复制 MySQL 开 replica_parallel_workers 大促延迟下降 1.5 小时
半同步 配 AFTER_SYNC 主库提交等待从库 ACK 1.5 小时
写后读路由 应用层写后 N 秒读走主库 不再客诉 2 小时
延迟自动切主 从库延迟超 5s 时读切回主 监控联动 2 小时

6.3 设计型

练习 要求 验收标准 预计耗时
拓扑设计 对日订单 100 万的系统设计主从拓扑 含读从、报表从、灾备从 2 小时
切换演练 手动 kill 主库,提升新主 RTO 记录、旧主重新加入 3 小时
脑裂方案 写出 fencing 具体措施 可执行 1.5 小时

七、排障表

现象 可能原因 排查步骤 解决办法
Replica_IO_Running=No 网络/账号/GTID SHOW REPLICA STATUS 看 Last_Error 修网络、授权、对齐 GTID
Replica_SQL_Running=No 回放冲突(主键重复) 看 Last_SQLError 跳过事务或重建从库
延迟持续上涨 大事务、单线程、从库慢 查 Seconds_Behind_Source 拆批、开并行复制、换硬件
写后读从库旧数据 异步延迟 等同步或读走主 写后读走主库
PG 从库不可写 物理流复制只读 pg_is_in_recovery() 写走主库
切换后双主写 脑裂 查旧主是否可达 fencing;quorum
WAL/binlog 堆积 从库断开 查复制状态 重启从库接收
半同步超时降级 从库网络慢 查 rpl_semi_sync_*_status 优化网络,或降级异步

八、出口条件

全部勾选后再进入 阶段 6 分库分表与容量评估。

  • [ ] 能在本机搭一主一从 MySQL 与 PG 复制拓扑
  • [ ] 能画出 dump/IO/SQL 三线程流程,说出默认异步复制的 RPO
  • [ ] 能配置 GTID 并说清它与位点的区别
  • [ ] 能列出至少 3 个复制延迟来源与对应治理
  • [ ] 能区分物理流复制与逻辑复制的适用场景
  • [ ] 能解释脑裂风险与 fencing 措施
  • [ ] 能在应用层实现读写分离并处理写后读一致性

自测题:

  1. MySQL 主从复制三个线程各做什么?
    • 要点:主库 dump 发 binlog;从库 IO 收 relay log;从库 SQL 回放。
  2. 默认异步复制与半同步复制对 RPO 的影响?
    • 要点:异步主库宕机可能丢未同步事务;半同步等至少一个从库 ACK,RPO≈0 但写延迟上升。
  3. 复制延迟怎么治理?
    • 要点:拆大事务、开并行复制、提升从库硬件、报表独立从库。
  4. 写后读从库读到旧数据怎么解决?
    • 要点:写后请求内读走主库,或等从库追平(WAIT_FOR_GTID_SET / pg 等 LSN),关键读强制主库。
  5. 脑裂是什么?怎么防止?
    • 要点:网络分区导致新旧主同时接写;quorum 多数派 + fencing 隔离旧主 + 旧主自动降级。
  6. PG 逻辑复制与物理流复制怎么选?
    • 要点:物理整库镜像、同版本、灾备读扩展;逻辑表级、跨版本、部分表、数据迁移。
  7. 读写分离代理式与客户端式各有什么取舍?
    • 要点:代理式透明但中间件是单点/性能瓶颈;客户端式无中间件但语言绑定、分散在应用。