罗罗编程学习记录
本页内容 展开查看

05.1.4.1 主从复制与延迟

所属:全栈开发面试题库 / 05 数据库与存储 / 05.1 关系型数据库通用能力 / 05.1.4 高可用与扩展

覆盖范围

  • 复制原理:主库日志 → 传输 → 从库回放链路
  • 延迟成因、监控指标与治理
  • 异步/半同步复制、强一致读与会话粘滞
  • 复制拓扑、故障转移、复制中断排查与数据校验
  • MySQL binlog/GTID 与 PostgreSQL WAL 流复制对照

高频题速览

编号 题目 难度 频率
05.1.4.1-001 主从复制整体原理 基础 ★★★★★
05.1.4.1-003 主从延迟怎么监控 进阶 ★★★★★
05.1.4.1-004 延迟成因分类 进阶 ★★★★☆
05.1.4.1-009 延迟下如何读最新数据 进阶 ★★★★★
05.1.4.1-011 主从切换与故障转移 高级 ★★★★☆

复制链路

主库:写入 → 记录变更日志(binlog / WAL)
  → 日志传输到从库(IO 线程 / 流复制连接)
  → 从库写本地中继日志 / WAL 接收
  → 回放线程应用变更 → 从库数据追赶主库
延迟 = 主库已执行位点 − 从库已回放位点

05.1.4.1-001 主从复制的整体原理是什么?

频率 ★★★★★ | 难度 基础

一句话结论

主库把数据变更写入变更日志,从库拉取(或主库推送)该日志并在本地按相同顺序回放,使从库数据逐步追平主库;复制基于日志顺序重放,而不是整表数据拷贝。

概念解释

  • 主库(primary/master):承接写入,记录变更日志。
  • 从库(replica/standby):拉取并回放日志,提供只读副本。
  • 变更日志:MySQL binlog(逻辑日志);PostgreSQL WAL(物理日志)。
  • 顺序回放:从库按日志位点顺序应用,保证与主库一致的变更序列。

原理流程

  1. 主库提交事务,变更写入变更日志。
  2. 从库复制线程连接主库,拉取自身位点之后的日志。
  3. 从库写入本地中继/接收日志,回放线程按顺序应用变更。
  4. 位点持续推进,从库数据追赶主库。

代码 / 命令

-- MySQL:查看从库复制状态与位点(版本相关,视图名以当前版本为准)
SHOW REPLICA STATUS\G
-- 关注:Retrieved_Gtid_Set / Executed_Gtid_Set、Seconds_Behind_Source

-- PostgreSQL:查看流复制连接与 WAL 位点
SELECT client_addr, state, sent_lsn, replay_lsn
FROM pg_stat_replication;

常见误区

  • 误区:主从复制是实时同步,写主库立刻能在从库读到。正解:复制存在传输与回放延迟,从库某一刻可能落后于主库。
  • 误区:从库会回写主库。正解:复制方向由主到从;从库通常只读,直接写从库会破坏复制一致性。

追问

  • 问:复制是逻辑复制还是物理复制?答:MySQL binlog 为逻辑事件;PG 默认流复制为物理 WAL 块复制,也支持逻辑复制,详见 05.2.4 / 05.3.4。
  • 问:第一次搭建从库数据从哪来?答:先做基础备份(全量快照),再从备份位点继续拉日志增量。

05.1.4.1-002 复制链路的日志传输与回放分哪些步骤?

频率 ★★★★☆ | 难度 进阶

一句话结论

链路分为主库写日志、日志传输、从库接收落本地、回放应用、位点确认几步;每一步都可能成为延迟来源,定位延迟时按环节分别排查。

概念解释

  • 写日志:主库事务提交时记录变更日志。
  • 传输:从库 IO/复制线程拉取日志事件。
  • 接收落盘:从库把日志写入中继日志(MySQL)或 WAL 接收缓冲区(PG)。
  • 回放应用:回放线程把变更应用到从库数据页。
  • 位点确认:记录已接收/已回放位点,供监控与断点续传。

原理流程

  1. 主库事务提交 → 日志顺序追加。
  2. 从库复制线程拉取位点之后的日志。
  3. 从库接收并落本地中继/接收日志。
  4. 回放线程应用变更,推进已回放位点。

代码 / 命令

MySQL 链路:
  主库 binlog → IO 线程拉取 → relay log(中继日志)→ SQL 线程回放 → 位点推进
PG 链路:
  主库 WAL → 流复制连接发送 → 备库 WAL 接收 → 回放恢复 → replay_lsn 推进

常见误区

  • 误区:日志传到从库就等于数据已同步。正解:传输完成只代表已接收;还要等回放应用后从库数据才一致。
  • 误区:回放就是重新执行一遍 SQL 文本。正解:MySQL 回放 binlog 事件;PG 重放 WAL 物理修改;机制不同,但都是按日志顺序恢复。

追问

  • 问:中继日志是什么?答:MySQL 从库暂存从主库拉取的 binlog 事件的本地日志,回放线程从中读取应用。
  • 问:位点有哪两个口径?答:已接收位点与已回放位点;两者差距反映接收与回放之间的积压。

05.1.4.1-003 主从延迟怎么监控?看哪些指标?

频率 ★★★★★ | 难度 进阶

一句话结论

监控两类延迟:位点差距(主库最新位点与从库已回放位点之差)与时间延迟(从库落后主库的秒数);同时关注回放队列积压、复制线程状态与从库负载,避免只看单一秒数指标。

概念解释

  • 时间延迟:MySQL Seconds_Behind_Source/Master;PG 用主备 WAL 位点差换算。
  • 位点差距:已接收/已回放位点与主库最新位点的差值(事务数/字节数)。
  • 线程状态:复制 IO/回放线程是否正常运行,有无报错中断。
  • 从库负载:从库自身查询压力会拖慢回放,间接放大延迟。

原理流程

  1. 采集主库最新位点与从库已回放位点。
  2. 计算位点差与时间延迟,设阈值告警。
  3. 结合线程状态、从库负载与回放积压判断延迟来源。

代码 / 命令

-- MySQL:延迟秒数与复制线程状态
SHOW REPLICA STATUS\G
-- Seconds_Behind_Source;Replica_IO_Running / Replica_SQL_Running

-- PG:主备位点差(字节)
SELECT client_addr, state,
       pg_wal_lsn_diff(pg_current_wal_lsn(), replay_lsn) AS replay_lag_bytes
FROM pg_stat_replication;

常见误区

  • 误区:延迟秒数为 0 就绝对一致。正解:秒数指标在无新事务时可能显示 0;位点差更能反映真实积压,需结合位点判断。
  • 误区:延迟只看从库回放速度。正解:网络传输、主库大事务、从库查询负载都会影响;按链路环节分别排查。

追问

  • 问:延迟指标突然飙升先查什么?答:主库是否有大事务/批量写,从库回放是否积压,网络带宽与从库 CPU/IO 是否饱和。
  • 问:GTID 差距怎么看?答:对比主从已执行 GTID 集合的差集;未回放的事务集合即积压。

05.1.4.1-004 主从延迟有哪些成因?

频率 ★★★★☆ | 难度 进阶

一句话结论

延迟成因分四类:回放慢(从库负载高、单线程回放、锁等待)、传输慢(网络带宽/抖动)、主库写入集中(大事务、批量写)、资源不足(从库 IO/CPU/内存弱于主库)。

概念解释

  • 回放侧:从库自身查询争抢资源、回放线程并发度不足、锁等待。
  • 传输侧:网络带宽有限、跨机房传输抖动。
  • 主库侧:大事务、批量导入、高频写入产生大量日志。
  • 资源侧:从库配置低于主库,IO/CPU 扛不住回放速率。

原理流程

  1. 看延迟是持续偏高还是突发飙升。
  2. 突发:查主库大事务/批量写;持续:查从库负载、回放并发与资源。
  3. 传输问题看网络带宽与跨机房链路。

代码 / 命令

排查顺序:
  主库:是否大事务/批量写 → 日志生成速率
  传输:网络带宽、跨机房 RTT
  从库:CPU/IO/内存、回放线程并发、锁等待、慢查询

常见误区

  • 误区:延迟都是从库回放太慢。正解:主库大事务与网络传输同样常见;需按链路环节定位。
  • 误区:从库只读就没有负载。正解:从库承接报表/查询会与回放争抢资源,拖慢回放。

追问

  • 问:为什么大事务容易造成延迟尖峰?答:大事务日志集中产生,从库要么等待事务完整回放,要么积压批量事件,延迟瞬间拉高。
  • 问:从库配置应该比主库弱吗?答:从库至少要能跟上主库写入速率;配置过弱会持续积压,高可用架构下应评估同等或更强规格。

05.1.4.1-005 大事务为什么会放大主从延迟?

频率 ★★★★☆ | 难度 进阶

一句话结论

大事务在主库提交后才集中产生日志,从库回放该事务期间其他事件排队等待;事务越大,集中回放量越多,延迟尖峰越明显,还可能阻塞从库查询。

概念解释

  • 日志集中:事务提交时其全部变更日志一次性可见/传输。
  • 回放阻塞:大事务未回放完成前,后续事件排队。
  • 锁与版本:大事务回放持锁,影响从库查询。
  • 应对:拆分大事务、批量小提交、错峰执行。

原理流程

  1. 主库执行大事务,变更累积。
  2. 提交后日志集中传到从库。
  3. 从库回放该事务期间积压后续事件,延迟上升。

代码 / 命令

避免:单事务大批量 UPDATE/DELETE/导入
做法:分批小事务提交(见 05.1.3.5),控制单批事务时长与日志量
监控:主库长事务、binlog/WAL 生成速率、从库回放积压

常见误区

  • 误区:拆分小事务会降低主库性能,不如一个大事务。正解:小事务提交次数增多,但延迟可控、锁范围小;批量拆分的权衡见 05.1.3.5。
  • 误区:大事务只影响主库。正解:集中回放同样冲击从库,复制延迟与从库阻塞是连锁反应。

追问

  • 问:批量导入如何减少复制延迟?答:限速分批、错峰执行,必要时评估从库回放并发;避免单事务灌全量。
  • 问:长事务未提交会产生复制延迟吗?答:未提交变更不对外可见;但其 undo/版本与提交后的集中回放仍需评估,长事务本身危害见 05.1.3.5-004。

05.1.4.1-006 单线程回放与并行复制有什么区别?

频率 ★★★★☆ | 难度 高级

一句话结论

早期/默认回放按单线程顺序应用事务,写入并发高时从库回放成为瓶颈;并行复制让从库按规则并行回放多个事务,提升回放吞吐,前提是事务间无冲突且分组规则合理。

概念解释

  • 单线程回放:一个回放线程按日志顺序应用,吞吐受单线程限制。
  • 并行复制:多回放线程按事务分组并行应用。
  • 冲突约束:同一行/同一事务链的事务必须保持先后顺序。
  • 分组规则:按库、组提交或基于写集合等方式划分可并行事务(机制随引擎版本)。

原理流程

  1. 主库事务提交顺序记录依赖关系。
  2. 从库按并行规则把无冲突事务分到不同回放线程。
  3. 有冲突/同组事务仍顺序应用,保证一致性。

代码 / 命令

-- MySQL:并行复制相关参数(版本相关,以当前版本文档为准)
SHOW VARIABLES LIKE 'binlog_transaction_dependency%';
SHOW VARIABLES LIKE 'replica_parallel%';

-- PG:备库回放进程模型与并行回放能力见 05.3.4

常见误区

  • 误区:开了并行复制就一定追得上主库。正解:并行度受冲突与分组规则限制;热点行集中的事务无法有效并行。
  • 误区:并行复制可能导致从库数据不一致。正解:有冲突的事务仍按顺序回放;不一致风险来自配置错误或版本缺陷,机制本身保证顺序约束。

追问

  • 问:并行复制适合什么写入模式?答:多表、多行分散写入,事务间冲突少;热点单行高频更新并行收益有限。
  • 问:如何判断回放是否是瓶颈?答:从库 CPU/IO 未饱和但延迟积压,回放线程数不足;资源饱和则先扩资源。

05.1.4.1-007 半同步复制解决什么问题?怎么取舍?

频率 ★★★★☆ | 难度 进阶

一句话结论

半同步复制要求主库提交事务后至少等待一个从库确认收到日志再返回成功,降低主库宕机时已提交事务丢失的风险;代价是提交延迟增加,需在数据安全与写入延迟间权衡。

概念解释

  • 异步复制:主库提交即返回,不等从库确认;宕机可能丢失未传输事务。
  • 半同步:主库等待至少一个从库收到并确认日志后才提交完成。
  • 确认范围:确认收到日志不等于回放完成;不同配置确认的阶段不同(待确认以版本为准)。
  • 退化机制:从库超时未确认,半同步可能退化为异步,需监控退化状态。

原理流程

  1. 主库提交事务,写日志。
  2. 等待从库确认收到日志。
  3. 收到确认后向客户端返回成功;超时未确认按策略退化或等待。

代码 / 命令

-- MySQL:半同步插件与参数(版本相关,见 05.2.4)
SHOW VARIABLES LIKE 'rpl_semi_sync%';

-- 关键取舍:确认延迟 vs 数据丢失风险;关键业务可配半同步 + 多从确认

常见误区

  • 误区:半同步等于强一致双写。正解:半同步只保证日志被至少一个从库接收,不等于所有副本已回放一致;宕机切换仍需位点校验。
  • 误区:半同步开启后就不会丢数据。正解:确认阶段、超时退化与从库故障组合下仍有边界风险;RPO 需按架构定义。

追问

  • 问:半同步为什么增加提交延迟?答:提交要等待网络往返与从库确认,写入链路多一步同步等待。
  • 问:几个从库确认才够?答:按可用性与安全要求配置确认副本数;网络与副本数影响延迟。

05.1.4.1-008 异步复制下已提交事务会丢吗?

频率 ★★★☆☆ | 难度 进阶

一句话结论

异步复制中主库提交不等待从库确认;主库在事务日志尚未传到从库时宕机,该已提交事务在切换后可能丢失。风险窗口取决于日志传输速度与宕机时机,关键业务用半同步/多副本降低概率。

概念解释

  • 丢失窗口:提交成功到日志传到从库之间的时间差。
  • 故障场景:主库宕机且本地日志不可恢复,从库缺少该事务。
  • 切换影响:新主库不含丢失事务,客户端需接受数据回退。
  • 降低手段:半同步、多副本、可靠存储与备份兜底。

原理流程

  1. 主库提交事务并返回成功。
  2. 日志异步传向从库。
  3. 若此期间主库不可恢复且从库未收到,切换后该事务丢失。

代码 / 命令

风险评估:RPO(可接受数据丢失量)
  异步:RPO 可能为秒级事务窗口
  半同步:RPO 显著缩小,仍需结合确认阶段定义
  兜底:备份与 binlog/WAL 归档用于恢复

常见误区

  • 误区:主从复制天然零丢失。正解:异步复制存在丢失窗口;只有明确的同步/确认机制才缩小 RPO。
  • 误区:从库多就不会丢数据。正解:若事务还没传到任何从库,多副本也救不回;半同步确认针对的正是这一窗口。

追问

  • 问:切换后发现事务回退怎么办?答:业务层识别未同步成功的写,结合日志/补偿重放;架构上用半同步与位点校验预防。
  • 问:RPO 与 RTO 分别指什么?答:RPO 可接受的数据丢失量,RTO 可接受的恢复时长;详见 05.1.4.4。

05.1.4.1-009 主从延迟下,如何保证读到刚写入的最新数据?

频率 ★★★★★ | 难度 进阶

一句话结论

写后读一致性按业务等级处理:强一致读直接走主库;可接受短暂延迟时走从库,或在写后短时间内/指定会话内粘滞主库;也可基于位点等待从库追平后再读。

概念解释

  • 走主库读:写后紧接着的读路由到主库,最强一致。
  • 会话粘滞:同一用户/会话写后一段时间内读都走主库。
  • 位点等待:记录写操作位点,读从库前等待其回放到位点。
  • 缓存配合:写后更新/失效缓存,降低对从库即时一致的依赖。

原理流程

  1. 区分读场景:必须读到最新 vs 可容忍短暂旧值。
  2. 强一致/写后读:路由主库或会话粘滞。
  3. 一般读:走从库;需要对齐位点时等待回放追平。

代码 / 命令

路由策略:
  写 → 主库
  写后立即读(同一请求/会话)→ 主库或粘滞主库
  普通读 → 从库
  位点对齐:写后记录 GTID/位点,读从库前确认已回放

常见误区

  • 误区:读写分离后所有读都能走从库。正解:写后读、交易内读、强一致读必须评估走主库;从库延迟会造成脏读/旧读。
  • 误区:会话粘滞可以永久把用户钉在主库。正解:粘滞只覆盖写后一致性窗口;长期主库读会压垮主库,超时后释放回从库。

追问

  • 问:如何按位点等待从库追平?答:记录主库写入位点(GTID/LSN),查询从库已回放位点,未追平则短暂等待或改走主库。
  • 问:缓存能否替代强一致读?答:缓存可降低读从库压力,但缓存一致性需另行保证;不能替代主库读的一致性语义。

05.1.4.1-010 常见复制拓扑有哪些?

频率 ★★★☆☆ | 难度 进阶

一句话结论

常见拓扑为一主多从(主库直接同步多个从库)与级联复制(从库再向下游分发);一主多从减轻主库传输压力有限,级联用于跨机房/多副本规模场景,代价是层级越深延迟累积越多。

概念解释

  • 一主多从:每个从库直连主库拉日志,拓扑简单。
  • 级联复制:中间节点既回放又向下游转发,主库只需对接少数上层副本。
  • 适用规模:副本数量多、跨地域分发时用级联分摊主库连接。
  • 延迟叠加:级联下游延迟 = 上层延迟 + 本级回放延迟。

原理流程

  1. 按副本数量、机房分布与延迟要求选拓扑。
  2. 少量副本直连主库;大规模/跨机房用级联分层。
  3. 监控各层位点与延迟,定位累积环节。

代码 / 命令

一主多从:
  primary ├─ replica1
          ├─ replica2
          └─ replica3

级联:
  primary ├─ replica1 ├─ replica1-1
                      └─ replica1-2
          └─ replica2

常见误区

  • 误区:级联复制能降低整体延迟。正解:级联只是分摊主库连接,下游延迟叠加层级;低延迟要求的副本应直连主库。
  • 误区:从库可以随意再挂从库。正解:级联节点需开启转发/归档能力,配置不当会中断下游复制。

追问

  • 问:只读报表副本放哪一层?答:延迟不敏感的报表副本可放级联下层;强一致/候选切换副本应直连主库。
  • 问:一主多从数量上限受什么限制?答:主库连接数、日志传输带宽与副本规格;大规模需级联或分片。

05.1.4.1-011 主从切换(故障转移)的流程是什么?

频率 ★★★★☆ | 难度 高级

一句话结论

故障转移先确认主库故障与数据位点,选择数据最新的从库提升为新主库,应用与路由切到新主,其余副本重新指向新主;自动切换需有健康判定与防脑裂机制,流程包括检查、选主、提升、重指向与校验。

概念解释

  • 故障判定:区分主库真宕机与网络分区,避免误切。
  • 选主:选回放位点最新、数据最完整的从库。
  • 提升:从库放开只读、提升为主库可写。
  • 重指向:其他从库与应用切换到新主;防止旧主复活形成脑裂。

原理流程

  1. 健康探测确认主库不可用。
  2. 对比各从库位点,选最新副本。
  3. 提升新主,应用连接切换;其他副本重定向。
  4. 校验数据与连接,旧主隔离待恢复。

代码 / 命令

自动/手动切换步骤:
  1. 确认主库故障(多次探测 + 排除网络分区)
  2. 对比从库位点,选最完整副本
  3. 新主解除只读、对外可写
  4. 应用/代理切流到新主
  5. 旧从库重指向新主,重建复制
  6. 校验位点与业务连接;旧主隔离防止脑裂

常见误区

  • 误区:探测到主库不可达就立刻切换。正解:网络分区/抖动会误判;需多指标判定与防脑裂(仲裁、旧主隔离)。
  • 误区:任意从库都能提升。正解:要选位点最新的副本;落后过多的副本提升会丢更多数据。

追问

  • 问:什么是脑裂?答:分区后两个节点都被当作主库对外写入,导致数据分叉;需仲裁机制与旧主隔离防止。
  • 问:切换期间写入怎么处理?答:切换窗口内写入可能中断或排队;RTO 目标决定切换自动化程度与连接重试策略。

05.1.4.1-012 复制中断/报错怎么排查?

频率 ★★★☆☆ | 难度 进阶

一句话结论

先看复制线程状态与报错信息,定位是 IO/传输中断还是 SQL/回放错误;常见原因包括网络中断、位点丢失、数据冲突、SQL 错误与配置变更,按报错信息修复后从断点续复制。

概念解释

  • IO 线程中断:连不上主库、位点/日志缺失、网络问题。
  • 回放错误:从库应用事件失败,如表/行不存在、唯一冲突。
  • 配置变更:主库日志清理、过滤规则、账号权限变化。
  • 断点续传:修复后从记录位点继续,不需重建全量(除非位点已丢失)。

原理流程

  1. 查看复制状态:线程是否运行、最近报错与位点。
  2. 判断中断环节:传输还是回放。
  3. 修复对应问题,确认位点连续后恢复复制。

代码 / 命令

-- MySQL:查看复制报错与位点
SHOW REPLICA STATUS\G
-- 关注:Replica_IO_Running、Replica_SQL_Running、Last_Error、位点

-- PG:查看复制连接状态与报错
SELECT * FROM pg_stat_replication;
-- 备库日志查看恢复进程报错

常见误区

  • 误区:复制报错跳过错误就能恢复。正解:跳过冲突事件可能造成主从不一致;应先分析冲突原因,必要时数据修复后再续复制。
  • 误区:中断后必须重建从库。正解:位点日志仍在、事件可连续时,修复报错即可续传;只有日志已清理/位点丢失才重建。

追问

  • 问:从库回放唯一键冲突常见原因?答:从库被误写、历史数据不一致或复制过滤导致缺行;需核对数据来源。
  • 问:主库 binlog/WAL 被清理导致从库断链怎么办?答:保留足够长的日志/归档;断链后需基于新备份重建从库。

05.1.4.1-013 事务内读写分离要注意什么?

频率 ★★★☆☆ | 难度 进阶

一句话结论

一个事务内的读应跟随当前事务的主库上下文,不能中途切到从库:事务内未提交的修改在从库不可见,切换会读到旧数据或破坏事务一致性;事务期间连接应固定在同一数据源。

概念解释

  • 事务上下文:事务内读写基于同一视图与连接。
  • 中途切换风险:从库看不到未提交修改,且不同连接视图不一致。
  • 连接绑定:事务开始后连接固定,提交/回滚后再按规则路由。
  • 路由识别:中间件/应用需识别事务状态,避免事务内乱切。

原理流程

  1. 事务开启,连接绑定主库(写事务)。
  2. 事务内所有读写走该连接。
  3. 事务结束后,后续读再按读写分离规则路由。

代码 / 命令

错误模式:
  开启事务(主库连接)→ 写主库 → 事务内读被路由到从库 → 读不到未提交修改

正确模式:
  事务内连接固定主库;提交/回滚后,独立读请求再路由从库

常见误区

  • 误区:读写分离只按 SQL 是 SELECT 还是写判断。正解:还要看是否处于事务中;事务内 SELECT 也应留在原数据源。
  • 误区:从库能读到主库未提交事务。正解:未提交修改不会复制到从库;事务内读从库必然看不到。

追问

  • 问:只读事务可以走从库吗?答:只读且无写上下文的事务可走从库;一旦事务内有写操作,连接应固定主库。
  • 问:中间件如何识别事务?答:按连接上的事务状态/会话标记路由;应用层事务与中间件路由需配合一致。

05.1.4.1-014 复制过滤(只同步部分库表)要注意什么?

频率 ★★★☆☆ | 难度 进阶

一句话结论

复制过滤按库/表指定同步范围,可用于只同步部分业务表;但过滤会造成主从数据范围不一致,跨表外键/关联与切换选主受限,配置需主从一致并记录在案。

概念解释

  • 过滤维度:按库、表、事件类型过滤复制内容。
  • 用途:从库只承接特定报表表、减少回放量。
  • 风险:被过滤表不在从库;若该从库提升为主,缺失表影响业务。
  • 一致性约束:外键、跨表关联在过滤后不完整。

原理流程

  1. 明确从库用途与需要同步的表集合。
  2. 配置主/从过滤规则,核对过滤范围。
  3. 评估该从库是否可作为切换候选;不可候选的标注用途。

代码 / 命令

过滤配置按引擎不同(MySQL binlog 过滤 / PG 逻辑复制订阅表集合)
注意:过滤副本不应作为强一致切换候选;切换前核对表完整性

常见误区

  • 误区:过滤掉的表从库上无所谓,提升主库时自动补齐。正解:过滤缺失表不会自动补全;提升前必须确认表与数据完整。
  • 误区:过滤规则只配从库一侧就行。正解:主库侧与从库侧过滤行为不同,需按引擎规则核对,避免遗漏同步。

追问

  • 问:逻辑复制可以只同步部分表吗?答:可以,订阅按表集合复制;适合多租户/部分表分发场景,详见对应引擎章节。
  • 问:过滤对备份有影响吗?答:过滤从库不是全量副本,不能替代全量备份;备份策略见 05.1.4.4。

05.1.4.1-015 复制延迟对备份、报表类任务有什么影响?

频率 ★★★☆☆ | 难度 基础

一句话结论

在从库做备份或大报表会读到延迟数据,且查询与回放争抢资源进一步拖慢复制;备份应基于可靠快照机制,报表查询控制对从库回放的影响,并明确数据时点要求。

概念解释

  • 数据时点:从库数据落后主库,报表/备份反映的是旧时点。
  • 资源争抢:大查询/备份扫描占用 IO/CPU,回放变慢。
  • 备份可靠性:从库备份仍需保证一致性快照与可恢复性。
  • 时点标注:对外报表应标注数据截止时间。

原理流程

  1. 明确任务对数据时点与一致性的要求。
  2. 报表错峰、限流;备份走一致性快照机制。
  3. 监控备份/报表期间的复制延迟变化。

代码 / 命令

从库任务注意:
  大报表错峰 + 限制资源;避免长查询阻塞回放
  备份基于一致性快照;核对备份时点可接受的延迟
  延迟敏感报表改走主库或等待追平

常见误区

  • 误区:在从库跑大报表不影响主库就没问题。正解:报表拖慢从库回放,放大复制延迟,间接影响其他读流量。
  • 误区:从库备份天然一致可直接用。正解:备份需按引擎快照机制保证一致性;延迟与版本可见性要核对。

追问

  • 问:备份为什么常在从库做?答:避免备份 IO/CPU 压主库;但从库延迟与资源争抢需纳入评估。
  • 问:报表数据时点怎么对用户说明?答:标注数据更新截止时间;强实时指标改走主库或实时链路。

05.1.4.1-016 主从数据不一致如何发现与修复?

频率 ★★★☆☆ | 难度 高级

一句话结论

通过行数/校验和/抽样比对发现主从差异,定位冲突来源(误写、过滤、跳过错误、历史不一致);修复以主库为准重建差异数据或重建副本,修复后重新校验一致性。

概念解释

  • 比对方式:表行数、关键列校验和、抽样行内容比对。
  • 差异来源:从库被误写、复制错误被跳过、过滤规则、历史迁移不一致。
  • 修复方向:以主库为准修补从库;差异过大或位点断裂则重建副本。
  • 校验闭环:修复后再次全量/抽样比对确认一致。

原理流程

  1. 周期性比对关键表行数与校验值。
  2. 定位差异表与差异行,追溯来源。
  3. 按主库为准修补;必要时重建从库,修复后复核。

代码 / 命令

校验:
  表行数对比 → 关键列聚合/校验和 → 抽样逐行比对
修复:
  小范围差异:按主库数据修补从库
  大范围/位点断裂:基于主库新备份重建副本

常见误区

  • 误区:复制开启后主库与从库永远一致。正解:误写、跳过错误、过滤都会造成不一致;需要定期校验。
  • 误区:发现差异直接在从库上改到和主库一样即可。正解:先分析差异来源,避免掩盖问题;复制链路仍存在缺陷时差异会复现。

追问

  • 问:有哪些一致性校验工具?答:引擎生态有专门校验工具(如 MySQL 主从校验工具集);机制见 05.2.4,按版本选用。
  • 问:校验本身会影响性能吗?答:大表校验扫描占用资源;应错峰、抽样与全量结合。

05.1.4.1-017 级联复制中游标/位点如何逐层传递?

频率 ★★★☆☆ | 难度 高级

一句话结论

级联中上层副本把收到的日志再向下游转发,下游位点基于上层日志推进;每一层独立记录已接收/已回放位点,延迟逐层叠加,故障切换时需逐层核对位点链。

概念解释

  • 转发角色:中间副本既回放又作为下游的日志来源。
  • 位点独立:每层有自己的接收与回放位点。
  • 延迟叠加:下游延迟包含上游未追平的部分。
  • 切换影响:上层故障时下游需重新指向新的日志来源。

原理流程

  1. 主库日志 → 上层副本接收/回放。
  2. 上层把日志转发给下游副本。
  3. 下游按自身位点回放;各层位点分别监控。

代码 / 命令

位点链:
  primary.lsn → replica1.received/replayed → replica1-1.received/replayed
排查下游延迟:逐层对比位点差,定位是哪一层积压

常见误区

  • 误区:级联下游直接读主库位点即可判断一致。正解:要逐层核对;上游积压会传导到下游。
  • 误区:中间副本宕机不影响下游已回放数据。正解:下游后续日志依赖上游转发;上游中断后下游停在旧位点。

追问

  • 问:级联适合跨机房吗?答:可用于跨地域分层分发;但跨层网络延迟叠加,关键副本应评估直连主库。
  • 问:中间副本提升为主有什么前提?答:其数据需完整且可对外服务;被过滤/落后过多的副本不适合提升。

05.1.4.1-018 MySQL 与 PostgreSQL 复制机制有什么对照?

频率 ★★★★☆ | 难度 进阶

一句话结论

两者都基于日志复制,但日志性质与机制不同:MySQL binlog 为逻辑事件、支持并行复制与 GTID;PG 默认 WAL 物理流复制,也支持逻辑复制;延迟监控位点口径与切换工具各有差异。

概念解释

维度 MySQL InnoDB PostgreSQL
变更日志 binlog(逻辑事件) WAL(物理日志块)
复制方式 主从/组复制,逻辑 binlog 默认流复制(物理),可逻辑复制
位点标识 GTID / binlog 文件+位置 WAL LSN
并行回放 并行复制(分组规则见版本) 备库回放进程模型
延迟监控 延迟秒数 + GTID/位点差 LSN 位点差换算
切换工具 高可用组件/中间件 故障转移管理器/脚本

原理流程

  • 通用链路一致:日志 → 传输 → 接收 → 回放 → 位点推进;具体命令与组件见 05.2.4 与 05.3.4。

代码 / 命令

-- MySQL
SHOW REPLICA STATUS\G;

-- PostgreSQL
SELECT client_addr, state, replay_lsn FROM pg_stat_replication;

常见误区

  • 误区:binlog 与 WAL 作用完全相同。正解:binlog 是逻辑复制事件,WAL 是物理页变更记录;恢复与复制语义细节不同。
  • 误区:PG 只能物理复制。正解:PG 支持逻辑复制(按表/订阅),适合部分表分发与跨版本迁移。

追问

  • 问:跨引擎迁移能用复制机制直接同步吗?答:物理复制不跨引擎;逻辑复制/导出导入可做部分表同步,详见迁移方案 05.1.4.5。
  • 问:复制章节深入实现看哪里?答:MySQL 见 05.2.4,PostgreSQL 见 05.3.4。

参考来源