罗罗编程学习记录
本页内容 展开查看

05.2.1.3 日志体系与崩溃恢复

所属:全栈开发面试题库 / 05 数据库与存储 / 05.2 MySQL / 05.2.1 架构、InnoDB 与事务并发

覆盖范围

  • redo log:物理日志、刷盘策略、循环写与崩溃重做
  • undo log:版本链、回滚与 purge 回收
  • binlog:Server 层逻辑日志、三种格式与组提交
  • 两阶段提交、doublewrite、checkpoint 与 LSN
  • 与 PostgreSQL WAL 机制对照

高频题速览

编号 题目 难度 频率
05.2.1.3-001 redo log 作用与刷盘策略 高级 ★★★★★
05.2.1.3-004 redo/undo/binlog 区别 进阶 ★★★★★
05.2.1.3-005 两阶段提交与崩溃恢复判定 高级 ★★★★★
05.2.1.3-006 doublewrite buffer 高级 ★★★★☆
05.2.1.3-007 checkpoint 与 LSN 高级 ★★★★☆

日志分工主线

写事务
  ├─ undo log:旧版本(回滚 / MVCC 版本链)
  ├─ redo log:页物理修改(崩溃重做,循环写)
  └─ binlog:Server 层逻辑日志(复制 / 备份,顺序追加)
崩溃恢复:从最近 checkpoint 重做已提交事务,回滚未提交事务

05.2.1.3-001 redo log 的作用是什么?刷盘策略有哪几种?

频率 ★★★★★ | 难度 高级

一句话结论

redo log 记录页的物理修改,保证已提交事务在崩溃后可重做,避免每次提交同步刷脏页;刷盘由 innodb_flush_log_at_trx_commit 控制,级别 1 每次提交 fsync(不丢),0/2 以性能换最多约 1 秒数据丢失窗口。

概念解释

  • 物理日志:记录某页某偏移改成什么值,而非 SQL 语句。
  • WAL 思想:先写日志再刷数据页,崩溃后靠日志重做。
  • 刷盘策略:0 每秒 fsync;1 每次提交 write + fsync(默认,最安全);2 每次提交 write 到 OS cache,每秒 fsync。

原理流程

  1. 修改缓冲池页前先写 redo 记录到 log buffer。
  2. 按提交级别把 redo 写到 OS 并 fsync 到磁盘。
  3. 崩溃恢复时从 checkpoint 重放 redo,重建已提交修改。

代码 / 命令

SHOW VARIABLES LIKE 'innodb_flush_log_at_trx_commit';
SHOW VARIABLES LIKE 'innodb_flush_log_at_timeout';
策略 行为 数据丢失窗口 性能
1(默认) 每次提交 write + fsync 不丢已提交 最低
0 每秒 write + fsync 最多约 1 秒 最高
2 每次提交写 OS cache,每秒 fsync OS 崩溃时最多约 1 秒 较高

常见误区

  • 误区:redo 记录的是 SQL 语句。正解:它是页级物理修改记录,重放的是页变更。
  • 误区:策略 2 与策略 0 等价。正解:2 仍把日志写到 OS cache,MySQL 进程崩溃不丢,OS/机器崩溃才丢;0 连 OS cache 都不保证。

追问

  • 问:为什么 redo 能替代脏页即时刷盘?答:崩溃后先按 redo 重做页修改,数据页可以异步刷。
  • 问:金融交易类业务选哪个级别?答:通常选 1,持久性优先;性能敏感且可接受少量丢失的场景才评估 2。

05.2.1.3-002 undo log 的作用是什么?什么时候清理?

频率 ★★★★☆ | 难度 进阶

一句话结论

undo log 记录修改前的旧版本,支撑事务回滚与 MVCC 版本链;当没有任何事务/快照再需要该旧版本时,由 purge 线程回收,长事务会阻碍回收导致 undo 膨胀。

概念解释

  • 回滚用途:事务回滚时按 undo 恢复旧值。
  • MVCC 用途:旧版本串成版本链,供快照读按可见性取对应版本。
  • purge:后台线程清理不再被引用的 undo 记录与删除标记。

原理流程

  1. 写操作前生成旧版本 undo,挂到记录的版本链。
  2. 事务需要回滚时沿 undo 恢复。
  3. purge 判断旧版本对所有活跃快照不可见后回收 undo 空间。

代码 / 命令

SHOW ENGINE INNODB STATUS\G   -- 看 undo 段与 purge 进度
SELECT * FROM information_schema.innodb_metrics WHERE name LIKE '%undo%';

常见误区

  • 误区:事务一提交 undo 就删除。正解:提交后旧版本仍可能被其他快照读需要,须等 purge 判定无人引用。
  • 误区:undo 膨胀只占 undo 表空间,不影响业务表。正解:版本链拉长会增加回表遍历成本,长 undo 还会拖慢 purge 与清理。

追问

  • 问:什么阻碍 purge 推进?答:长事务、长快照持有旧版本引用,导致旧版本无法回收。
  • 问:insert undo 与 update undo 有何不同?答:插入产生的 undo 在事务提交后即可快速回收;更新产生的旧版本需服务 MVCC,回收更晚。

05.2.1.3-003 binlog 有哪几种格式?如何选择?

频率 ★★★★★ | 难度 进阶

一句话结论

binlog 分 statement(记 SQL 语句)、row(记每行前后镜像)、mixed(混合)三种;row 格式复制一致性最好、便于按行恢复,statement 日志量更小但函数/非确定语句可能主从不一致,生产常用 row。

概念解释

  • statement(SBR):记录原始 SQL,日志体积小,但 NOW()、RAND()、自增/更新顺序等非确定语句可能在从库重放出不同结果。
  • row(RBR):记录每行 before/after 镜像,重放确定,大事务日志量可能很大。
  • mixed:默认由引擎判断语句类型选择格式。

原理流程

  1. 事务提交时 Server 层按格式写 binlog 事件。
  2. 从库回放事件重放变更。
  3. 备份恢复可基于 row 镜像做行级回滚定位。

代码 / 命令

SHOW VARIABLES LIKE 'binlog_format';
SHOW BINLOG EVENTS IN 'binlog.000001' LIMIT 20;

常见误区

  • 误区:statement 格式一定更快更好。正解:日志小但非确定语句复制风险高,迁移/恢复语义弱于 row。
  • 误区:row 格式记录完整 SQL 文本。正解:它记录行镜像,看不到原始语句,排查需结合上下文。

追问

  • 问:大事务在 row 格式下有什么风险?答:每行变更都记镜像,binlog 暴涨,主从延迟与磁盘压力上升。
  • 问:mixed 模式如何选格式?答:引擎判断语句是否安全可语句复制,非安全语句转 row,具体规则以手册为准。

05.2.1.3-004 redo log、undo log、binlog 有什么区别?

频率 ★★★★★ | 难度 进阶

一句话结论

redo 是引擎层物理日志,保证崩溃重做;undo 是引擎层旧版本日志,保证回滚与 MVCC;binlog 是 Server 层逻辑日志,用于复制与备份;三者层级、内容、用途与清理方式都不同。

概念解释

  • redo:InnoDB 层,页物理修改,循环写,崩溃恢复重做。
  • undo:InnoDB 层,旧版本记录,版本链与回滚,purge 回收。
  • binlog:Server 层,语句或行镜像,追加写,主从复制与点恢复。

原理流程

  • 写路径:改缓冲池页 → 写 undo 旧版本 → 写 redo → 提交时写 binlog(两阶段提交)。
  • 恢复:redo 重做已提交;undo 回滚未提交;binlog 用于复制与备份恢复。

代码 / 命令

SHOW VARIABLES LIKE 'log_bin';
SHOW VARIABLES LIKE 'innodb_undo_directory';
-- 三类日志文件位于数据目录对应子路径,按实例配置查看

常见误区

  • 误区:binlog 也能做崩溃回滚。正解:binlog 是追加的复制/备份日志,回滚靠 undo,崩溃重做靠 redo。
  • 误区:redo 与 binlog 都是物理日志。正解:redo 物理,binlog 逻辑(语句或行镜像)。

追问

  • 问:哪类日志随业务数据删除而回收?答:redo 循环覆盖,undo 由 purge 回收,binlog 按保留期归档清理。
  • 问:只依赖 binlog 能做崩溃恢复吗?答:不能直接做实例崩溃重做,崩溃恢复以 redo/undo 为主,binlog 服务复制与备份恢复。

05.2.1.3-005 什么是两阶段提交?崩溃时如何判断提交还是回滚?

频率 ★★★★★ | 难度 高级

一句话结论

两阶段提交把 redo prepare 与 binlog 写入协调起来:先写 redo(prepare),再写 binlog,最后 redo 置 commit;崩溃恢复时若 redo 处于 prepare 且对应 binlog 已落盘则提交,否则回滚,保证 redo 与 binlog 一致。

概念解释

  • prepare 阶段:写 redo 并标记 prepare,事务尚未正式提交。
  • binlog 写入:Server 层写完整事务 binlog。
  • commit 阶段:redo 记录标记提交完成。
  • 恢复判定:崩溃后扫描 redo,prepare 事务检查 binlog 是否存在完整事务。

原理流程

  1. 事务修改页,写 undo 与 redo(prepare)。
  2. 提交时写 binlog 并落盘,再把 redo 改为 commit。
  3. 恢复时:有完整 binlog 的 prepare 事务重做提交;无 binlog 的 prepare 事务用 undo 回滚。

代码 / 命令

-- 观察事务与日志状态(实际判定由崩溃恢复流程自动完成)
SHOW ENGINE INNODB STATUS\G

常见误区

  • 误区:两阶段提交是分布式 XA 概念,单机用不到。正解:InnoDB 内部 redo/binlog 一致性也使用两阶段提交思想。
  • 误区:崩溃时 prepare 事务一律回滚。正解:要看 binlog 是否完整落盘,已写完整 binlog 的需提交以保证复制一致。

追问

  • 问:为什么必须保证 redo 与 binlog 顺序一致?答:否则从库按 binlog 回放与主库数据不一致,恢复后出现分叉。
  • 问:binlog 没写完就崩溃会怎样?答:该 prepare 事务被回滚,对应 binlog 不完整事件不会被从库使用。

05.2.1.3-006 doublewrite buffer 解决什么问题?

频率 ★★★★☆ | 难度 高级

一句话结论

doublewrite 解决页断裂(partial page write):脏页先写到 doublewrite 区再写到真实位置,若写盘中途断电导致页损坏,恢复时可从 doublewrite 副本复制完整页,再用 redo 重做。

概念解释

  • 页断裂:页大小大于磁盘原子写单位,写到一半断电导致页内容残缺。
  • doublewrite 区:共享表空间中的连续保留区域,作为页的临时副本。
  • 恢复用途:redo 只能重做已完整页上的变更,损坏页需先从 doublewrite 还原。

原理流程

  1. 脏页刷盘先写入 doublewrite 区。
  2. 再从 doublewrite 写回真实表空间位置。
  3. 崩溃恢复发现页损坏,从 doublewrite 取完整页,再重放 redo。

代码 / 命令

SHOW VARIABLES LIKE 'innodb_doublewrite';
SHOW ENGINE INNODB STATUS\G

常见误区

  • 误区:doublewrite 是双机热备。正解:它是单机页级防断裂机制,不提供高可用副本。
  • 误区:有了 redo 就不需要 doublewrite。正解:redo 重放基于完整页,页已物理断裂时无法直接重做。

追问

  • 问:doublewrite 带来什么代价?答:多一次写副本,写放大增加;部分存储设备可校验页原子性,是否关闭以手册与实测为准。
  • 问:doublewrite 区本身损坏怎么办?答:它是冗余副本,损坏时结合备份与 binlog 恢复,正常设计下副本降低而非消除风险。

05.2.1.3-007 checkpoint 与 LSN 是什么?

频率 ★★★★☆ | 难度 高级

一句话结论

LSN 是 redo 日志序号,随日志写入单调递增;checkpoint 记录一个恢复起点,该点之前的脏页已刷盘、对应 redo 可回收。checkpoint 推进决定崩溃恢复重做范围与 redo 可覆盖空间。

概念解释

  • LSN(日志序列号):标识 redo 记录位置,页头、日志文件、checkpoint 都记录相关 LSN。
  • checkpoint:脏页刷盘推进点,恢复从该点之后 redo 开始重放。
  • 刷脏与 checkpoint 联动:后台刷脏使 checkpoint 得以向前推进。

原理流程

  1. 事务写 redo,LSN 递增。
  2. 后台刷脏把 checkpoint 之前脏页落盘。
  3. 崩溃恢复从 checkpoint LSN 开始重放后续 redo。

代码 / 命令

SHOW ENGINE INNODB STATUS\G   -- 查看 log sequence number / checkpoint lsn

常见误区

  • 误区:checkpoint 就是把所有脏页立刻刷盘。正解:它是可回收 redo 的推进点,刷盘异步分批进行。
  • 误区:LSN 是数据页号。正解:LSN 是日志序号,与页号是不同概念。

追问

  • 问:checkpoint 推进慢有什么后果?答:redo 空间不可回收,恢复需要重做的日志变长,恢复时间增加。
  • 问:脏页刷盘与 checkpoint 谁先谁后?答:先刷脏页,确认落盘后推进 checkpoint,使对应 redo 可回收。

05.2.1.3-008 redo log 文件组的循环写结构是怎样的?

频率 ★★★☆☆ | 难度 进阶

一句话结论

redo 由一组固定大小文件循环写入,写满一个后切换下一个;只有 checkpoint 之前对应的日志才可被覆盖,未推进 checkpoint 的旧日志不能擦掉,否则无法重做。

概念解释

  • 文件组:多个 ib_logfile 组成循环环,容量由文件数量与单文件大小决定。
  • 覆盖条件:日志段在 checkpoint 之前(对应脏页已落盘)才可复用。
  • 写满阻塞:待覆盖日志仍不能回收时,前台写入会被刷盘拖住。

原理流程

  1. 新 redo 追加到当前文件末尾,写满切换下一文件。
  2. 后台刷脏推进 checkpoint,释放旧日志空间。
  3. 环回到已回收段覆盖写入;未回收段不可覆盖。

代码 / 命令

SHOW VARIABLES LIKE 'innodb_log_file_size';
SHOW VARIABLES LIKE 'innodb_log_files_in_group';

常见误区

  • 误区:redo 文件写满就自动清空。正解:只有 checkpoint 之前可回收的部分才能覆盖,未提交/未落盘页对应的日志必须保留。
  • 误区:redo 容量越大越好。正解:过大延长崩溃恢复重做时间,需在恢复时长与日志空间间权衡。

追问

  • 问:redo 空间不足会表现为什么?答:提交变慢、刷脏加急,严重时写入被阻塞。
  • 问:8.0 前后 redo 文件管理有何差异?答:文件数量与扩展方式有版本调整,具体以目标版本手册为准(待确认)。

05.2.1.3-009 undo 段分类与结构是怎样的?

频率 ★★★☆☆ | 难度 高级

一句话结论

undo 按用途分 insert undo(插入旧版本,提交后可快速回收)与 update undo(更新旧版本,服务 MVCC 版本链,由 purge 延迟回收);undo 记录挂在回滚段与版本链上,支撑回滚与可见性判断。

概念解释

  • insert undo:新插入行的回滚记录,事务提交后无快照需要它,可尽早释放。
  • update undo:修改前旧版本,需保留给快照读,回收晚。
  • 回滚段/页:undo 记录按段组织,版本链通过 roll_pointer 串起。

原理流程

  1. 写操作在 undo 段生成旧版本记录,行的 roll_pointer 指向它。
  2. 回滚沿 undo 反向恢复;快照读沿版本链找可见版本。
  3. purge 回收不再可见的 update undo,insert undo 提交后即标记可回收。

代码 / 命令

SHOW VARIABLES LIKE 'innodb_undo_tablespaces';
SHOW ENGINE INNODB STATUS\G

常见误区

  • 误区:两类 undo 同时回收。正解:insert undo 回收快,update undo 受 MVCC 引用约束。
  • 误区:undo 只存在内存。正解:undo 持久化在 undo 表空间,崩溃后仍可回滚未提交事务。

追问

  • 问:update undo 为什么必须保留?答:其他事务快照可能需要读修改前版本,过早删除会破坏可见性。
  • 问:undo 表空间能否收缩?答:空间回收与收缩受 purge 进度控制,过度膨胀需结合长事务治理,具体操作以手册为准。

05.2.1.3-010 binlog 与 redo 的写入顺序与组提交是什么?

频率 ★★★★☆ | 难度 高级

一句话结论

提交路径上 redo prepare 先于 binlog 写入,binlog 落盘后 redo 才标记 commit;多个事务的日志写入可在组提交中批量 fsync,用批量刷盘摊薄单次提交的刷盘开销。

概念解释

  • 顺序约束:redo prepare → binlog 写入落盘 → redo commit,保证两边一致。
  • 组提交:短时间多个事务排队,合并一次 fsync 刷日志。
  • 组提交层级:队列阶段合并事务,统一写日志并刷盘,再各自主线程返回。

原理流程

  1. 事务进入 prepare,写 redo。
  2. 排队进入 binlog 组提交队列,批量写 binlog 并 fsync。
  3. redo 标记 commit,事务完成返回。

代码 / 命令

SHOW VARIABLES LIKE 'binlog_group_commit_sync_delay';
SHOW VARIABLES LIKE 'binlog_group_commit_sync_no_delay_count';

常见误区

  • 误区:每个提交独立一次 fsync,组提交是自动免费的。正解:组提交靠短暂排队合并刷盘,延迟参数可调,延迟过低退化为逐次刷盘。
  • 误区:binlog 可以先于 redo prepare 写。正解:顺序违反两阶段提交,崩溃后无法判定一致性。

追问

  • 问:组提交延迟调大有什么收益与风险?答:合并更多事务降低 fsync 次数,但单事务提交延迟上升,需按吞吐与时延目标权衡。
  • 问:刷盘策略 1 下组提交还有意义吗?答:有,组提交在 fsync 层面合并,减少物理刷盘次数。

05.2.1.3-011 崩溃恢复分哪几个阶段?

频率 ★★★★☆ | 难度 高级

一句话结论

实例崩溃恢复通常从最近 checkpoint 出发:先分析确定活跃事务,再 redo 重放已提交与未提交事务的物理修改,最后 undo 回滚未提交事务,使数据回到一致状态。

概念解释

  • 分析阶段:扫描 redo 与事务状态,确定崩溃时活跃事务集合。
  • 重做(redo):从 checkpoint 重放物理修改,前滚到崩溃时点。
  • 回滚(undo):对未提交事务用 undo 撤销修改。

原理流程

  1. 定位最近 checkpoint LSN。
  2. 重放其后所有 redo(含未提交事务的页修改)。
  3. 回滚未提交事务,提交事务保留修改。

代码 / 命令

-- 恢复过程体现在错误日志与 InnoDB status,不通过 SQL 手动触发
SHOW ENGINE INNODB STATUS\G

常见误区

  • 误区:恢复只重做已提交事务。正解:先重放所有页修改(含未提交),再回滚未提交部分。
  • 误区:redo 从文件开头全部重放。正解:从最近 checkpoint 开始,之前脏页已落盘无需重做。

追问

  • 问:恢复时长由什么决定?答:checkpoint 之后 redo 量、未提交事务回滚量与磁盘速度。
  • 问:未提交事务的数据会不会对外可见?答:回滚完成前实例处于恢复阶段,回滚后才对外提供服务。

05.2.1.3-012 日志损坏与页损坏如何检测?

频率 ★★☆☆☆ | 难度 高级

一句话结论

InnoDB 通过页校验和、日志校验与 doublewrite 副本检测页断裂/损坏;启动与读写时校验失败会报错或进入恢复流程,严重损坏需从备份结合 binlog 恢复,具体错误码与处理以官方手册为准。

概念解释

  • 校验和:页与日志记录携带校验值,读取时比对判断是否被破坏。
  • doublewrite 还原:页损坏时先尝试从副本恢复。
  • 损坏层级:单页损坏、表空间损坏、日志损坏,处理方式不同。

原理流程

  1. 读取页/日志时校验校验和。
  2. 页断裂先查 doublewrite 副本;副本可用则还原。
  3. 无法本地修复时,转备份恢复 + binlog 追平。

代码 / 命令

-- 待确认:校验相关参数名随版本以手册为准;损坏信息见错误日志
SHOW VARIABLES LIKE 'innodb_checksum%';

常见误区

  • 误区:校验和能防止所有数据丢失。正解:它检测损坏,不替代备份;介质损坏需备份恢复。
  • 误区:发现页损坏可以直接跳过该页继续运行。正解:可能导致数据不一致,需按官方流程评估修复或恢复。

追问

  • 问:如何降低损坏风险?答:可靠磁盘/RAID、doublewrite、定期备份与恢复演练。
  • 问:备份与 binlog 如何配合恢复?答:先恢复备份基线,再按 binlog 事件前滚到目标时间点。

05.2.1.3-013 日志刷盘策略对数据安全与性能如何权衡?

频率 ★★★★☆ | 难度 进阶

一句话结论

持久性级别越高,提交时 fsync 越频繁,吞吐越低、延迟越抖动;安全要求高的交易场景保持最严格级别,日志/报表类可在可接受丢失窗口下调策略,权衡依据是业务可接受 RPO。

概念解释

  • RPO:可容忍的数据丢失时间窗口。
  • fsync 成本:物理刷盘次数是提交延迟与吞吐的关键成本。
  • 组提交缓冲:批量刷盘在严格级别下仍可摊薄成本。

原理流程

  1. 按业务 RPO 选择 redo 与 binlog 落盘级别。
  2. 压测不同级别下的吞吐、提交延迟与丢数窗口。
  3. 组合使用组提交与磁盘 IO 能力平衡安全与性能。

代码 / 命令

SHOW VARIABLES LIKE 'innodb_flush_log_at_trx_commit';
SHOW VARIABLES LIKE 'sync_binlog';

常见误区

  • 误区:只调 redo 级别就够了。正解:binlog 刷盘策略(sync_binlog)同样影响复制与恢复一致性,需一起评估。
  • 误区:为了吞吐把持久性级别全调低。正解:调低下界是可接受的丢失窗口,必须由业务确认 RPO。

追问

  • 问:双 1 指什么?答:innodb_flush_log_at_trx_commit=1 且 sync_binlog=1,提交日志均落盘,不丢已提交事务。
  • 问:刷盘慢怎么定位?答:看磁盘 IO 利用率、日志等待与组提交合并情况,区分是磁盘瓶颈还是策略过严。

05.2.1.3-014 binlog 事件与行镜像(before/after image)是什么?

频率 ★★★☆☆ | 难度 进阶

一句话结论

row 格式 binlog 为每行变更记录变更前镜像(before image)与变更后镜像(after image):更新/删除需要 before 定位旧行,插入/更新携带 after 表示新值,回放与按行恢复都依赖这些镜像。

概念解释

  • before image:变更前该行各列值。
  • after image:变更后该行各列值。
  • 事件类型:行插入、行更新、行删除等事件封装对应镜像。

原理流程

  1. 写操作在记录行变更时生成前后镜像事件。
  2. 从库回放事件,按 before 定位行、写入 after。
  3. 误操作恢复时可借助 before 镜像评估逆向行。

代码 / 命令

-- 查看 row 事件内容(需解析工具,格式随版本)
mysqlbinlog --base64-output=DECODE-ROWS -v binlog.000001

常见误区

  • 误区:row binlog 里能直接看到原始 UPDATE 语句。正解:看到的是行镜像事件,原语句需结合通用日志或业务定位。
  • 误区:插入也需要 before image。正解:插入无旧行,主要携带 after;删除主要携带 before。

追问

  • 问:宽表更新为什么 binlog 特别大?答:每行携带整行前后镜像,列越多单行事件越大。
  • 问:如何减小 row 日志量?答:只更新必要列、控制大事务、合理选择格式,镜像行为以版本手册为准。

05.2.1.3-015 大事务为什么会撑大 undo 与 redo?如何监控?

频率 ★★★★☆ | 难度 高级

一句话结论

大事务长时间持有旧版本引用,阻碍 purge 回收 undo;同时其大量变更累积 redo 与 binlog,导致日志膨胀、复制延迟与回滚代价高;需从事务时长、变更行数与 undo/日志增长监控。

概念解释

  • 长事务:持续时间长、未提交的事务,锁定旧版本不能释放。
  • undo 膨胀:旧版本无法回收,表空间与版本链变长。
  • 日志膨胀:大事务的 redo/binlog 体量大,刷盘与回放压力上升。

原理流程

  1. 大事务批量修改并持有快照/锁。
  2. purge 跳过其引用的旧版本,undo 持续增长。
  3. 提交/回滚时大量日志与锁集中释放,可能引发延迟尖刺。

代码 / 命令

-- 查看长事务
SELECT trx_id, trx_started, trx_query, trx_rows_modified
FROM information_schema.innodb_trx
ORDER BY trx_started;

常见误区

  • 误区:大事务只要最终提交就没有副作用。正解:期间阻塞 purge、持有锁、放大日志,回滚代价也高。
  • 误区:undo 膨胀只影响 undo 表空间。正解:版本链变长拖慢快照读,binlog 膨胀影响主从与备份。

追问

  • 问:如何拆分大事务?答:分批小事务提交,控制单批变更行数,避免长事务跨交互持锁。
  • 问:监控哪些指标?答:事务时长、修改行数、undo 段大小、binlog 增长速率与复制延迟。

05.2.1.3-016 MySQL 日志体系与 PostgreSQL WAL 如何对照?

频率 ★★★★☆ | 难度 进阶

一句话结论

两者都遵循 WAL:先写日志再刷数据页。MySQL 的 redo 对应 PG 的 WAL(物理/页修改重做),undo 对应 PG 多版本旧元组的回收机制;MySQL 额外有 Server 层 binlog 服务复制,PG 复制直接传送 WAL 日志流。

概念解释

  • redo ↔ WAL:崩溃重做的页级日志。
  • undo ↔ 旧元组版本:PG 靠堆表多版本 + VACUUM 回收,不像 InnoDB 有独立 undo 段概念。
  • 复制日志差异:MySQL binlog 独立于 redo;PG 流复制直接发送 WAL 段记录。

原理流程

  1. 两边写路径都先记日志后刷脏页。
  2. 崩溃恢复重放日志重做,再回滚/清理未提交版本。
  3. 复制链路:MySQL 从 binlog 回放;PG 从 WAL 流重放。

代码 / 命令

-- MySQL
SHOW VARIABLES LIKE 'innodb_log%';
-- PostgreSQL
SHOW wal_level;

常见误区

  • 误区:PG 也有独立 binlog。正解:PG 复制基于 WAL 流,没有 MySQL 式 Server 层 binlog;逻辑复制另走发布订阅。
  • 误区:两边 undo/版本回收机制相同。正解:InnoDB undo 段 + purge;PG 堆表留旧元组,由 VACUUM 回收,详见 05.3.1.4。

追问

  • 问:PG WAL 与 MySQL redo 记录粒度一样吗?答:都是页级重做日志,具体记录结构与归档方式不同,详见 05.3.1.5。
  • 问:为什么 MySQL 需要 binlog 而 PG 不需要?答:MySQL 复制与崩溃恢复日志分层设计,binlog 承担逻辑复制;PG 用 WAL 同时服务恢复与流复制。

05.2.1.3-017 归档 binlog 与空间回收怎么做?

频率 ★★★☆☆ | 难度 进阶

一句话结论

binlog 按保留周期归档,已被所有从库回放且超过保留期的文件可清理;清理前确认备份依赖与复制位点,避免误删需要点恢复的日志,具体清理方式随版本以手册为准。

概念解释

  • 归档保留期:按备份策略与 PITR 窗口决定保留天数。
  • 复制位点:从库已回放位置决定哪些 binlog 仍需保留。
  • 自动清理: expired_logs 相关参数控制过期自动删除。

原理流程

  1. binlog 滚动生成新文件,事件顺序追加。
  2. 检查从库位点与保留期,过期文件可清理。
  3. 点恢复需要的区间内 binlog 必须完整保留。

代码 / 命令

SHOW BINARY LOGS;
SHOW VARIABLES LIKE 'binlog_expire_logs_seconds';
-- 清理动作需确认位点与备份后执行(命令以版本手册为准)

常见误区

  • 误区:binlog 可以随手全部删掉释放空间。正解:删除会破坏 PITR 与未完成复制,必须按位点与保留期清理。
  • 误区:主库删了 binlog 不影响从库。正解:从库需要的位点日志被删会导致复制中断。

追问

  • 问:备份为什么常依赖 binlog?答:全量备份是基线,增量变更靠 binlog 前滚到目标时间点。
  • 问:binlog 目录满了怎么应急?答:先确认复制位点,清理最老且已过期文件,避免直接删在用文件。

05.2.1.3-018 日志相关的常见生产故障有哪些?

频率 ★★★☆☆ | 难度 进阶

一句话结论

常见故障包括:日志盘写满导致写入阻塞、刷盘策略不当引发丢数或延迟、大事务撑爆 undo/binlog、binlog 缺失导致复制中断、页损坏需备份恢复;定位先看错误日志、IO 与各日志增长速率。

概念解释

  • 日志盘满:redo/binlog/undo 所在磁盘空间耗尽,前台写入被阻塞。
  • 刷盘抖动:fsync 慢或组提交排队,提交延迟尖刺。
  • 复制中断:binlog 位点缺失或格式冲突导致从库停止回放。

原理流程

  1. 故障先看错误日志与监控:磁盘空间、IO、复制状态、长事务。
  2. 区分是容量问题、策略问题还是损坏问题。
  3. 按对应预案处置:清理过期日志、拆分事务、修复复制或备份恢复。

代码 / 命令

SHOW MASTER STATUS;
SHOW SLAVE STATUS\G
-- 操作系统层查看磁盘空间与 IO;错误日志定位损坏与阻塞

常见误区

  • 误区:日志故障只影响备份不影响在线写入。正解:redo/binlog 盘满会直接阻塞在线提交。
  • 误区:复制中断只看从库。正解:主库 binlog 清理、位点变化同样会导致从库中断。

追问

  • 问:如何预防日志盘满?答:容量规划 + 保留期监控 + 增长告警,大事务拆分控制日志体量。
  • 问:页损坏应急预案包含什么?答:备份可用性、binlog 归档、恢复演练与从库校验。