05.2.1.3 日志体系与崩溃恢复
所属:全栈开发面试题库 / 05 数据库与存储 / 05.2 MySQL / 05.2.1 架构、InnoDB 与事务并发
覆盖范围
- redo log:物理日志、刷盘策略、循环写与崩溃重做
- undo log:版本链、回滚与 purge 回收
- binlog:Server 层逻辑日志、三种格式与组提交
- 两阶段提交、doublewrite、checkpoint 与 LSN
- 与 PostgreSQL WAL 机制对照
高频题速览
| 编号 | 题目 | 难度 | 频率 |
|---|---|---|---|
| 05.2.1.3-001 | redo log 作用与刷盘策略 | 高级 | ★★★★★ |
| 05.2.1.3-004 | redo/undo/binlog 区别 | 进阶 | ★★★★★ |
| 05.2.1.3-005 | 两阶段提交与崩溃恢复判定 | 高级 | ★★★★★ |
| 05.2.1.3-006 | doublewrite buffer | 高级 | ★★★★☆ |
| 05.2.1.3-007 | checkpoint 与 LSN | 高级 | ★★★★☆ |
日志分工主线
写事务
├─ undo log:旧版本(回滚 / MVCC 版本链)
├─ redo log:页物理修改(崩溃重做,循环写)
└─ binlog:Server 层逻辑日志(复制 / 备份,顺序追加)
崩溃恢复:从最近 checkpoint 重做已提交事务,回滚未提交事务
05.2.1.3-001 redo log 的作用是什么?刷盘策略有哪几种?
频率 ★★★★★ | 难度 高级
一句话结论
redo log 记录页的物理修改,保证已提交事务在崩溃后可重做,避免每次提交同步刷脏页;刷盘由 innodb_flush_log_at_trx_commit 控制,级别 1 每次提交 fsync(不丢),0/2 以性能换最多约 1 秒数据丢失窗口。
概念解释
- 物理日志:记录某页某偏移改成什么值,而非 SQL 语句。
- WAL 思想:先写日志再刷数据页,崩溃后靠日志重做。
- 刷盘策略:0 每秒 fsync;1 每次提交 write + fsync(默认,最安全);2 每次提交 write 到 OS cache,每秒 fsync。
原理流程
- 修改缓冲池页前先写 redo 记录到 log buffer。
- 按提交级别把 redo 写到 OS 并 fsync 到磁盘。
- 崩溃恢复时从 checkpoint 重放 redo,重建已提交修改。
代码 / 命令
SHOW VARIABLES LIKE 'innodb_flush_log_at_trx_commit';
SHOW VARIABLES LIKE 'innodb_flush_log_at_timeout';
| 策略 | 行为 | 数据丢失窗口 | 性能 |
|---|---|---|---|
| 1(默认) | 每次提交 write + fsync | 不丢已提交 | 最低 |
| 0 | 每秒 write + fsync | 最多约 1 秒 | 最高 |
| 2 | 每次提交写 OS cache,每秒 fsync | OS 崩溃时最多约 1 秒 | 较高 |
常见误区
- 误区:redo 记录的是 SQL 语句。正解:它是页级物理修改记录,重放的是页变更。
- 误区:策略 2 与策略 0 等价。正解:2 仍把日志写到 OS cache,MySQL 进程崩溃不丢,OS/机器崩溃才丢;0 连 OS cache 都不保证。
追问
- 问:为什么 redo 能替代脏页即时刷盘?答:崩溃后先按 redo 重做页修改,数据页可以异步刷。
- 问:金融交易类业务选哪个级别?答:通常选 1,持久性优先;性能敏感且可接受少量丢失的场景才评估 2。
05.2.1.3-002 undo log 的作用是什么?什么时候清理?
频率 ★★★★☆ | 难度 进阶
一句话结论
undo log 记录修改前的旧版本,支撑事务回滚与 MVCC 版本链;当没有任何事务/快照再需要该旧版本时,由 purge 线程回收,长事务会阻碍回收导致 undo 膨胀。
概念解释
- 回滚用途:事务回滚时按 undo 恢复旧值。
- MVCC 用途:旧版本串成版本链,供快照读按可见性取对应版本。
- purge:后台线程清理不再被引用的 undo 记录与删除标记。
原理流程
- 写操作前生成旧版本 undo,挂到记录的版本链。
- 事务需要回滚时沿 undo 恢复。
- purge 判断旧版本对所有活跃快照不可见后回收 undo 空间。
代码 / 命令
SHOW ENGINE INNODB STATUS\G -- 看 undo 段与 purge 进度
SELECT * FROM information_schema.innodb_metrics WHERE name LIKE '%undo%';
常见误区
- 误区:事务一提交 undo 就删除。正解:提交后旧版本仍可能被其他快照读需要,须等 purge 判定无人引用。
- 误区:undo 膨胀只占 undo 表空间,不影响业务表。正解:版本链拉长会增加回表遍历成本,长 undo 还会拖慢 purge 与清理。
追问
- 问:什么阻碍 purge 推进?答:长事务、长快照持有旧版本引用,导致旧版本无法回收。
- 问:insert undo 与 update undo 有何不同?答:插入产生的 undo 在事务提交后即可快速回收;更新产生的旧版本需服务 MVCC,回收更晚。
05.2.1.3-003 binlog 有哪几种格式?如何选择?
频率 ★★★★★ | 难度 进阶
一句话结论
binlog 分 statement(记 SQL 语句)、row(记每行前后镜像)、mixed(混合)三种;row 格式复制一致性最好、便于按行恢复,statement 日志量更小但函数/非确定语句可能主从不一致,生产常用 row。
概念解释
- statement(SBR):记录原始 SQL,日志体积小,但
NOW()、RAND()、自增/更新顺序等非确定语句可能在从库重放出不同结果。 - row(RBR):记录每行 before/after 镜像,重放确定,大事务日志量可能很大。
- mixed:默认由引擎判断语句类型选择格式。
原理流程
- 事务提交时 Server 层按格式写 binlog 事件。
- 从库回放事件重放变更。
- 备份恢复可基于 row 镜像做行级回滚定位。
代码 / 命令
SHOW VARIABLES LIKE 'binlog_format';
SHOW BINLOG EVENTS IN 'binlog.000001' LIMIT 20;
常见误区
- 误区:statement 格式一定更快更好。正解:日志小但非确定语句复制风险高,迁移/恢复语义弱于 row。
- 误区:row 格式记录完整 SQL 文本。正解:它记录行镜像,看不到原始语句,排查需结合上下文。
追问
- 问:大事务在 row 格式下有什么风险?答:每行变更都记镜像,binlog 暴涨,主从延迟与磁盘压力上升。
- 问:mixed 模式如何选格式?答:引擎判断语句是否安全可语句复制,非安全语句转 row,具体规则以手册为准。
05.2.1.3-004 redo log、undo log、binlog 有什么区别?
频率 ★★★★★ | 难度 进阶
一句话结论
redo 是引擎层物理日志,保证崩溃重做;undo 是引擎层旧版本日志,保证回滚与 MVCC;binlog 是 Server 层逻辑日志,用于复制与备份;三者层级、内容、用途与清理方式都不同。
概念解释
- redo:InnoDB 层,页物理修改,循环写,崩溃恢复重做。
- undo:InnoDB 层,旧版本记录,版本链与回滚,purge 回收。
- binlog:Server 层,语句或行镜像,追加写,主从复制与点恢复。
原理流程
- 写路径:改缓冲池页 → 写 undo 旧版本 → 写 redo → 提交时写 binlog(两阶段提交)。
- 恢复:redo 重做已提交;undo 回滚未提交;binlog 用于复制与备份恢复。
代码 / 命令
SHOW VARIABLES LIKE 'log_bin';
SHOW VARIABLES LIKE 'innodb_undo_directory';
-- 三类日志文件位于数据目录对应子路径,按实例配置查看
常见误区
- 误区:binlog 也能做崩溃回滚。正解:binlog 是追加的复制/备份日志,回滚靠 undo,崩溃重做靠 redo。
- 误区:redo 与 binlog 都是物理日志。正解:redo 物理,binlog 逻辑(语句或行镜像)。
追问
- 问:哪类日志随业务数据删除而回收?答:redo 循环覆盖,undo 由 purge 回收,binlog 按保留期归档清理。
- 问:只依赖 binlog 能做崩溃恢复吗?答:不能直接做实例崩溃重做,崩溃恢复以 redo/undo 为主,binlog 服务复制与备份恢复。
05.2.1.3-005 什么是两阶段提交?崩溃时如何判断提交还是回滚?
频率 ★★★★★ | 难度 高级
一句话结论
两阶段提交把 redo prepare 与 binlog 写入协调起来:先写 redo(prepare),再写 binlog,最后 redo 置 commit;崩溃恢复时若 redo 处于 prepare 且对应 binlog 已落盘则提交,否则回滚,保证 redo 与 binlog 一致。
概念解释
- prepare 阶段:写 redo 并标记 prepare,事务尚未正式提交。
- binlog 写入:Server 层写完整事务 binlog。
- commit 阶段:redo 记录标记提交完成。
- 恢复判定:崩溃后扫描 redo,prepare 事务检查 binlog 是否存在完整事务。
原理流程
- 事务修改页,写 undo 与 redo(prepare)。
- 提交时写 binlog 并落盘,再把 redo 改为 commit。
- 恢复时:有完整 binlog 的 prepare 事务重做提交;无 binlog 的 prepare 事务用 undo 回滚。
代码 / 命令
-- 观察事务与日志状态(实际判定由崩溃恢复流程自动完成)
SHOW ENGINE INNODB STATUS\G
常见误区
- 误区:两阶段提交是分布式 XA 概念,单机用不到。正解:InnoDB 内部 redo/binlog 一致性也使用两阶段提交思想。
- 误区:崩溃时 prepare 事务一律回滚。正解:要看 binlog 是否完整落盘,已写完整 binlog 的需提交以保证复制一致。
追问
- 问:为什么必须保证 redo 与 binlog 顺序一致?答:否则从库按 binlog 回放与主库数据不一致,恢复后出现分叉。
- 问:binlog 没写完就崩溃会怎样?答:该 prepare 事务被回滚,对应 binlog 不完整事件不会被从库使用。
05.2.1.3-006 doublewrite buffer 解决什么问题?
频率 ★★★★☆ | 难度 高级
一句话结论
doublewrite 解决页断裂(partial page write):脏页先写到 doublewrite 区再写到真实位置,若写盘中途断电导致页损坏,恢复时可从 doublewrite 副本复制完整页,再用 redo 重做。
概念解释
- 页断裂:页大小大于磁盘原子写单位,写到一半断电导致页内容残缺。
- doublewrite 区:共享表空间中的连续保留区域,作为页的临时副本。
- 恢复用途:redo 只能重做已完整页上的变更,损坏页需先从 doublewrite 还原。
原理流程
- 脏页刷盘先写入 doublewrite 区。
- 再从 doublewrite 写回真实表空间位置。
- 崩溃恢复发现页损坏,从 doublewrite 取完整页,再重放 redo。
代码 / 命令
SHOW VARIABLES LIKE 'innodb_doublewrite';
SHOW ENGINE INNODB STATUS\G
常见误区
- 误区:doublewrite 是双机热备。正解:它是单机页级防断裂机制,不提供高可用副本。
- 误区:有了 redo 就不需要 doublewrite。正解:redo 重放基于完整页,页已物理断裂时无法直接重做。
追问
- 问:doublewrite 带来什么代价?答:多一次写副本,写放大增加;部分存储设备可校验页原子性,是否关闭以手册与实测为准。
- 问:doublewrite 区本身损坏怎么办?答:它是冗余副本,损坏时结合备份与 binlog 恢复,正常设计下副本降低而非消除风险。
05.2.1.3-007 checkpoint 与 LSN 是什么?
频率 ★★★★☆ | 难度 高级
一句话结论
LSN 是 redo 日志序号,随日志写入单调递增;checkpoint 记录一个恢复起点,该点之前的脏页已刷盘、对应 redo 可回收。checkpoint 推进决定崩溃恢复重做范围与 redo 可覆盖空间。
概念解释
- LSN(日志序列号):标识 redo 记录位置,页头、日志文件、checkpoint 都记录相关 LSN。
- checkpoint:脏页刷盘推进点,恢复从该点之后 redo 开始重放。
- 刷脏与 checkpoint 联动:后台刷脏使 checkpoint 得以向前推进。
原理流程
- 事务写 redo,LSN 递增。
- 后台刷脏把 checkpoint 之前脏页落盘。
- 崩溃恢复从 checkpoint LSN 开始重放后续 redo。
代码 / 命令
SHOW ENGINE INNODB STATUS\G -- 查看 log sequence number / checkpoint lsn
常见误区
- 误区:checkpoint 就是把所有脏页立刻刷盘。正解:它是可回收 redo 的推进点,刷盘异步分批进行。
- 误区:LSN 是数据页号。正解:LSN 是日志序号,与页号是不同概念。
追问
- 问:checkpoint 推进慢有什么后果?答:redo 空间不可回收,恢复需要重做的日志变长,恢复时间增加。
- 问:脏页刷盘与 checkpoint 谁先谁后?答:先刷脏页,确认落盘后推进 checkpoint,使对应 redo 可回收。
05.2.1.3-008 redo log 文件组的循环写结构是怎样的?
频率 ★★★☆☆ | 难度 进阶
一句话结论
redo 由一组固定大小文件循环写入,写满一个后切换下一个;只有 checkpoint 之前对应的日志才可被覆盖,未推进 checkpoint 的旧日志不能擦掉,否则无法重做。
概念解释
- 文件组:多个 ib_logfile 组成循环环,容量由文件数量与单文件大小决定。
- 覆盖条件:日志段在 checkpoint 之前(对应脏页已落盘)才可复用。
- 写满阻塞:待覆盖日志仍不能回收时,前台写入会被刷盘拖住。
原理流程
- 新 redo 追加到当前文件末尾,写满切换下一文件。
- 后台刷脏推进 checkpoint,释放旧日志空间。
- 环回到已回收段覆盖写入;未回收段不可覆盖。
代码 / 命令
SHOW VARIABLES LIKE 'innodb_log_file_size';
SHOW VARIABLES LIKE 'innodb_log_files_in_group';
常见误区
- 误区:redo 文件写满就自动清空。正解:只有 checkpoint 之前可回收的部分才能覆盖,未提交/未落盘页对应的日志必须保留。
- 误区:redo 容量越大越好。正解:过大延长崩溃恢复重做时间,需在恢复时长与日志空间间权衡。
追问
- 问:redo 空间不足会表现为什么?答:提交变慢、刷脏加急,严重时写入被阻塞。
- 问:8.0 前后 redo 文件管理有何差异?答:文件数量与扩展方式有版本调整,具体以目标版本手册为准(待确认)。
05.2.1.3-009 undo 段分类与结构是怎样的?
频率 ★★★☆☆ | 难度 高级
一句话结论
undo 按用途分 insert undo(插入旧版本,提交后可快速回收)与 update undo(更新旧版本,服务 MVCC 版本链,由 purge 延迟回收);undo 记录挂在回滚段与版本链上,支撑回滚与可见性判断。
概念解释
- insert undo:新插入行的回滚记录,事务提交后无快照需要它,可尽早释放。
- update undo:修改前旧版本,需保留给快照读,回收晚。
- 回滚段/页:undo 记录按段组织,版本链通过 roll_pointer 串起。
原理流程
- 写操作在 undo 段生成旧版本记录,行的 roll_pointer 指向它。
- 回滚沿 undo 反向恢复;快照读沿版本链找可见版本。
- purge 回收不再可见的 update undo,insert undo 提交后即标记可回收。
代码 / 命令
SHOW VARIABLES LIKE 'innodb_undo_tablespaces';
SHOW ENGINE INNODB STATUS\G
常见误区
- 误区:两类 undo 同时回收。正解:insert undo 回收快,update undo 受 MVCC 引用约束。
- 误区:undo 只存在内存。正解:undo 持久化在 undo 表空间,崩溃后仍可回滚未提交事务。
追问
- 问:update undo 为什么必须保留?答:其他事务快照可能需要读修改前版本,过早删除会破坏可见性。
- 问:undo 表空间能否收缩?答:空间回收与收缩受 purge 进度控制,过度膨胀需结合长事务治理,具体操作以手册为准。
05.2.1.3-010 binlog 与 redo 的写入顺序与组提交是什么?
频率 ★★★★☆ | 难度 高级
一句话结论
提交路径上 redo prepare 先于 binlog 写入,binlog 落盘后 redo 才标记 commit;多个事务的日志写入可在组提交中批量 fsync,用批量刷盘摊薄单次提交的刷盘开销。
概念解释
- 顺序约束:redo prepare → binlog 写入落盘 → redo commit,保证两边一致。
- 组提交:短时间多个事务排队,合并一次 fsync 刷日志。
- 组提交层级:队列阶段合并事务,统一写日志并刷盘,再各自主线程返回。
原理流程
- 事务进入 prepare,写 redo。
- 排队进入 binlog 组提交队列,批量写 binlog 并 fsync。
- redo 标记 commit,事务完成返回。
代码 / 命令
SHOW VARIABLES LIKE 'binlog_group_commit_sync_delay';
SHOW VARIABLES LIKE 'binlog_group_commit_sync_no_delay_count';
常见误区
- 误区:每个提交独立一次 fsync,组提交是自动免费的。正解:组提交靠短暂排队合并刷盘,延迟参数可调,延迟过低退化为逐次刷盘。
- 误区:binlog 可以先于 redo prepare 写。正解:顺序违反两阶段提交,崩溃后无法判定一致性。
追问
- 问:组提交延迟调大有什么收益与风险?答:合并更多事务降低 fsync 次数,但单事务提交延迟上升,需按吞吐与时延目标权衡。
- 问:刷盘策略 1 下组提交还有意义吗?答:有,组提交在 fsync 层面合并,减少物理刷盘次数。
05.2.1.3-011 崩溃恢复分哪几个阶段?
频率 ★★★★☆ | 难度 高级
一句话结论
实例崩溃恢复通常从最近 checkpoint 出发:先分析确定活跃事务,再 redo 重放已提交与未提交事务的物理修改,最后 undo 回滚未提交事务,使数据回到一致状态。
概念解释
- 分析阶段:扫描 redo 与事务状态,确定崩溃时活跃事务集合。
- 重做(redo):从 checkpoint 重放物理修改,前滚到崩溃时点。
- 回滚(undo):对未提交事务用 undo 撤销修改。
原理流程
- 定位最近 checkpoint LSN。
- 重放其后所有 redo(含未提交事务的页修改)。
- 回滚未提交事务,提交事务保留修改。
代码 / 命令
-- 恢复过程体现在错误日志与 InnoDB status,不通过 SQL 手动触发
SHOW ENGINE INNODB STATUS\G
常见误区
- 误区:恢复只重做已提交事务。正解:先重放所有页修改(含未提交),再回滚未提交部分。
- 误区:redo 从文件开头全部重放。正解:从最近 checkpoint 开始,之前脏页已落盘无需重做。
追问
- 问:恢复时长由什么决定?答:checkpoint 之后 redo 量、未提交事务回滚量与磁盘速度。
- 问:未提交事务的数据会不会对外可见?答:回滚完成前实例处于恢复阶段,回滚后才对外提供服务。
05.2.1.3-012 日志损坏与页损坏如何检测?
频率 ★★☆☆☆ | 难度 高级
一句话结论
InnoDB 通过页校验和、日志校验与 doublewrite 副本检测页断裂/损坏;启动与读写时校验失败会报错或进入恢复流程,严重损坏需从备份结合 binlog 恢复,具体错误码与处理以官方手册为准。
概念解释
- 校验和:页与日志记录携带校验值,读取时比对判断是否被破坏。
- doublewrite 还原:页损坏时先尝试从副本恢复。
- 损坏层级:单页损坏、表空间损坏、日志损坏,处理方式不同。
原理流程
- 读取页/日志时校验校验和。
- 页断裂先查 doublewrite 副本;副本可用则还原。
- 无法本地修复时,转备份恢复 + binlog 追平。
代码 / 命令
-- 待确认:校验相关参数名随版本以手册为准;损坏信息见错误日志
SHOW VARIABLES LIKE 'innodb_checksum%';
常见误区
- 误区:校验和能防止所有数据丢失。正解:它检测损坏,不替代备份;介质损坏需备份恢复。
- 误区:发现页损坏可以直接跳过该页继续运行。正解:可能导致数据不一致,需按官方流程评估修复或恢复。
追问
- 问:如何降低损坏风险?答:可靠磁盘/RAID、doublewrite、定期备份与恢复演练。
- 问:备份与 binlog 如何配合恢复?答:先恢复备份基线,再按 binlog 事件前滚到目标时间点。
05.2.1.3-013 日志刷盘策略对数据安全与性能如何权衡?
频率 ★★★★☆ | 难度 进阶
一句话结论
持久性级别越高,提交时 fsync 越频繁,吞吐越低、延迟越抖动;安全要求高的交易场景保持最严格级别,日志/报表类可在可接受丢失窗口下调策略,权衡依据是业务可接受 RPO。
概念解释
- RPO:可容忍的数据丢失时间窗口。
- fsync 成本:物理刷盘次数是提交延迟与吞吐的关键成本。
- 组提交缓冲:批量刷盘在严格级别下仍可摊薄成本。
原理流程
- 按业务 RPO 选择 redo 与 binlog 落盘级别。
- 压测不同级别下的吞吐、提交延迟与丢数窗口。
- 组合使用组提交与磁盘 IO 能力平衡安全与性能。
代码 / 命令
SHOW VARIABLES LIKE 'innodb_flush_log_at_trx_commit';
SHOW VARIABLES LIKE 'sync_binlog';
常见误区
- 误区:只调 redo 级别就够了。正解:binlog 刷盘策略(
sync_binlog)同样影响复制与恢复一致性,需一起评估。 - 误区:为了吞吐把持久性级别全调低。正解:调低下界是可接受的丢失窗口,必须由业务确认 RPO。
追问
- 问:双 1 指什么?答:
innodb_flush_log_at_trx_commit=1且sync_binlog=1,提交日志均落盘,不丢已提交事务。 - 问:刷盘慢怎么定位?答:看磁盘 IO 利用率、日志等待与组提交合并情况,区分是磁盘瓶颈还是策略过严。
05.2.1.3-014 binlog 事件与行镜像(before/after image)是什么?
频率 ★★★☆☆ | 难度 进阶
一句话结论
row 格式 binlog 为每行变更记录变更前镜像(before image)与变更后镜像(after image):更新/删除需要 before 定位旧行,插入/更新携带 after 表示新值,回放与按行恢复都依赖这些镜像。
概念解释
- before image:变更前该行各列值。
- after image:变更后该行各列值。
- 事件类型:行插入、行更新、行删除等事件封装对应镜像。
原理流程
- 写操作在记录行变更时生成前后镜像事件。
- 从库回放事件,按 before 定位行、写入 after。
- 误操作恢复时可借助 before 镜像评估逆向行。
代码 / 命令
-- 查看 row 事件内容(需解析工具,格式随版本)
mysqlbinlog --base64-output=DECODE-ROWS -v binlog.000001
常见误区
- 误区:row binlog 里能直接看到原始 UPDATE 语句。正解:看到的是行镜像事件,原语句需结合通用日志或业务定位。
- 误区:插入也需要 before image。正解:插入无旧行,主要携带 after;删除主要携带 before。
追问
- 问:宽表更新为什么 binlog 特别大?答:每行携带整行前后镜像,列越多单行事件越大。
- 问:如何减小 row 日志量?答:只更新必要列、控制大事务、合理选择格式,镜像行为以版本手册为准。
05.2.1.3-015 大事务为什么会撑大 undo 与 redo?如何监控?
频率 ★★★★☆ | 难度 高级
一句话结论
大事务长时间持有旧版本引用,阻碍 purge 回收 undo;同时其大量变更累积 redo 与 binlog,导致日志膨胀、复制延迟与回滚代价高;需从事务时长、变更行数与 undo/日志增长监控。
概念解释
- 长事务:持续时间长、未提交的事务,锁定旧版本不能释放。
- undo 膨胀:旧版本无法回收,表空间与版本链变长。
- 日志膨胀:大事务的 redo/binlog 体量大,刷盘与回放压力上升。
原理流程
- 大事务批量修改并持有快照/锁。
- purge 跳过其引用的旧版本,undo 持续增长。
- 提交/回滚时大量日志与锁集中释放,可能引发延迟尖刺。
代码 / 命令
-- 查看长事务
SELECT trx_id, trx_started, trx_query, trx_rows_modified
FROM information_schema.innodb_trx
ORDER BY trx_started;
常见误区
- 误区:大事务只要最终提交就没有副作用。正解:期间阻塞 purge、持有锁、放大日志,回滚代价也高。
- 误区:undo 膨胀只影响 undo 表空间。正解:版本链变长拖慢快照读,binlog 膨胀影响主从与备份。
追问
- 问:如何拆分大事务?答:分批小事务提交,控制单批变更行数,避免长事务跨交互持锁。
- 问:监控哪些指标?答:事务时长、修改行数、undo 段大小、binlog 增长速率与复制延迟。
05.2.1.3-016 MySQL 日志体系与 PostgreSQL WAL 如何对照?
频率 ★★★★☆ | 难度 进阶
一句话结论
两者都遵循 WAL:先写日志再刷数据页。MySQL 的 redo 对应 PG 的 WAL(物理/页修改重做),undo 对应 PG 多版本旧元组的回收机制;MySQL 额外有 Server 层 binlog 服务复制,PG 复制直接传送 WAL 日志流。
概念解释
- redo ↔ WAL:崩溃重做的页级日志。
- undo ↔ 旧元组版本:PG 靠堆表多版本 + VACUUM 回收,不像 InnoDB 有独立 undo 段概念。
- 复制日志差异:MySQL binlog 独立于 redo;PG 流复制直接发送 WAL 段记录。
原理流程
- 两边写路径都先记日志后刷脏页。
- 崩溃恢复重放日志重做,再回滚/清理未提交版本。
- 复制链路:MySQL 从 binlog 回放;PG 从 WAL 流重放。
代码 / 命令
-- MySQL
SHOW VARIABLES LIKE 'innodb_log%';
-- PostgreSQL
SHOW wal_level;
常见误区
- 误区:PG 也有独立 binlog。正解:PG 复制基于 WAL 流,没有 MySQL 式 Server 层 binlog;逻辑复制另走发布订阅。
- 误区:两边 undo/版本回收机制相同。正解:InnoDB undo 段 + purge;PG 堆表留旧元组,由 VACUUM 回收,详见 05.3.1.4。
追问
- 问:PG WAL 与 MySQL redo 记录粒度一样吗?答:都是页级重做日志,具体记录结构与归档方式不同,详见 05.3.1.5。
- 问:为什么 MySQL 需要 binlog 而 PG 不需要?答:MySQL 复制与崩溃恢复日志分层设计,binlog 承担逻辑复制;PG 用 WAL 同时服务恢复与流复制。
05.2.1.3-017 归档 binlog 与空间回收怎么做?
频率 ★★★☆☆ | 难度 进阶
一句话结论
binlog 按保留周期归档,已被所有从库回放且超过保留期的文件可清理;清理前确认备份依赖与复制位点,避免误删需要点恢复的日志,具体清理方式随版本以手册为准。
概念解释
- 归档保留期:按备份策略与 PITR 窗口决定保留天数。
- 复制位点:从库已回放位置决定哪些 binlog 仍需保留。
- 自动清理: expired_logs 相关参数控制过期自动删除。
原理流程
- binlog 滚动生成新文件,事件顺序追加。
- 检查从库位点与保留期,过期文件可清理。
- 点恢复需要的区间内 binlog 必须完整保留。
代码 / 命令
SHOW BINARY LOGS;
SHOW VARIABLES LIKE 'binlog_expire_logs_seconds';
-- 清理动作需确认位点与备份后执行(命令以版本手册为准)
常见误区
- 误区:binlog 可以随手全部删掉释放空间。正解:删除会破坏 PITR 与未完成复制,必须按位点与保留期清理。
- 误区:主库删了 binlog 不影响从库。正解:从库需要的位点日志被删会导致复制中断。
追问
- 问:备份为什么常依赖 binlog?答:全量备份是基线,增量变更靠 binlog 前滚到目标时间点。
- 问:binlog 目录满了怎么应急?答:先确认复制位点,清理最老且已过期文件,避免直接删在用文件。
05.2.1.3-018 日志相关的常见生产故障有哪些?
频率 ★★★☆☆ | 难度 进阶
一句话结论
常见故障包括:日志盘写满导致写入阻塞、刷盘策略不当引发丢数或延迟、大事务撑爆 undo/binlog、binlog 缺失导致复制中断、页损坏需备份恢复;定位先看错误日志、IO 与各日志增长速率。
概念解释
- 日志盘满:redo/binlog/undo 所在磁盘空间耗尽,前台写入被阻塞。
- 刷盘抖动:fsync 慢或组提交排队,提交延迟尖刺。
- 复制中断:binlog 位点缺失或格式冲突导致从库停止回放。
原理流程
- 故障先看错误日志与监控:磁盘空间、IO、复制状态、长事务。
- 区分是容量问题、策略问题还是损坏问题。
- 按对应预案处置:清理过期日志、拆分事务、修复复制或备份恢复。
代码 / 命令
SHOW MASTER STATUS;
SHOW SLAVE STATUS\G
-- 操作系统层查看磁盘空间与 IO;错误日志定位损坏与阻塞
常见误区
- 误区:日志故障只影响备份不影响在线写入。正解:redo/binlog 盘满会直接阻塞在线提交。
- 误区:复制中断只看从库。正解:主库 binlog 清理、位点变化同样会导致从库中断。
追问
- 问:如何预防日志盘满?答:容量规划 + 保留期监控 + 增长告警,大事务拆分控制日志体量。
- 问:页损坏应急预案包含什么?答:备份可用性、binlog 归档、恢复演练与从库校验。