01.1.2.1 虚拟内存与缺页置换
所属:全栈开发面试题库 / 01 计算机基础与通用工程 / 01.1 操作系统 / 01.1.2 内存文件与 IO
01.1.2.1-001 虚拟内存解决了什么问题?
一句话结论
虚拟内存为每个进程提供独立、连续的虚拟地址空间,通过页表映射到物理内存,实现进程隔离、按需加载、超出物理内存的间接容纳、共享与换出。
概念解释
- 隔离:进程只能访问自己地址空间映射的页,互不干扰。
- 按需加载:程序不必全部装入内存,访问到时再缺页载入。
- 抽象:给程序“连续大空间”的错觉,物理内存可以不连续。
- 支持共享:代码页、共享库、共享内存通过映射指向同一物理页。
原理流程
- 进程访问虚拟地址。
- 页表查询映射到物理页;未映射触发缺页处理。
- 内核分配/载入物理页,更新页表后重新执行指令。
代码或图示
进程虚拟地址空间 ──页表──> 物理内存
隔离 · 按需加载 · 换出 · 共享映射 · 连续空间抽象
常见误区
- 以为虚拟内存就是 swap:swap 只是换出机制;虚拟内存是整套地址映射与管理机制。
- 以为每个进程独占等量物理内存:共享页与未触及页不占物理内存。
追问
- 虚拟内存带来什么代价?答:页表占用、TLB miss、地址翻译开销;大页用于降低这些成本。
- 多进程共享库怎么省内存?答:同一物理代码页被多个进程映射,只读共享;写时复制才复制私有页。
01.1.2.1-002 虚拟地址如何映射到物理地址?
一句话结论
虚拟地址按页号与页内偏移拆分,多级页表逐级查询得到物理页帧号,再拼接页内偏移形成物理地址;查询结果由 TLB 缓存加速。
概念解释
- 页(page):固定大小的内存块,常见 4 KiB;物理侧称页帧(frame)。
- 多级页表:目录 → 中级 → 页表项,逐级索引。
- 页表项(PTE):物理帧号 + 权限/脏位/访问位等标志。
原理流程
- 虚拟地址拆成多级页号与页内偏移。
- 逐级查页表得到物理帧号。
- 帧号拼接偏移得到物理地址;命中 TLB 则跳过遍历。
代码或图示
虚拟地址:[目录号 | 中级号 | 页号 | 页内偏移]
逐级查表 → 物理帧号 ──拼接偏移──> 物理地址
常见误区
- 以为映射粒度是字节:映射以页为单位,权限与标志挂在页表项上。
- 以为页表一直在物理内存常驻:多级页表未使用的部分可不映射,按需建立。
追问
- 64 位为什么需要多级页表?答:扁平页表索引过大,多级结构按实际使用逐层展开,节省页表内存。
- 权限检查在哪一层?答:MMU 在地址翻译时按 PTE 权限校验,越权访问触发缺页/异常。
01.1.2.1-003 分页机制与页大小是怎样的?
一句话结论
内存按固定大小分页管理,普通页 4 KiB;大页(如 2 MiB、1 GiB,架构相关)减少页表项与 TLB 压力;页大小影响翻译粒度、内部碎片与置换成本。
概念解释
- 4 KiB:通用默认,粒度细、碎片小,页表项多。
- 大页:单页覆盖更大连续内存,TLB 覆盖范围大,miss 减少。
- 内部碎片:按页分配,最后一页未用满的部分无法他用。
原理流程
- 内核按页大小建立映射与页表项。
- 大页区域用大页表项映射。
- 缺页、置换、回收都以页为单位。
代码或图示
普通页:4 KiB/页,页表项多,TLB 压力大
大页: 2 MiB / 1 GiB(架构支持为准),TLB 覆盖广
常见误区
- 以为大页一定提升所有程序:小内存、分散映射的程序收益有限;大页还可能增加回收与预留复杂度。
- 以为页大小可在程序内随意设置:由内核/架构与大页机制决定,应用选择映射方式。
追问
- 大页内部碎片怎么表现?答:即使只用一点也预留整页,大量小对象使用大页会浪费内存。
- THP 与静态大页区别?答:THP 透明自动合并大页;hugetlb 预留静态大页池;行为与开关随内核版本,待确认本机配置。
01.1.2.1-004 缺页中断有哪几类?处理流程是什么?
一句话结论
缺页是 MMU 翻译时发现页未映射/权限不符而触发的同步异常;分请求缺页(按需载入)、保护缺页(越权)、换出缺页(从 swap/文件回载),内核按类型分配页、载入内容、更新页表后重跑指令。
概念解释
- 请求缺页:匿名页首次写入、文件页首次读取,页不在内存。
- 保护缺页:写只读页触发 COW、访问无权限页。
- 换出缺页:页被换出到 swap,需读回。
- 处理:查页类型 → 分配页帧 → 载入/复制 → 建映射 → 重试指令。
原理流程
- 访问触发缺页陷阱,进入内核缺页处理。
- 判断类型与合法性:非法访问直接 SIGSEGV。
- 合法则分配/载入物理页,填 PTE,返回重新执行该指令。
代码或图示
访问虚拟页 → MMU 未命中/越权 → 缺页异常
→ 合法?否:段错误
→ 合法:分配帧 → 载入/复制 → 更新 PTE → 重试指令
常见误区
- 以为缺页都是磁盘 IO:首次匿名页分配可能是零页/按需清零,文件页才读盘;换出页才走 swap。
- 把缺页当中断号理解成外设中断:它是 CPU 同步陷阱(异常),不是异步硬中断。
追问
- 写只读共享页为什么不直接报错?答:触发 COW 缺页,复制私有页后写权限打开;详见 01.1.2.1-015。
- 怎么观测缺页活动?答:
vmstat的fi/fo(换入换出)、/proc/<pid>/stat缺页字段、perf缺页事件;大缺页(major)通常伴随 IO。
01.1.2.1-005 匿名页和文件页有什么区别?
一句话结论
匿名页没有后备文件,内容只在内存(堆、栈、私有数据),回收时换出到 swap;文件页映射自磁盘文件,内容可从文件重新读取,回收时脏页先写回。
概念解释
- 匿名页:
brk/堆、栈、mmap匿名映射;无文件后备。 - 文件页:可执行文件、共享库、文件映射;干净页可直接丢弃,脏页需回写。
- 回收优先级:干净文件页易回收;匿名页需 swap 保存。
原理流程
- 分配来源决定页面类型。
- 内存紧张时内核按类型选择回收对象。
- 文件页干净可丢弃,脏页/匿名页写回后备存储。
代码或图示
匿名页:堆/栈/匿名 mmap ──后备:swap
文件页:ELF/库/文件映射 ──后备:原文件;脏页先回写
常见误区
- 以为所有页回收都要写 swap:干净文件页可直接释放,不必换出。
- 以为共享库代码页是匿名页:它是文件映射的干净页,多进程共享。
追问
- 没有 swap 的系统匿名页回收怎么办?答:内存紧张时只能压缩/淘汰困难,易触发 OOM;是否有压缩回收机制随版本,待确认。
- 怎么区分进程内存中的两类页?答:
pmap -x看映射类型与文件;/proc/<pid>/maps标注匿名/文件映射。
01.1.2.1-006 swap 交换区是怎么工作的?
一句话结论
swap 是磁盘上的交换分区/文件,内存紧张时内核把不活跃匿名页换出保存,需要时再换入;它用磁盘空间换内存容量,但交换 IO 延迟远高于内存。
概念解释
- 换出(swap out):匿名页写入 swap,PTE 标记换出,释放帧。
- 换入(swap in):访问换出页触发缺页,从 swap 读回。
- 代价:磁盘/SSD 延迟远高于内存;频繁换入换出即抖动。
原理流程
- 内存水位下降,内核回收不活跃页。
- 匿名页写入 swap 并释放帧。
- 后续访问触发缺页,从 swap 读回重建映射。
代码或图示
内存不足 → 选不活跃匿名页 → 写 swap → 释放帧
访问换出页 → 缺页 → 读 swap → 重建映射
命令:swapon --show;free -h;vmstat 1(si/so)
常见误区
- 以为 swap 能提升内存性能:它只是兜底容量,交换频繁说明内存不足,延迟会明显恶化。
- 以为 swap 空间越大越好:过多 swap 掩盖内存不足问题,抖动时更难定位。
追问
- 容器里 swap 常被关闭的原因?答:避免交换抖动影响延迟,且容器内存限额由 cgroup 控制;具体策略按部署环境。
- si/so 持续大于 0 说明什么?答:换入换出活跃,工作集超过可用内存,需扩内存或降负载。
01.1.2.1-007 常见页面置换算法有哪些?
一句话结论
经典算法:OPT(理论最优)、FIFO、LRU(最近最少使用)、Clock(二次机会)、LFU(最少使用);工程实现多用近似 LRU/Clock,兼顾成本与效果。
概念解释
- LRU:淘汰最久未访问页;真实全量链表成本高。
- Clock:访问位扫描,给二次机会,成本低。
- LFU:按访问频次淘汰低频页;实现需计数老化。
- 内核实现通常是基于活跃/非活跃链表的近似 LRU(具体机制随版本,待确认)。
原理流程
- 回收时扫描候选页。
- 按算法检查访问位/频次。
- 选中牺牲页,写回后备后释放。
代码或图示
LRU:最近使用顺序栈,淘汰栈底
Clock:环形扫描访问位,未访问即淘汰
LFU:频次低者优先淘汰
常见误区
- 以为内核严格按 LRU 链表回收:实际是近似算法,受活跃链表与引用位影响。
- 以为冷门页一定先被换出:映射类型、脏页状态、引用计数都影响选择。
追问
- 算法怎么评估好坏?答:缺页率/换入换出次数随负载曲线;工作集越贴合物理内存,缺页越少。
- 全局置换和局部置换区别?答:全局从所有进程选页;局部限制在本进程;内核策略在二者间平衡。
01.1.2.1-008 什么是抖动(thrashing)?什么是工作集?
一句话结论
抖动是工作集超过物理内存后,页面频繁换入换出,CPU 大量时间花在内存调度而非业务;工作集是进程一段时间内实际访问的页面集合。
概念解释
- 工作集:时间窗口内活跃页面,决定内存需求下限。
- 抖动表现:si/so 飙升、缺页频繁、吞吐下降、延迟拉长。
- 成因:内存不足、超大堆、缓存设计不当、多进程工作集叠加。
原理流程
- 活跃页面总量超过可用内存。
- 内核不断换出刚用过的页。
- 再次访问又换入,循环往复,有效计算占比暴跌。
代码或图示
工作集 > 物理内存
→ 换出 → 马上访问 → 换入 → 再换出(抖动)
CPU 忙于内存调度,业务吞吐下降
常见误区
- 以为磁盘 IO 高就是数据库慢:可能是内存抖动导致的 swap IO,需对照缺页与 si/so。
- 加缓存一定改善:缓存过大把其他工作集挤出,反而加剧抖动。
追问
- 怎么缓解抖动?答:扩内存、减小堆/缓存工作集、限制并发与进程数、排查泄漏;swap 只是兜底。
- 工作集怎么估算?答:采样访问页面分布,观测常驻内存随访问模式的稳定值;压测下看 RSS 平台期。
01.1.2.1-009 mmap 的私有映射和共享映射有什么区别?
一句话结论
私有映射(MAP_PRIVATE)写入触发 COW,改动不落回文件;共享映射(MAP_SHARED)写入直接作用于映射文件/共享内存,对其他映射者可见。
概念解释
- 私有:文件映射用于读入代码/数据,匿名私有用于堆类分配。
- 共享:多进程共享内存、文件状态互通;写直接改后备页。
- 一致性:共享映射的写入可见性与回写时机受缓存/同步规则约束。
原理流程
- 映射建立虚拟区间与文件/匿名后备的关联。
- 私有写入:COW 复制私有页;共享写入:更新共享页。
- 共享映射在同步点后对其他进程可见。
代码或图示
MAP_PRIVATE:写 → COW 私有副本,不改文件
MAP_SHARED:写 → 共享页,其他映射可见
常见误区
- 以为私有映射读文件后内存改动会写回:私有 COW 保证不落回原文件。
- 共享映射无需同步:多进程并发写仍需信号量/锁保护元数据与数据。
追问
- mmap 读文件和 read 相比优势?答:省去一次内核到用户态拷贝,大文件随机访问可按需缺页;小文件顺序读未必占优。
- 共享映射怎么持久化?答:脏页按回写策略刷盘;需要立刻落盘用 msync/fsync 类调用。
01.1.2.1-010 大页(THP/hugetlb)的收益与代价是什么?
一句话结论
大页用更少页表项覆盖更多内存,降低 TLB miss 与页表遍历成本;代价是预留/合并复杂、内部碎片增加、回收不灵活,数据库等大内存场景收益明显。
概念解释
- 收益:TLB 命中率提升,地址翻译开销下降。
- 代价:大页不易回收、预留浪费、碎片化时分配失败。
- 适用:大堆、数据库、大连续内存工作集;小对象分散程序收益有限。
原理流程
- 预留或透明合并大页。
- 映射用大页表项,TLB 覆盖更广。
- 内存紧张时大页回收/搬迁成本高于普通页。
代码或图示
TLB 项:1 个大页项 = 多个普通页项覆盖
收益:miss 减少;代价:碎片、预留、回收成本
查看:/proc/meminfo 大页相关字段;/sys/kernel/mm/transparent_hugepage/
常见误区
- 以为开启 THP 全局最优:某些负载下合并/拆分延迟造成尾抖动,需按场景压测。
- 以为大页只是“更大的普通页”:预留策略、映射方式与回收路径都不同。
追问
- 怎么判断某程序是否受益?答:对比开/关大页下的 TLB miss、P99 延迟与吞吐;用 perf 缓存/TLB 事件计数。
- hugetlb 怎么预留?答:启动参数或后台预留大页池;具体命令随发行版,待确认本机文档。
01.1.2.1-011 OOM killer 在什么条件下触发?怎么观察?
一句话结论
内核无法为新的内存分配找到可用页且回收失败时触发 OOM,按评分选择一个进程杀死以释放内存;观察 dmesg/日志中的 OOM 记录与 cgroup 内存事件。
概念解释
- 触发:匿名页/文件页都无法满足分配,回收无果。
- 评分:按内存占用、进程代价等计算 oom_score,选最高者终止。
- cgroup:容器内可在组内存超限触发组内 OOM,不杀整机进程。
原理流程
- 分配请求找不到空闲帧。
- 后台/直接回收尝试失败。
- OOM 遍历任务评分,选中进程发 SIGKILL,释放内存后继续。
代码或图示
分配失败 → 回收无果 → OOM 评分 → 杀进程
dmesg | grep -i "out of memory\|killed process"
cgroup v2:memory.events 中的 oom/oom_kill 计数
常见误区
- 以为 OOM 一定是进程内存泄漏:堆配置过大、缓存失控、限额过低、突发并发都可能触发。
- 以为被 OOM 杀的是“最罪魁祸首”:评分是启发式,不一定等于根因进程。
追问
- 怎么区分整机 OOM 与容器 OOM?答:cgroup 事件与编排系统记录;容器内 1 号进程/业务被杀,整机
dmesg可能无记录。 - 预防手段?答:识别工作集、设合理堆/缓存上限、监控内存水位与 cgroup 限额、排查泄漏。
01.1.2.1-012 RSS、VSZ、共享内存分别怎么理解?
一句话结论
RSS 是当前驻留物理内存的大小(口径含共享库折算),VSZ 是虚拟地址空间总量;共享内存被多进程计入各自 RSS,单看 RSS 相加会重复计算。
概念解释
- VSZ:已映射虚拟空间,含未触及/换出部分,不能代表实际内存。
- RSS:实际在物理内存的页;共享库/共享页在多个进程 RSS 中重复出现。
- 观测:
ps/top的 RSS、VSZ;pmap -x分项明细。
原理流程
- 内核统计各进程映射页的驻留情况。
- 工具按口径汇总 RSS/VSZ。
- 多进程合计内存需扣除共享页重复部分。
代码或图示
VSZ:虚拟空间总量(含未触及、换出)
RSS:驻留物理页(共享页被各进程重复计入)
pmap -x <pid>:按映射列 resident 与 dirty
常见误区
- 把所有进程 RSS 相加当整机内存占用:共享库/共享内存重复计算。
- 以为 VSZ 大就是内存泄漏:虚拟空间大不代表物理内存占用高。
追问
- 怎么估算一组进程真实物理占用?答:RSS 合计减去共享页;
smem类工具按 PSS(按比例分摊共享页)给出更合理口径。 - PSS 是什么?答:共享页按进程数均摊计入,比 RSS 更接近实际分摊内存。
01.1.2.1-013 堆分配走 brk 还是 mmap?和伙伴系统是什么关系?
一句话结论
用户态分配器(如 glibc malloc)小请求调堆扩(brk),大请求用 mmap 匿名映射;底层物理页由内核伙伴系统按块大小管理分配与合并。
概念解释
- brk:调整堆顶,连续扩展小堆。
- mmap:大块匿名映射独立区间,释放可立即归还。
- 伙伴系统:物理内存按 2 的幂级管理,分配时拆分、空闲时合并相邻块。
原理流程
- 分配器按大小选择 brk 或 mmap。
- 缺页时伙伴系统分配帧。
- 释放时归还给伙伴系统,相邻空闲块合并。
代码或图示
小分配:brk 扩堆
大分配:mmap 匿名区间
底层:伙伴系统按阶分配/合并物理帧
常见误区
- 以为
free()立即把物理页还给操作系统:用户态分配器可能缓存复用,小堆段不一定立即归还。 - 以为伙伴系统管理虚拟地址:它管理物理帧;虚拟区间由 mm_struct/vma 管理。
追问
- 大对象走 mmap 有什么好处?答:释放后映射撤销,内存可归还系统;堆段碎片不易回收。
- 内存碎片化怎么影响伙伴系统?答:空闲块不连续,大块分配找不到连续帧,出现外部碎片;内核有规整化(compaction)整理。
01.1.2.1-014 内存水位与 kswapd 后台回收是怎么回事?
一句话结论
内核为空闲页设置低/高水位线,低于阈值时 kswapd 内核线程后台回收页面;分配压力紧迫时进程直接回收(direct reclaim);水位决定后台还是直接回收。
概念解释
- 水位:min/low/high,描述空闲内存紧张程度。
- kswapd:后台线程,低于 low 开始回收,回到 high 停止。
- 直接回收:分配者自己同步回收,阻塞等待,延迟上升。
原理流程
- 空闲页跌破 low → 唤醒 kswapd 异步回收。
- 继续跌破 min → 分配路径直接回收。
- 回收不足走向 OOM。
代码或图示
high ─ 空闲充足
low ─ kswapd 后台回收
min ─ 直接回收(阻塞)
<min → 回收失败 → OOM
常见误区
- 以为回收只在内存耗尽时发生:后台回收在水位下降时就开始,提前腾出页面。
- 直接回收对业务无影响:它在分配路径上同步等待,会造成请求延迟毛刺。
追问
- 怎么看回收压力?答:
vmstat空闲与换出、/proc/vmstat回收计数、perf直接回收延迟;观察 direct reclaim 占比。 - 容器内存水位按什么算?答:cgroup 限额内独立统计,不受整机空闲影响(实现细节随版本,待确认)。
01.1.2.1-015 写时复制(COW)在内存页上怎么工作?
一句话结论
COW 让多个执行者先共享只读物理页,任一方写入时才复制私有页并修改;fork、只读共享映射、某些不可变结构依赖这一机制节省内存。
概念解释
- 初始共享:页表项标记只读,物理页共享。
- 写入触发保护缺页:内核分配新帧、复制内容、建立私有映射、放开写权限。
- 未写入前不复制,避免 fork 立即拷贝整份内存。
原理流程
- 共享页映射,PTE 只读。
- 写访问 → 缺页异常。
- 分配私有帧复制 → 更新 PTE → 重试写入。
代码或图示
共享页(只读)─ 写 A ─> 缺页 → 复制私有页 A'
└ 写 B 未发生:仍共享原页
常见误区
- 以为 fork 后子进程内存是独立副本:未写入部分仍共享 COW 页。
- COW 复制无开销:写入即触发缺页与拷贝,大页频繁写时复制有成本。
追问
- 多线程 fork 后 COW 有什么风险?答:其他线程消失,持有的锁可能未释放;子进程应尽快 exec,避免在 fork 后做复杂内存操作。
- COW 和文件系统 CoW 是一回事吗?答:机制思想类似(写入时复制新块),但内存 COW 是页级映射,文件系统 CoW 是块级快照,实现层不同。
01.1.2.1-016 NUMA 缺页与本地内存分配有什么注意点?
一句话结论
NUMA 节点优先在本地分配物理帧;任务迁移到别的节点后,早期页面仍是远程页,跨节点访问延迟高;绑节点可保持本地性。
概念解释
- 缺页分配:内核优先选任务所在节点的空闲帧。
- 远程页:任务迁移或跨节点分配形成,访问走互联总线。
- 观察:
numastat本地命中/远程计数。
原理流程
- 缺页时在本地节点找帧。
- 本地不足才跨节点分配,形成远程页。
- 后续访问该页按本地/远程路径到达。
代码或图示
节点0 任务 → 优先节点0 帧(本地)
节点1 访问节点0 页 → 远程访问(慢)
numastat -p <pid>:numa_hit / numa_miss / foreign
常见误区
- 以为任务在某节点运行,所有页都在该节点:早期分配、迁移历史会留下远程页。
- 绑 CPU 就自动本地内存:需同时约束内存节点分配策略。
追问
- 怎么改善远程访问?答:绑 CPU 与内存节点、初始化时本地触达大页、避免任务频繁跨节点迁移;具体策略按机型压测。
- NUMA 平衡策略做什么?答:内核在节点间均衡内存与任务,避免单节点耗尽;自动平衡可能与手动绑定冲突,按场景选择。
01.1.2.1-017 内存泄漏与内存高水位怎么排查?
一句话结论
先看 RSS/PSS 趋势与分类(堆、映射、共享、内核),再用 profiling 定位分配热点;区分真泄漏、缓存增长、堆配置过大与泄漏型句柄累积。
概念解释
- 真泄漏:分配后不可达也不释放,单调上涨。
- 缓存增长:业务需要但上限缺失,持续累积。
- 排查:趋势图 → 分类明细 → 分配剖面 → 代码路径。
原理流程
free/top/pmap看 RSS/PSS 与映射分类。- 采集堆剖面(运行时工具)对比存活对象与分配点。
- 定位未释放引用、无界缓存、连接/线程泄漏。
代码或图示
top/ps:RSS 趋势
pmap -x:按映射分类
运行时堆剖面:存活对象、分配栈、大对象
常见误区
- 内存涨了就是泄漏:缓存、堆扩容、线程栈增长都可能是正常或配置问题。
- 只看总量不分类:不区分堆/映射/共享,定位方向容易错。
追问
- Java/Go 等带 GC 的运行时怎么排查?答:堆转储/剖面看存活对象支配链;Go 看 heap pprof 与逃逸分析;GC 前后对比确认是否回收。
- 非堆内存上涨查什么?答:线程栈、直接内存/映射区、内核 slab、共享内存;
pmap与/proc/meminfo分项核对。
01.1.2.1-018 内存碎片化是怎么形成的?规整化做什么?
一句话结论
外部碎片指空闲帧不连续,大块分配找不到连续帧;内部碎片是按页/块分配的未用满部分;内核通过规整化(compaction)搬运页面整理出连续空闲块。
概念解释
- 外部碎片:长期分配释放后空闲页分散,大块连续需求失败。
- 内部碎片:分配粒度导致的尾部浪费。
- 规整化:迁移可移动页,聚拢空闲帧;大页分配尤其需要连续内存。
原理流程
- 长期混分配释放形成分散空闲。
- 大块/大页分配扫描连续区间。
- compaction 搬迁页面整理连续空闲块,满足分配。
代码或图示
空闲帧:[空][忙][空][忙][空] → 连续大块不可分配
compaction:搬迁忙页 → 聚拢空闲 → 连续块
常见误区
- 以为碎片只是内存不足:总量空闲但不连续同样分配失败。
- 以为规整化无成本:页面搬运有内存与延迟开销,高压时可能造成毛刺。
追问
- 怎么观察碎片化?答:
/proc/buddyinfo按阶看空闲块分布;大页分配失败计数与 compaction 事件。 - 应用层怎么减少碎片?答:大小对象分池、长期复用缓冲、避免频繁大块申请释放;运行时 GC 也会整理堆布局。