罗罗编程学习记录
本页内容 展开查看

01.1.3.3 内存管理实战

所属:全栈开发面试题库 / 01 计算机基础与通用工程 / 01.1 操作系统 / 01.1.3 内核调优与实战

覆盖范围

  • OOM killer 触发原理
  • swap 机制与调优
  • RSS/VSS/PSS/USS 区别
  • 内存泄漏定位

高频题速览

编号 题目 难度 频率
01.1.3.3-001 OOM killer 怎么选进程杀 高级 ★★★★★
01.1.3.3-002 OOM 怎么排查 进阶 ★★★★★
01.1.3.3-003 swap 该不该开 进阶 ★★★★☆
01.1.3.3-004 RSS/VSS/PSS/USS 区别 进阶 ★★★★★
01.1.3.3-005 内存泄漏怎么定位 高级 ★★★★★
01.1.3.3-006 页缓存和可用内存关系 进阶 ★★★★☆
01.1.3.3-007 堆外内存泄漏怎么查 高级 ★★★★☆
01.1.3.3-008 内存碎片怎么影响 高级 ★★★☆☆

01.1.3.3-001 OOM killer 怎么选进程杀?

一句话结论

内存不足时内核计算每个进程的 oom_score(按内存占用、运行时间、调整因子),选分数最高的杀掉;可通过 /proc/<pid>/oom_score_adj 调整保护关键进程。

概念解释

  • oom_score:基于内存使用量、运行时间、nice 值。
  • oom_score_adj:-1000 到 +1000,手动调整,保护重要进程。
  • 选择:分数最高者被杀,释放内存。

原理流程

  1. 内存分配失败,触发 OOM。
  2. 内核遍历进程算 oom_score。
  3. 杀最高分进程,继续。

代码或图示

cat /proc/<pid>/oom_score
echo -500 > /proc/<pid>/oom_score_adj
dmesg | grep -i 'killed process'

常见误区

  • 以为 OOM 一定杀占内存最大的:分数综合考虑,可调整。
  • 以为被 OOM 杀是程序 bug:也可能是 cgroup 限额设小了。

追问

  • 容器 OOM 怎么识别?答:cgroup v2 在 memory.events 记录 oom,进程被杀退出码 137(SIGKILL)。
  • 怎么保护数据库不被杀?答:oom_score_adj 设为负值,降低被选概率。

01.1.3.3-002 OOM 怎么排查?

一句话结论

先看 dmesg 或 /var/log/messages 里的 Out of memory: Killed process 记录,确认被杀进程和内存峰值;再看是整机内存不足还是 cgroup 限额不足,分析内存趋势。

概念解释

  • dmesg:内核 OOM 记录。
  • cgroup:容器内 OOM 看 memory.events。
  • 趋势:监控内存曲线,看是泄漏突增还是突增负载。

原理流程

  1. dmesg | grep -i oom 找记录。
  2. 看被杀进程的内存占用。
  3. 区分整机 OOM 还是 cgroup OOM。

代码或图示

dmesg | grep -iE 'out of memory|killed process'
cat /sys/fs/cgroup/memory.events
# 退出码 137 = 128 + SIGKILL(9)

常见误区

  • 只看应用日志:OOM 是内核杀的,应用日志可能没有。
  • 以为进程被 kill -9 就是 OOM:137 退出码要和 dmesg 对照。

追问

  • 怎么区分是 fork 导致的 OOM?答:dmesg 记录里看触发 OOM 的进程,多线程 fork 子进程内存翻倍可能触发。
  • Java OOM 和 Linux OOM 区别?答:Java OOM 是 JVM 堆内异常(OutOfMemoryError),Linux OOM 是内核杀进程。

01.1.3.3-003 swap 该不该开?

一句话结论

swap 是磁盘上的虚拟内存,内存不足时把不活跃页换出;服务器上 swap 作为兜底防 OOM,但会带来延迟毛刺(换入换出慢);数据库/延迟敏感服务通常关或小 swap。

概念解释

  • swap:磁盘交换分区,扩展内存。
  • 优点:防 OOM,给不活跃进程兜底。
  • 缺点:换入换出慢(毫秒级),引发毛刺。

原理流程

  1. 内存不足,内核把不活跃页换出到 swap。
  2. 进程访问换出页,触发缺页换入。
  3. 换入慢,延迟毛刺。

代码或图示

free -h          # 看 Swap 行
swapon -s        # 看 swap 设备
cat /proc/sys/vm/swappiness  # 0-100,倾向用 swap 程度

常见误区

  • 服务器完全关 swap:极端情况 OOM 直接杀进程,swap 可做缓冲。
  • swappiness=100 积极用 swap:数据库建议调低(如 1~10)。

追问

  • swappiness 是什么?答:0 尽量不用 swap,100 积极回收页,默认 60(具体发行版待确认)。
  • K8s 节点 swap?答:较新版本支持 swap,具体策略随版本。

01.1.3.3-004 RSS/VSS/PSS/USS 有什么区别?

一句话结论

VSS 是进程虚拟内存总量(含未分配),RSS 是驻留物理内存(含共享库),PSS 按比例分摊共享库,USS 是进程独占物理内存;看真实增量用 USS/PSS。

概念解释

  • VSS:虚拟地址空间大小,最大。
  • RSS:实际驻留物理内存,共享库被多个进程重复计。
  • PSS:共享库按进程数分摊。
  • USS:进程独占(不共享)物理内存。

原理流程

  1. VSS:地址空间映射。
  2. RSS:实际驻留。
  3. PSS/USS:排除共享。

代码或图示

VSS ≥ RSS ≥ PSS ≥ USS
pmap -x <pid> 看各段

常见误区

  • 用 RSS 判断内存泄漏:共享库重复计,趋势看 USS 更准。
  • 以为 RSS 之和等于整机 used:共享库重复。

追问

  • 怎么看 PSS?答:pmap -X 或 /proc/<pid>/smaps_rollup(Pss 字段)。
  • Java 堆外内存怎么算?答:RSS 减堆大小和元空间,包含直接内存、mmap。

01.1.3.3-005 内存泄漏怎么定位?

一句话结论

先看 RSS 趋势是否持续增长不回收;Java 用 jmap dump 堆分析,原生用 valgrind/pprof/tcmalloc 堆分析;区分堆内泄漏、堆外泄漏、native 泄漏。

概念解释

  • 堆内泄漏:对象不释放,GC 不回收。
  • 堆外泄漏:直接内存、mmap、JNI。
  • 定位工具:jmap/jhat/Java VisualVM、pprof、valgrind。

原理流程

  1. 监控 RSS 趋势。
  2. 触发 GC 后看堆是否回收。
  3. dump 分析对象占用。

代码或图示

jmap -dump:live,format=b,file=heap.hprof <pid>
jhat heap.hprof
# 原生
pprof heap

常见误区

  • 只 dump 不触发 Full GC:可能包含未回收但可回收的对象。
  • 以为 RSS 涨就是泄漏:也可能是缓存增长,要看是否业务正常。

追问

  • 怎么判断是泄漏还是缓存?答:压测看趋势,重启后恢复;缓存有上限则不是泄漏。
  • Arthas 能做什么?答:在线看堆、类加载、方法耗时,不用 dump。

01.1.3.3-006 页缓存和可用内存是什么关系?

一句话结论

Linux 把空闲内存用作 page cache(文件缓存),free 的 used 不含 buff/cache,available 才是应用真正可用的内存;cache 可回收,不是真占用。

概念解释

  • buff/cache:内核缓存文件和元数据。
  • available:估计可用内存(含可回收 cache)。
  • 不要看到 cache 高就以为内存紧张。

原理流程

  1. 空闲内存用作 cache。
  2. 应用需要时内核回收 cache。
  3. available 反映真实可用。

代码或图示

free -h
# 看 available 列,不是 used

常见误区

  • 看到 used 高就慌:看 available。
  • 以为 cache 是泄漏:它是正常缓存。

追问

  • 怎么手动释放 cache?答:echo 3 > /proc/sys/vm/drop_caches,一般不必。
  • 数据库为什么用 O_DIRECT?答:避免 page cache 双缓存,数据库自己管缓存。

01.1.3.3-007 堆外内存泄漏怎么查?

一句话结论

Java 堆外内存(DirectByteBuffer、Netty、JNI)不受 GC 直接管理,泄漏表现为 RSS 涨但堆不涨;用 NMT(Native Memory Tracking)、pmap、或 JEMalloc 分析。

概念解释

  • 堆外:DirectByteBuffer、Netty 池、JNI。
  • 表现:堆 dump 看不出,RSS 涨。
  • 工具:JEMalloc 分析、NMT、pmap -x。

原理流程

  1. 堆内存正常但 RSS 持续涨。
  2. 触发 Full GC,堆外不回收。
  3. 用 NMT 或 native 分析工具定位。

代码或图示

# JVM 加 -XX:NativeMemoryTracking=summary
jcmd <pid> VM.native_memory summary
pmap -x <pid> | sort -k3 -n | tail

常见误区

  • 只 dump 堆:堆外问题堆里看不到。
  • 以为 Netty 池泄漏要 dump 堆:它是堆外内存池。

追问

  • DirectByteBuffer 什么时候释放?答:Cleaner 在 GC 时释放,但堆外分配早、堆 GC 不及时会堆积。
  • 怎么限制堆外?答:-XX:MaxDirectMemorySize。

01.1.3.3-008 内存碎片怎么影响?

一句话结论

物理内存碎片化导致大块连续分配失败(即使总内存够),表现为 dmesg 里 page allocation failure;高阶分配失败(order > 0)会触发回收或 OOM。

概念解释

  • 页阶(order):2^order 页连续。
  • 碎片:空闲页多但不连续。
  • 影响:大页、DMA、连续分配失败。

原理流程

  1. 内存长期运行,页被打散。
  2. 大块连续分配请求失败。
  3. 内核回收/合并碎片。

代码或图示

cat /proc/buddyinfo
cat /proc/pagetypeinfo

常见误区

  • 总内存够却分配失败:看 buddyinfo 是否碎片。
  • 长期不重启导致碎片:大内存服务定期重启或用 ksm/compact。

追问

  • 怎么整理碎片?答:echo 1 > /proc/sys/vm/compact_memory 触发规整,生产慎用。
  • 大页和碎片关系?答:大页需要连续大块,碎片多预留失败。

01.1.3.3-009 怎么看进程内存趋势?

一句话结论

定期记录 /proc/<pid>/status 的 VmRSS 或 ps 的 RSS,画趋势图;RSS 持续增长不回落是泄漏信号;触发 Full GC 后看堆是否回收,区分堆内泄漏和堆外增长。

概念解释

  • RSS 趋势:持续增长不回收 = 泄漏嫌疑。
  • 堆内:GC 后 RSS 应回落。
  • 堆外:GC 不回收,RSS 持续涨。

原理流程

  1. 定时采样 RSS。
  2. 对比业务压测前后。
  3. GC 后不回落则堆内泄漏,回落则堆外。

代码或图示

while true; do
  grep VmRSS /proc/<pid>/status
  sleep 60
done

常见误区

  • 看一次 RSS 高就判泄漏:缓存增长可能正常。
  • 只看 RSS:要区分堆内堆外,结合 GC 日志。

追问

  • 怎么看堆内对象?答:jmap dump 后 histogram 看大对象。
  • 监控怎么做?答:Prometheus 采集 RSS,告警阈值。

待整理清单

  • [ ] JVM NMT 深度报告
  • [ ] jemalloc heap profile 实操
  • [ ] 大页与透明大页(THP)对数据库影响
  • [ ] cgroup v2 内存事件与 OOM 行为