罗罗编程学习记录
本页内容 展开查看

01.5.4 NUMA 与多核扩展

所属:全栈开发面试题库 / 01 计算机基础与通用工程 / 01.5 计算机组成与体系结构

覆盖范围

  • UMA 与 NUMA 的区别、NUMA 节点
  • 跨节点访问代价与远程内存
  • CPU 绑核与亲和性(taskset、cgroup cpuset)
  • 超线程对吞吐的影响
  • 大页(huge page)与 TLB miss

高频题速览

编号 题目 难度 频率
01.5.4-001 NUMA 是什么?为什么需要它 高级 ★★★★★
01.5.4-002 跨节点访问为什么慢 进阶 ★★★★★
01.5.4-003 怎么查看本机 NUMA 拓扑 进阶 ★★★★☆
01.5.4-004 绑核有什么用 进阶 ★★★★★
01.5.4-005 超线程对吞吐影响多大 进阶 ★★★★☆
01.5.4-006 大页为什么能提性能 高级 ★★★★☆
01.5.4-007 NUMA 节点内存怎么分配策略 高级 ★★★☆☆
01.5.4-008 容器里 CPU 限额和 NUMA 的关系 进阶 ★★★☆☆

01.5.4-001 NUMA 是什么?为什么需要它?

一句话结论

NUMA(Non-Uniform Memory Access,非一致内存访问)把 CPU 和内存划分为多个节点,每个核访问本节点内存快、访问其他节点内存慢;之所以需要它,是因为多路服务器 CPU 太多,传统 UMA 共享总线成为瓶颈,按节点切分可扩展性更好。

概念解释

  • UMA:所有核共享同一内存总线,访问所有内存地址代价一致;核数少时可行。
  • NUMA:每个 node 有本地内存和一组 CPU,跨 node 经互连总线(如 Intel UPI、AMD Infinity Fabric)访问。
  • 结果:本地访问快,远程访问慢,性能随数据是否落在本地节点变化。

原理流程

  1. 多颗 CPU 插在同一台机器,每颗挂本地内存。
  2. 核访问本 node 内存:本地互连,延迟低。
  3. 核访问其他 node 内存:跨节点互连,延迟高。

代码或图示

Node 0:CPU0..CPUn + 本地内存 0
        │
        └── 互连总线(UPI/Infinity Fabric)
              │
Node 1:CPU0..CPUn + 本地内存 1

常见误区

  • 以为 NUMA 只是多 CPU 机器才有:单路多 chip(如 AMD EPYC CCD)也呈现 NUMA 特征,具体拓扑以本机 lscpu 为准。
  • 以为 NUMA 是软件概念:它是硬件内存控制器分布在各 node 上造成的物理事实。

追问

  • 怎么判断本机是否 NUMA?答:numactl --hardware 看 node 数和距离矩阵;单 node 即 UMA。
  • NUMA 对数据库为什么重要?答:数据库内存大,跨节点访问延迟叠加,NUMA 局部性直接影响吞吐。

01.5.4-002 跨节点访问为什么慢?代价大概多少?

一句话结论

跨节点访问要经过互连总线把请求和数据传到远程内存控制器,链路比本地总线长,延迟通常比本地高 1.5~2 倍以上(具体倍数随硬件待确认);带宽也受互连总带宽限制。

概念解释

  • 远程内存延迟:本地内存约 100 纳秒级,远程节点可能 150~250 纳秒级。
  • 带宽竞争:互连总线是共享的,跨节点流量大会挤占。
  • 缓存不命中放大:远程 miss 叠加远程延迟,代价远高于本地 miss。

原理流程

  1. 核发出 load,MMU 翻译到物理地址。
  2. 地址属于远程 node,请求经互连发出。
  3. 远程内存控制器返回数据,经互连回到本 node,延迟累加。

代码或图示

本地访问:CPU → 本地内存控制器 → 内存(快)
远程访问:CPU → 互连 → 远程内存控制器 → 内存 → 互连 → CPU(慢)

常见误区

  • 以为操作系统会自动把内存分配到本地:Linux 默认有 NUMA 平衡策略,但不总是最优,见 01.5.4-007。
  • 以为跨节点只是慢一点:高频随机访问下,远程 miss 累积可让整体吞吐掉 20%~50%,量级需实测。

追问

  • 怎么测本地 vs 远程延迟?答:numactl --cpunodebind=0 --membind=0 ./bench 对比 --membind=1,具体数字以本机实测为准。
  • 内存带宽怎么测?答:mbw、STREAM 等工具测本地与远程带宽,结果随硬件。

01.5.4-003 怎么查看本机 NUMA 拓扑?

一句话结论

用 numactl --hardware 看 node 列表、每个 node 的 CPU 与内存、node 间距离矩阵;lscpu 也会输出 NUMA node 信息;/sys/devices/system/node/ 是权威的 sysfs 视图。

概念解释

  • node 列表:有几个 NUMA node。
  • node CPUs:每个 node 上哪些逻辑核。
  • node distances:node 间相对距离(数字越大越慢)。

原理流程

  1. numactl --hardware 汇总各 node 资源。
  2. lscpu 把 NUMA 信息整合进 CPU 拓扑。
  3. lscpu -e 输出每核属于哪个 node。

代码或图示

numactl --hardware
lscpu | grep -i numa
ls /sys/devices/system/node/

常见误区

  • 只看 lscpu 不看 node 距离矩阵:距离矩阵才说明跨节点代价。
  • 容器里看到的 NUMA 信息被 cgroup 限制:容器内可能只暴露子集,真实拓扑以宿主机为准。

追问

  • 距离矩阵数字什么含义?答:本地 node 通常是 10,远程 node 15~30,数字是相对代价(非纳秒),具体格式随 numactl 版本待确认。
  • 怎么在代码里知道自己在哪个 node?答:getcpu(2) 返回当前 CPU 和 node(sched_getcpu),glibc 接口。

01.5.4-004 绑核(CPU 亲和性)有什么用?

一句话结论

绑核让进程/线程固定在某个(组)CPU 上跑,避免调度器来回迁移带来 cache 失效、NUMA 远程访问;同时减少多线程间互相抢占,适合对延迟敏感的服务。

概念解释

  • 减少迁移:线程不被调度器挪到其他核,L1/L2 热数据保留。
  • NUMA 局部性:绑在某 node 的核上,配合本地内存分配,避免远程访问。
  • 隔离性:关键线程独占物理核,不被其他进程干扰。

原理流程

  1. taskset 或 sched_setaffinity 设置线程 CPU 掩码。
  2. 调度器只在掩码内选核运行。
  3. 线程始终在固定核上,cache 与 node 局部性保持。

代码或图示

# 把进程绑到核 0,1
taskset -c 0,1 ./app
# 查看亲和性
taskset -p <pid>

常见误区

  • 以为绑核越多越好:绑太多核反而失去隔离意义;绑核要和线程池大小匹配。
  • 以为绑在 SMT 两个逻辑核上等于隔离:它们共享 L1/L2 与执行单元,隔离不彻底,见 01.5.1-005。

追问

  • cgroup cpuset 怎么绑?答:cpuset.cpus 写入允许的 CPU 列表,容器内进程只能在这些核上跑,比 taskset 更适合容器编排。
  • 什么场景不建议绑核?答:弹性负载、CPU 密集但需要自动负载均衡的场景,绑核反而限制调度。

01.5.4-005 超线程对吞吐影响多大?

一句话结论

超线程在计算密集负载下吞吐提升约 10%~30%(具体随工作负载),在内存/IO 密集、停顿多的负载下收益更大;但两个线程抢执行单元与 cache,重计算场景下可能反而拖慢单线程延迟。

概念解释

  • 收益:填充执行槽,停顿周期不浪费。
  • 代价:cache 竞争、执行单元争用。
  • 实测:以 perf stat 对比开关 SMT 后的 IPC 与吞吐,数字随硬件。

原理流程

  1. 关 SMT:一个物理核同一时刻跑一个线程。
  2. 开 SMT:一个物理核跑两个逻辑线程,共享资源。
  3. 按负载类型看 IPC 与延迟权衡。

代码或图示

# 查看 SMT 是否开启
cat /sys/devices/system/cpu/smt/control
lscpu | grep -i thread

常见误区

  • 以为开 SMT 等于 CPU 核数翻倍:逻辑核数翻倍但物理核数不变,重计算时不能当两倍用。
  • 以为数据库服务器要开 SMT:很多数据库场景关 SMT 减少噪声更稳定,需实测。

追问

  • 绑核时怎么避开 SMT 兄弟?答:lscpu -e 看每个核的 core id,绑同一物理核的不同逻辑核会共享资源,绑不同物理核更隔离。
  • 容器里看到的逻辑核是怎么算的?答:cgroup cpuset 限制可见核,宿主机 SMT 兄弟可能被部分屏蔽,以宿主机拓扑为准。

01.5.4-006 大页(huge page)为什么能提性能?

一句话结论

普通内存页 4 KB,大页(如 2 MB/1 GB)让单条 TLB 项映射更大内存;大内存工作集下 TLB miss 大幅减少,因为页表项数量减少,TLB 命中率提升,内存访问变慢的主因之一被缓解。

概念解释

  • TLB:缓存虚拟地址到物理页的翻译,项数有限。
  • 普通页 4 KB:访问 1 GB 内存需 26 万页表项,TLB 装不下,频繁 miss。
  • 大页 2 MB:同 1 GB 只需 512 项,TLB 轻松覆盖。

原理流程

  1. 进程用大页分配内存。
  2. MMU 用大页翻译,一次覆盖 2 MB。
  3. TLB 命中提升,缺页与页表遍历开销下降。

代码或图示

# 查看大页配置
cat /proc/meminfo | grep Huge
# 预留大页(示例,随内核版本)
echo 1024 > /sys/kernel/mm/hugepages/hugepages-2048kB/nr_hugepages

常见误区

  • 以为大页只是省内存:它省的是 TLB 项和页表遍历,不是省物理内存。
  • 以为大页对小进程有用:小进程工作集小,TLB 本就命中,大页收益不明显;大内存工作集(数据库、JVM、KVM)收益显著。

追问

  • JVM 怎么用大页?答:开启 UseLargePages(TransparentHugePages 或预分配 HugePages),具体 JVM 参数随版本待确认。
  • 透明大页(THP)和显式大页区别?答:THP 由内核自动整理,可能延迟毛刺;显式预分配可控但需预留,生产数据库常关 THP。

01.5.4-007 NUMA 节点内存分配策略有哪些?

一句话结论

Linux NUMA 策略包括:默认(localalloc,优先本地)、bind(绑定 node)、interleave(轮流分配到各 node 分散页)、preferred(优先某 node 失败回退);不同策略对应不同负载——数据库常用 bind/本地,分布式缓存常用 interleave。

概念解释

  • localalloc:在运行线程所在 node 分配,跨 node 才远程。
  • bind:固定 node,绝不用远程,保证局部性。
  • interleave:把页轮流撒到各 node,分散带宽压力。
  • preferred:优先 node 满了再用其他。

原理流程

  1. 进程分配内存时,内核按策略选 node。
  2. localalloc 优先当前 node;bind 严格限定。
  3. interleave 把页表项分散,避免单 node 带宽瓶颈。

代码或图示

# 绑 node 0 跑(内存也在 node 0)
numactl --cpunodebind=0 --membind=0 ./app
# 交错分配到 node 0,1
numactl --interleave=0,1 ./app

常见误区

  • 以为 interleave 一定更快:它分散带宽但跨 node 访问比例上升,随机访问延迟可能变差,需实测。
  • 以为 NUMA 平衡(autonuma)自动最优:它按需迁移内存,有开销,数据库场景常关闭以避免毛刺。

追问

  • 怎么看进程实际内存落在哪些 node?答:numastat -p <pid> 看各 node 内存分布,/proc/<pid>/numa_maps 看页级分布。
  • NUMA balancing 什么时候关?答:延迟敏感、内存固定的长驻服务(数据库、JVM)常用启动脚本关闭,避免内核自动迁移抖动。

01.5.4-008 容器里 CPU 限额和 NUMA 的关系?

一句话结论

容器通过 cgroup 的 cpuset/cpu 限制可用 CPU,NUMA node 视图也被限制;容器内看到的 CPU 与 node 子集,不一定等于宿主机完整拓扑,绑核与 NUMA 策略要在宿主机视角规划,不能只信容器内 lscpu。

概念解释

  • cpuset:限定容器进程可在哪些核运行。
  • 容器内 lscpu:可能只看到被允许的核,但 NUMA 信息可能不完整。
  • 真实拓扑:以宿主机 numactl --hardware 为准。

原理流程

  1. 编排平台按 cgroup 分配 cpuset。
  2. 容器内进程调度只在这些核上跑。
  3. 跨 node 流量仍走宿主机互连,性能影响与裸机一致。

代码或图示

# 容器内看允许的核
cat /sys/fs/cgroup/cpuset.cpus.effective  # cgroup v2
# 宿主机视角规划绑核与 NUMA 策略

常见误区

  • 容器内 lscpu 显示的核数等于宿主机:cgroup 可能只暴露子集,要看 effective。
  • 以为容器隔离了 NUMA:物理 node 仍共享,跨 node 流量客观存在。

追问

  • Kubernetes 怎么管理 NUMA?答:CPU Manager 的 static 策略、Topology Manager 保证 pod 请求的 CPU/内存在同一 NUMA node,具体配置随版本待确认。
  • JVM 在容器里怎么识别 NUMA?答:较新版本 JVM 识别 cgroup 限额,NUMA 感知随 JVM 版本,待确认。

01.5.4-009 大页和透明大页(THP)有什么区别?

一句话结论

大页(HugePages)是显式预留的连续大页(2MB/1GB),稳定可控;透明大页(THP)由内核自动整理内存成大页,无需预留但可能延迟毛刺;数据库常关 THP 用显式大页。

概念解释

  • 显式大页:手动预留,应用 mmap 映射。
  • THP:内核自动整理,应用无感。
  • 问题:THP 整理时可能 stall 应用。

原理流程

  1. 显式:预留 nr_hugepages,应用映射。
  2. THP:内核后台合并小页成大页。
  3. 整理过程中锁内存,应用延迟毛刺。

代码或图示

# 查看 THP
cat /sys/kernel/mm/transparent_hugepage/enabled
# 关闭(示例,随发行版)
echo never > /sys/kernel/mm/transparent_hugepage/enabled

常见误区

  • 以为 THP 总是好:数据库等延迟敏感场景,THP 整理毛刺不可接受。
  • 以为显式大页零成本:预留后不可回收给其他应用。

追问

  • JVM 怎么用大页?答:UseLargePages,具体参数随 JVM 版本待确认。
  • KVM 虚拟机大页?答:宿主开大页,虚拟机获得 TLB 收益。

待整理清单

  • [ ] 主流 NUMA 互连(UPI/Infinity Fabric)带宽与延迟实测
  • [ ] Kubernetes Topology Manager 实操
  • [ ] THP 开关在不同负载下的收益对比
  • [ ] numastat、perf numa 报告解读