罗罗编程学习记录
本页内容 展开查看

01.6.1 Linux 命令与性能诊断

所属:全栈开发面试题库 / 01 计算机基础与通用工程 / 01.6 工程工具箱与速查

覆盖范围

  • top/htop、pidstat、iostat、vmstat、free、ss、lsof、strace、perf、sar
  • CPU/内存/磁盘/网络四线排查链路
  • 常见性能问题定位套路

高频题速览

编号 题目 难度 频率
01.6.1-001 CPU 高占用怎么定位 基础 ★★★★★
01.6.1-002 内存飙高怎么排查 基础 ★★★★★
01.6.1-003 磁盘 IO 瓶颈怎么看 进阶 ★★★★★
01.6.1-004 网络连接异常用什么命令 进阶 ★★★★★
01.6.1-005 strace 怎么用 进阶 ★★★★☆
01.6.1-006 perf 能做什么 高级 ★★★★★
01.6.1-007 sar 怎么看历史数据 进阶 ★★★★☆
01.6.1-008 性能排查的通用思路 基础 ★★★★★

01.6.1-001 CPU 高占用怎么定位?

一句话结论

先用 top/htop 按 CPU 排序找到占用高的进程,top -H 看线程,再用 pidstat -u 1 看逐线程 CPU,最后用 perf top -p <pid> 看进程内部哪个函数在烧 CPU。

概念解释

  • top:整体 CPU/内存排序,按 P 按 CPU、M 按内存排序。
  • top -H:展开线程视图。
  • pidstat -u 1:每秒输出每个进程/线程 CPU 使用率。
  • perf top:实时显示函数级 CPU 占用,定位热点。

原理流程

  1. top 找高 CPU 进程。
  2. top -H -p <pid> 找高 CPU 线程。
  3. perf top -p <pid> 看函数热点。

代码或图示

top
top -H -p <pid>
pidstat -u 1 -p <pid>
perf top -p <pid>

常见误区

  • 看到 %CPU 高就判进程有问题:先区分用户态(us)和内核态(sy)高,sy 高常是系统调用/IO 问题。
  • 用 ps 静态快照判断 CPU:ps 是累计值,要看实时 top/pidstat。

追问

  • 怎么区分 user 高还是 system 高?答:top 的 us、sy、wa(IO 等待)列;us 高看应用,sy 高看系统调用,wa 高看磁盘。
  • 怎么把线程 ID 转成 Java 线程名?答:printf "%x\n" <tid> 转 16 进制,在 jstack 输出里找 nid=0x...。

01.6.1-002 内存飙高怎么排查?

一句话结论

free 看整体内存,top 按内存排序找进程,pmap -x <pid> 或 /proc/<pid>/maps 看进程内存分布,ps aux --sort=-rss 按 RSS 排序;区分 RSS、VSS、共享库与缓存。

概念解释

  • free:used 是实际用的,buff/cache 是可回收缓存,available 才是应用可用。
  • RSS:进程驻留物理内存;VSS:虚拟地址空间(含未实际分配的)。
  • pmap:看进程各段大小、共享库占用。

原理流程

  1. free -h 看 available 是否真的不足。
  2. ps aux --sort=-rss | head 找高 RSS 进程。
  3. pmap -x <pid> | sort -k3 -n | tail 找大块内存。

代码或图示

free -h
ps aux --sort=-rss | head -10
pmap -x <pid> | tail -20
cat /proc/<pid>/status | grep -E 'Vm|RSS'

常见误区

  • 看到 used 高就以为内存不够:Linux 会把空闲内存用作 cache,available 才是关键。
  • 以为 RSS 之和等于整机 used:共享库被多进程共享,RSS 重复计算。

追问

  • OOM killer 怎么触发?答:内存不足时内核选 oom_score 最高进程杀掉,dmesg 看 Out of memory,详见 01.1.3.3。
  • 内存泄漏怎么定位?答:对比 RSS 趋势不下降;Java 用 jmap/jhat/堆 dump,原生用 valgrind/pprof(具体工具链待确认)。

01.6.1-003 磁盘 IO 瓶颈怎么看?

一句话结论

iostat -x 1 看磁盘 %util、await、svctm,vmstat 1 看 b(阻塞进程数)和 wa(IO 等待),iotop 找哪个进程在写盘;%util 接近 100% 说明设备饱和。

概念解释

  • %util:设备繁忙时间百分比,接近 100% 说明饱和。
  • await:IO 平均等待时间(毫秒),含队列等待和服务时间。
  • vmstat 的 wa:CPU 等待 IO 的时间占比。
  • iotop:按进程看磁盘读写。

原理流程

  1. vmstat 1 看 wa 是否高。
  2. iostat -x 1 看哪个设备 %util 高、await 大。
  3. iotop -o 找进程。

代码或图示

vmstat 1
iostat -x 1
iotop -o

常见误区

  • 只看 %util:%util 高但 await 小可能只是顺序吞吐高;要看 await 与队列深度综合判断。
  • 把 wa 高当成 CPU 问题:wa 高是磁盘慢,不是 CPU 慢。

追问

  • 怎么区分顺序写和随机写?答:iostat 的 r/s、w/s 与 rMB/s、wMB/s 配合看,或用 biolatency(bpftrace)细分,具体工具待确认。
  • 日志写盘拖慢怎么解?答:异步刷盘、调 dirty ratio、用 SSD 或单独日志盘。

01.6.1-004 网络连接异常用什么命令?

一句话结论

ss 看连接状态(替代 netstat),lsof -i :<port> 看端口被谁占用,tcpdump 抓包,netstat -s/nstat 看协议统计;ss -s 汇总各状态连接数。

概念解释

  • ss -tan:列所有 TCP 连接状态。
  • ss -s:汇总(如 ESTAB、TIME_WAIT 数量)。
  • lsof -i:端口与进程对应。
  • tcpdump -i eth0 port 80:抓包。

原理流程

  1. ss -s 看整体连接数与异常状态堆积。
  2. ss -tan | grep <state> 看某状态。
  3. lsof -i :<port> 定位进程。

代码或图示

ss -s
ss -tan | awk '{print $1}' | sort | uniq -c
lsof -i :8080
tcpdump -i any -nn port 8080

常见误区

  • 用 netstat 而不看状态汇总:netstat 慢,ss 更快且信息全;TIME_WAIT/CLOSE_WAIT 堆积是常见问题。
  • 以为端口占用是 listen:lsof -i 能看到所有状态(含 ESTAB)。

追问

  • CLOSE_WAIT 堆积怎么解?答:对端关了连接,本端应用没调 close,是代码问题,详见 01.2.1.2。
  • 怎么看重传率?答:nstat -az 或 netstat -s 看 TcpRetransSegs,重传高说明网络或对端问题。

01.6.1-005 strace 怎么用?它能定位什么?

一句话结论

strace 跟踪进程的系统调用与信号,输出每个调用的参数、返回值和耗时;适合定位进程卡在哪个系统调用、文件/网络操作失败、权限问题。

概念解释

  • -e trace=:限定跟踪的调用类型(如 trace=network,file)。
  • -p <pid>:附加到运行中进程。
  • -f:跟踪子进程/线程。
  • -c:统计每个调用耗时与次数。
  • -tt:打印微秒级时间戳。

原理流程

  1. 启动或 attach 目标进程。
  2. 记录每次系统调用。
  3. 分析卡在哪个调用、返回什么错误码。

代码或图示

strace -f -tt -e trace=network -p <pid>
strace -c ./app          # 统计耗时
strace -e trace=openat,read,write -p <pid>

常见误区

  • 长时间全量 strace:性能开销大,生产环境短时采样或用 -c 统计。
  • 以为 strace 能看到函数调用:它只看系统调用,库内函数要用 ltrace 或 perf。

追问

  • 进程一直 D 状态怎么定位?答:strace -p 看卡在哪个内核调用,或 cat /proc/<pid>/stack 看内核栈,配合 wchan。
  • strace 输出 EINTR 什么意思?答:系统调用被信号中断,应用应重试或处理。

01.6.1-006 perf 能做什么?常用命令有哪些?

一句话结论

perf 是 Linux 性能事件计数器工具,可采样 CPU 热点(perf top)、记录调用栈(perf record/report)、统计硬件事件(perf stat)、分析调度/缓存/分支事件;它是定位 CPU 性能问题的首选。

概念解释

  • perf top:实时显示函数级 CPU 占用。
  • perf record -g:记录带调用栈的采样,perf report 分析。
  • perf stat:运行程序并统计周期、缓存 miss、分支预测失败等硬件事件。
  • perf list:列出可用事件。

原理流程

  1. perf stat ./app 看整体指标。
  2. perf top -p <pid> 实时找热点函数。
  3. perf record -g -p <pid> -- sleep 30 采样,perf report 分析调用栈。

代码或图示

perf stat ./app
perf top -p <pid>
perf record -g -p <pid> -- sleep 30
perf report

常见误区

  • 以为 perf 只能看 CPU:它还能测 cache miss、分支预测失败、调度延迟、互斥锁竞争等事件(具体事件名随内核版本)。
  • 以为 perf 不需要权限:很多事件需要 root 或 /proc/sys/kernel/perf_event_paranoid 配置。

追问

  • perf 和火焰图关系?答:perf record -g 后用 FlameGraph 脚本生成火焰图,直观展示调用栈占比。
  • 怎么测缓存 miss?答:perf stat -e cache-misses,cache-references ./app,具体事件名随架构,待确认。

01.6.1-007 sar 怎么看历史数据?

一句话结论

sar 由 sysstat 包提供,可实时输出或读取 /var/log/sa/ 下的历史数据,回看某天 CPU、内存、磁盘、网络、上下文切换的历史趋势;sar -u 看 CPU、-r 看内存、-n DEV 看网络、-b 看 IO。

概念解释

  • 实时:sar -u 1 3 每秒一次共 3 次。
  • 历史:sar -u -f /var/log/sa/sa<日期> 读指定天的数据。
  • 常用参数:-u CPU、-r 内存、-b IO、-n DEV 网络接口、-q 队列长度、-W swap。

原理流程

  1. sysstat 的 cron/服务定期采集到 /var/log/sa/。
  2. 出问题后用 sar -f 读历史文件。
  3. 对比指标在故障时间点的变化。

代码或图示

sar -u 1 3                  # 实时 CPU
sar -u -f /var/log/sa/sa20  # 20 号历史 CPU
sar -n DEV 1                # 实时网络
sar -r -f /var/log/sa/sa20  # 历史内存

常见误区

  • 以为 sar 数据实时就是全部:历史数据由 sysstat 采集周期决定,默认 10 分钟一次,细节有限。
  • 路径 /var/log/sa/saDD 二进制 vs sar 文本:saDD 是二进制,sar 命令读取;sar 自动找当天文件。

追问

  • 怎么看历史 load?答:sar -q 看 runq-sz(运行队列)和 ldavg。
  • 服务器没装 sysstat 怎么办?答:装 sysstat 包,或用 node_exporter/Prometheus 等监控替代。

01.6.1-008 性能排查的通用思路是什么?

一句话结论

按"先整体后局部、先硬件后软件":先 top/free/vmstat 看 CPU、内存、IO 哪类瓶颈,再用对应工具定位进程与函数,最后结合日志和代码分析;不要一上来就 strace 全量跟踪。

概念解释

  • 四大维度:CPU、内存、磁盘 IO、网络。
  • 快速判断:top(us/sy/wa)、free(available)、iostat(%util)、ss(连接状态)。
  • 分层定位:整机 → 进程 → 线程 → 函数 → 系统调用。

原理流程

  1. 整体:top、vmstat、free、iostat、ss 一眼看瓶颈维度。
  2. 进程:ps/top/pidstat 找进程。
  3. 深入:perf/strace/pmap 定位函数与调用。

代码或图示

整机(top/vmstat/free/iostat)
  → 进程(ps/top/pidstat/lsof)
    → 线程(top -H)
      → 函数(perf top / jstack / pprof)
        → 系统调用(strace)

常见误区

  • 直接跳到代码:没定位瓶颈维度就看代码,效率低。
  • 只看一种指标:CPU 高可能是 IO 等待(wa),要综合看。

追问

  • 线上排查能不能上重工具?答:strace/perf 短时采样可用,长时间全量跟踪会影响性能;优先用监控平台数据。
  • 怎么判断是应用问题还是系统问题?答:us 高看应用,sy 高看系统调用,wa 高看磁盘,idle 低但业务不忙看是否有死循环。

01.6.1-009 load average 高就一定是 CPU 瓶颈吗?

一句话结论

load average 是处于运行和不可中断睡眠(D 状态)的进程数;它高可能是 CPU 密集,也可能是磁盘 IO 等待多导致 D 状态进程堆积,要结合 vmstat 的 r 和 b 列判断。

概念解释

  • load:R + D 状态进程数。
  • r:运行队列中等待 CPU 的进程。
  • b:阻塞在 IO 的进程。

原理流程

  1. 看 load。
  2. vmstat 1 看 r 和 b。
  3. r 高是 CPU 瓶颈,b 高是 IO 瓶颈。

代码或图示

uptime              # load average
vmstat 1            # r 列(运行)、b 列(阻塞)

常见误区

  • load 高 = CPU 不够:D 状态 IO 等待也算。
  • load 超过核数就报警:要结合 r 列看。

追问

  • load 1、5、15 分钟平均什么意思?答:趋势判断,1 分钟高看当前,15 分钟高看长期。
  • 怎么看 D 状态?答:ps -eo stat,comm | grep D,配合 wchan。

待整理清单

  • [ ] eBPF/bpftrace 常用一行式命令
  • [ ] perf 火焰图生成流程
  • [ ] 容器内性能工具可见性(cgroup 限制下的读数)
  • [ ] 各工具输出字段的权威 man 对照表