01.6.1 Linux 命令与性能诊断
所属:全栈开发面试题库 / 01 计算机基础与通用工程 / 01.6 工程工具箱与速查
覆盖范围
- top/htop、pidstat、iostat、vmstat、free、ss、lsof、strace、perf、sar
- CPU/内存/磁盘/网络四线排查链路
- 常见性能问题定位套路
高频题速览
| 编号 | 题目 | 难度 | 频率 |
|---|---|---|---|
| 01.6.1-001 | CPU 高占用怎么定位 | 基础 | ★★★★★ |
| 01.6.1-002 | 内存飙高怎么排查 | 基础 | ★★★★★ |
| 01.6.1-003 | 磁盘 IO 瓶颈怎么看 | 进阶 | ★★★★★ |
| 01.6.1-004 | 网络连接异常用什么命令 | 进阶 | ★★★★★ |
| 01.6.1-005 | strace 怎么用 | 进阶 | ★★★★☆ |
| 01.6.1-006 | perf 能做什么 | 高级 | ★★★★★ |
| 01.6.1-007 | sar 怎么看历史数据 | 进阶 | ★★★★☆ |
| 01.6.1-008 | 性能排查的通用思路 | 基础 | ★★★★★ |
01.6.1-001 CPU 高占用怎么定位?
一句话结论
先用 top/htop 按 CPU 排序找到占用高的进程,top -H 看线程,再用 pidstat -u 1 看逐线程 CPU,最后用 perf top -p <pid> 看进程内部哪个函数在烧 CPU。
概念解释
- top:整体 CPU/内存排序,按
P按 CPU、M按内存排序。 top -H:展开线程视图。pidstat -u 1:每秒输出每个进程/线程 CPU 使用率。perf top:实时显示函数级 CPU 占用,定位热点。
原理流程
top找高 CPU 进程。top -H -p <pid>找高 CPU 线程。perf top -p <pid>看函数热点。
代码或图示
top
top -H -p <pid>
pidstat -u 1 -p <pid>
perf top -p <pid>
常见误区
- 看到 %CPU 高就判进程有问题:先区分用户态(us)和内核态(sy)高,sy 高常是系统调用/IO 问题。
- 用
ps静态快照判断 CPU:ps 是累计值,要看实时 top/pidstat。
追问
- 怎么区分 user 高还是 system 高?答:top 的
us、sy、wa(IO 等待)列;us高看应用,sy高看系统调用,wa高看磁盘。 - 怎么把线程 ID 转成 Java 线程名?答:
printf "%x\n" <tid>转 16 进制,在 jstack 输出里找 nid=0x...。
01.6.1-002 内存飙高怎么排查?
一句话结论
free 看整体内存,top 按内存排序找进程,pmap -x <pid> 或 /proc/<pid>/maps 看进程内存分布,ps aux --sort=-rss 按 RSS 排序;区分 RSS、VSS、共享库与缓存。
概念解释
- free:
used是实际用的,buff/cache是可回收缓存,available才是应用可用。 - RSS:进程驻留物理内存;VSS:虚拟地址空间(含未实际分配的)。
- pmap:看进程各段大小、共享库占用。
原理流程
free -h看 available 是否真的不足。ps aux --sort=-rss | head找高 RSS 进程。pmap -x <pid> | sort -k3 -n | tail找大块内存。
代码或图示
free -h
ps aux --sort=-rss | head -10
pmap -x <pid> | tail -20
cat /proc/<pid>/status | grep -E 'Vm|RSS'
常见误区
- 看到
used高就以为内存不够:Linux 会把空闲内存用作 cache,available才是关键。 - 以为 RSS 之和等于整机 used:共享库被多进程共享,RSS 重复计算。
追问
- OOM killer 怎么触发?答:内存不足时内核选 oom_score 最高进程杀掉,
dmesg看Out of memory,详见 01.1.3.3。 - 内存泄漏怎么定位?答:对比 RSS 趋势不下降;Java 用 jmap/jhat/堆 dump,原生用 valgrind/pprof(具体工具链待确认)。
01.6.1-003 磁盘 IO 瓶颈怎么看?
一句话结论
iostat -x 1 看磁盘 %util、await、svctm,vmstat 1 看 b(阻塞进程数)和 wa(IO 等待),iotop 找哪个进程在写盘;%util 接近 100% 说明设备饱和。
概念解释
%util:设备繁忙时间百分比,接近 100% 说明饱和。await:IO 平均等待时间(毫秒),含队列等待和服务时间。vmstat的wa:CPU 等待 IO 的时间占比。iotop:按进程看磁盘读写。
原理流程
vmstat 1看wa是否高。iostat -x 1看哪个设备%util高、await大。iotop -o找进程。
代码或图示
vmstat 1
iostat -x 1
iotop -o
常见误区
- 只看
%util:%util高但await小可能只是顺序吞吐高;要看 await 与队列深度综合判断。 - 把
wa高当成 CPU 问题:wa高是磁盘慢,不是 CPU 慢。
追问
- 怎么区分顺序写和随机写?答:
iostat的r/s、w/s与rMB/s、wMB/s配合看,或用biolatency(bpftrace)细分,具体工具待确认。 - 日志写盘拖慢怎么解?答:异步刷盘、调 dirty ratio、用 SSD 或单独日志盘。
01.6.1-004 网络连接异常用什么命令?
一句话结论
ss 看连接状态(替代 netstat),lsof -i :<port> 看端口被谁占用,tcpdump 抓包,netstat -s/nstat 看协议统计;ss -s 汇总各状态连接数。
概念解释
ss -tan:列所有 TCP 连接状态。ss -s:汇总(如 ESTAB、TIME_WAIT 数量)。lsof -i:端口与进程对应。tcpdump -i eth0 port 80:抓包。
原理流程
ss -s看整体连接数与异常状态堆积。ss -tan | grep <state>看某状态。lsof -i :<port>定位进程。
代码或图示
ss -s
ss -tan | awk '{print $1}' | sort | uniq -c
lsof -i :8080
tcpdump -i any -nn port 8080
常见误区
- 用 netstat 而不看状态汇总:netstat 慢,ss 更快且信息全;TIME_WAIT/CLOSE_WAIT 堆积是常见问题。
- 以为端口占用是 listen:
lsof -i能看到所有状态(含 ESTAB)。
追问
- CLOSE_WAIT 堆积怎么解?答:对端关了连接,本端应用没调 close,是代码问题,详见 01.2.1.2。
- 怎么看重传率?答:
nstat -az或netstat -s看TcpRetransSegs,重传高说明网络或对端问题。
01.6.1-005 strace 怎么用?它能定位什么?
一句话结论
strace 跟踪进程的系统调用与信号,输出每个调用的参数、返回值和耗时;适合定位进程卡在哪个系统调用、文件/网络操作失败、权限问题。
概念解释
-e trace=:限定跟踪的调用类型(如trace=network,file)。-p <pid>:附加到运行中进程。-f:跟踪子进程/线程。-c:统计每个调用耗时与次数。-tt:打印微秒级时间戳。
原理流程
- 启动或 attach 目标进程。
- 记录每次系统调用。
- 分析卡在哪个调用、返回什么错误码。
代码或图示
strace -f -tt -e trace=network -p <pid>
strace -c ./app # 统计耗时
strace -e trace=openat,read,write -p <pid>
常见误区
- 长时间全量 strace:性能开销大,生产环境短时采样或用
-c统计。 - 以为 strace 能看到函数调用:它只看系统调用,库内函数要用 ltrace 或 perf。
追问
- 进程一直 D 状态怎么定位?答:
strace -p看卡在哪个内核调用,或cat /proc/<pid>/stack看内核栈,配合wchan。 - strace 输出
EINTR什么意思?答:系统调用被信号中断,应用应重试或处理。
01.6.1-006 perf 能做什么?常用命令有哪些?
一句话结论
perf 是 Linux 性能事件计数器工具,可采样 CPU 热点(perf top)、记录调用栈(perf record/report)、统计硬件事件(perf stat)、分析调度/缓存/分支事件;它是定位 CPU 性能问题的首选。
概念解释
perf top:实时显示函数级 CPU 占用。perf record -g:记录带调用栈的采样,perf report分析。perf stat:运行程序并统计周期、缓存 miss、分支预测失败等硬件事件。perf list:列出可用事件。
原理流程
perf stat ./app看整体指标。perf top -p <pid>实时找热点函数。perf record -g -p <pid> -- sleep 30采样,perf report分析调用栈。
代码或图示
perf stat ./app
perf top -p <pid>
perf record -g -p <pid> -- sleep 30
perf report
常见误区
- 以为 perf 只能看 CPU:它还能测 cache miss、分支预测失败、调度延迟、互斥锁竞争等事件(具体事件名随内核版本)。
- 以为 perf 不需要权限:很多事件需要 root 或
/proc/sys/kernel/perf_event_paranoid配置。
追问
- perf 和火焰图关系?答:
perf record -g后用 FlameGraph 脚本生成火焰图,直观展示调用栈占比。 - 怎么测缓存 miss?答:
perf stat -e cache-misses,cache-references ./app,具体事件名随架构,待确认。
01.6.1-007 sar 怎么看历史数据?
一句话结论
sar 由 sysstat 包提供,可实时输出或读取 /var/log/sa/ 下的历史数据,回看某天 CPU、内存、磁盘、网络、上下文切换的历史趋势;sar -u 看 CPU、-r 看内存、-n DEV 看网络、-b 看 IO。
概念解释
- 实时:
sar -u 1 3每秒一次共 3 次。 - 历史:
sar -u -f /var/log/sa/sa<日期>读指定天的数据。 - 常用参数:
-uCPU、-r内存、-bIO、-n DEV网络接口、-q队列长度、-Wswap。
原理流程
- sysstat 的 cron/服务定期采集到
/var/log/sa/。 - 出问题后用
sar -f读历史文件。 - 对比指标在故障时间点的变化。
代码或图示
sar -u 1 3 # 实时 CPU
sar -u -f /var/log/sa/sa20 # 20 号历史 CPU
sar -n DEV 1 # 实时网络
sar -r -f /var/log/sa/sa20 # 历史内存
常见误区
- 以为 sar 数据实时就是全部:历史数据由 sysstat 采集周期决定,默认 10 分钟一次,细节有限。
- 路径
/var/log/sa/saDD二进制 vssar文本:saDD是二进制,sar 命令读取;sar自动找当天文件。
追问
- 怎么看历史 load?答:
sar -q看 runq-sz(运行队列)和 ldavg。 - 服务器没装 sysstat 怎么办?答:装 sysstat 包,或用 node_exporter/Prometheus 等监控替代。
01.6.1-008 性能排查的通用思路是什么?
一句话结论
按"先整体后局部、先硬件后软件":先 top/free/vmstat 看 CPU、内存、IO 哪类瓶颈,再用对应工具定位进程与函数,最后结合日志和代码分析;不要一上来就 strace 全量跟踪。
概念解释
- 四大维度:CPU、内存、磁盘 IO、网络。
- 快速判断:
top(us/sy/wa)、free(available)、iostat(%util)、ss(连接状态)。 - 分层定位:整机 → 进程 → 线程 → 函数 → 系统调用。
原理流程
- 整体:top、vmstat、free、iostat、ss 一眼看瓶颈维度。
- 进程:ps/top/pidstat 找进程。
- 深入:perf/strace/pmap 定位函数与调用。
代码或图示
整机(top/vmstat/free/iostat)
→ 进程(ps/top/pidstat/lsof)
→ 线程(top -H)
→ 函数(perf top / jstack / pprof)
→ 系统调用(strace)
常见误区
- 直接跳到代码:没定位瓶颈维度就看代码,效率低。
- 只看一种指标:CPU 高可能是 IO 等待(wa),要综合看。
追问
- 线上排查能不能上重工具?答:strace/perf 短时采样可用,长时间全量跟踪会影响性能;优先用监控平台数据。
- 怎么判断是应用问题还是系统问题?答:
us高看应用,sy高看系统调用,wa高看磁盘,idle低但业务不忙看是否有死循环。
01.6.1-009 load average 高就一定是 CPU 瓶颈吗?
一句话结论
load average 是处于运行和不可中断睡眠(D 状态)的进程数;它高可能是 CPU 密集,也可能是磁盘 IO 等待多导致 D 状态进程堆积,要结合 vmstat 的 r 和 b 列判断。
概念解释
- load:R + D 状态进程数。
- r:运行队列中等待 CPU 的进程。
- b:阻塞在 IO 的进程。
原理流程
- 看 load。
vmstat 1看 r 和 b。- r 高是 CPU 瓶颈,b 高是 IO 瓶颈。
代码或图示
uptime # load average
vmstat 1 # r 列(运行)、b 列(阻塞)
常见误区
- load 高 = CPU 不够:D 状态 IO 等待也算。
- load 超过核数就报警:要结合 r 列看。
追问
- load 1、5、15 分钟平均什么意思?答:趋势判断,1 分钟高看当前,15 分钟高看长期。
- 怎么看 D 状态?答:
ps -eo stat,comm | grep D,配合wchan。
待整理清单
- [ ] eBPF/bpftrace 常用一行式命令
- [ ] perf 火焰图生成流程
- [ ] 容器内性能工具可见性(cgroup 限制下的读数)
- [ ] 各工具输出字段的权威 man 对照表