01.1.3.2 文件描述符与 IO 栈
所属:全栈开发面试题库 / 01 计算机基础与通用工程 / 01.1 操作系统 / 01.1.3 内核调优与实战
覆盖范围
- fd 泄漏成因与排查
- epoll 边缘触发(ET)与水平触发(LT)
- IO 栈分层与零拷贝
- fd 上限与泄漏定位
高频题速览
| 编号 | 题目 | 难度 | 频率 |
|---|---|---|---|
| 01.1.3.2-001 | fd 泄漏怎么产生 | 进阶 | ★★★★★ |
| 01.1.3.2-002 | 怎么定位 fd 泄漏 | 进阶 | ★★★★★ |
| 01.1.3.2-003 | epoll LT 和 ET 区别 | 高级 | ★★★★★ |
| 01.1.3.2-004 | ET 为什么要一次性读完 | 高级 | ★★★★☆ |
| 01.1.3.2-005 | fd 本质是什么 | 基础 | ★★★★☆ |
| 01.1.3.2-006 | 同步/异步/阻塞/非阻塞关系 | 进阶 | ★★★★★ |
| 01.1.3.2-007 | epoll 为什么比 select 快 | 进阶 | ★★★★★ |
| 01.1.3.2-008 | IO 栈从应用到磁盘经过哪些层 | 进阶 | ★★★★☆ |
01.1.3.2-001 fd 泄漏是怎么产生的?
一句话结论
打开文件/socket 后没 close,每次泄漏一个 fd;进程 fd 表持续增长,直到超过 nofile 上限,新的 open/socket 失败返回 EMFILE。
概念解释
- fd 类型:普通文件、socket、管道、eventfd。
- 泄漏路径:异常分支没 close、连接池归还时漏关、第三方库内部打开未释放。
- 症状:进程运行时间越长 fd 越多,最终报 Too many open files。
原理流程
- 每次
open/socket分配新 fd。 - 异常路径忘记 close。
- fd 表只增不减,触顶失败。
代码或图示
open() → fd 3
close() 漏了 → fd 3 不释放
反复 → fd 表堆满
常见误区
- 以为 GC 会自动关 fd:Java 流不 close 靠 finalizer 不可靠,必须 try-with-resources。
- 以为 socket 断开就自动 close:对端断开不代表本端 close,fd 仍占用。
追问
- 怎么发现泄漏?答:
lsof -p <pid> | wc -l趋势,或ls /proc/<pid>/fd | wc -l。 - fd 泄漏和内存泄漏哪个先暴露?答:fd 上限通常先到(65535),内存泄漏后到。
01.1.3.2-002 怎么定位 fd 泄漏?
一句话结论
对比 /proc/<pid>/fd/ 下的 fd 类型分布(lsof),看是 socket 泄漏还是文件泄漏;结合代码找未 close 路径,用 lsof -p <pid> 按类型统计。
概念解释
- lsof:列 fd 类型(REG 文件、IPv4 socket、FIFO)。
- /proc/
/fd:符号链接指向真实文件/套接字。 - 类型判断:socket 多是连接泄漏,REG 多是文件泄漏。
原理流程
lsof -p <pid> | awk '{print $5}' | sort | uniq -c看类型分布。- 找出异常增长的类型。
- 代码审查对应路径。
代码或图示
lsof -p <pid> | wc -l
lsof -p <pid> | awk '{print $5}' | sort | uniq -c
ls -l /proc/<pid>/fd/ | head -20
常见误区
- 只看总数不看类型:socket 泄漏和文件泄漏定位方向不同。
- 用 lsof 看已退出进程:进程退出 fd 自动释放,只能看运行中。
追问
- 怎么看具体哪个 socket?答:
lsof -p <pid> -i看网络连接,结合对端 IP 判断。 - Java 怎么定位?答:jcmd 看线程栈,找未关闭的 SocketInputStream;或 Arthas 诊断。
01.1.3.2-003 epoll 的 LT 和 ET 有什么区别?
一句话结论
水平触发(LT)只要 fd 可读就持续通知,直到读空;边缘触发(ET)只在状态变化时通知一次(从不可读到可读),必须非阻塞且一次性读到 EAGAIN;LT 是默认,ET 性能更高但编程复杂。
概念解释
- LT(Level Triggered):缓冲区有数据就反复通知。
- ET(Edge Triggered):状态变化(新数据到达)通知一次。
- ET 要求:fd 设为 O_NONBLOCK,循环读到 EAGAIN。
原理流程
- LT:数据到达,epoll_wait 返回,没读完下次还返回。
- ET:数据到达,epoll_wait 只返回一次,必须读空。
- 漏读:ET 下没读空,后续不再通知,连接卡死。
代码或图示
LT:有数据 → 通知 → 没读空 → 再通知(直到读空)
ET:新数据到达 → 通知一次 → 必须读到 EAGAIN
常见误区
- 以为 ET 更快:减少 epoll_wait 通知次数,但编程要求高,漏读导致饥饿。
- 以为 LT 性能差:LT 是默认,Nginx 用 ET,多数框架用 LT 更稳。
追问
- 怎么设 ET?答:
epoll_ctl时EPOLLIN | EPOLLET。 - ET 下写事件怎么处理?答:写缓冲区满时 EPOLLOUT,写完后要取消,否则持续触发。
01.1.3.2-004 ET 模式为什么要一次性读完?
一句话结论
ET 只在状态变化时通知一次,如果你没读空缓冲区,剩下的数据不会再触发通知(因为状态没再变化),连接就卡死了;所以必须循环读到 EAGAIN。
概念解释
- 状态变化:从不可读→可读才通知。
- 没读空:剩余数据仍在缓冲区,但状态没变化,不再通知。
- 解决:非阻塞 read 循环到返回 EAGAIN。
原理流程
- 数据到达,状态变可读,epoll_wait 通知。
- 应用只读一部分,剩下数据留缓冲区。
- 没有新数据到达,状态不变,不再通知,剩余数据永远读不到。
代码或图示
while (1) {
n = read(fd, buf, size);
if (n == -1) {
if (errno == EAGAIN) break; // 读完了
else handle_error();
}
}
常见误区
- 读一次就退出 ET:剩余数据卡死。
- 用阻塞 fd 读:阻塞 read 会卡住事件循环,ET 必须非阻塞。
追问
- ET 下 accept 怎么处理?答:循环 accept 到 EAGAIN,否则并发连接只 accept 一个。
- LT 下也要循环读吗?答:不必须,下次还会通知,但循环读效率更高。
01.1.3.2-005 fd 的本质是什么?
一句话结论
fd 是进程文件描述符表的索引,指向内核打开文件对象(struct file);它是一个小整数,不是文件本身,多个 fd 可指向同一打开文件(fork、dup)。
概念解释
- fd 表:进程级数组,下标即 fd。
- 打开文件对象:内核级,含文件位置、状态。
- fd 与文件:fd 是句柄,文件对象是内核结构。
原理流程
- open 返回最小可用 fd 号。
- fd 表项指向 file 结构。
- fork 时子进程复制 fd 表,共享同一 file 结构(文件偏移共享)。
代码或图示
进程 fd 表:
0 → stdin file
1 → stdout file
3 → socket file
常见误区
- 以为 fd 是文件指针:它是表索引。
- 以为 fork 后文件偏移独立:共享 file 结构,偏移共享。
追问
- fd 0/1/2 是什么?答:stdin/stdout/stderr。
- dup 做什么?答:复制 fd,指向同一 file,常用于重定向。
01.1.3.2-006 同步、异步、阻塞、非阻塞是什么关系?
一句话结论
阻塞/非阻塞是调用是否等待结果;同步/异步是结果如何通知(主动等 vs 回调);经典组合:阻塞同步(read 等数据)、非阻塞同步(轮询/epoll)、异步(AIO,回调通知)。
概念解释
- 阻塞:调用直到数据就绪才返回。
- 非阻塞:没数据立即返回 EAGAIN。
- 同步:调用方主动等或轮询。
- 异步:内核完成后回调通知。
原理流程
- 阻塞 read:等数据,线程挂起。
- 非阻塞 read:没数据立即返回。
- 异步 IO:提交后回调,不阻塞线程。
代码或图示
阻塞同步:read() 等数据
非阻塞同步:read() 返回 EAGAIN,epoll 通知
异步:aio_read,完成回调
常见误区
- 以为非阻塞就是异步:非阻塞仍是同步,要轮询/事件循环。
- 以为 Linux AIO 成熟:磁盘 AIO 有,但网络 IO 多用 epoll 同步非阻塞。
追问
- Reactor 和 Proactor 模式?答:Reactor 是同步事件分发(epoll),Proactor 是异步完成回调(Windows IOCP)。
- Java NIO 是哪种?答:同步非阻塞(Reactor)。
01.1.3.2-007 epoll 为什么比 select/poll 快?
一句话结论
select/poll 每次都要把全部 fd 集合从用户态拷到内核、线性扫描 O(n);epoll 在内核维护 fd 集合,epoll_wait 只返回就绪 fd,无需每次全量拷贝和扫描,O(就绪数)。
概念解释
- select:fd 集合有上限(1024),每次拷贝。
- poll:无上限但仍线性扫描。
- epoll:红黑树管理 fd,就绪链表,wait 只返回就绪。
原理流程
- select/poll:每次调用全量拷贝 fd 集合。
- epoll_ctl:把 fd 加入内核红黑树。
- epoll_wait:从就绪链表取,O(1) 返回就绪。
代码或图示
select:每次拷贝 n 个 fd,O(n) 扫描
epoll:ctl 维护树,wait 返回就绪链表
常见误区
- 以为 epoll 在连接少时也快:连接少时 select/poll 差距不大,epoll 优势在高并发。
- 以为 epoll 一定比 poll 快:少量连接时 overhead 可能更大。
追问
- epoll 惊群是什么?答:多进程监听同一 socket,新连接唤醒所有进程,只有一个 accept,浪费;现代内核有 EPOLLEXCLUSIVE,具体待确认。
- 为什么 Nginx 用 epoll ET?答:减少通知次数,高并发下吞吐高。
01.1.3.2-008 IO 栈从应用到磁盘经过哪些层?
一句话结论
应用 write → VFS → 页缓存(page cache)→ 文件系统(ext4/xfs)→ 块层(bio/队列)→ 设备驱动 → 磁盘;读时数据先进 page cache,命中直接返回。
概念解释
- VFS:统一文件抽象。
- page cache:内核缓存磁盘块。
- 文件系统:管理文件和块映射。
- 块层:IO 请求排队、合并、调度。
原理流程
- write 数据先到 page cache,标记脏页。
- 后台回写线程刷盘。
- read 先查 page cache,miss 才读盘。
代码或图示
app → VFS → page cache → ext4 → 块层 → 驱动 → 磁盘
常见误区
- 以为 write 立即落盘:默认写 page cache,fsync 才强制刷。
- 以为 page cache 浪费内存:它用空闲内存做缓存,是性能优化。
追问
- O_DIRECT 是什么?答:绕过 page cache,直接读写磁盘,数据库自管理缓存时用。
- fsync 代价?答:强制刷盘,慢;日志批量写+定期 fsync 平衡性能和安全。
01.1.3.2-009 阻塞 read 和非阻塞 read 怎么选?
一句话结论
阻塞 read 简单但会卡住线程,适合连接少的场景;非阻塞 read 配合 epoll 事件循环,线程不等待,适合高并发;高并发服务用非阻塞 IO + 事件循环。
概念解释
- 阻塞:无数据时线程挂起。
- 非阻塞:无数据立即返回 EAGAIN。
- 高并发:非阻塞 + epoll 事件驱动。
原理流程
- 阻塞:一个连接一个线程,等数据。
- 非阻塞:epoll 通知数据就绪,再 read。
- 单线程管理大量连接。
代码或图示
阻塞:连接1 → 线程1(等)
连接2 → 线程2(等)
非阻塞:epoll 通知 → 单线程处理所有就绪连接
常见误区
- 高并发用阻塞 IO:线程数膨胀,栈内存爆炸。
- 以为非阻塞不用线程:事件循环在单线程,CPU 密集仍需线程池。
追问
- Java NIO 和 Netty?答:基于非阻塞 IO + 事件循环(Reactor 模式)。
- 阻塞 IO 真的慢吗?答:连接少时编程简单,高并发才是瓶颈。
待整理清单
- [ ] io_uring 与现代异步 IO
- [ ] 块层调度器(mq-deadline/none/bfq)
- [ ]
lsof//proc/<pid>/fd深度诊断 - [ ] Nginx/Netty 事件模型源码对照