罗罗编程学习记录
本页内容 展开查看

01.1.3.2 文件描述符与 IO 栈

所属:全栈开发面试题库 / 01 计算机基础与通用工程 / 01.1 操作系统 / 01.1.3 内核调优与实战

覆盖范围

  • fd 泄漏成因与排查
  • epoll 边缘触发(ET)与水平触发(LT)
  • IO 栈分层与零拷贝
  • fd 上限与泄漏定位

高频题速览

编号 题目 难度 频率
01.1.3.2-001 fd 泄漏怎么产生 进阶 ★★★★★
01.1.3.2-002 怎么定位 fd 泄漏 进阶 ★★★★★
01.1.3.2-003 epoll LT 和 ET 区别 高级 ★★★★★
01.1.3.2-004 ET 为什么要一次性读完 高级 ★★★★☆
01.1.3.2-005 fd 本质是什么 基础 ★★★★☆
01.1.3.2-006 同步/异步/阻塞/非阻塞关系 进阶 ★★★★★
01.1.3.2-007 epoll 为什么比 select 快 进阶 ★★★★★
01.1.3.2-008 IO 栈从应用到磁盘经过哪些层 进阶 ★★★★☆

01.1.3.2-001 fd 泄漏是怎么产生的?

一句话结论

打开文件/socket 后没 close,每次泄漏一个 fd;进程 fd 表持续增长,直到超过 nofile 上限,新的 open/socket 失败返回 EMFILE。

概念解释

  • fd 类型:普通文件、socket、管道、eventfd。
  • 泄漏路径:异常分支没 close、连接池归还时漏关、第三方库内部打开未释放。
  • 症状:进程运行时间越长 fd 越多,最终报 Too many open files。

原理流程

  1. 每次 open/socket 分配新 fd。
  2. 异常路径忘记 close。
  3. fd 表只增不减,触顶失败。

代码或图示

open() → fd 3
close() 漏了 → fd 3 不释放
反复 → fd 表堆满

常见误区

  • 以为 GC 会自动关 fd:Java 流不 close 靠 finalizer 不可靠,必须 try-with-resources。
  • 以为 socket 断开就自动 close:对端断开不代表本端 close,fd 仍占用。

追问

  • 怎么发现泄漏?答:lsof -p <pid> | wc -l 趋势,或 ls /proc/<pid>/fd | wc -l。
  • fd 泄漏和内存泄漏哪个先暴露?答:fd 上限通常先到(65535),内存泄漏后到。

01.1.3.2-002 怎么定位 fd 泄漏?

一句话结论

对比 /proc/<pid>/fd/ 下的 fd 类型分布(lsof),看是 socket 泄漏还是文件泄漏;结合代码找未 close 路径,用 lsof -p <pid> 按类型统计。

概念解释

  • lsof:列 fd 类型(REG 文件、IPv4 socket、FIFO)。
  • /proc//fd:符号链接指向真实文件/套接字。
  • 类型判断:socket 多是连接泄漏,REG 多是文件泄漏。

原理流程

  1. lsof -p <pid> | awk '{print $5}' | sort | uniq -c 看类型分布。
  2. 找出异常增长的类型。
  3. 代码审查对应路径。

代码或图示

lsof -p <pid> | wc -l
lsof -p <pid> | awk '{print $5}' | sort | uniq -c
ls -l /proc/<pid>/fd/ | head -20

常见误区

  • 只看总数不看类型:socket 泄漏和文件泄漏定位方向不同。
  • 用 lsof 看已退出进程:进程退出 fd 自动释放,只能看运行中。

追问

  • 怎么看具体哪个 socket?答:lsof -p <pid> -i 看网络连接,结合对端 IP 判断。
  • Java 怎么定位?答:jcmd 看线程栈,找未关闭的 SocketInputStream;或 Arthas 诊断。

01.1.3.2-003 epoll 的 LT 和 ET 有什么区别?

一句话结论

水平触发(LT)只要 fd 可读就持续通知,直到读空;边缘触发(ET)只在状态变化时通知一次(从不可读到可读),必须非阻塞且一次性读到 EAGAIN;LT 是默认,ET 性能更高但编程复杂。

概念解释

  • LT(Level Triggered):缓冲区有数据就反复通知。
  • ET(Edge Triggered):状态变化(新数据到达)通知一次。
  • ET 要求:fd 设为 O_NONBLOCK,循环读到 EAGAIN。

原理流程

  1. LT:数据到达,epoll_wait 返回,没读完下次还返回。
  2. ET:数据到达,epoll_wait 只返回一次,必须读空。
  3. 漏读:ET 下没读空,后续不再通知,连接卡死。

代码或图示

LT:有数据 → 通知 → 没读空 → 再通知(直到读空)
ET:新数据到达 → 通知一次 → 必须读到 EAGAIN

常见误区

  • 以为 ET 更快:减少 epoll_wait 通知次数,但编程要求高,漏读导致饥饿。
  • 以为 LT 性能差:LT 是默认,Nginx 用 ET,多数框架用 LT 更稳。

追问

  • 怎么设 ET?答:epoll_ctl 时 EPOLLIN | EPOLLET。
  • ET 下写事件怎么处理?答:写缓冲区满时 EPOLLOUT,写完后要取消,否则持续触发。

01.1.3.2-004 ET 模式为什么要一次性读完?

一句话结论

ET 只在状态变化时通知一次,如果你没读空缓冲区,剩下的数据不会再触发通知(因为状态没再变化),连接就卡死了;所以必须循环读到 EAGAIN。

概念解释

  • 状态变化:从不可读→可读才通知。
  • 没读空:剩余数据仍在缓冲区,但状态没变化,不再通知。
  • 解决:非阻塞 read 循环到返回 EAGAIN。

原理流程

  1. 数据到达,状态变可读,epoll_wait 通知。
  2. 应用只读一部分,剩下数据留缓冲区。
  3. 没有新数据到达,状态不变,不再通知,剩余数据永远读不到。

代码或图示

while (1) {
    n = read(fd, buf, size);
    if (n == -1) {
        if (errno == EAGAIN) break;  // 读完了
        else handle_error();
    }
}

常见误区

  • 读一次就退出 ET:剩余数据卡死。
  • 用阻塞 fd 读:阻塞 read 会卡住事件循环,ET 必须非阻塞。

追问

  • ET 下 accept 怎么处理?答:循环 accept 到 EAGAIN,否则并发连接只 accept 一个。
  • LT 下也要循环读吗?答:不必须,下次还会通知,但循环读效率更高。

01.1.3.2-005 fd 的本质是什么?

一句话结论

fd 是进程文件描述符表的索引,指向内核打开文件对象(struct file);它是一个小整数,不是文件本身,多个 fd 可指向同一打开文件(fork、dup)。

概念解释

  • fd 表:进程级数组,下标即 fd。
  • 打开文件对象:内核级,含文件位置、状态。
  • fd 与文件:fd 是句柄,文件对象是内核结构。

原理流程

  1. open 返回最小可用 fd 号。
  2. fd 表项指向 file 结构。
  3. fork 时子进程复制 fd 表,共享同一 file 结构(文件偏移共享)。

代码或图示

进程 fd 表:
  0 → stdin  file
  1 → stdout file
  3 → socket file

常见误区

  • 以为 fd 是文件指针:它是表索引。
  • 以为 fork 后文件偏移独立:共享 file 结构,偏移共享。

追问

  • fd 0/1/2 是什么?答:stdin/stdout/stderr。
  • dup 做什么?答:复制 fd,指向同一 file,常用于重定向。

01.1.3.2-006 同步、异步、阻塞、非阻塞是什么关系?

一句话结论

阻塞/非阻塞是调用是否等待结果;同步/异步是结果如何通知(主动等 vs 回调);经典组合:阻塞同步(read 等数据)、非阻塞同步(轮询/epoll)、异步(AIO,回调通知)。

概念解释

  • 阻塞:调用直到数据就绪才返回。
  • 非阻塞:没数据立即返回 EAGAIN。
  • 同步:调用方主动等或轮询。
  • 异步:内核完成后回调通知。

原理流程

  1. 阻塞 read:等数据,线程挂起。
  2. 非阻塞 read:没数据立即返回。
  3. 异步 IO:提交后回调,不阻塞线程。

代码或图示

阻塞同步:read() 等数据
非阻塞同步:read() 返回 EAGAIN,epoll 通知
异步:aio_read,完成回调

常见误区

  • 以为非阻塞就是异步:非阻塞仍是同步,要轮询/事件循环。
  • 以为 Linux AIO 成熟:磁盘 AIO 有,但网络 IO 多用 epoll 同步非阻塞。

追问

  • Reactor 和 Proactor 模式?答:Reactor 是同步事件分发(epoll),Proactor 是异步完成回调(Windows IOCP)。
  • Java NIO 是哪种?答:同步非阻塞(Reactor)。

01.1.3.2-007 epoll 为什么比 select/poll 快?

一句话结论

select/poll 每次都要把全部 fd 集合从用户态拷到内核、线性扫描 O(n);epoll 在内核维护 fd 集合,epoll_wait 只返回就绪 fd,无需每次全量拷贝和扫描,O(就绪数)。

概念解释

  • select:fd 集合有上限(1024),每次拷贝。
  • poll:无上限但仍线性扫描。
  • epoll:红黑树管理 fd,就绪链表,wait 只返回就绪。

原理流程

  1. select/poll:每次调用全量拷贝 fd 集合。
  2. epoll_ctl:把 fd 加入内核红黑树。
  3. epoll_wait:从就绪链表取,O(1) 返回就绪。

代码或图示

select:每次拷贝 n 个 fd,O(n) 扫描
epoll:ctl 维护树,wait 返回就绪链表

常见误区

  • 以为 epoll 在连接少时也快:连接少时 select/poll 差距不大,epoll 优势在高并发。
  • 以为 epoll 一定比 poll 快:少量连接时 overhead 可能更大。

追问

  • epoll 惊群是什么?答:多进程监听同一 socket,新连接唤醒所有进程,只有一个 accept,浪费;现代内核有 EPOLLEXCLUSIVE,具体待确认。
  • 为什么 Nginx 用 epoll ET?答:减少通知次数,高并发下吞吐高。

01.1.3.2-008 IO 栈从应用到磁盘经过哪些层?

一句话结论

应用 write → VFS → 页缓存(page cache)→ 文件系统(ext4/xfs)→ 块层(bio/队列)→ 设备驱动 → 磁盘;读时数据先进 page cache,命中直接返回。

概念解释

  • VFS:统一文件抽象。
  • page cache:内核缓存磁盘块。
  • 文件系统:管理文件和块映射。
  • 块层:IO 请求排队、合并、调度。

原理流程

  1. write 数据先到 page cache,标记脏页。
  2. 后台回写线程刷盘。
  3. read 先查 page cache,miss 才读盘。

代码或图示

app → VFS → page cache → ext4 → 块层 → 驱动 → 磁盘

常见误区

  • 以为 write 立即落盘:默认写 page cache,fsync 才强制刷。
  • 以为 page cache 浪费内存:它用空闲内存做缓存,是性能优化。

追问

  • O_DIRECT 是什么?答:绕过 page cache,直接读写磁盘,数据库自管理缓存时用。
  • fsync 代价?答:强制刷盘,慢;日志批量写+定期 fsync 平衡性能和安全。

01.1.3.2-009 阻塞 read 和非阻塞 read 怎么选?

一句话结论

阻塞 read 简单但会卡住线程,适合连接少的场景;非阻塞 read 配合 epoll 事件循环,线程不等待,适合高并发;高并发服务用非阻塞 IO + 事件循环。

概念解释

  • 阻塞:无数据时线程挂起。
  • 非阻塞:无数据立即返回 EAGAIN。
  • 高并发:非阻塞 + epoll 事件驱动。

原理流程

  1. 阻塞:一个连接一个线程,等数据。
  2. 非阻塞:epoll 通知数据就绪,再 read。
  3. 单线程管理大量连接。

代码或图示

阻塞:连接1 → 线程1(等)
      连接2 → 线程2(等)
非阻塞:epoll 通知 → 单线程处理所有就绪连接

常见误区

  • 高并发用阻塞 IO:线程数膨胀,栈内存爆炸。
  • 以为非阻塞不用线程:事件循环在单线程,CPU 密集仍需线程池。

追问

  • Java NIO 和 Netty?答:基于非阻塞 IO + 事件循环(Reactor 模式)。
  • 阻塞 IO 真的慢吗?答:连接少时编程简单,高并发才是瓶颈。

待整理清单

  • [ ] io_uring 与现代异步 IO
  • [ ] 块层调度器(mq-deadline/none/bfq)
  • [ ] lsof//proc/<pid>/fd 深度诊断
  • [ ] Nginx/Netty 事件模型源码对照