罗罗编程学习记录
本页内容 展开查看

01.1.2.4 IO 模型与多路复用

所属:全栈开发面试题库 / 01 计算机基础与通用工程 / 01.1 操作系统 / 01.1.2 内存文件与 IO

01.1.2.4-001 五种 IO 模型分别是什么?

一句话结论

五种模型:阻塞 IO、非阻塞 IO、IO 多路复用、信号驱动 IO、异步 IO;区别在于等待数据阶段是否阻塞、数据拷贝阶段由谁完成。

概念解释

  • 阻塞 IO:等待数据与拷贝都阻塞在调用上。
  • 非阻塞 IO:未就绪立即返回,应用轮询。
  • 多路复用:一次等待多个 fd,就绪后再操作。
  • 信号驱动:就绪时发信号通知,再处理。
  • 异步 IO:提交后内核完成数据准备与拷贝,回调通知。

原理流程

  1. 发起 IO 请求。
  2. 等待数据到达内核缓冲。
  3. 数据从内核拷贝到用户空间,模型决定两阶段是否阻塞/谁等待。

代码或图示

阻塞:全程阻塞
非阻塞:未就绪返回 + 轮询
多路复用:select/poll/epoll 等多 fd
信号驱动:SIGIO 通知就绪
异步 IO:内核完成后回调

常见误区

  • 把多路复用当成异步 IO:epoll 等待就绪是同步模型,数据拷贝仍在用户调用时阻塞/非阻塞完成。
  • 以为非阻塞就是异步:非阻塞只改变等待阶段返回方式,拷贝阶段语义另算。

追问

  • 数据拷贝分哪两步?答:内核等待数据到达内核缓冲;再从内核缓冲拷贝到用户缓冲。
  • 哪种模型等待阶段不占线程?答:多路复用与异步 IO 可单线程等待多连接;阻塞模型一连接一线程。

01.1.2.4-002 同步/异步与阻塞/非阻塞怎么区分?

一句话结论

阻塞/非阻塞描述调用等待时是否挂起线程;同步/异步描述数据完成后由谁通知、谁执行后续拷贝与处理;两组维度正交,不要混为一谈。

概念解释

  • 阻塞:调用未完成前线程挂起等待。
  • 非阻塞:未就绪立即返回,不挂起。
  • 同步:调用方等待结果(可能阻塞或轮询);异步:完成后回调/通知,不主动等待。

原理流程

  1. 选择 fd 是否非阻塞(等待阶段行为)。
  2. 选择等待方式:直接阻塞、轮询、多路复用、信号、回调。
  3. 数据拷贝与后续处理按模型归属调用方或内核。

代码或图示

阻塞/非阻塞:等待时挂起还是立即返回
同步/异步:后续由调用方等待还是内核回调通知

常见误区

  • 以为非阻塞 = 异步:非阻塞 socket 仍需应用反复检查,属于同步范畴。
  • 以为多路复用是异步:epoll_wait 返回就绪后,读写仍由应用同步发起。

追问

  • Java NIO 的多路复用对应哪种?答:同步多路复用,通道就绪后由应用读写;AIO 才是异步回调模型。
  • 异步 IO 数据拷贝在哪完成?答:内核完成准备与拷贝后通知应用,应用不阻塞等待拷贝。

01.1.2.4-003 阻塞 IO 的流程和代价是什么?

一句话结论

阻塞 IO 在数据未就绪时把线程挂起,内核就绪后唤醒并完成拷贝;模型简单,但每个等待连接占一个线程,高并发下线程数与切换成本失控。

概念解释

  • 等待阶段:线程进入睡眠队列,不占 CPU。
  • 拷贝阶段:数据从内核缓冲到用户缓冲。
  • 代价:线程栈内存、调度切换、上下文随连接数线性增长。

原理流程

  1. 调用 read/recv,fd 无数据。
  2. 线程挂起等待。
  3. 数据到达 → 唤醒 → 拷贝到用户缓冲 → 返回。

代码或图示

read() → 无数据 → 挂起 → 数据到达 → 唤醒拷贝 → 返回
一连接一线程:线程数 ≈ 并发连接数

常见误区

  • 以为阻塞线程占 CPU:睡眠等待不占 CPU,占用的是线程栈与调度资源。
  • 阻塞模型无法服务高并发:配合线程池限制并发数,但排队等待会拉长延迟。

追问

  • 阻塞读和阻塞写有什么不同代价?答:读等待对端数据;写在缓冲满时等待对端接收;都可能挂起线程。
  • 线程池怎么缓解?答:限制同时阻塞的线程数,超出排队;适合并发量可控的内部服务。

01.1.2.4-004 非阻塞 IO 怎么工作?为什么要配合轮询?

一句话结论

fd 设为非阻塞后,未就绪调用立即返回 EAGAIN/EWOULDBLOCK,应用反复检查直到就绪;单独使用是忙等,通常配合多路复用在事件就绪后再操作。

概念解释

  • 非阻塞不挂起线程,返回错误表示稍后再试。
  • 纯轮询空转浪费 CPU;多路复用替代主动轮询,只在就绪 fd 上操作。
  • 读写需处理短读/短写:未读完要继续等下次就绪。

原理流程

  1. 设置 O_NONBLOCK。
  2. 调用未就绪 → 返回 EAGAIN。
  3. 经 epoll 等通知就绪后,再读写到缓冲不足。

代码或图示

recv() → EAGAIN → 稍后重试
配合 epoll:等可读事件 → 一次读尽/读到 EAGAIN

常见误区

  • 非阻塞 socket 不会阻塞:缓冲满的写/特殊场景仍可能返回错误,需按非阻塞语义处理。
  • 轮询间隔越短越好:忙等占 CPU;事件通知才是高效等待方式。

追问

  • 非阻塞下怎么判断读完?答:读到 EAGAIN/EWOULDBLOCK 或返回长度小于请求长度;ET 模式必须读尽。
  • 为什么多路复用要配非阻塞 fd?答:避免就绪后读写在缓冲不足时意外挂起线程,卡住事件循环。

01.1.2.4-005 select 的结构、限制和复杂度是什么?

一句话结论

select 用 fd 集合位图传入待监听描述符,内核遍历集合检查就绪;有 FD 数量上限(如 1024,受宏定义限制),每次调用重新拷贝集合,O(n) 扫描,连接数大时效率低。

概念解释

  • 集合:readfds/writefds/exceptfds,位图标记 fd。
  • 限制:FD_SETSIZE 上限;跨平台数量不同。
  • 复杂度:每次遍历所有传入 fd,随数量线性增长。

原理流程

  1. 应用构造 fd 集合。
  2. select 拷贝集合到内核,遍历检查就绪。
  3. 返回就绪数量,应用再遍历集合定位。

代码或图示

select(n, &rfds, &wfds, &efds, timeout)
  → 拷贝集合 → O(n) 扫描 → 返回就绪数
限制:FD_SETSIZE(典型 1024)

常见误区

  • 以为 select 返回值直接给出就绪 fd:返回数量,仍需遍历位图逐个检查。
  • 以为 select 适合海量连接:上限与 O(n) 扫描使其在高并发下被 epoll 取代。

追问

  • select 时间精度?答:超时参数为微秒级;实际精度受系统调度影响。
  • 跨平台为什么仍用 select?答:可移植性好,Windows 网络编程历史上主要支持 select 类接口。

01.1.2.4-006 poll 相比 select 改进了什么?局限在哪?

一句话结论

poll 用 pollfd 数组替代位图,去掉固定数量上限;但仍每次拷贝数组、O(n) 扫描就绪,连接规模大时性能问题与 select 类似。

概念解释

  • pollfd:fd + 关注事件 + 返回事件,数组长度由应用决定。
  • 改进:无位图宏上限,事件位更清晰。
  • 局限:每次调用全量扫描,内核/用户态数组拷贝成本随 n 增长。

原理流程

  1. 应用填 pollfd 数组。
  2. poll 拷贝到内核遍历检查。
  3. 就绪事件回填数组,应用遍历处理。

代码或图示

poll(fds, nfds, timeout)
数组:{fd, events, revents}
无固定上限;仍 O(n) 扫描 + 每次拷贝

常见误区

  • 以为 poll 去掉了数量限制就适合高并发:扫描复杂度仍是瓶颈。
  • 以为 poll 事件回填在原数组:revents 字段由内核填充,events 保持关注位。

追问

  • poll 和 select 哪个在中等规模更方便?答:poll 数组管理更直观,无位图操作;大规模两者都让位于 epoll。
  • 高并发下 O(n) 具体慢在哪?答:遍历与检查每个 fd,连接空闲时也被扫描;epoll 只返回就绪集合。

01.1.2.4-007 epoll 的三个系统调用分别做什么?

一句话结论

epoll_create 创建 epoll 实例;epoll_ctl 注册/修改/删除监听 fd;epoll_wait 阻塞等待就绪事件并返回就绪列表;三件套完成多路复用的注册、维护与等待。

概念解释

  • create:生成内核事件对象,内含数据结构。
  • ctl:ADD/MOD/DEL 管理关注的 fd 与事件。
  • wait:返回就绪 fd 集合与事件,可设超时。

原理流程

  1. 创建实例。
  2. 把监听 socket 加入实例并关注事件。
  3. 调用 wait 等待;就绪后返回事件数组。

代码或图示

epoll_create1(0)
epoll_ctl(epfd, EPOLL_CTL_ADD, fd, &event)
epoll_wait(epfd, events, maxevents, timeout)

常见误区

  • 以为 epoll_wait 每次重新注册所有 fd:注册由 ctl 持久维护,wait 只取就绪集合。
  • 以为 epoll 实例对应一个连接:一个实例可管理大量 fd。

追问

  • epoll_create 老版本与 epoll_create1 区别?答:标志位参数差异,行为以本机 man 手册为准;旧接口 size 参数历史作用有限。
  • 一个 fd 能加入多个 epoll 实例吗?答:语义受限,通常一个 fd 归属一个 epoll;具体规则以内核实现为准。

01.1.2.4-008 epoll 内核数据结构是什么样的?

一句话结论

epoll 用红黑树管理已注册 fd(快速查找/增删),用就绪链表存放就绪事件;fd 就绪时加入链表,epoll_wait 只遍历就绪链表,避免全量扫描。

概念解释

  • 红黑树:按 fd 组织注册项,支持 O(log n) 增删查。
  • 就绪链表:满足条件的事件节点,wait 直接取走。
  • 回调:fd 就绪时内核回调把节点挂到就绪链表。

原理流程

  1. ctl 把 fd 节点插入红黑树。
  2. 设备/协议层就绪 → 回调加入就绪链表。
  3. wait 从链表取出就绪事件返回;未就绪留在树中。

代码或图示

注册集合:红黑树(fd 节点)
就绪队列:就绪链表
wait:只遍历就绪链表 → O(就绪数)

常见误区

  • 以为 epoll 用链表管理所有 fd:注册项在红黑树,只有就绪项进链表。
  • 以为 epoll always O(1):注册维护是 O(log n),等待返回随就绪数;空闲大量连接时优势明显。

追问

  • 为什么空闲连接不消耗 wait 扫描?答:未就绪不在就绪链表,wait 只挂起等待事件回调。
  • epoll 适合文件 IO 吗?答:普通文件多数时刻就绪,不适合 epoll 等待模型;网络/管道/socket 才是典型场景。

01.1.2.4-009 LT 和 ET 模式有什么区别?读写要注意什么?

一句话结论

LT(水平触发)只要 fd 满足可读/可写条件就持续通知;ET(边缘触发)只在状态变化时通知一次;ET 必须一次读到/写到无数据(EAGAIN),否则剩余事件不会再通知。

概念解释

  • LT:默认模式,未读完下次 wait 仍通知,编程宽松。
  • ET:状态边沿触发,通知一次;应用必须循环读写到 EAGAIN。
  • 风险:ET 下残留数据不继续读,连接可能挂住等待。

原理流程

  1. 注册时设置 EPOLLET。
  2. 数据到达边沿 → 通知一次。
  3. 循环读直到 EAGAIN;写同理直到缓冲不足。

代码或图示

LT:有数据就一直报可读 → 可分次读
ET:状态变化报一次 → 循环读到 EAGAIN,否则漏事件

常见误区

  • 以为 ET 更省资源就一定选 ET:ET 编程要求高,残留读写易出 bug;LT 稳定性优先。
  • ET 下用普通单次 read:剩余数据等待下一次边沿,可能长期不触发。

追问

  • ET 模式为什么通常配非阻塞 fd?答:必须读尽,阻塞读会在无数据时挂起;非阻塞读到 EAGAIN 即停。
  • 可写事件在 ET 下怎么处理?答:缓冲由满变空的边沿通知一次;写不完要等下次可写边沿,避免一直监听可写。

01.1.2.4-010 epoll 为什么比 select/poll 高效?

一句话结论

epoll 注册项持久在内核维护,无需每次拷贝全量集合;等待只返回就绪链表,不扫描空闲 fd;高并发且多数连接空闲时,优势随连接数放大。

概念解释

  • 省去每次全量拷贝与 O(n) 扫描。
  • 就绪回调直接挂链表,wait 成本与就绪数相关。
  • 连接少、都活跃时,三者差距不大。

原理流程

  1. 注册阶段建红黑树,后续不再重复传集合。
  2. 就绪回调进链表。
  3. wait 取链表,空闲连接零扫描。

代码或图示

select/poll:每次拷贝 + 扫描全部 n 个 fd
epoll:注册持久化 + 只返回就绪集合
高并发空闲连接:epoll 优势显著

常见误区

  • 以为 epoll 单请求更快:少量活跃连接时差别有限;优势在大规模空闲连接的可扩展性。
  • 以为 epoll 解决了所有网络性能问题:应用层处理、锁、下游瓶颈仍会限制吞吐。

追问

  • 跨平台等价机制有哪些?答:macOS/BSD kqueue,Windows IOCP;libuv/Netty 等封装屏蔽差异。
  • epoll 有什么已知坑?答:ET 残留读写、边缘事件漏处理、单核事件循环瓶颈;需配合多 Reactor。

01.1.2.4-011 fd 可读、可写、异常的就绪条件分别是什么?

一句话结论

可读:内核缓冲有数据、对端关闭、有错误待取;可写:发送缓冲有空余空间;异常:如带外数据/错误;条件由协议层判断后通知多路复用。

概念解释

  • 可读:数据到达、FIN 到达、错误挂起在 fd 上。
  • 可写:缓冲未填满,可继续发送。
  • 异常:协议特定事件(如 OOB 数据)。
  • 写事件注意:通常可写条件常满足,持续监听会忙轮询。

原理流程

  1. 协议层更新 fd 缓冲状态。
  2. 满足就绪条件触发 epoll 回调。
  3. 应用按事件类型读写或处理关闭/错误。

代码或图示

EPOLLIN:数据可读 / 对端关闭 / 待取错误
EPOLLOUT:发送缓冲可写
EPOLLERR/HUP:错误 / 挂起

常见误区

  • 以为 EPOLLIN 一定有业务数据:可能是 FIN 或错误,需读返回值判断。
  • 一直监听 EPOLLOUT:缓冲多数时空闲,会导致 wait 频繁返回空转。

追问

  • 对端关闭怎么检测?答:读到 0 字节(FIN)或 EPOLLHUP/ERR;应用据此关闭连接。
  • 半关闭怎么表现?答:对端只关写方向,本端仍可读剩余数据;TCP 全双工语义,详见 01.2.1。

01.1.2.4-012 什么是惊群?accept 队列有什么问题?

一句话结论

惊群是同一事件唤醒大量等待者,多数抢不到资源白醒一场;网络场景多进程/多线程 accept 同一监听 fd 时出现;现代内核通过 EPOLLEXCLUSIVE 等机制减少惊群。

概念解释

  • 唤醒成本:被唤醒线程竞争锁/连接,失败者重回等待。
  • accept 队列:新连接在内核半连接/全连接队列排队,accept 取全连接。
  • 优化:单 Reactor 监听 + worker 处理,或内核排他唤醒。

原理流程

  1. 多执行体监听同一监听 fd。
  2. 新连接到达唤醒全部。
  3. 仅一个 accept 成功,其余空转后重睡。

代码或图示

多线程/进程 listen fd ── 新连接 ── 全部唤醒 ── 仅一个成功
EPOLLEXCLUSIVE:排他唤醒,减少惊群

常见误区

  • 以为惊群只在 epoll 出现:锁等待、条件变量广播同样可能惊群。
  • 以为 accept 失败是错误:惊群下竞争者返回 EAGAIN/EWOULDBLOCK 属正常重试。

追问

  • 现代 Web 服务器怎么避免?答:主 Reactor 只接受连接,分发给 worker;或使用内核排他唤醒机制。
  • 连接积压看哪里?答:ss -lnt 看 Send-Q/Recv-Q,全连接队列溢出计数见 01.1.2.4-013。

01.1.2.4-013 backlog、半连接队列和全连接队列是什么?

一句话结论

半连接队列保存握手未完成(SYN_RCVD)的连接;全连接队列保存已完成握手等待 accept 的连接;backlog 是全连接队列上限,溢出时按内核策略丢弃或回 RST。

概念解释

  • 半连接(SYN 队列):收到 SYN、回 SYN-ACK,等最后 ACK。
  • 全连接(accept 队列):握手完成,等待应用 accept。
  • backlog:listen(fd, backlog) 与内核 somaxconn 取小值;溢出行为随版本/配置。

原理流程

  1. SYN 入半连接队列。
  2. 三次握手完成 → 移入全连接队列。
  3. 应用 accept 取出;队列满则新连接被拒绝/丢弃。

代码或图示

SYN → 半连接队列 → ACK 完成 → 全连接队列 → accept()
ss -lnt:Recv-Q 全连接等待数;Send-Q 队列上限

常见误区

  • 以为 backlog 限制总并发连接数:它只限制已完成握手待 accept 的队列长度。
  • 应用 accept 慢不影响连接建立:全连接队列满后新连接会被拒绝,表现为连接超时/重置。

追问

  • 怎么判断全连接队列溢出?答:ss -lnt 队列堆积;内核统计 ListenOverflows/ListenDrops(nstat/netstat -s)。
  • SYN 洪水打哪个队列?答:半连接队列;防护见 01.2.1.1 与 08 分册。

01.1.2.4-014 异步 IO(io_uring)是什么?传统 AIO 有什么历史问题?

一句话结论

io_uring 用共享环形队列提交与完成事件,应用提交后内核异步处理,完成事件回填队列;早期 Linux AIO 对普通文件支持受限、阻塞语义复杂,io_uring 重新设计了提交/完成接口。

概念解释

  • 提交队列/SQ:应用放入 IO 请求。
  • 完成队列/CQ:内核回填完成事件。
  • 异步:应用不阻塞等待拷贝,轮询/事件通知取完成结果。
  • 成熟度与接口细节随内核版本演进,待确认本机支持。

原理流程

  1. 建立 SQ/CQ 共享环。
  2. 提交请求入 SQ,内核处理。
  3. 完成事件入 CQ,应用取出结果。

代码或图示

SQ(提交环)→ 内核处理 → CQ(完成环)
异步:提交后不阻塞,完成后取事件

常见误区

  • 以为异步 IO 下所有操作都不阻塞:某些文件/设备路径仍可能阻塞内核工作线程,取决于实现。
  • 把老 AIO 体验套到 io_uring:接口与能力差异较大,按版本评估。

追问

  • io_uring 适合什么负载?答:高并发 IO 提交、批量读写、网络与文件混合;具体收益需压测。
  • 应用层怎么观测 CQ 延迟?答:记录提交与完成时间戳,统计完成延迟分布。

01.1.2.4-015 IOCP、kqueue 与 epoll 模型有什么对应关系?

一句话结论

epoll/kqueue 属于就绪通知型多路复用;Windows IOCP 是完成端口,提交异步操作后由完成队列返回结果,更接近异步 IO 模型;三者在事件循环框架下被统一封装。

概念解释

  • epoll:Linux,就绪通知,应用再读写。
  • kqueue:BSD/macOS,事件过滤器机制,支持多种事件类型。
  • IOCP:Windows,异步操作完成入完成队列,线程取完成结果。

原理流程

  1. 框架初始化对应平台机制。
  2. 注册连接/提交操作。
  3. 等待事件/完成包,分发处理回调。

代码或图示

Linux:epoll(就绪)
BSD/macOS:kqueue(事件过滤器)
Windows:IOCP(完成端口,异步完成队列)

常见误区

  • 以为 IOCP 也是就绪通知:它返回异步操作完成结果,模型层级不同。
  • 跨平台库不用关心差异:libuv/Netty 等已封装,但理解底层有助于定位问题。

追问

  • Node.js 跨平台用什么?答:Linux epoll、macOS kqueue、Windows IOCP,libuv 统一抽象。
  • 就绪模型在 Windows 怎么对应?答:也有 select 类接口;高性能服务走 IOCP。

01.1.2.4-016 IO 模型怎么选型?和线程池怎么配合?

一句话结论

并发等待多、长连接用多路复用事件循环;简单阻塞场景用线程池;CPU 密集任务单独隔离;混合模型用主 Reactor 接受连接、worker 池处理业务,避免阻塞事件循环。

概念解释

  • 事件循环:单线程等待大量连接,IO 回调快速处理。
  • worker 池:阻塞/计算任务卸载,保护事件循环不被卡住。
  • 隔离:网络 IO 线程与业务线程分池,下游慢不拖垮接入层。

原理流程

  1. 接入层多路复用监听连接。
  2. 快速非阻塞处理;重活交 worker 池。
  3. worker 完成后回写响应,背压通过队列长度控制。

代码或图示

主 Reactor:accept + 事件分发
worker 池:业务/阻塞任务
事件循环内禁止:同步阻塞调用、长计算

常见误区

  • 事件循环里做 RPC/DB 同步调用:阻塞等待卡住所有连接。
  • 所有任务塞一个池:IO 等待与 CPU 计算互相挤占,需隔离。

追问

  • 怎么判断事件循环被阻塞?答:事件循环延迟升高、事件堆积;监控轮询间隔与队列长度。
  • 连接池和线程池关系?答:线程执行任务,连接池持有下游连接;两者上限按下游容量与并发模型配置。

01.1.2.4-017 怎么用 strace、ss、lsof 跟踪和观测 IO?

一句话结论

strace 跟踪系统调用看 IO 路径与阻塞点,ss 看连接状态与队列,lsof 关联进程与 fd;组合定位连接卡在握手、读写还是关闭阶段。

概念解释

  • strace:跟踪 read/write/epoll_wait/recv 等调用与返回、错误码。
  • ss:socket 状态、队列长度、统计计数。
  • lsof:进程打开的 fd 类型与路径。

原理流程

  1. strace -f -tt -e trace=network,read,write,recv,send 看调用序列。
  2. ss -ant/-lnt 核对连接状态与队列。
  3. lsof -p <pid> 确认 fd 归属与类型。

代码或图示

strace -f -tt -e trace=epoll_wait,recv,send,read,write ./app
ss -ant state established
lsof -p <pid>

常见误区

  • strace 长时间挂生产:跟踪有开销,短时采样;高并发下输出量很大。
  • 只看 fd 不看状态:需要结合 ss 状态判断连接阶段。

追问

  • 怎么看系统调用耗时?答:strace -T 显示每次调用耗时;perf 跟踪内核态路径辅助分析。
  • EAGAIN/EWOULDBLOCK 出现说明什么?答:非阻塞下当前无数据/缓冲满,属正常重试节奏,不是错误。

01.1.2.4-018 信号驱动 IO 是怎么工作的?

一句话结论

信号驱动 IO 注册 SIGIO 通知,fd 就绪时内核发信号,应用在信号处理或后续流程中执行读写;使用少,因为信号处理受限且事件粒度有限。

概念解释

  • 注册:设置套接字信号驱动与处理函数。
  • 通知:就绪时触发 SIGIO。
  • 局限:信号上下文不能做复杂 IO,需回到主流程处理;多 fd 合并通知。

原理流程

  1. 开启信号驱动并安装处理器。
  2. fd 就绪 → 内核发送 SIGIO。
  3. 处理器置标志/记录,主循环读取处理。

代码或图示

注册 SIGIO → 就绪 → 信号通知 → 主流程读写

常见误区

  • 以为信号处理函数里直接 read 即可:处理器上下文受限,复杂操作应延后到主流程。
  • 以为信号驱动能区分可读可写:默认通知粒度粗,需进一步检查 fd 状态。

追问

  • 为什么主流高并发模型不选信号驱动?答:信号异步安全约束多、合并通知粒度粗,多路复用更可控。
  • SIGIO 和普通异步信号一样排队吗?答:信号可能合并,处理需复查所有就绪 fd,避免遗漏。