01.1.2.4 IO 模型与多路复用
所属:全栈开发面试题库 / 01 计算机基础与通用工程 / 01.1 操作系统 / 01.1.2 内存文件与 IO
01.1.2.4-001 五种 IO 模型分别是什么?
一句话结论
五种模型:阻塞 IO、非阻塞 IO、IO 多路复用、信号驱动 IO、异步 IO;区别在于等待数据阶段是否阻塞、数据拷贝阶段由谁完成。
概念解释
- 阻塞 IO:等待数据与拷贝都阻塞在调用上。
- 非阻塞 IO:未就绪立即返回,应用轮询。
- 多路复用:一次等待多个 fd,就绪后再操作。
- 信号驱动:就绪时发信号通知,再处理。
- 异步 IO:提交后内核完成数据准备与拷贝,回调通知。
原理流程
- 发起 IO 请求。
- 等待数据到达内核缓冲。
- 数据从内核拷贝到用户空间,模型决定两阶段是否阻塞/谁等待。
代码或图示
阻塞:全程阻塞
非阻塞:未就绪返回 + 轮询
多路复用:select/poll/epoll 等多 fd
信号驱动:SIGIO 通知就绪
异步 IO:内核完成后回调
常见误区
- 把多路复用当成异步 IO:epoll 等待就绪是同步模型,数据拷贝仍在用户调用时阻塞/非阻塞完成。
- 以为非阻塞就是异步:非阻塞只改变等待阶段返回方式,拷贝阶段语义另算。
追问
- 数据拷贝分哪两步?答:内核等待数据到达内核缓冲;再从内核缓冲拷贝到用户缓冲。
- 哪种模型等待阶段不占线程?答:多路复用与异步 IO 可单线程等待多连接;阻塞模型一连接一线程。
01.1.2.4-002 同步/异步与阻塞/非阻塞怎么区分?
一句话结论
阻塞/非阻塞描述调用等待时是否挂起线程;同步/异步描述数据完成后由谁通知、谁执行后续拷贝与处理;两组维度正交,不要混为一谈。
概念解释
- 阻塞:调用未完成前线程挂起等待。
- 非阻塞:未就绪立即返回,不挂起。
- 同步:调用方等待结果(可能阻塞或轮询);异步:完成后回调/通知,不主动等待。
原理流程
- 选择 fd 是否非阻塞(等待阶段行为)。
- 选择等待方式:直接阻塞、轮询、多路复用、信号、回调。
- 数据拷贝与后续处理按模型归属调用方或内核。
代码或图示
阻塞/非阻塞:等待时挂起还是立即返回
同步/异步:后续由调用方等待还是内核回调通知
常见误区
- 以为非阻塞 = 异步:非阻塞 socket 仍需应用反复检查,属于同步范畴。
- 以为多路复用是异步:epoll_wait 返回就绪后,读写仍由应用同步发起。
追问
- Java NIO 的多路复用对应哪种?答:同步多路复用,通道就绪后由应用读写;AIO 才是异步回调模型。
- 异步 IO 数据拷贝在哪完成?答:内核完成准备与拷贝后通知应用,应用不阻塞等待拷贝。
01.1.2.4-003 阻塞 IO 的流程和代价是什么?
一句话结论
阻塞 IO 在数据未就绪时把线程挂起,内核就绪后唤醒并完成拷贝;模型简单,但每个等待连接占一个线程,高并发下线程数与切换成本失控。
概念解释
- 等待阶段:线程进入睡眠队列,不占 CPU。
- 拷贝阶段:数据从内核缓冲到用户缓冲。
- 代价:线程栈内存、调度切换、上下文随连接数线性增长。
原理流程
- 调用 read/recv,fd 无数据。
- 线程挂起等待。
- 数据到达 → 唤醒 → 拷贝到用户缓冲 → 返回。
代码或图示
read() → 无数据 → 挂起 → 数据到达 → 唤醒拷贝 → 返回
一连接一线程:线程数 ≈ 并发连接数
常见误区
- 以为阻塞线程占 CPU:睡眠等待不占 CPU,占用的是线程栈与调度资源。
- 阻塞模型无法服务高并发:配合线程池限制并发数,但排队等待会拉长延迟。
追问
- 阻塞读和阻塞写有什么不同代价?答:读等待对端数据;写在缓冲满时等待对端接收;都可能挂起线程。
- 线程池怎么缓解?答:限制同时阻塞的线程数,超出排队;适合并发量可控的内部服务。
01.1.2.4-004 非阻塞 IO 怎么工作?为什么要配合轮询?
一句话结论
fd 设为非阻塞后,未就绪调用立即返回 EAGAIN/EWOULDBLOCK,应用反复检查直到就绪;单独使用是忙等,通常配合多路复用在事件就绪后再操作。
概念解释
- 非阻塞不挂起线程,返回错误表示稍后再试。
- 纯轮询空转浪费 CPU;多路复用替代主动轮询,只在就绪 fd 上操作。
- 读写需处理短读/短写:未读完要继续等下次就绪。
原理流程
- 设置
O_NONBLOCK。 - 调用未就绪 → 返回 EAGAIN。
- 经 epoll 等通知就绪后,再读写到缓冲不足。
代码或图示
recv() → EAGAIN → 稍后重试
配合 epoll:等可读事件 → 一次读尽/读到 EAGAIN
常见误区
- 非阻塞 socket 不会阻塞:缓冲满的写/特殊场景仍可能返回错误,需按非阻塞语义处理。
- 轮询间隔越短越好:忙等占 CPU;事件通知才是高效等待方式。
追问
- 非阻塞下怎么判断读完?答:读到 EAGAIN/EWOULDBLOCK 或返回长度小于请求长度;ET 模式必须读尽。
- 为什么多路复用要配非阻塞 fd?答:避免就绪后读写在缓冲不足时意外挂起线程,卡住事件循环。
01.1.2.4-005 select 的结构、限制和复杂度是什么?
一句话结论
select 用 fd 集合位图传入待监听描述符,内核遍历集合检查就绪;有 FD 数量上限(如 1024,受宏定义限制),每次调用重新拷贝集合,O(n) 扫描,连接数大时效率低。
概念解释
- 集合:readfds/writefds/exceptfds,位图标记 fd。
- 限制:
FD_SETSIZE上限;跨平台数量不同。 - 复杂度:每次遍历所有传入 fd,随数量线性增长。
原理流程
- 应用构造 fd 集合。
- select 拷贝集合到内核,遍历检查就绪。
- 返回就绪数量,应用再遍历集合定位。
代码或图示
select(n, &rfds, &wfds, &efds, timeout)
→ 拷贝集合 → O(n) 扫描 → 返回就绪数
限制:FD_SETSIZE(典型 1024)
常见误区
- 以为 select 返回值直接给出就绪 fd:返回数量,仍需遍历位图逐个检查。
- 以为 select 适合海量连接:上限与 O(n) 扫描使其在高并发下被 epoll 取代。
追问
- select 时间精度?答:超时参数为微秒级;实际精度受系统调度影响。
- 跨平台为什么仍用 select?答:可移植性好,Windows 网络编程历史上主要支持 select 类接口。
01.1.2.4-006 poll 相比 select 改进了什么?局限在哪?
一句话结论
poll 用 pollfd 数组替代位图,去掉固定数量上限;但仍每次拷贝数组、O(n) 扫描就绪,连接规模大时性能问题与 select 类似。
概念解释
- pollfd:fd + 关注事件 + 返回事件,数组长度由应用决定。
- 改进:无位图宏上限,事件位更清晰。
- 局限:每次调用全量扫描,内核/用户态数组拷贝成本随 n 增长。
原理流程
- 应用填 pollfd 数组。
- poll 拷贝到内核遍历检查。
- 就绪事件回填数组,应用遍历处理。
代码或图示
poll(fds, nfds, timeout)
数组:{fd, events, revents}
无固定上限;仍 O(n) 扫描 + 每次拷贝
常见误区
- 以为 poll 去掉了数量限制就适合高并发:扫描复杂度仍是瓶颈。
- 以为 poll 事件回填在原数组:revents 字段由内核填充,events 保持关注位。
追问
- poll 和 select 哪个在中等规模更方便?答:poll 数组管理更直观,无位图操作;大规模两者都让位于 epoll。
- 高并发下 O(n) 具体慢在哪?答:遍历与检查每个 fd,连接空闲时也被扫描;epoll 只返回就绪集合。
01.1.2.4-007 epoll 的三个系统调用分别做什么?
一句话结论
epoll_create 创建 epoll 实例;epoll_ctl 注册/修改/删除监听 fd;epoll_wait 阻塞等待就绪事件并返回就绪列表;三件套完成多路复用的注册、维护与等待。
概念解释
- create:生成内核事件对象,内含数据结构。
- ctl:ADD/MOD/DEL 管理关注的 fd 与事件。
- wait:返回就绪 fd 集合与事件,可设超时。
原理流程
- 创建实例。
- 把监听 socket 加入实例并关注事件。
- 调用 wait 等待;就绪后返回事件数组。
代码或图示
epoll_create1(0)
epoll_ctl(epfd, EPOLL_CTL_ADD, fd, &event)
epoll_wait(epfd, events, maxevents, timeout)
常见误区
- 以为 epoll_wait 每次重新注册所有 fd:注册由 ctl 持久维护,wait 只取就绪集合。
- 以为 epoll 实例对应一个连接:一个实例可管理大量 fd。
追问
- epoll_create 老版本与
epoll_create1区别?答:标志位参数差异,行为以本机 man 手册为准;旧接口 size 参数历史作用有限。 - 一个 fd 能加入多个 epoll 实例吗?答:语义受限,通常一个 fd 归属一个 epoll;具体规则以内核实现为准。
01.1.2.4-008 epoll 内核数据结构是什么样的?
一句话结论
epoll 用红黑树管理已注册 fd(快速查找/增删),用就绪链表存放就绪事件;fd 就绪时加入链表,epoll_wait 只遍历就绪链表,避免全量扫描。
概念解释
- 红黑树:按 fd 组织注册项,支持 O(log n) 增删查。
- 就绪链表:满足条件的事件节点,wait 直接取走。
- 回调:fd 就绪时内核回调把节点挂到就绪链表。
原理流程
- ctl 把 fd 节点插入红黑树。
- 设备/协议层就绪 → 回调加入就绪链表。
- wait 从链表取出就绪事件返回;未就绪留在树中。
代码或图示
注册集合:红黑树(fd 节点)
就绪队列:就绪链表
wait:只遍历就绪链表 → O(就绪数)
常见误区
- 以为 epoll 用链表管理所有 fd:注册项在红黑树,只有就绪项进链表。
- 以为 epoll always O(1):注册维护是 O(log n),等待返回随就绪数;空闲大量连接时优势明显。
追问
- 为什么空闲连接不消耗 wait 扫描?答:未就绪不在就绪链表,wait 只挂起等待事件回调。
- epoll 适合文件 IO 吗?答:普通文件多数时刻就绪,不适合 epoll 等待模型;网络/管道/socket 才是典型场景。
01.1.2.4-009 LT 和 ET 模式有什么区别?读写要注意什么?
一句话结论
LT(水平触发)只要 fd 满足可读/可写条件就持续通知;ET(边缘触发)只在状态变化时通知一次;ET 必须一次读到/写到无数据(EAGAIN),否则剩余事件不会再通知。
概念解释
- LT:默认模式,未读完下次 wait 仍通知,编程宽松。
- ET:状态边沿触发,通知一次;应用必须循环读写到 EAGAIN。
- 风险:ET 下残留数据不继续读,连接可能挂住等待。
原理流程
- 注册时设置
EPOLLET。 - 数据到达边沿 → 通知一次。
- 循环读直到 EAGAIN;写同理直到缓冲不足。
代码或图示
LT:有数据就一直报可读 → 可分次读
ET:状态变化报一次 → 循环读到 EAGAIN,否则漏事件
常见误区
- 以为 ET 更省资源就一定选 ET:ET 编程要求高,残留读写易出 bug;LT 稳定性优先。
- ET 下用普通单次 read:剩余数据等待下一次边沿,可能长期不触发。
追问
- ET 模式为什么通常配非阻塞 fd?答:必须读尽,阻塞读会在无数据时挂起;非阻塞读到 EAGAIN 即停。
- 可写事件在 ET 下怎么处理?答:缓冲由满变空的边沿通知一次;写不完要等下次可写边沿,避免一直监听可写。
01.1.2.4-010 epoll 为什么比 select/poll 高效?
一句话结论
epoll 注册项持久在内核维护,无需每次拷贝全量集合;等待只返回就绪链表,不扫描空闲 fd;高并发且多数连接空闲时,优势随连接数放大。
概念解释
- 省去每次全量拷贝与 O(n) 扫描。
- 就绪回调直接挂链表,wait 成本与就绪数相关。
- 连接少、都活跃时,三者差距不大。
原理流程
- 注册阶段建红黑树,后续不再重复传集合。
- 就绪回调进链表。
- wait 取链表,空闲连接零扫描。
代码或图示
select/poll:每次拷贝 + 扫描全部 n 个 fd
epoll:注册持久化 + 只返回就绪集合
高并发空闲连接:epoll 优势显著
常见误区
- 以为 epoll 单请求更快:少量活跃连接时差别有限;优势在大规模空闲连接的可扩展性。
- 以为 epoll 解决了所有网络性能问题:应用层处理、锁、下游瓶颈仍会限制吞吐。
追问
- 跨平台等价机制有哪些?答:macOS/BSD kqueue,Windows IOCP;libuv/Netty 等封装屏蔽差异。
- epoll 有什么已知坑?答:ET 残留读写、边缘事件漏处理、单核事件循环瓶颈;需配合多 Reactor。
01.1.2.4-011 fd 可读、可写、异常的就绪条件分别是什么?
一句话结论
可读:内核缓冲有数据、对端关闭、有错误待取;可写:发送缓冲有空余空间;异常:如带外数据/错误;条件由协议层判断后通知多路复用。
概念解释
- 可读:数据到达、FIN 到达、错误挂起在 fd 上。
- 可写:缓冲未填满,可继续发送。
- 异常:协议特定事件(如 OOB 数据)。
- 写事件注意:通常可写条件常满足,持续监听会忙轮询。
原理流程
- 协议层更新 fd 缓冲状态。
- 满足就绪条件触发 epoll 回调。
- 应用按事件类型读写或处理关闭/错误。
代码或图示
EPOLLIN:数据可读 / 对端关闭 / 待取错误
EPOLLOUT:发送缓冲可写
EPOLLERR/HUP:错误 / 挂起
常见误区
- 以为 EPOLLIN 一定有业务数据:可能是 FIN 或错误,需读返回值判断。
- 一直监听 EPOLLOUT:缓冲多数时空闲,会导致 wait 频繁返回空转。
追问
- 对端关闭怎么检测?答:读到 0 字节(FIN)或 EPOLLHUP/ERR;应用据此关闭连接。
- 半关闭怎么表现?答:对端只关写方向,本端仍可读剩余数据;TCP 全双工语义,详见 01.2.1。
01.1.2.4-012 什么是惊群?accept 队列有什么问题?
一句话结论
惊群是同一事件唤醒大量等待者,多数抢不到资源白醒一场;网络场景多进程/多线程 accept 同一监听 fd 时出现;现代内核通过 EPOLLEXCLUSIVE 等机制减少惊群。
概念解释
- 唤醒成本:被唤醒线程竞争锁/连接,失败者重回等待。
- accept 队列:新连接在内核半连接/全连接队列排队,accept 取全连接。
- 优化:单 Reactor 监听 + worker 处理,或内核排他唤醒。
原理流程
- 多执行体监听同一监听 fd。
- 新连接到达唤醒全部。
- 仅一个 accept 成功,其余空转后重睡。
代码或图示
多线程/进程 listen fd ── 新连接 ── 全部唤醒 ── 仅一个成功
EPOLLEXCLUSIVE:排他唤醒,减少惊群
常见误区
- 以为惊群只在 epoll 出现:锁等待、条件变量广播同样可能惊群。
- 以为 accept 失败是错误:惊群下竞争者返回 EAGAIN/EWOULDBLOCK 属正常重试。
追问
- 现代 Web 服务器怎么避免?答:主 Reactor 只接受连接,分发给 worker;或使用内核排他唤醒机制。
- 连接积压看哪里?答:
ss -lnt看 Send-Q/Recv-Q,全连接队列溢出计数见 01.1.2.4-013。
01.1.2.4-013 backlog、半连接队列和全连接队列是什么?
一句话结论
半连接队列保存握手未完成(SYN_RCVD)的连接;全连接队列保存已完成握手等待 accept 的连接;backlog 是全连接队列上限,溢出时按内核策略丢弃或回 RST。
概念解释
- 半连接(SYN 队列):收到 SYN、回 SYN-ACK,等最后 ACK。
- 全连接(accept 队列):握手完成,等待应用 accept。
- backlog:
listen(fd, backlog)与内核somaxconn取小值;溢出行为随版本/配置。
原理流程
- SYN 入半连接队列。
- 三次握手完成 → 移入全连接队列。
- 应用 accept 取出;队列满则新连接被拒绝/丢弃。
代码或图示
SYN → 半连接队列 → ACK 完成 → 全连接队列 → accept()
ss -lnt:Recv-Q 全连接等待数;Send-Q 队列上限
常见误区
- 以为 backlog 限制总并发连接数:它只限制已完成握手待 accept 的队列长度。
- 应用 accept 慢不影响连接建立:全连接队列满后新连接会被拒绝,表现为连接超时/重置。
追问
- 怎么判断全连接队列溢出?答:
ss -lnt队列堆积;内核统计ListenOverflows/ListenDrops(nstat/netstat -s)。 - SYN 洪水打哪个队列?答:半连接队列;防护见 01.2.1.1 与 08 分册。
01.1.2.4-014 异步 IO(io_uring)是什么?传统 AIO 有什么历史问题?
一句话结论
io_uring 用共享环形队列提交与完成事件,应用提交后内核异步处理,完成事件回填队列;早期 Linux AIO 对普通文件支持受限、阻塞语义复杂,io_uring 重新设计了提交/完成接口。
概念解释
- 提交队列/SQ:应用放入 IO 请求。
- 完成队列/CQ:内核回填完成事件。
- 异步:应用不阻塞等待拷贝,轮询/事件通知取完成结果。
- 成熟度与接口细节随内核版本演进,待确认本机支持。
原理流程
- 建立 SQ/CQ 共享环。
- 提交请求入 SQ,内核处理。
- 完成事件入 CQ,应用取出结果。
代码或图示
SQ(提交环)→ 内核处理 → CQ(完成环)
异步:提交后不阻塞,完成后取事件
常见误区
- 以为异步 IO 下所有操作都不阻塞:某些文件/设备路径仍可能阻塞内核工作线程,取决于实现。
- 把老 AIO 体验套到 io_uring:接口与能力差异较大,按版本评估。
追问
- io_uring 适合什么负载?答:高并发 IO 提交、批量读写、网络与文件混合;具体收益需压测。
- 应用层怎么观测 CQ 延迟?答:记录提交与完成时间戳,统计完成延迟分布。
01.1.2.4-015 IOCP、kqueue 与 epoll 模型有什么对应关系?
一句话结论
epoll/kqueue 属于就绪通知型多路复用;Windows IOCP 是完成端口,提交异步操作后由完成队列返回结果,更接近异步 IO 模型;三者在事件循环框架下被统一封装。
概念解释
- epoll:Linux,就绪通知,应用再读写。
- kqueue:BSD/macOS,事件过滤器机制,支持多种事件类型。
- IOCP:Windows,异步操作完成入完成队列,线程取完成结果。
原理流程
- 框架初始化对应平台机制。
- 注册连接/提交操作。
- 等待事件/完成包,分发处理回调。
代码或图示
Linux:epoll(就绪)
BSD/macOS:kqueue(事件过滤器)
Windows:IOCP(完成端口,异步完成队列)
常见误区
- 以为 IOCP 也是就绪通知:它返回异步操作完成结果,模型层级不同。
- 跨平台库不用关心差异:libuv/Netty 等已封装,但理解底层有助于定位问题。
追问
- Node.js 跨平台用什么?答:Linux epoll、macOS kqueue、Windows IOCP,libuv 统一抽象。
- 就绪模型在 Windows 怎么对应?答:也有 select 类接口;高性能服务走 IOCP。
01.1.2.4-016 IO 模型怎么选型?和线程池怎么配合?
一句话结论
并发等待多、长连接用多路复用事件循环;简单阻塞场景用线程池;CPU 密集任务单独隔离;混合模型用主 Reactor 接受连接、worker 池处理业务,避免阻塞事件循环。
概念解释
- 事件循环:单线程等待大量连接,IO 回调快速处理。
- worker 池:阻塞/计算任务卸载,保护事件循环不被卡住。
- 隔离:网络 IO 线程与业务线程分池,下游慢不拖垮接入层。
原理流程
- 接入层多路复用监听连接。
- 快速非阻塞处理;重活交 worker 池。
- worker 完成后回写响应,背压通过队列长度控制。
代码或图示
主 Reactor:accept + 事件分发
worker 池:业务/阻塞任务
事件循环内禁止:同步阻塞调用、长计算
常见误区
- 事件循环里做 RPC/DB 同步调用:阻塞等待卡住所有连接。
- 所有任务塞一个池:IO 等待与 CPU 计算互相挤占,需隔离。
追问
- 怎么判断事件循环被阻塞?答:事件循环延迟升高、事件堆积;监控轮询间隔与队列长度。
- 连接池和线程池关系?答:线程执行任务,连接池持有下游连接;两者上限按下游容量与并发模型配置。
01.1.2.4-017 怎么用 strace、ss、lsof 跟踪和观测 IO?
一句话结论
strace 跟踪系统调用看 IO 路径与阻塞点,ss 看连接状态与队列,lsof 关联进程与 fd;组合定位连接卡在握手、读写还是关闭阶段。
概念解释
- strace:跟踪 read/write/epoll_wait/recv 等调用与返回、错误码。
- ss:socket 状态、队列长度、统计计数。
- lsof:进程打开的 fd 类型与路径。
原理流程
strace -f -tt -e trace=network,read,write,recv,send看调用序列。ss -ant/-lnt核对连接状态与队列。lsof -p <pid>确认 fd 归属与类型。
代码或图示
strace -f -tt -e trace=epoll_wait,recv,send,read,write ./app
ss -ant state established
lsof -p <pid>
常见误区
- strace 长时间挂生产:跟踪有开销,短时采样;高并发下输出量很大。
- 只看 fd 不看状态:需要结合 ss 状态判断连接阶段。
追问
- 怎么看系统调用耗时?答:strace -T 显示每次调用耗时;
perf跟踪内核态路径辅助分析。 - EAGAIN/EWOULDBLOCK 出现说明什么?答:非阻塞下当前无数据/缓冲满,属正常重试节奏,不是错误。
01.1.2.4-018 信号驱动 IO 是怎么工作的?
一句话结论
信号驱动 IO 注册 SIGIO 通知,fd 就绪时内核发信号,应用在信号处理或后续流程中执行读写;使用少,因为信号处理受限且事件粒度有限。
概念解释
- 注册:设置套接字信号驱动与处理函数。
- 通知:就绪时触发 SIGIO。
- 局限:信号上下文不能做复杂 IO,需回到主流程处理;多 fd 合并通知。
原理流程
- 开启信号驱动并安装处理器。
- fd 就绪 → 内核发送 SIGIO。
- 处理器置标志/记录,主循环读取处理。
代码或图示
注册 SIGIO → 就绪 → 信号通知 → 主流程读写
常见误区
- 以为信号处理函数里直接 read 即可:处理器上下文受限,复杂操作应延后到主流程。
- 以为信号驱动能区分可读可写:默认通知粒度粗,需进一步检查 fd 状态。
追问
- 为什么主流高并发模型不选信号驱动?答:信号异步安全约束多、合并通知粒度粗,多路复用更可控。
- SIGIO 和普通异步信号一样排队吗?答:信号可能合并,处理需复查所有就绪 fd,避免遗漏。