11.2.1.3 IO 磁盘与连接池故障
所属:全栈开发面试题库 / 11 跨领域综合场景题 / 11.2 故障排查与稳定性 / 11.2.1 故障排查与稳定性
11.2.1.3-001 磁盘 IO 高怎么整体定位?
一句话结论
先看 IO 利用率、吞吐与等待时间,区分是磁盘带宽饱和还是单次 IO 延迟高;定位到具体进程与文件,再判断是数据库写入、日志、批量任务还是存储本身问题;CPU 不高而请求慢时优先怀疑 IO 等待。
概念解释
- 利用率:磁盘忙碌比例。
- 吞吐:读写字节/IOPS。
- 等待:进程等待 IO 完成的时间。
原理流程
- 看 IO 指标确认是否饱和/延迟高。
- 定位高 IO 进程与文件。
- 判断 IO 来源(DB/日志/任务)。
- 优化或分流,观察 IO 回落。
代码或图示
iostat -x 1 # 看 util、await、读写吞吐(字段按手册核对)
iotop # 按进程看 IO
D 状态线程:等待磁盘 IO
常见误区
- IO 高就加磁盘:先确认是哪类 IO、是否可优化。
- 忽视 await 延迟:吞吐不高但单次慢,可能存储抖动。
追问
- IO 饱和和 IO 延迟高区别?答:饱和是队列堆积、利用率满;延迟高是单次响应慢,可能存储/网络问题。
- 进程 D 状态说明什么?答:处于不可中断 IO 等待,需查磁盘与存储链路。
11.2.1.3-002 iostat/iotop 输出怎么判读?
一句话结论
iostat 看设备级 util(忙碌度)、await(平均等待)、r/s w/s 与吞吐;iotop 看进程级读写速率;结合二者判断是磁盘整体瓶颈还是单进程大量 IO,字段含义以对应工具手册为准。
概念解释
- util:设备处理 IO 的时间占比。
- await:IO 从提交到完成的平均时间。
- 进程 IO:iotop 按进程聚合读写。
原理流程
- iostat 确认设备是否饱和、延迟是否升高。
- iotop 定位高 IO 进程。
- 结合进程身份判断来源。
- 下钻文件/数据库/日志。
代码或图示
iostat -x 1
关注:%util、await、rMB/s wMB/s、r/s w/s
iotop -o
关注:进程 PID、读写速率、交换量
常见误区
- 只看吞吐不看 await:延迟型问题被忽略。
- 工具版本字段差异:不核对手册导致误读。
追问
- util 100% 一定饱和吗?答:接近持续满负荷需关注,具体结合队列长度与 await 判断,单盘与多盘表现不同。
- await 升高但吞吐不高?答:可能存储抖动、网络盘延迟或 IO 队列阻塞。
11.2.1.3-003 磁盘空间满怎么排查处置?
一句话结论
先看分区使用率与 inode 占用,定位大文件与增长目录;区分日志、数据、临时文件与镜像;清理前确认文件用途与是否被进程占用(已删除未释放句柄),扩容或清理后验证服务恢复。
概念解释
- 空间满:数据块耗尽。
- inode 满:小文件过多,空间未占满但无法新建文件。
- 占用句柄:删除文件但进程未释放,空间不回收。
原理流程
- 查看分区使用率与 inode。
- 定位大文件/大目录。
- 确认文件用途与占用进程。
- 安全清理或扩容,验证回收。
代码或图示
df -h # 分区使用率
df -i # inode 占用
du -xh --max-depth=1 # 目录大小(按环境工具确认)
已删除占用:lsof 查看 deleted 句柄
常见误区
- 直接删大文件空间不释放:进程仍持有句柄,需重启进程或截断文件。
- 删数据库/数据文件:造成数据损坏,需走备份与恢复流程。
追问
- 日志写满怎么根治?答:日志轮转(按大小/时间)、级别控制、集中采集,避免本地无限增长。
- inode 满怎么处理?答:清理大量小文件(临时文件/缓存),评估文件数量增长趋势。
11.2.1.3-004 慢 SQL 与数据库 IO 怎么关联?
一句话结论
慢查询产生大量物理读或写入,推高磁盘 IO;通过慢查询日志、执行计划与 IO 指标关联,定位全表扫描、缺索引、大事务写入;先优化 SQL/索引,再评估存储扩容。
概念解释
- 物理读:从磁盘加载数据页。
- 全表扫描:无索引逐行匹配。
- 大事务:批量写入产生集中 IO。
原理流程
- 数据库侧提取慢 SQL 与执行计划。
- 关联磁盘 IO 高峰时段。
- 定位扫描行数、缺索引、大事务。
- 优化后观察 IO 与 RT 回落。
代码或图示
慢查询日志:执行时长、扫描行数、返回行数
执行计划:访问类型、索引使用、扫描范围
IO 高峰 ↔ 慢 SQL 时段对齐
常见误区
- IO 高就扩盘:SQL 缺索引导致的读放大未解决。
- 只看执行时长:扫描行数大的 SQL 即使返回少也耗 IO。
追问
- 怎么判断是读 IO 还是写 IO?答:iostat 读写方向拆分,结合数据库查询量与写入事务量。
- 大事务 IO 问题怎么缓解?答:拆分批量提交、控制单事务规模,避免长事务持锁与集中刷盘。
11.2.1.3-005 连接池打满怎么定位?
一句话结论
连接池耗尽表现为获取连接超时、等待队列增长;看池活跃/空闲连接数、等待线程与慢占用连接;定位是连接泄漏(用完未归还)、慢查询占用还是池容量不足;先限流止血,再查占用来源。
概念解释
- 活跃连接:正在使用的连接。
- 空闲连接:池中可用。
- 等待队列:申请连接阻塞的线程。
原理流程
- 看连接池指标:活跃、空闲、等待数。
- 检查占用连接的慢 SQL/长事务。
- 核对连接是否归还(泄漏)。
- 评估容量与泄漏修复。
代码或图示
池指标:active / idle / pending 等待
数据库侧:当前连接、状态、执行语句、时长
泄漏:连接借出后异常未 close/归还
常见误区
- 打满就调大池:慢查询/泄漏未解决,池更大只是堆积更多连接。
- 忽视等待队列:只看活跃数无法判断是否阻塞。
追问
- 连接池大小怎么定?答:结合数据库最大连接数与单连接处理能力,压测得出,不是越大越好。
- 连接泄漏怎么发现?答:监控借出未归还连接数,开启连接泄漏检测(按框架版本确认),定期回收泄漏连接。
11.2.1.3-006 数据库连接耗尽怎么排查?
一句话结论
数据库侧查看连接来源、状态与执行语句,区分应用连接池耗尽、连接风暴(实例数 × 池大小超限)、长事务占用与异常重连;核对应用实例数与池配置乘积是否超数据库上限。
概念解释
- 连接风暴:多实例各自建池,总连接超库上限。
- 长事务:连接长时间持有。
- 异常重连:故障期间反复重建连接。
原理流程
- 数据库侧按来源统计连接。
- 查看连接状态与语句时长。
- 核对实例数 × 池配置。
- 定位长事务/泄漏/重连并处置。
代码或图示
库侧:连接列表、来源地址、状态、当前语句、时长
容量:实例数 × (池最大连接) ≤ 数据库上限
异常:连接频繁断开重连、长事务未提交
常见误区
- 只在应用侧看池:数据库侧连接来源与状态更直接。
- 池配置按单实例估算:多实例乘积才是总连接需求。
追问
- 数据库最大连接数怎么评估?答:按业务峰值连接需求 + 预留,结合数据库规格与内存,压测验证。
- 连接被长事务占住怎么办?答:定位事务来源,必要时终止异常会话,修复未提交事务逻辑。
11.2.1.3-007 慢连接与长事务怎么识别?
一句话结论
慢连接表现为连接持有时间长、执行语句慢或事务未提交;从数据库会话视图看会话状态、时长与当前语句,结合应用 trace 定位入口;长事务还会持锁、阻塞其他会话并推高连接占用。
概念解释
- 会话时长:连接建立/事务持续时间。
- 锁等待:会话被其他事务阻塞。
- 未提交:事务结束未提交/回滚。
原理流程
- 数据库会话视图按时长排序。
- 查看当前语句与事务状态。
- 关联应用 trace 找入口。
- 处置异常会话并修复事务边界。
代码或图示
会话视图:状态、时长、当前语句、等待事件
长事务:未提交、持锁、阻塞后续会话
关联:traceId / 业务标识 → 应用入口
常见误区
- 只看执行时间不看事务时长:事务内多次操作累计持有连接。
- 终止会话不查根因:同类长事务再次出现。
追问
- 长事务有哪些危害?答:持锁阻塞、连接占用、回滚段膨胀、复制延迟。
- 事务边界怎么设计?答:短事务,只包含必须原子的操作,远程调用/通知移出事务。
11.2.1.3-008 文件句柄泄漏怎么从 IO 角度排查?
一句话结论
句柄泄漏表现为文件/socket 描述符持续增长直至耗尽;统计进程 fd 分类,定位未关闭的流、连接或临时文件;核对资源使用后是否在 finally/try-with-resources 类机制中释放。
概念解释
- fd 分类:普通文件、socket、管道。
- 泄漏路径:异常分支未关闭、连接未归还。
- 释放机制:自动资源管理或显式关闭。
原理流程
- 确认报错与当前 fd 上限。
- 列出进程 fd 按类型/路径分组。
- 定位泄漏资源类型与代码路径。
- 修复释放逻辑并监控 fd 趋势。
代码或图示
fd 列表:按 socket / 文件 / 路径分组计数
异常分支:catch 后未关闭资源
修复:资源自动释放语法或 finally 关闭
常见误区
- 正常分支关闭异常分支遗漏:需检查所有退出路径。
- 连接交给池管理却未归还:池连接泄漏同样占 fd。
追问
- 怎么监控句柄泄漏?答:采集 fd 数量趋势告警,持续增长即排查。
- 临时文件不删除有什么问题?答:占磁盘与 inode,需用完即删或定时清理。
11.2.1.3-009 日志写爆磁盘怎么处理?
一句话结论
日志量突增先确认是错误日志暴涨、调试级别未关还是日志配置问题;临时压缩/轮转清理释放空间,止血后调整日志级别、批量异步写入与保留周期;避免直接删除正在写入的大文件而不释放句柄。
概念解释
- 日志暴涨:错误重试、调试级别、大对象打印。
- 轮转:按大小/时间切割归档。
- 异步写入:日志 IO 不阻塞业务线程。
原理流程
- 定位增长最快的日志文件与来源。
- 临时轮转/截断释放空间。
- 调整级别、采样与保留策略。
- 验证磁盘水位回落。
代码或图示
定位:大日志文件、增长速率、报错关键字
处置:轮转归档 / 截断(确认句柄释放)
根治:日志级别、采样、异步 appender、保留周期
常见误区
- 关闭磁盘告警不处理:日志继续增长再次写满。
- 同步打印大对象:IO 与业务线程双重阻塞。
追问
- 错误日志暴涨说明什么?答:可能下游故障被反复重试,需结合错误码与重试策略排查。
- 日志保留多久?答:按排障与合规需要设定周期,过期自动清理。
11.2.1.3-010 网络磁盘/存储延迟高怎么判断?
一句话结论
云盘/网络存储延迟表现为 await 升高、IO 吞吐受限;区分本地磁盘与网络存储,看存储侧指标(延迟、限流、容量)与网络链路;应用侧 IO 等待升高而本地 CPU/磁盘无瓶颈时,下钻存储与网络。
概念解释
- 网络存储:经网络访问的块存储/文件存储。
- 存储限流:配额 IOPS/吞吐被限制。
- 链路延迟:网络往返叠加到 IO 完成时间。
原理流程
- 确认存储类型与挂载方式。
- 对比 IO 延迟与存储侧指标。
- 检查是否触发限流配额。
- 评估扩容、换本地盘或优化 IO 模式。
代码或图示
await 高、吞吐受限 → 存储侧延迟/限流指标
网络盘:延迟受链路与存储负载影响
本地盘:排查磁盘本身与文件系统
常见误区
- 把网络存储延迟当应用问题:应用只是等待 IO 完成。
- 忽视存储配额:IOPS/吞吐上限被限流未察觉。
追问
- 存储延迟抖动怎么观测?答:看 IO 延迟分布与时段关联,结合存储厂商侧监控(可获取范围内)。
- 哪些数据适合本地盘?答:临时数据、高 IO 本地缓存;持久化数据按可靠性要求选存储类型。
11.2.1.3-011 文件/锁竞争导致 IO 阻塞怎么识别?
一句话结论
多进程/线程竞争同一文件或文件锁,表现为部分请求阻塞在文件操作;查看阻塞线程栈与等待事件,定位共享文件、日志竞争或锁文件;区分是文件系统锁等待还是数据库/应用锁。
概念解释
- 文件锁:对同一文件的互斥访问。
- 阻塞栈:线程等待点在文件操作。
- 共享文件:多实例写同一目录/文件。
原理流程
- 阻塞线程栈定位文件操作等待。
- 查看持有锁的进程/线程。
- 判断共享文件设计是否合理。
- 改分布式协调或拆分文件。
代码或图示
线程 dump:阻塞在文件加锁/读写
等待事件:文件锁 / IO
多实例:不应共享本地文件写
常见误区
- 多实例依赖本地文件协调:本地文件不跨实例共享。
- 锁粒度太粗:整文件锁阻塞并发访问。
追问
- 跨实例协调用什么?答:分布式锁/协调服务,本地文件锁只适合同机进程。
- 日志文件多进程写冲突?答:各实例独立文件或集中采集,避免共享写同一文件。
11.2.1.3-012 swap 颠簸与内存/IO 怎么互相影响?
一句话结论
内存不足时数据换出到 swap 磁盘,引发高频换入换出,CPU 与 IO 同时升高、响应剧烈变慢;看 swap 使用量与换入换出速率,确认内存压力来源;容器环境通常禁用 swap,宿主机需区分应用内存与系统占用。
概念解释
- swap:磁盘上的交换空间。
- 颠簸:频繁换入换出。
- 内存压力:物理内存不足触发交换。
原理流程
- 看 swap 用量与换页速率。
- 确认内存占用来源。
- 解决内存压力(泄漏/容量)。
- 观察 swap 与 IO 回落。
代码或图示
swap 用量 / 换入换出速率(按系统工具确认字段)
表现:CPU/IO 高、请求 RT 抖动
根因:内存不足 → 换页 → 磁盘 IO 放大
常见误区
- 只看磁盘 IO 高:根因是内存压力触发交换。
- 长期依赖 swap:性能不可接受,应补内存或降占用。
追问
- 服务进程为什么尽量避免 swap?答:换页延迟远高于内存访问,停顿不可控。
- 容器内 swap 怎么处理?答:按部署配置确认是否禁用,避免应用内存被宿主机交换拖慢。
11.2.1.3-013 批量任务阻塞正常 IO 怎么识别?
一句话结论
定时批量任务(批量导出、归档、统计)集中读写磁盘,挤占在线业务 IO;按时段对齐 IO 高峰与任务调度时间,看任务 IO 占比;错峰、限速、拆分批次执行,避免与高峰业务争用存储。
概念解释
- 批量 IO:一次性大量读写。
- 错峰:任务安排在低峰时段。
- 限速:控制任务 IO/并发。
原理流程
- IO 高峰对齐任务调度时间。
- 区分任务与在线业务 IO。
- 任务错峰、限速、分批。
- 观察在线 IO 与 RT 恢复。
代码或图示
IO 高峰 02:00 ↔ 批量归档任务
任务:全表扫描 / 大文件导出
措施:错峰窗口 + 限速 + 分批提交
常见误区
- 批量任务不限速:单任务打满磁盘,在线请求排队。
- 任务与业务同高峰运行:资源争抢影响核心交易。
追问
- 批量任务怎么限流?答:控制并发、批次大小与读写速率,留出在线业务 IO 余量。
- 大导出怎么做?答:分批/流式导出,避免一次性加载全量数据占内存与 IO。
11.2.1.3-014 消息队列积压与磁盘怎么关联?
一句话结论
MQ 消息持久化到磁盘,积压时写入/读取堆积推高 IO;看积压量、消费速率与磁盘 IO 关联,判断是消费慢还是生产突增;磁盘 IO 瓶颈会进一步拖慢消费,形成恶性循环。
概念解释
- 积压:未消费消息堆积。
- 持久化:消息落盘保证可靠。
- 恶性循环:IO 慢 → 消费慢 → 积压更高。
原理流程
- 看积压量与生产/消费速率差。
- 关联磁盘 IO 与消费耗时。
- 定位消费慢来源(下游/IO/代码)。
- 扩容消费或优化 IO,逐步消化积压。
代码或图示
积压 ↑ ↔ 磁盘 IO ↑ ↔ 消费 TPS ↓
排查:消费日志、下游 RT、磁盘等待
处置:扩容消费者、批量消费、限流生产
常见误区
- 只扩容消费者:下游或磁盘成为新瓶颈。
- 忽视持久化 IO:消息积压放大磁盘负载。
追问
- 积压消息保留多久?答:按业务容忍度配置保留周期,过期策略预先约定。
- 消费慢怎么定位?答:看消费耗时分布、慢 SQL、下游调用与线程池状态。
11.2.1.3-015 连接池参数与排队行为怎么核对?
一句话结论
核对池最大连接、空闲保留、获取超时与队列等待策略;容量需求按峰值并发与单连接占用时长推算,排队拒绝策略在下游慢时保护系统;参数依据压测与监控调整,不照搬默认值。
概念解释
- 最大连接:池可借出上限。
- 获取超时:等待连接的时限。
- 拒绝策略:池满时排队/拒绝/新建。
原理流程
- 采集峰值并发与连接占用时长。
- 推算所需连接数并留余量。
- 核对超时与拒绝策略。
- 压测验证池水位与排队行为。
代码或图示
估算:峰值并发 × 单连接占用时长 ÷ 平均处理时长(口径按实际模型)
参数:max / idle / 获取超时 / 等待队列
监控:活跃、空闲、等待、拒绝计数
常见误区
- 池设过大:数据库连接总数超限,整体变慢。
- 获取超时过长:线程堆积占用应用资源。
追问
- 连接空闲多久回收?答:按池配置空闲回收策略,避免长期占用数据库连接。
- 池满排队和直接拒绝哪个好?答:按业务选择,短时排队可平滑突发,长时间等待应拒绝快速失败。
11.2.1.3-016 IO 类故障监控看哪些指标?
一句话结论
磁盘侧:使用率、await、吞吐、IOPS、空间与 inode;连接池侧:活跃/空闲/等待/拒绝;数据库侧:连接数、慢查询、锁等待;趋势告警提前发现增长,避免写满或耗尽才暴露。
概念解释
- 磁盘指标:容量、延迟、吞吐。
- 池指标:连接占用与排队。
- DB 指标:会话、慢查询、锁。
原理流程
- 采集磁盘容量/延迟/吞吐。
- 采集池与数据库连接指标。
- 设趋势与阈值告警。
- 看板按链路关联定位。
代码或图示
磁盘:空间% / inode / await / 吞吐 / IOPS
连接池:active / idle / pending / rejected
DB:连接数 / 慢查询 / 锁等待 / 长事务
常见误区
- 只监控空间不监控延迟:写满前已有 IO 抖动。
- 无连接池等待指标:耗尽时无法提前预警。
追问
- 磁盘水位告警设多少?答:基于增长趋势预留清理与扩容时间,接近警戒线提前处置。
- 慢查询怎么纳入监控?答:按时长阈值统计数量与Top SQL,关联业务高峰。
11.2.1.3-017 典型 IO 慢请求链路怎么排查?
一句话结论
请求慢且 CPU 不高时,沿链路找等待点:应用线程栈是否阻塞在 DB/文件/连接获取,数据库慢查询与锁等待,磁盘 IO 等待;分段计时对比各段,定位是存储慢、SQL 慢还是连接排队。
概念解释
- 等待点:线程阻塞的具体资源。
- 分段计时:各环节耗时对比。
- 关联证据:栈、慢查询、IO 指标。
原理流程
- 确认 CPU 不高、请求慢且有 IO 等待迹象。
- 线程栈定位阻塞资源。
- 数据库查慢 SQL/锁/连接。
- 磁盘看 IO 延迟与来源进程。
代码或图示
现象:RT 长,CPU 低,线程等待多
栈:阻塞在获取连接 / SQL 执行 / 文件读写
DB:慢查询、锁等待、长事务
磁盘:await 高、来源进程
分段:连接获取 → SQL 执行 → 结果读取
常见误区
- 线程都在等待却查 CPU:方向应为 IO/锁/连接。
- 不看分段:无法区分排队等待与执行慢。
追问
- 连接获取慢是池问题还是 DB 问题?答:池等待高看池容量与泄漏;池内连接被慢 SQL 占用则下钻数据库。
- 文件读写慢怎么进一步确认?答:看具体文件类型与存储介质,对比本地盘与网络盘延迟。
11.2.1.3-018 IO/连接类故障处置与预防有哪些要点?
一句话结论
处置先限流/降级止血,保留现场再定位慢 SQL、泄漏或容量瓶颈;预防靠有界连接池、日志轮转清理、慢查询与容量监控、批量任务错峰限速、数据库索引与事务规范,上线前压测连接与 IO 上限。
概念解释
- 止血:限流、降级、扩容。
- 根因:SQL、泄漏、容量、任务。
- 预防:规范、监控、压测、边界。
原理流程
- 故障时止血并采集现场。
- 定位 IO/连接根因。
- 修复代码/配置/容量。
- 补监控、规范与压测验证。
代码或图示
处置:限流/降级 → 现场 → 慢 SQL/泄漏/容量定位 → 修复
预防:连接池有界、日志轮转、慢查询监控
规范:短事务、索引评审、批量任务错峰
压测:连接数、磁盘 IO 拐点
常见误区
- 扩容代替优化:慢查询与泄漏仍在。
- 无磁盘/连接趋势监控:耗尽后被动响应。
追问
- 上线前怎么评估连接需求?答:压测峰值并发下连接占用,核对数据库上限与实例数乘积。
- IO 容量怎么规划?答:按峰值读写量与预留冗余评估磁盘规格,批量任务单独预留窗口。