11.2.1.4 网络与依赖故障
所属:全栈开发面试题库 / 11 跨领域综合场景题 / 11.2 故障排查与稳定性 / 11.2.1 故障排查与稳定性
11.2.1.4-001 网络不通怎么分层定位?
一句话结论
按「本机 → 网关/路由 → DNS → 对端端口 → 服务进程」逐层验证:先确认本机网络与路由,再解析域名,探测端口连通,最后核对对端服务状态;每层用对应命令排除,不跳层下结论。
概念解释
- 链路层:本机网卡、路由、网关。
- 解析层:DNS 域名到地址。
- 传输层:端口可达性。
- 应用层:服务进程响应。
原理流程
- 本机地址、路由与网关检查。
- DNS 解析是否正确。
- 对端端口是否可连通。
- 服务进程与健康检查状态。
代码或图示
本机 → 网关/路由 → DNS 解析 → 对端端口 → 服务进程
不通点逐层定位:
本机配置 → 路由 → 解析 → 端口 → 进程/防火墙
常见误区
- 域名不通直接查服务:可能是 DNS 或网络层问题。
- 只 ping 通就判断服务正常:ICMP 可达不代表端口/服务可用。
追问
- ping 通但端口不通说明什么?答:网络层可达,问题在防火墙、端口监听或服务进程。
- 跨环境访问要核对什么?答:安全组/防火墙规则、网段路由、对端监听地址与端口。
11.2.1.4-002 ping/traceroute/mtr 分别看什么?
一句话结论
ping 看连通性与往返延迟、丢包率;traceroute/mtr 逐跳路径定位丢包或延迟发生在哪个网段;mtr 结合持续探测,区分本地链路、中间网络还是对端机房问题。
概念解释
- ping:ICMP 往返时间与丢包。
- traceroute:路径逐跳探测。
- mtr:持续探测路径质量。
原理流程
- ping 确认整体连通与丢包。
- traceroute/mtr 看逐跳延迟与丢包。
- 定位异常跳所属网段。
- 结合对端机房与网络策略判断。
代码或图示
ping <host> # RTT、丢包率
traceroute <host> # 逐跳路径
mtr --report <host> # 持续探测统计(参数按环境确认)
常见误区
- 中间跳不响应就判故障:部分设备限制 ICMP,需看最终目标丢包。
- 单次探测下结论:网络抖动需持续采样。
追问
- 丢包发生在中间跳但目标正常?答:可能该跳不回应探测报文,以目标端丢包统计为准。
- 延迟高怎么区分链路还是对端?答:逐跳对比延迟增长位置,链路延迟在前几跳,对端处理延迟在最后一跳。
11.2.1.4-003 DNS 解析故障怎么排查?
一句话结论
解析失败/解析到错误地址时,检查本机 DNS 配置、解析结果与缓存;对比公共/内网解析器结果,确认域名记录、TTL 与内网域名路由;应用侧注意解析缓存与重试,避免故障期间反复解析放大问题。
概念解释
- 解析器:本机配置的 DNS 服务器。
- 记录:域名对应的地址/类型。
- 缓存:系统/应用层解析缓存。
原理流程
- 查看本机 DNS 配置。
- 用解析命令查询域名记录。
- 对比不同解析器结果。
- 核对记录变更、TTL 与缓存。
代码或图示
解析查询:nslookup/dig <domain>(按环境可用工具确认)
对比:内网解析器 vs 公共解析器
缓存:系统缓存、应用连接池解析缓存
常见误区
- 解析错只怪 DNS:可能是 hosts 记录或内网域名配置错误。
- 忽视 TTL:记录刚变更,旧缓存仍生效。
追问
- 内网域名解析不到?答:核对内网 DNS 转发、域名后缀与服务注册记录。
- 应用解析缓存有什么风险?答:地址变更后长期连旧地址,需结合 TTL 与重连策略。
11.2.1.4-004 端口连通性怎么探测?
一句话结论
用 nc/端口探测工具或 telnet 类方式测试对端端口 TCP 连通;连接成功说明端口可达,拒绝/超时区分防火墙拦截与服务未监听;再结合应用层请求验证服务真正响应。
概念解释
- 连接成功:TCP 三次握手完成。
- 拒绝:端口未监听或被拒绝。
- 超时:被防火墙丢弃或路由不可达。
原理流程
- 探测对端地址与端口。
- 区分拒绝、超时、成功。
- 核对服务监听与防火墙规则。
- 发应用层请求验证响应。
代码或图示
nc -vz <host> <port> # 端口探测(参数按环境确认)
telnet <host> <port>
成功:握手完成;拒绝:RST;超时:无响应
常见误区
- 端口通就认为服务正常:还需应用层返回业务响应。
- 探测用错地址:对端监听内网地址,外部探测不可达。
追问
- 连接被拒绝和超时区别?答:拒绝是对端明确返回不可达(未监听/防火墙拒绝);超时是报文被丢弃无响应。
- 服务监听怎么核对?答:查看进程监听地址与端口,确认绑定地址覆盖访问来源。
11.2.1.4-005 ss/netstat 怎么看连接状态?
一句话结论
ss 查看连接本地/对端地址、状态与进程归属;按状态统计 ESTAB、TIME_WAIT、CLOSE_WAIT 等数量,定位连接堆积方向;netstat 为传统工具,字段含义以手册为准。
概念解释
- ESTABLISHED:已建立连接。
- TIME_WAIT:主动关闭后等待。
- CLOSE_WAIT:对端关闭,本端未关闭。
原理流程
- 列出连接并按状态统计。
- 定位异常状态堆积的对端/进程。
- 结合应用代码与连接池判断。
- 核对连接释放路径。
代码或图示
ss -tn state established | 统计
ss -tn state time-wait
ss -tnp | 关联进程(权限按环境确认)
按对端地址分组计数
常见误区
- 只看连接总数:状态分布才能判断问题类型。
- 忽视进程归属:无法定位是哪个服务泄漏。
追问
- ss 和 netstat 怎么选?答:ss 通常更快、信息更全,netstat 作为传统对照;字段以手册为准。
- 连接状态异常怎么关联代码?答:结合进程、对端服务与应用关闭/归还逻辑排查。
11.2.1.4-006 TIME_WAIT/CLOSE_WAIT 成因与治理?
一句话结论
TIME_WAIT 是主动关闭方等待报文收尾的正常状态,大量出现说明短连接频繁新建;CLOSE_WAIT 是对端已关闭而本端未调用关闭,属于连接释放泄漏;前者靠连接复用/调优,后者必须修复代码释放逻辑。
概念解释
- TIME_WAIT:主动关闭后保留状态一段时间。
- CLOSE_WAIT:被动关闭后等待本端关闭。
- 短连接:每次请求新建 TCP 连接。
原理流程
- 按状态与方向判断堆积类型。
- TIME_WAIT 多:评估连接复用与短连接模式。
- CLOSE_WAIT 多:查未关闭的连接/流。
- 修复后观察状态回落。
代码或图示
主动关闭 → TIME_WAIT(正常收尾,量大说明短连接多)
对端关闭 → CLOSE_WAIT → 本端未 close(泄漏)
治理:长连接/连接池复用;代码确保连接归还/关闭
常见误区
- 把 TIME_WAIT 当泄漏:它是正常状态,过量才需优化。
- CLOSE_WAIT 只调系统参数:根因是应用未释放连接。
追问
- TIME_WAIT 过多有什么影响?答:占用本地端口与资源,高频短连接下可能端口耗尽。
- CLOSE_WAIT 怎么修复?答:检查异常分支是否关闭连接、连接池是否归还,确保所有退出路径释放。
11.2.1.4-007 下游接口慢怎么排查?
一句话结论
先区分是网络传输慢、下游处理慢还是连接获取慢;看 trace 下游段耗时、下游成功率与 RT、对端资源水位;应用侧核对超时/重试配置,必要时直连下游探测,避免把下游问题误判为本服务问题。
概念解释
- 传输:网络往返与连接建立。
- 处理:下游业务执行耗时。
- 连接:本端获取连接等待。
原理流程
- trace 拆分下游段耗时。
- 看下游 RT、错误率与资源指标。
- 直连探测对比网络与服务。
- 核对超时重试与降级配置。
代码或图示
trace:下游 span 耗时占比
下游指标:RT、错误率、CPU/DB/线程
直连:绕过网关/代理对比
应用:超时、重试次数、连接池等待
常见误区
- 下游慢就在本服务扩容:根因在对端,扩容无效。
- 无超时控制:下游慢拖垮本服务线程。
追问
- 怎么判断是网络还是下游处理慢?答:直连下游探测延迟,对比经网络路径与对端处理耗时。
- 下游偶发慢怎么观测?答:看 RT 分布 P95/P99 与错误率,采样慢请求 trace。
11.2.1.4-008 下游不可用/熔断怎么处置?
一句话结论
下游不可用时先看熔断是否打开、降级是否生效;确认不可用范围(全部/部分实例/特定接口),启用备用通道或兜底数据;同时通知下游 owner,恢复后半开探测逐步放开,避免一次性全量压回。
概念解释
- 熔断:快速失败保护本服务。
- 降级:返回兜底/关闭功能。
- 备用通道:替代下游或备用实例。
原理流程
- 确认下游不可用现象与范围。
- 检查熔断/降级状态与兜底数据。
- 切备用通道或限流保核心。
- 下游恢复后半开探测放量。
代码或图示
下游不可用 → 熔断打开 → 降级兜底
范围:全部实例 / 单实例 / 单接口
恢复:半开探测 → 成功逐步放量
通知:下游 owner 同步故障进展
常见误区
- 熔断后无兜底:直接报错给用户。
- 下游恢复立即全量调用:二次压垮尚未恢复的下游。
追问
- 熔断阈值怎么设合理?答:基于下游正常错误率/RT 基线,避免误熔断,具体参数结合压测。
- 备用通道怎么准备?答:预案中明确替代服务/静态数据,定期演练切换。
11.2.1.4-009 跨机房/专线抖动怎么识别?
一句话结论
跨机房访问出现周期性或区域性延迟/丢包,对比同机房与跨机房调用指标,看专线/跨网链路质量;区分对端服务问题与链路问题,结合网络监控与多机房探测点定位抖动区间。
概念解释
- 跨机房:经专线/公网互联。
- 抖动:延迟/丢包不稳定。
- 对比:同机房调用作为基线。
原理流程
- 对比同机房与跨机房 RT/丢包。
- 看跨链路网络监控。
- 排除对端服务自身慢。
- 评估就近访问/冗余链路。
代码或图示
同机房 RT 正常,跨机房 RT/丢包 ↑
链路监控:专线带宽、延迟、丢包
多探测点:判断是单链路还是全局抖动
常见误区
- 跨机房慢全归网络:先排除对端服务与本端连接问题。
- 只看平均延迟:抖动表现为长尾与间歇丢包。
追问
- 跨机房部署怎么降低依赖?答:核心数据就近部署,跨机房调用异步化,关键链路多机房冗余。
- 专线故障怎么切换?答:预案配置备用链路/公网兜底,按流量切换策略执行。
11.2.1.4-010 丢包与重传怎么定位?
一句话结论
重传率升高表现为 RT 抖动与吞吐下降;查看 TCP 重传统计与抓包,区分链路丢包、对端接收窗口限制或本机发送缓冲问题;重传持续升高需下钻网络链路与对端负载。
概念解释
- 重传:报文丢失后重新发送。
- 丢包:链路或对端丢弃报文。
- 窗口/缓冲:接收与发送流量限制。
原理流程
- 采集 TCP 重传统计。
- 抓包观察丢包与重传时序。
- 区分链路、对端、本机缓冲。
- 结合链路质量与对端负载处置。
代码或图示
TCP 统计:重传段/连接(按系统工具确认字段)
抓包:tcpdump 过滤 host/port,分析重传时序
对比:链路丢包 vs 对端窗口收缩 vs 本机缓冲满
常见误区
- 重传高就加带宽:可能是对端处理慢或窗口限制。
- 单次抓包不持续:抖动问题需覆盖异常时段。
追问
- 重传为什么会拉长 RT?答:丢包后等待超时再重发,额外往返叠加到响应时间。
- 对端接收窗口小怎么判断?答:抓包看窗口字段收缩与零窗口通告,结合对端消费速度。
11.2.1.4-011 带宽打满怎么判断与处置?
一句话结论
带宽饱和表现为吞吐到上限、RT 升高、丢包重传;看出入方向流量构成,定位大传输(批量同步、日志上报、大文件);临时限流/分流,长期评估带宽扩容与传输优化。
概念解释
- 出入方向:上行/下行分别统计。
- 流量构成:业务、日志、同步、备份。
- 饱和:吞吐接近链路上限。
原理流程
- 看带宽使用率与方向。
- 按进程/连接/业务拆分流量。
- 定位大传输来源。
- 限流分流或扩容优化。
代码或图示
流量监控:入/出带宽、峰值
拆分:进程、连接、业务类型
大传输:批量同步、日志上报、文件传输
处置:限流、错峰、压缩、扩容
常见误区
- 带宽满就扩容:大传输未优化,扩容后再次打满。
- 不区分方向:上行/下行瓶颈处置不同。
追问
- 日志上报占带宽怎么办?答:批量压缩上报、采样、限速,与业务流量隔离。
- 备份同步怎么避免影响业务?答:错峰窗口、限速执行,走独立链路更好。
11.2.1.4-012 负载均衡/网关故障怎么排查?
一句话结论
入口异常先查网关/LB:实例健康状态、路由配置、限流规则、证书与后端连接;区分是网关自身故障、后端实例摘除还是配置变更;看网关日志与后端实例指标,确认流量是否正确分发。
概念解释
- 健康摘除:后端实例被标记不可用。
- 路由配置:域名/路径到后端映射。
- 限流:入口规则拒绝请求。
原理流程
- 网关层看状态码、限流与摘除记录。
- 核对路由与后端实例健康。
- 检查证书、协议与后端连接。
- 对比变更记录定位配置问题。
代码或图示
网关日志:状态码、拒绝原因、后端实例
健康检查:实例上下线事件
配置:路由、证书、限流规则
后端:实例指标与健康状态
常见误区
- 入口报错直接查后端:可能网关配置或摘除问题。
- 忽视证书/协议:HTTPS 握手失败表现为入口不可用。
追问
- 实例被误摘除怎么判断?答:看健康检查日志与失败原因,区分实例真异常还是检查配置过严。
- 网关单点怎么保障?答:多副本部署与故障转移,避免入口单点。
11.2.1.4-013 域名与证书问题怎么识别?
一句话结论
HTTPS 访问异常区分解析问题、证书过期/链不全/域名不匹配与协议版本不兼容;查看握手报错与证书有效期、域名覆盖、中间证书链;证书变更纳入监控与到期告警。
概念解释
- 证书链:叶子证书 + 中间证书 + 根证书。
- 域名匹配:证书覆盖访问域名。
- 协议:TLS 版本与套件兼容。
原理流程
- 确认解析是否正确。
- 检查握手报错类型。
- 核对证书有效期、域名、链完整。
- 核对协议版本与客户端兼容。
代码或图示
握手报错:过期 / 域名不匹配 / 链不全 / 协议不兼容
证书查看:有效期、主体域名、签发链(工具按环境确认)
监控:到期时间提前告警
常见误区
- 证书过期才发现:无到期告警。
- 只装叶子证书:中间证书缺失导致部分客户端校验失败。
追问
- 证书链不全什么表现?答:部分客户端报证书不可信,不同浏览器/客户端结果不一致。
- 证书更新要注意什么?答:覆盖域名、链完整、灰度部署并验证握手,保留旧证书回滚。
11.2.1.4-014 连接复用问题怎么排查?
一句话结论
本应长连接复用却频繁新建连接,表现为 TIME_WAIT 多、握手耗时高;检查连接池/客户端配置是否启用复用、空闲连接是否被提前回收、对端是否主动断开;核对 keep-alive 配置与空闲超时匹配。
概念解释
- 连接复用:长连接多次请求共享。
- 空闲回收:超时关闭空闲连接。
- keep-alive:连接保活配置。
原理流程
- 统计新建连接与复用比例。
- 检查客户端池配置与空闲超时。
- 核对对端断开策略。
- 调整超时匹配,观察复用率。
代码或图示
新建连接数 / 请求数 比例高
TIME_WAIT 多 → 短连接模式
配置:最大空闲、空闲超时、keep-alive
对端:服务端空闲断开早于客户端预期
常见误区
- 客户端池配了但未生效:核对实际使用的客户端实例与配置加载。
- 两端空闲超时不一致:一端先断,另一端复用失败。
追问
- 长连接被中间设备断开怎么办?答:配置保活探测,及时重建连接,避免复用死连接。
- 连接复用率低有什么影响?答:握手开销叠加 RT,端口与资源占用上升。
11.2.1.4-015 依赖版本/接口兼容问题怎么发现?
一句话结论
变更后出现报错或字段异常,核对上下游接口契约、依赖版本与序列化格式;区分是版本不兼容、字段缺失/类型变化还是调用方假设错误;用契约测试与版本兼容检查提前拦截。
概念解释
- 契约:接口字段、类型、语义约定。
- 兼容:新旧版本可互操作。
- 变更:字段增删、类型调整、语义变化。
原理流程
- 对齐变更时间与故障时间。
- 核对请求/响应字段与类型。
- 确认依赖版本与兼容性。
- 修复契约或回滚版本。
代码或图示
报错:反序列化失败 / 字段为空 / 类型转换异常
核对:接口文档、字段版本、序列化格式
兼容:新增可选字段;破坏性变更走版本过渡
常见误区
- 只测正常字段:边界与缺失字段未覆盖。
- 上游改字段不通知下游:契约破坏未被感知。
追问
- 接口向后兼容怎么保证?答:字段只增可选、不改类型语义,废弃字段先停用再删,下游忽略未知字段。
- 版本不兼容怎么应急?答:回滚变更版本或临时适配层,修复后按兼容策略演进。
11.2.1.4-016 tcpdump 怎么抓包与判读?
一句话结论
tcpdump 按主机/端口/协议过滤抓包,保存文件后分析握手、重传、请求响应时序;抓包控制时长与规模,避免占满磁盘;线上抓包需确认权限与影响范围,关键报文结合应用日志判读。
概念解释
- 过滤:host、port、协议组合。
- 时序:请求、响应、重传顺序。
- 规模:包数量与文件大小控制。
原理流程
- 明确抓包对象与过滤条件。
- 限时抓取保存文件。
- 分析握手、重传、响应时序。
- 结合日志与指标下结论。
代码或图示
tcpdump -i <网卡> host <ip> and port <port> -w capture.pcap
过滤:tcp/udp、src/dst、端口组合
分析:握手三次、FIN/RST、重传、请求响应配对
常见误区
- 不过滤全量抓包:文件巨大占满磁盘。
- 抓包不结合日志:单看报文难判断业务语义。
追问
- 抓包看到 RST 说明什么?答:连接被对端或中间设备主动重置,需结合进程与防火墙判断。
- 线上抓包有什么风险?答:占用 CPU 与磁盘,控制时长和过滤范围,避开高峰。
11.2.1.4-017 网络与依赖故障监控看哪些指标?
一句话结论
网络侧:连通性、RT、丢包/重传、带宽、DNS 解析;依赖侧:成功率、RT 分位、错误码、熔断/限流状态、连接池;按下游分组监控,异常可定位到具体依赖与链路段。
概念解释
- 网络指标:链路质量与容量。
- 依赖指标:对端服务健康。
- 保护状态:熔断、限流、降级。
原理流程
- 采集网络连通与质量指标。
- 按下游采集成功率/RT/错误码。
- 记录熔断限流降级状态。
- 异常下钻到链路段与实例。
代码或图示
网络:连通率、RT、丢包/重传、带宽、DNS 解析耗时
依赖:成功率、P95/P99 RT、错误码分布
保护:熔断开关、限流拒绝、连接池等待
常见误区
- 只监控本服务:依赖故障无对端视角。
- 错误码不分类:无法区分超时、拒绝、业务错误。
追问
- 依赖 RT 基线怎么建?答:正常时段分位值作为基线,偏离基线告警,结合业务周期调整。
- 跨机房调用怎么监控?答:按链路/机房分组对比同机房与跨机房指标。
11.2.1.4-018 典型依赖故障链路怎么排查?
一句话结论
某接口整体变慢/报错,先看 trace 定位是否卡在下游 span;再按网络 → 端口 → 下游服务 → 下游依赖分层验证,核对本端超时/熔断/连接池;确认根因在网络、对端还是本端配置后处置,恢复后观察指标回落。
概念解释
- 链路定位:trace 找异常段。
- 分层验证:网络到服务逐层排除。
- 本端配置:超时、重试、连接复用。
原理流程
- 指标与 trace 确认异常接口与耗时段。
- 网络层:连通、RT、丢包、DNS。
- 传输层:端口、连接状态、复用。
- 下游服务:成功率、RT、资源水位。
- 本端:超时/重试/熔断/连接池配置。
- 处置后验证恢复。
代码或图示
接口慢/报错
→ trace:下游 span 异常?
→ 网络:ping/mtr/DNS/丢包
→ 端口:nc 探测、ss 状态
→ 下游:成功率/RT/资源/日志
→ 本端:超时、重试、熔断、连接池
→ 处置:降级/切备用/修复配置 → 指标回落
常见误区
- 不看 trace 全链路盲查:方向效率低。
- 本端配置问题忽略:超时过短或连接池不足也会表现为依赖异常。
追问
- 多个下游同时异常先查什么?答:先查共同网络/网关/公共依赖,再看是否本服务线程池级联问题。
- 恢复后还要做什么?答:确认无残留连接/积压,更新预案与监控阈值,复盘根因。