罗罗编程学习记录
本页内容 展开查看

11.2.1.4 网络与依赖故障

所属:全栈开发面试题库 / 11 跨领域综合场景题 / 11.2 故障排查与稳定性 / 11.2.1 故障排查与稳定性

11.2.1.4-001 网络不通怎么分层定位?

一句话结论

按「本机 → 网关/路由 → DNS → 对端端口 → 服务进程」逐层验证:先确认本机网络与路由,再解析域名,探测端口连通,最后核对对端服务状态;每层用对应命令排除,不跳层下结论。

概念解释

  • 链路层:本机网卡、路由、网关。
  • 解析层:DNS 域名到地址。
  • 传输层:端口可达性。
  • 应用层:服务进程响应。

原理流程

  1. 本机地址、路由与网关检查。
  2. DNS 解析是否正确。
  3. 对端端口是否可连通。
  4. 服务进程与健康检查状态。

代码或图示

本机 → 网关/路由 → DNS 解析 → 对端端口 → 服务进程
不通点逐层定位:
本机配置 → 路由 → 解析 → 端口 → 进程/防火墙

常见误区

  • 域名不通直接查服务:可能是 DNS 或网络层问题。
  • 只 ping 通就判断服务正常:ICMP 可达不代表端口/服务可用。

追问

  • ping 通但端口不通说明什么?答:网络层可达,问题在防火墙、端口监听或服务进程。
  • 跨环境访问要核对什么?答:安全组/防火墙规则、网段路由、对端监听地址与端口。

11.2.1.4-002 ping/traceroute/mtr 分别看什么?

一句话结论

ping 看连通性与往返延迟、丢包率;traceroute/mtr 逐跳路径定位丢包或延迟发生在哪个网段;mtr 结合持续探测,区分本地链路、中间网络还是对端机房问题。

概念解释

  • ping:ICMP 往返时间与丢包。
  • traceroute:路径逐跳探测。
  • mtr:持续探测路径质量。

原理流程

  1. ping 确认整体连通与丢包。
  2. traceroute/mtr 看逐跳延迟与丢包。
  3. 定位异常跳所属网段。
  4. 结合对端机房与网络策略判断。

代码或图示

ping <host>            # RTT、丢包率
traceroute <host>      # 逐跳路径
mtr --report <host>    # 持续探测统计(参数按环境确认)

常见误区

  • 中间跳不响应就判故障:部分设备限制 ICMP,需看最终目标丢包。
  • 单次探测下结论:网络抖动需持续采样。

追问

  • 丢包发生在中间跳但目标正常?答:可能该跳不回应探测报文,以目标端丢包统计为准。
  • 延迟高怎么区分链路还是对端?答:逐跳对比延迟增长位置,链路延迟在前几跳,对端处理延迟在最后一跳。

11.2.1.4-003 DNS 解析故障怎么排查?

一句话结论

解析失败/解析到错误地址时,检查本机 DNS 配置、解析结果与缓存;对比公共/内网解析器结果,确认域名记录、TTL 与内网域名路由;应用侧注意解析缓存与重试,避免故障期间反复解析放大问题。

概念解释

  • 解析器:本机配置的 DNS 服务器。
  • 记录:域名对应的地址/类型。
  • 缓存:系统/应用层解析缓存。

原理流程

  1. 查看本机 DNS 配置。
  2. 用解析命令查询域名记录。
  3. 对比不同解析器结果。
  4. 核对记录变更、TTL 与缓存。

代码或图示

解析查询:nslookup/dig <domain>(按环境可用工具确认)
对比:内网解析器 vs 公共解析器
缓存:系统缓存、应用连接池解析缓存

常见误区

  • 解析错只怪 DNS:可能是 hosts 记录或内网域名配置错误。
  • 忽视 TTL:记录刚变更,旧缓存仍生效。

追问

  • 内网域名解析不到?答:核对内网 DNS 转发、域名后缀与服务注册记录。
  • 应用解析缓存有什么风险?答:地址变更后长期连旧地址,需结合 TTL 与重连策略。

11.2.1.4-004 端口连通性怎么探测?

一句话结论

用 nc/端口探测工具或 telnet 类方式测试对端端口 TCP 连通;连接成功说明端口可达,拒绝/超时区分防火墙拦截与服务未监听;再结合应用层请求验证服务真正响应。

概念解释

  • 连接成功:TCP 三次握手完成。
  • 拒绝:端口未监听或被拒绝。
  • 超时:被防火墙丢弃或路由不可达。

原理流程

  1. 探测对端地址与端口。
  2. 区分拒绝、超时、成功。
  3. 核对服务监听与防火墙规则。
  4. 发应用层请求验证响应。

代码或图示

nc -vz <host> <port>     # 端口探测(参数按环境确认)
telnet <host> <port>
成功:握手完成;拒绝:RST;超时:无响应

常见误区

  • 端口通就认为服务正常:还需应用层返回业务响应。
  • 探测用错地址:对端监听内网地址,外部探测不可达。

追问

  • 连接被拒绝和超时区别?答:拒绝是对端明确返回不可达(未监听/防火墙拒绝);超时是报文被丢弃无响应。
  • 服务监听怎么核对?答:查看进程监听地址与端口,确认绑定地址覆盖访问来源。

11.2.1.4-005 ss/netstat 怎么看连接状态?

一句话结论

ss 查看连接本地/对端地址、状态与进程归属;按状态统计 ESTAB、TIME_WAIT、CLOSE_WAIT 等数量,定位连接堆积方向;netstat 为传统工具,字段含义以手册为准。

概念解释

  • ESTABLISHED:已建立连接。
  • TIME_WAIT:主动关闭后等待。
  • CLOSE_WAIT:对端关闭,本端未关闭。

原理流程

  1. 列出连接并按状态统计。
  2. 定位异常状态堆积的对端/进程。
  3. 结合应用代码与连接池判断。
  4. 核对连接释放路径。

代码或图示

ss -tn state established | 统计
ss -tn state time-wait
ss -tnp | 关联进程(权限按环境确认)
按对端地址分组计数

常见误区

  • 只看连接总数:状态分布才能判断问题类型。
  • 忽视进程归属:无法定位是哪个服务泄漏。

追问

  • ss 和 netstat 怎么选?答:ss 通常更快、信息更全,netstat 作为传统对照;字段以手册为准。
  • 连接状态异常怎么关联代码?答:结合进程、对端服务与应用关闭/归还逻辑排查。

11.2.1.4-006 TIME_WAIT/CLOSE_WAIT 成因与治理?

一句话结论

TIME_WAIT 是主动关闭方等待报文收尾的正常状态,大量出现说明短连接频繁新建;CLOSE_WAIT 是对端已关闭而本端未调用关闭,属于连接释放泄漏;前者靠连接复用/调优,后者必须修复代码释放逻辑。

概念解释

  • TIME_WAIT:主动关闭后保留状态一段时间。
  • CLOSE_WAIT:被动关闭后等待本端关闭。
  • 短连接:每次请求新建 TCP 连接。

原理流程

  1. 按状态与方向判断堆积类型。
  2. TIME_WAIT 多:评估连接复用与短连接模式。
  3. CLOSE_WAIT 多:查未关闭的连接/流。
  4. 修复后观察状态回落。

代码或图示

主动关闭 → TIME_WAIT(正常收尾,量大说明短连接多)
对端关闭 → CLOSE_WAIT → 本端未 close(泄漏)
治理:长连接/连接池复用;代码确保连接归还/关闭

常见误区

  • 把 TIME_WAIT 当泄漏:它是正常状态,过量才需优化。
  • CLOSE_WAIT 只调系统参数:根因是应用未释放连接。

追问

  • TIME_WAIT 过多有什么影响?答:占用本地端口与资源,高频短连接下可能端口耗尽。
  • CLOSE_WAIT 怎么修复?答:检查异常分支是否关闭连接、连接池是否归还,确保所有退出路径释放。

11.2.1.4-007 下游接口慢怎么排查?

一句话结论

先区分是网络传输慢、下游处理慢还是连接获取慢;看 trace 下游段耗时、下游成功率与 RT、对端资源水位;应用侧核对超时/重试配置,必要时直连下游探测,避免把下游问题误判为本服务问题。

概念解释

  • 传输:网络往返与连接建立。
  • 处理:下游业务执行耗时。
  • 连接:本端获取连接等待。

原理流程

  1. trace 拆分下游段耗时。
  2. 看下游 RT、错误率与资源指标。
  3. 直连探测对比网络与服务。
  4. 核对超时重试与降级配置。

代码或图示

trace:下游 span 耗时占比
下游指标:RT、错误率、CPU/DB/线程
直连:绕过网关/代理对比
应用:超时、重试次数、连接池等待

常见误区

  • 下游慢就在本服务扩容:根因在对端,扩容无效。
  • 无超时控制:下游慢拖垮本服务线程。

追问

  • 怎么判断是网络还是下游处理慢?答:直连下游探测延迟,对比经网络路径与对端处理耗时。
  • 下游偶发慢怎么观测?答:看 RT 分布 P95/P99 与错误率,采样慢请求 trace。

11.2.1.4-008 下游不可用/熔断怎么处置?

一句话结论

下游不可用时先看熔断是否打开、降级是否生效;确认不可用范围(全部/部分实例/特定接口),启用备用通道或兜底数据;同时通知下游 owner,恢复后半开探测逐步放开,避免一次性全量压回。

概念解释

  • 熔断:快速失败保护本服务。
  • 降级:返回兜底/关闭功能。
  • 备用通道:替代下游或备用实例。

原理流程

  1. 确认下游不可用现象与范围。
  2. 检查熔断/降级状态与兜底数据。
  3. 切备用通道或限流保核心。
  4. 下游恢复后半开探测放量。

代码或图示

下游不可用 → 熔断打开 → 降级兜底
范围:全部实例 / 单实例 / 单接口
恢复:半开探测 → 成功逐步放量
通知:下游 owner 同步故障进展

常见误区

  • 熔断后无兜底:直接报错给用户。
  • 下游恢复立即全量调用:二次压垮尚未恢复的下游。

追问

  • 熔断阈值怎么设合理?答:基于下游正常错误率/RT 基线,避免误熔断,具体参数结合压测。
  • 备用通道怎么准备?答:预案中明确替代服务/静态数据,定期演练切换。

11.2.1.4-009 跨机房/专线抖动怎么识别?

一句话结论

跨机房访问出现周期性或区域性延迟/丢包,对比同机房与跨机房调用指标,看专线/跨网链路质量;区分对端服务问题与链路问题,结合网络监控与多机房探测点定位抖动区间。

概念解释

  • 跨机房:经专线/公网互联。
  • 抖动:延迟/丢包不稳定。
  • 对比:同机房调用作为基线。

原理流程

  1. 对比同机房与跨机房 RT/丢包。
  2. 看跨链路网络监控。
  3. 排除对端服务自身慢。
  4. 评估就近访问/冗余链路。

代码或图示

同机房 RT 正常,跨机房 RT/丢包 ↑
链路监控:专线带宽、延迟、丢包
多探测点:判断是单链路还是全局抖动

常见误区

  • 跨机房慢全归网络:先排除对端服务与本端连接问题。
  • 只看平均延迟:抖动表现为长尾与间歇丢包。

追问

  • 跨机房部署怎么降低依赖?答:核心数据就近部署,跨机房调用异步化,关键链路多机房冗余。
  • 专线故障怎么切换?答:预案配置备用链路/公网兜底,按流量切换策略执行。

11.2.1.4-010 丢包与重传怎么定位?

一句话结论

重传率升高表现为 RT 抖动与吞吐下降;查看 TCP 重传统计与抓包,区分链路丢包、对端接收窗口限制或本机发送缓冲问题;重传持续升高需下钻网络链路与对端负载。

概念解释

  • 重传:报文丢失后重新发送。
  • 丢包:链路或对端丢弃报文。
  • 窗口/缓冲:接收与发送流量限制。

原理流程

  1. 采集 TCP 重传统计。
  2. 抓包观察丢包与重传时序。
  3. 区分链路、对端、本机缓冲。
  4. 结合链路质量与对端负载处置。

代码或图示

TCP 统计:重传段/连接(按系统工具确认字段)
抓包:tcpdump 过滤 host/port,分析重传时序
对比:链路丢包 vs 对端窗口收缩 vs 本机缓冲满

常见误区

  • 重传高就加带宽:可能是对端处理慢或窗口限制。
  • 单次抓包不持续:抖动问题需覆盖异常时段。

追问

  • 重传为什么会拉长 RT?答:丢包后等待超时再重发,额外往返叠加到响应时间。
  • 对端接收窗口小怎么判断?答:抓包看窗口字段收缩与零窗口通告,结合对端消费速度。

11.2.1.4-011 带宽打满怎么判断与处置?

一句话结论

带宽饱和表现为吞吐到上限、RT 升高、丢包重传;看出入方向流量构成,定位大传输(批量同步、日志上报、大文件);临时限流/分流,长期评估带宽扩容与传输优化。

概念解释

  • 出入方向:上行/下行分别统计。
  • 流量构成:业务、日志、同步、备份。
  • 饱和:吞吐接近链路上限。

原理流程

  1. 看带宽使用率与方向。
  2. 按进程/连接/业务拆分流量。
  3. 定位大传输来源。
  4. 限流分流或扩容优化。

代码或图示

流量监控:入/出带宽、峰值
拆分:进程、连接、业务类型
大传输:批量同步、日志上报、文件传输
处置:限流、错峰、压缩、扩容

常见误区

  • 带宽满就扩容:大传输未优化,扩容后再次打满。
  • 不区分方向:上行/下行瓶颈处置不同。

追问

  • 日志上报占带宽怎么办?答:批量压缩上报、采样、限速,与业务流量隔离。
  • 备份同步怎么避免影响业务?答:错峰窗口、限速执行,走独立链路更好。

11.2.1.4-012 负载均衡/网关故障怎么排查?

一句话结论

入口异常先查网关/LB:实例健康状态、路由配置、限流规则、证书与后端连接;区分是网关自身故障、后端实例摘除还是配置变更;看网关日志与后端实例指标,确认流量是否正确分发。

概念解释

  • 健康摘除:后端实例被标记不可用。
  • 路由配置:域名/路径到后端映射。
  • 限流:入口规则拒绝请求。

原理流程

  1. 网关层看状态码、限流与摘除记录。
  2. 核对路由与后端实例健康。
  3. 检查证书、协议与后端连接。
  4. 对比变更记录定位配置问题。

代码或图示

网关日志:状态码、拒绝原因、后端实例
健康检查:实例上下线事件
配置:路由、证书、限流规则
后端:实例指标与健康状态

常见误区

  • 入口报错直接查后端:可能网关配置或摘除问题。
  • 忽视证书/协议:HTTPS 握手失败表现为入口不可用。

追问

  • 实例被误摘除怎么判断?答:看健康检查日志与失败原因,区分实例真异常还是检查配置过严。
  • 网关单点怎么保障?答:多副本部署与故障转移,避免入口单点。

11.2.1.4-013 域名与证书问题怎么识别?

一句话结论

HTTPS 访问异常区分解析问题、证书过期/链不全/域名不匹配与协议版本不兼容;查看握手报错与证书有效期、域名覆盖、中间证书链;证书变更纳入监控与到期告警。

概念解释

  • 证书链:叶子证书 + 中间证书 + 根证书。
  • 域名匹配:证书覆盖访问域名。
  • 协议:TLS 版本与套件兼容。

原理流程

  1. 确认解析是否正确。
  2. 检查握手报错类型。
  3. 核对证书有效期、域名、链完整。
  4. 核对协议版本与客户端兼容。

代码或图示

握手报错:过期 / 域名不匹配 / 链不全 / 协议不兼容
证书查看:有效期、主体域名、签发链(工具按环境确认)
监控:到期时间提前告警

常见误区

  • 证书过期才发现:无到期告警。
  • 只装叶子证书:中间证书缺失导致部分客户端校验失败。

追问

  • 证书链不全什么表现?答:部分客户端报证书不可信,不同浏览器/客户端结果不一致。
  • 证书更新要注意什么?答:覆盖域名、链完整、灰度部署并验证握手,保留旧证书回滚。

11.2.1.4-014 连接复用问题怎么排查?

一句话结论

本应长连接复用却频繁新建连接,表现为 TIME_WAIT 多、握手耗时高;检查连接池/客户端配置是否启用复用、空闲连接是否被提前回收、对端是否主动断开;核对 keep-alive 配置与空闲超时匹配。

概念解释

  • 连接复用:长连接多次请求共享。
  • 空闲回收:超时关闭空闲连接。
  • keep-alive:连接保活配置。

原理流程

  1. 统计新建连接与复用比例。
  2. 检查客户端池配置与空闲超时。
  3. 核对对端断开策略。
  4. 调整超时匹配,观察复用率。

代码或图示

新建连接数 / 请求数 比例高
TIME_WAIT 多 → 短连接模式
配置:最大空闲、空闲超时、keep-alive
对端:服务端空闲断开早于客户端预期

常见误区

  • 客户端池配了但未生效:核对实际使用的客户端实例与配置加载。
  • 两端空闲超时不一致:一端先断,另一端复用失败。

追问

  • 长连接被中间设备断开怎么办?答:配置保活探测,及时重建连接,避免复用死连接。
  • 连接复用率低有什么影响?答:握手开销叠加 RT,端口与资源占用上升。

11.2.1.4-015 依赖版本/接口兼容问题怎么发现?

一句话结论

变更后出现报错或字段异常,核对上下游接口契约、依赖版本与序列化格式;区分是版本不兼容、字段缺失/类型变化还是调用方假设错误;用契约测试与版本兼容检查提前拦截。

概念解释

  • 契约:接口字段、类型、语义约定。
  • 兼容:新旧版本可互操作。
  • 变更:字段增删、类型调整、语义变化。

原理流程

  1. 对齐变更时间与故障时间。
  2. 核对请求/响应字段与类型。
  3. 确认依赖版本与兼容性。
  4. 修复契约或回滚版本。

代码或图示

报错:反序列化失败 / 字段为空 / 类型转换异常
核对:接口文档、字段版本、序列化格式
兼容:新增可选字段;破坏性变更走版本过渡

常见误区

  • 只测正常字段:边界与缺失字段未覆盖。
  • 上游改字段不通知下游:契约破坏未被感知。

追问

  • 接口向后兼容怎么保证?答:字段只增可选、不改类型语义,废弃字段先停用再删,下游忽略未知字段。
  • 版本不兼容怎么应急?答:回滚变更版本或临时适配层,修复后按兼容策略演进。

11.2.1.4-016 tcpdump 怎么抓包与判读?

一句话结论

tcpdump 按主机/端口/协议过滤抓包,保存文件后分析握手、重传、请求响应时序;抓包控制时长与规模,避免占满磁盘;线上抓包需确认权限与影响范围,关键报文结合应用日志判读。

概念解释

  • 过滤:host、port、协议组合。
  • 时序:请求、响应、重传顺序。
  • 规模:包数量与文件大小控制。

原理流程

  1. 明确抓包对象与过滤条件。
  2. 限时抓取保存文件。
  3. 分析握手、重传、响应时序。
  4. 结合日志与指标下结论。

代码或图示

tcpdump -i <网卡> host <ip> and port <port> -w capture.pcap
过滤:tcp/udp、src/dst、端口组合
分析:握手三次、FIN/RST、重传、请求响应配对

常见误区

  • 不过滤全量抓包:文件巨大占满磁盘。
  • 抓包不结合日志:单看报文难判断业务语义。

追问

  • 抓包看到 RST 说明什么?答:连接被对端或中间设备主动重置,需结合进程与防火墙判断。
  • 线上抓包有什么风险?答:占用 CPU 与磁盘,控制时长和过滤范围,避开高峰。

11.2.1.4-017 网络与依赖故障监控看哪些指标?

一句话结论

网络侧:连通性、RT、丢包/重传、带宽、DNS 解析;依赖侧:成功率、RT 分位、错误码、熔断/限流状态、连接池;按下游分组监控,异常可定位到具体依赖与链路段。

概念解释

  • 网络指标:链路质量与容量。
  • 依赖指标:对端服务健康。
  • 保护状态:熔断、限流、降级。

原理流程

  1. 采集网络连通与质量指标。
  2. 按下游采集成功率/RT/错误码。
  3. 记录熔断限流降级状态。
  4. 异常下钻到链路段与实例。

代码或图示

网络:连通率、RT、丢包/重传、带宽、DNS 解析耗时
依赖:成功率、P95/P99 RT、错误码分布
保护:熔断开关、限流拒绝、连接池等待

常见误区

  • 只监控本服务:依赖故障无对端视角。
  • 错误码不分类:无法区分超时、拒绝、业务错误。

追问

  • 依赖 RT 基线怎么建?答:正常时段分位值作为基线,偏离基线告警,结合业务周期调整。
  • 跨机房调用怎么监控?答:按链路/机房分组对比同机房与跨机房指标。

11.2.1.4-018 典型依赖故障链路怎么排查?

一句话结论

某接口整体变慢/报错,先看 trace 定位是否卡在下游 span;再按网络 → 端口 → 下游服务 → 下游依赖分层验证,核对本端超时/熔断/连接池;确认根因在网络、对端还是本端配置后处置,恢复后观察指标回落。

概念解释

  • 链路定位:trace 找异常段。
  • 分层验证:网络到服务逐层排除。
  • 本端配置:超时、重试、连接复用。

原理流程

  1. 指标与 trace 确认异常接口与耗时段。
  2. 网络层:连通、RT、丢包、DNS。
  3. 传输层:端口、连接状态、复用。
  4. 下游服务:成功率、RT、资源水位。
  5. 本端:超时/重试/熔断/连接池配置。
  6. 处置后验证恢复。

代码或图示

接口慢/报错
→ trace:下游 span 异常?
→ 网络:ping/mtr/DNS/丢包
→ 端口:nc 探测、ss 状态
→ 下游:成功率/RT/资源/日志
→ 本端:超时、重试、熔断、连接池
→ 处置:降级/切备用/修复配置 → 指标回落

常见误区

  • 不看 trace 全链路盲查:方向效率低。
  • 本端配置问题忽略:超时过短或连接池不足也会表现为依赖异常。

追问

  • 多个下游同时异常先查什么?答:先查共同网络/网关/公共依赖,再看是否本服务线程池级联问题。
  • 恢复后还要做什么?答:确认无残留连接/积压,更新预案与监控阈值,复盘根因。