罗罗编程学习记录
本页内容 展开查看

11.2.1.1 排查方法论与观测三件套

所属:全栈开发面试题库 / 11 跨领域综合场景题 / 11.2 故障排查与稳定性 / 11.2.1 故障排查与稳定性

11.2.1.1-001 故障排查的整体思路是什么?

一句话结论

按「现象确认 → 提出假设 → 逐项验证 → 定位根因 → 处置验证」推进:先固化现象与影响范围,用假设驱动排除,每一步用可核对的指标或命令验证;先止血恢复业务,再深挖根因。

概念解释

  • 现象:报错、变慢、不可用、数据错误等可观测表现。
  • 假设:对可能原因的待验证判断。
  • 验证:用指标、日志、命令、复现确认或排除假设。

原理流程

  1. 确认现象、影响范围与起止时间。
  2. 列出可能原因假设,按概率与成本排序。
  3. 逐项验证,记录证据与结论。
  4. 定位根因后处置,观察指标恢复。

代码或图示

现象 → 影响范围/时间
  → 假设清单(应用 / 缓存 / DB / 下游 / 网络 / 变更)
  → 逐项验证(指标 → 日志 → 命令 → 复现)
  → 根因 → 处置 → 指标恢复验证

常见误区

  • 跳过现象确认直接猜原因:排查方向被带偏。
  • 不记录验证过程:假设反复横跳,无法复盘。

追问

  • 假设很多怎么排序?答:按最近变更、影响面、验证成本排序,先查高概率低成本项。
  • 验证不出来怎么办?答:保留现场快照,扩大观测范围(日志/trace/抓包),必要时复现最小用例。

11.2.1.1-002 故障发现与告警分级怎么做?

一句话结论

告警分紧急、警告、提示三级:核心业务不可用/错误率飙升为紧急,趋势异常与资源水位为警告,记录性指标为提示;告警关联业务指标,避免只报主机状态,告警需可定位到组件与链路。

概念解释

  • 紧急:核心链路受损,需立即响应。
  • 警告:指标偏离基线,关注趋势。
  • 提示:记录观察,不打断值班。

原理流程

  1. 定义核心业务 SLI 与基线。
  2. 按影响程度设分级阈值。
  3. 紧急告警触达值班并建事件。
  4. 定期复盘告警噪音与漏报。

代码或图示

紧急:下单/支付成功率骤降、错误率超阈值、实例宕机
警告:RT 上升、CPU/内存水位高、积压增长
提示:周期性统计、非核心指标波动

常见误区

  • 告警阈值无基线:误报频繁导致告警疲劳。
  • 只报主机 CPU/内存:业务失败而主机正常时漏报。

追问

  • 告警噪音怎么治理?答:合并同源告警、调整阈值、抑制重复通知,定期清理无效规则。
  • 漏报怎么发现?答:复盘用户反馈与未告警事件,补充对应监控项。

11.2.1.1-003 观测三件套分别看什么?

一句话结论

三件套:指标(Metrics)看趋势与水位,日志(Logs)看具体事件与报错,追踪(Trace)看单次请求跨服务链路;指标发现异常,日志定位报错细节,trace 定位慢节点,三者按时间与业务标识关联。

概念解释

  • 指标:聚合数值,支持趋势对比与告警。
  • 日志:离散事件记录,含错误栈与参数。
  • 追踪:请求在各服务的耗时与调用链。

原理流程

  1. 指标看板发现异常时段与范围。
  2. 按时间/服务/接口检索日志报错。
  3. 用 traceId 串联调用链,定位慢节点。
  4. 关联三类证据确认根因。

代码或图示

指标:QPS / RT / 错误率 / CPU / 内存 / 连接池
日志:错误栈、关键字段、业务标识
Trace:服务 A → B → C 各段耗时与状态
关联:traceId / orderNo / 时间窗口

常见误区

  • 只看指标不下钻日志:只有现象没有细节。
  • 日志不带业务标识:无法串联同一请求。

追问

  • 三者怎么关联?答:traceId 贯穿日志与 trace,指标按服务/接口聚合,时间窗口对齐。
  • 高并发下日志量太大怎么办?答:采样错误与慢请求,分级存储,关键路径保留全量。

11.2.1.1-004 指标看板先看哪几项?

一句话结论

先看业务成功率与错误率,再看 RT 分位值(P95/P99)与 QPS,然后看资源水位(CPU、内存、GC、连接池、磁盘、网络);业务指标优先于主机指标,分位值比平均值更能暴露长尾。

概念解释

  • 业务:成功率、交易量、转化。
  • 延迟:平均、P95、P99、最大 RT。
  • 资源:CPU、内存、GC、连接、磁盘、网络。

原理流程

  1. 确认业务成功率与错误率是否异常。
  2. 看 RT 分位值判断是否长尾变慢。
  3. 对比 QPS 是否突增或下跌。
  4. 下钻资源水位找瓶颈组件。

代码或图示

业务:成功率 ↓ / 错误率 ↑
延迟:P95·P99 RT ↑(平均可能正常)
流量:QPS 突增 / 下跌
资源:CPU / 内存 / GC / 连接池 / 磁盘 / 网络

常见误区

  • 只看平均 RT:长尾慢请求被平均掩盖。
  • 先看主机再看业务:业务已受损却在主机指标里找原因。

追问

  • P99 高但平均正常说明什么?答:少量请求长尾变慢,可能是偶发慢依赖、锁等待或 GC 停顿。
  • QPS 下跌要警惕什么?答:入口网关故障、依赖阻塞导致请求堆积,或下游返回错误被客户端重试掩盖。

11.2.1.1-005 日志怎么检索与关联?

一句话结论

按时间窗口、服务、接口、traceId/业务标识检索;先筛错误级别与关键字,再看异常栈上下文;日志需含时间戳、级别、traceId、接口与关键参数,避免打印敏感信息。

概念解释

  • 检索维度:时间、服务、级别、标识。
  • 异常栈:错误类型、消息、堆栈位置。
  • 关联:同一请求的多条日志靠标识串联。

原理流程

  1. 按异常时间段圈定范围。
  2. 过滤错误级别与报错关键字。
  3. 用 traceId/订单号串联完整请求。
  4. 读取异常栈定位代码位置。

代码或图示

检索:时间范围 + 服务名 + 接口 + 错误级别
关键字:Exception / 超时 / 拒绝 / 失败
串联:traceId、orderNo、userId

常见误区

  • 日志无统一 traceId:跨服务无法关联。
  • 异常只打消息不打堆栈:无法定位代码位置。

追问

  • 日志量大检索慢怎么办?答:按服务/索引分片检索,先缩小时间与错误范围。
  • 日志打印要注意什么?答:控制级别与详略,不打印密钥与敏感个人信息,避免大对象全量输出。

11.2.1.1-006 分布式追踪怎么定位慢节点?

一句话结论

追踪展示请求跨服务各段耗时与状态,找到耗时占比最高或报错的 span;对比正常请求与异常请求的链路差异,区分是本服务慢还是下游慢,再下钻到对应组件。

概念解释

  • Trace:一次请求的完整调用链。
  • Span:一个服务/操作的调用片段。
  • 耗时占比:各 span 占总 RT 的比例。

原理流程

  1. 取异常请求的 trace。
  2. 查看各 span 耗时与状态。
  3. 定位耗时最高或失败的节点。
  4. 下钻该节点的日志/指标/命令。

代码或图示

网关 2ms → 应用 150ms → 库存 120ms → DB 20ms
慢节点:库存调用 120ms → 下钻库存服务日志与指标
报错节点:红色 span → 看错误信息与栈

常见误区

  • 只看总 RT 不拆分段:无法判断慢在哪层。
  • trace 采样丢失异常请求:慢/错误请求应提高采样。

追问

  • 本服务内部慢怎么用 trace 看?答:内部方法/数据库/缓存调用作为子 span 埋点,看子段耗时。
  • trace 缺失怎么补?答:检查埋点透传(traceId 跨线程/MQ 传递),异步场景上下文继续传播。

11.2.1.1-007 假设驱动排查法怎么用?

一句话结论

先基于现象列出有限假设,每个假设明确「预期看到什么证据」,验证后立即排除或收敛;避免无目标地翻日志;假设随新证据更新,记录排除过程防止重复怀疑。

概念解释

  • 假设:待验证的原因判断。
  • 预期证据:成立时指标/日志应呈现的现象。
  • 排除:证据不符即放弃该假设。

原理流程

  1. 按现象列假设并排序。
  2. 为每个假设定义验证证据。
  3. 采集证据,标记成立/排除。
  4. 成立假设继续深挖,排除项归档。

代码或图示

现象:接口 RT 突增
假设 A:下游变慢 → 预期:trace 下游 span 高
假设 B:DB 慢 → 预期:慢 SQL / 锁等待
假设 C:CPU 饱和 → 预期:CPU 高、队列长
逐项验证 → 排除/收敛

常见误区

  • 假设不设判据:看到什么都觉得像原因。
  • 已排除假设反复回查:浪费时间且扰乱判断。

追问

  • 多假设同时成立怎么办?答:按影响主次排序处置,先止血主因,其余并行排查。
  • 怎么避免经验主义?答:以证据为准,历史同类故障只作为假设起点,仍需当场验证。

11.2.1.1-008 分层排查顺序怎么安排?

一句话结论

按请求路径分层:网关 → 应用 → 缓存 → 数据库 → 下游依赖 → 网络;从入口到下游逐层确认哪一层开始异常,结合 trace 分段定位,避免在未确认上游正常时直奔数据库。

概念解释

  • 网关:接入、路由、限流、鉴权。
  • 应用:业务逻辑、线程池、内部调用。
  • 下游:缓存、数据库、第三方接口。

原理流程

  1. 网关层:请求是否到达、状态码、限流记录。
  2. 应用层:线程池、日志、trace 入口耗时。
  3. 缓存/DB:命中率、慢查询、连接状态。
  4. 下游:成功率、RT、错误码。

代码或图示

网关(状态码/限流)→ 应用(线程/日志/trace)
→ 缓存(命中率/连接)→ DB(慢 SQL/锁/连接)
→ 下游(RT/错误码)→ 网络(连通/丢包)

常见误区

  • 跳过网关直接查 DB:上游已限流或报错时方向错误。
  • 分层无分段数据:无法判断异常起始层。

追问

  • 怎么判断是应用还是 DB 慢?答:trace/分段计时对比应用处理时间与 DB 执行时间,看慢查询与锁等待。
  • 下游慢怎么快速确认?答:看下游 RT、错误率与对端状态,必要时直连下游探测。

11.2.1.1-009 分段计时怎么判断瓶颈层?

一句话结论

在链路各段记录耗时(入口、业务处理、缓存、DB、下游调用),对比各段占比与基线;新增临时埋点或利用 trace,瓶颈段即耗时占比最高或偏离基线最多的环节。

概念解释

  • 分段:请求路径上可独立计量的环节。
  • 占比:段耗时 / 总 RT。
  • 基线:正常时段各段耗时参考。

原理流程

  1. 确认各段是否已有计时埋点。
  2. 提取异常请求各段耗时。
  3. 与基线对比找偏离最大段。
  4. 下钻该段对应组件。

代码或图示

总 RT 800ms:
网关 5ms / 应用逻辑 30ms / 缓存 5ms / DB 500ms / 下游 260ms
→ 瓶颈:DB 与下游;对比基线确认哪段恶化

常见误区

  • 只记总耗时:无法拆分到具体组件。
  • 埋点跨线程丢失:异步线程需传递计时上下文。

追问

  • 临时加埋点要注意什么?答:控制开销,记录关键段,上线后及时清理或降级。
  • 某段耗时波动大怎么判断?答:看多请求分布(P95/P99),区分整体变慢还是长尾偶发。

11.2.1.1-010 怎么关联最近变更排查?

一句话结论

故障时间点对齐最近发布、配置变更、数据变更、依赖版本变更与活动流量;变更类问题先回滚/切回变更项验证,对比变更前后指标差异,排除环境与外部因素。

概念解释

  • 变更:代码发布、配置、数据库、依赖、基础设施。
  • 对齐:故障发生时间与变更时间窗口。
  • 验证:回滚变更看指标是否恢复。

原理流程

  1. 列出故障前时间窗内所有变更。
  2. 对比变更前后监控曲线。
  3. 高相关变更优先回滚验证。
  4. 排除变更后再查稳定环境问题。

代码或图示

故障 10:15
变更:10:05 发布 v2.3 / 10:10 配置调整 / 依赖升级
对比:10:05 后错误率开始上升 → 回滚 v2.3 验证

常见误区

  • 不查变更直接深挖:回归问题本可快速回滚解决。
  • 配置变更未纳入清单:动态配置调整同样影响行为。

追问

  • 回滚后仍慢怎么办?答:说明非本次发布导致,继续查数据、缓存、下游依赖与网络。
  • 怎么保证变更可追溯?答:发布、配置、数据库变更留时间、内容与操作人记录,可关联告警时间线。

11.2.1.1-011 排查时怎么保留现场?

一句话结论

处置前先保留证据:导出当时日志、指标快照、线程/堆 dump、连接状态与 trace;现场易失(重启、日志滚动、缓存刷新),先留存再操作,避免重启后根因无法追溯。

概念解释

  • 现场:进程状态、日志、指标、连接、快照。
  • 易失性:重启释放内存、日志滚动覆盖、缓存刷新。
  • 留存:dump、快照、归档。

原理流程

  1. 判断是否需要先留现场。
  2. 导出日志、指标、dump、连接状态。
  3. 记录采集时间与命令。
  4. 再执行重启/清理等易失操作。

代码或图示

保留:线程 dump / 堆 dump / 日志归档 / 指标截图
连接:ss/netstat 快照 / 抓包文件
顺序:先采集 → 再处置;关键故障禁止先重启

常见误区

  • 一上来重启:内存与线程状态丢失,根因无法分析。
  • dump 不记录时间:事后无法对应故障窗口。

追问

  • 堆 dump 影响线上吗?答:大堆 dump 会停顿且占磁盘,选择低影响方式或限流窗口操作,注意磁盘空间。
  • 现场保留多久?答:按复盘与合规需要留存,关键故障归档到可追溯存储。

11.2.1.1-012 为什么止血优先于根因定位?

一句话结论

故障期间业务损失随时间扩大,先通过回滚、降级、限流、切流、扩容等手段恢复可用,再在业务可用前提下深挖根因;止血手段与顺序记录在案,供复盘判断有效性。

概念解释

  • 止血:快速恢复核心业务的临时手段。
  • 根因:导致故障的深层原因。
  • 并行:止血与初步定位可同时进行。

原理流程

  1. 确认影响范围与等级。
  2. 执行最快止血手段。
  3. 观察业务指标恢复。
  4. 恢复后或并行定位根因。

代码或图示

告警 → 定级 → 止血(回滚 / 降级 / 限流 / 切流 / 扩容)
→ 指标恢复 → 根因定位(并行或恢复后)
→ 修复 → 复盘

常见误区

  • 未恢复就长时间深挖:故障时长与损失扩大。
  • 止血后不复盘:问题反复发生。

追问

  • 止血手段有哪些?答:回滚版本/配置、降级非核心功能、限流保护、切流备用链路、扩容实例、关闭故障下游。
  • 止血和定位冲突时怎么决策?答:高等级故障优先恢复业务,根因在恢复后分析;低影响问题可边定位边处置。

11.2.1.1-013 排查工具怎么分类选用?

一句话结论

工具按层选用:进程线程看 top/ps,内存堆看 dump 分析,CPU 看 perf/火焰图,IO 看 iostat/iotop,网络看 ss/tcpdump/mtr,数据库看慢查询/锁状态,链路看 trace;工具输出结合业务指标判读,不只看单一命令。

概念解释

  • 进程:进程与线程状态、占用。
  • 资源:CPU、内存、IO 观测。
  • 网络:连接、路由、抓包。
  • 中间件:数据库、缓存、MQ 状态。

原理流程

  1. 按怀疑层选对应工具。
  2. 采集指标与快照。
  3. 结合日志/trace 判读。
  4. 跨工具交叉验证结论。

代码或图示

进程/线程:top、ps、pidstat
CPU:perf、火焰图
内存:堆 dump、GC 日志
IO:iostat、iotop
网络:ss、netstat、mtr、tcpdump
DB:慢查询、锁等待、连接状态

常见误区

  • 背命令不看输出含义:工具结果误判。
  • 只用单机工具:分布式问题需链路与跨实例视角。

追问

  • 命令输出不确定怎么核对?答:查对应工具官方手册确认参数与字段含义,版本相关行为标待确认。
  • 线上工具使用要注意什么?答:高开销命令(perf、大 dump)控制时长与范围,避开高峰,避免加重故障。

11.2.1.1-014 怎么确认环境与版本信息?

一句话结论

先确认排查对象的环境(开发/测试/生产)、实例、版本号、配置与依赖版本;环境混淆会导致结论错位,版本相关行为按实际版本核对,不套用通用结论。

概念解释

  • 环境:配置、数据、流量隔离。
  • 版本:代码制品、依赖包版本。
  • 配置:生效配置与默认值差异。

原理流程

  1. 确认实例所属环境与集群。
  2. 核对制品版本与依赖版本。
  3. 查看生效配置与变更记录。
  4. 再进入指标与日志分析。

代码或图示

确认:环境 / 实例 IP / 版本号 / 配置中心版本
依赖:框架、客户端、中间件版本
对比:测试复现版本与线上版本是否一致

常见误区

  • 在测试环境复现结论套到生产:行为与数据不同。
  • 忽视依赖版本差异:已知缺陷可能仅某版本存在。

追问

  • 版本行为不确定怎么办?答:标注待确认,查该版本官方变更说明或实测验证,不编造行为。
  • 配置怎么确认生效?答:查配置中心发布记录与实例实际加载值,注意本地覆盖与默认值。

11.2.1.1-015 怎么复现问题并构造最小用例?

一句话结论

按现象构造最小复现路径:固定环境、参数、数据与前置条件,逐步缩小到触发问题的最小集合;复现后对比正常场景差异,区分偶发与必现,复现条件记录用于验证修复。

概念解释

  • 复现:在受控环境重现现象。
  • 最小用例:去掉无关条件仍能触发。
  • 偶发:依赖并发、时序或特定数据。

原理流程

  1. 整理触发条件:参数、数据、并发、时间。
  2. 在隔离环境复现。
  3. 逐步剔除无关条件。
  4. 记录最小复现步骤与结果。

代码或图示

复现条件:接口 + 入参 + 前置数据 + 并发量
最小用例:单请求 / 单数据可触发
偶发:加并发与时序条件,记录触发概率

常见误区

  • 复现条件不全:问题时有时无,无法验证修复。
  • 在生产直接调试复现:影响线上用户。

追问

  • 偶发问题复现不了怎么办?答:补充观测采样与日志,在预发压测模拟并发/时序,保留现场分析。
  • 复现后怎么验证修复?答:在最小用例与原场景各跑一遍,确认现象消失且无回归。

11.2.1.1-016 排查过程怎么记录时间线?

一句话结论

记录发现时间、现象、每步操作、证据采集、处置动作与指标恢复时间;时间线用于复盘还原因果,明确哪一步有效、哪一步延误,避免事后凭记忆描述。

概念解释

  • 时间线:按时间顺序的事件与操作记录。
  • 证据:指标、日志、命令输出。
  • 动作:处置与变更操作。

原理流程

  1. 故障开始即记录起点与现象。
  2. 每步操作与证据标注时间。
  3. 记录止血动作与业务恢复点。
  4. 复盘整理成完整时间线。

代码或图示

10:15 告警:接口错误率 30%
10:18 确认范围,查 trace 下游慢
10:22 降级下游,错误率回落
10:35 根因定位:下游版本缺陷
10:50 回滚,指标恢复正常

常见误区

  • 只记结论不记过程:无法判断响应时效与动作有效性。
  • 操作不记录:重复变更或误操作无法追溯。

追问

  • 时间线谁来维护?答:值班主责记录,关键操作相关人补充,统一口径。
  • 时间线包含哪些角色信息?答:操作人、决策依据、通报节点,便于复盘职责与流程。

11.2.1.1-017 线上接口突然变慢怎么排查?

一句话结论

先止血(限流/降级/回滚)保可用;看监控 RT、QPS、错误率、CPU、GC、连接池、慢 SQL;按网关 → 应用 → 缓存 → DB → 下游分层排查,用日志、trace、火焰图、线程/堆 dump 定位;分段计时判断应用还是 DB,回滚后仍慢继续查数据、缓存与下游。

概念解释

  • 止血优先:先恢复核心链路。
  • 分层下钻:从入口到下游逐层确认。
  • 工具配合:指标、日志、trace、dump。

原理流程

  1. 确认 RT 异常范围与起止时间,先执行止血手段。
  2. 看监控:RT 分位、QPS、错误率、CPU、GC、连接池、慢 SQL。
  3. trace 分段定位慢层。
  4. 下钻对应组件(线程/堆 dump、慢查询、下游 RT)。
  5. 回滚变更后仍慢,继续查数据量、缓存命中、下游依赖。

代码或图示

止血:限流 / 降级 / 回滚
监控:P95·P99 RT、QPS、错误率、CPU、GC、连接池、慢 SQL
分层:网关 → 应用 → 缓存 → DB → 下游
工具:日志、trace、火焰图、线程/堆 dump
判读:分段计时 → 应用段 or DB 段 or 下游段

常见误区

  • 未止血先深挖:慢请求堆积拖垮线程池。
  • 回滚后不复查:问题残留于数据/缓存/下游。

追问

  • 如何快速判断是应用还是 DB?答:trace/分段计时对比应用处理与 DB 执行时间,结合慢查询与锁等待。
  • 回滚后仍慢怎么办?答:排除发布因素,继续查数据量增长、缓存命中率下降、下游依赖变慢与网络抖动。

11.2.1.1-018 排查中常见的认知误区有哪些?

一句话结论

常见误区:凭经验不看证据、只看平均指标、跳过变更排查、先重启丢现场、单层孤立判断、忽视并发与时序、结论不交叉验证;排查以证据为准,分层交叉印证并保留现场。

概念解释

  • 经验偏差:历史结论套用当前现象。
  • 指标偏差:平均值掩盖长尾。
  • 证据闭环:多工具交叉印证。

原理流程

  1. 对照误区清单自查排查方向。
  2. 每项结论有指标/日志/命令证据。
  3. 跨层交叉验证。
  4. 不确定项标注待确认并实测。

代码或图示

□ 结论是否有当场证据,而非经验猜测
□ 是否看了 P95/P99 而非只看平均
□ 是否对齐最近变更
□ 处置前是否保留现场
□ 是否分层串联而非孤立单点
□ 是否考虑并发/时序/偶发条件

常见误区

  • 把相关性当因果:两个指标同时变化不代表因果。
  • 修复一处不再验证:同类问题在其他实例复发。

追问

  • 相关性和因果怎么区分?答:看变更先后、可控复现与机制解释,必要时回退变更验证因果。
  • 怎么提升排查能力?答:沉淀故障案例与预案,熟悉工具输出语义,定期演练复盘。