罗罗编程学习记录
本页内容 展开查看

01.4.1.4 故障处理与值班复盘

所属:全栈开发面试题库 / 01 计算机基础与通用工程 / 01.4 工程素养 / 01.4.1 工程素养

01.4.1.4-001 故障响应的标准流程是什么?

一句话结论

故障响应按“发现 → 定级 → 止血 → 定位根因 → 恢复 → 复盘”推进:先快速恢复业务(止血优先),再深挖根因,避免在未恢复时长时间定位;全程记录时间线与操作。

概念解释

  • 发现:监控告警、用户反馈、值班巡检。
  • 止血:回滚、降级、限流、切流、扩容等快速恢复手段。
  • 恢复:业务指标回到正常区间。

原理流程

  1. 确认现象与影响范围,定级。
  2. 先执行止血手段恢复业务。
  3. 在业务可用前提下定位根因。
  4. 修复验证后组织复盘。

代码或图示

发现告警 → 确认范围/定级 → 止血(回滚/降级/限流/切流)
→ 定位根因 → 修复恢复 → 复盘改进

常见误区

  • 一上来深挖根因不先止血:故障时间被拉长,影响扩大。
  • 止血手段不记录:复盘无法判断哪步有效。

追问

  • 止血和定位冲突时选哪个?答:先止血恢复业务,根因在恢复后或并行排查,影响等级高时优先恢复。
  • 故障期间怎么沟通?答:统一对接人同步进展,关键节点通报干系人,避免信息混乱。

01.4.1.4-002 故障定级看哪些维度?

一句话结论

定级看影响范围(用户/业务量/地域)、严重程度(不可用/数据错误/降级体验)、持续时间与数据损失风险;等级决定响应速度、参与角色与通报范围,定级可随排查升级或下调。

概念解释

  • 范围:受影响用户数、订单/交易量、系统模块。
  • 严重:完全不可用、部分功能、性能下降、数据不一致。
  • 时效:从发生到恢复的时长。

原理流程

  1. 确认受影响范围与现象。
  2. 对照定级标准判定等级。
  3. 通知对应角色与升级路径。
  4. 信息更新后调整等级。

代码或图示

范围:用户量 / 业务量 / 模块 / 地域
严重:不可用 > 功能受损 > 降级 > 慢
风险:数据丢失/不一致 > 体验问题

常见误区

  • 只按报错数量定级:核心链路少量失败也可能是高等级故障。
  • 定级后不更新:范围扩大或缩小时应同步调整。

追问

  • 定级标准谁定?答:团队/组织预先定义分级矩阵,值班按矩阵判断,避免临场争议。
  • 误告警怎么定级?答:先核实无真实影响,按误报记录,不升级为故障。

01.4.1.4-003 常见止血手段有哪些?

一句话结论

止血手段包括版本回滚、功能降级、限流熔断、流量切换、扩容、关闭问题开关、切主/切换备用;选择依据是故障原因与恢复速度,优先选影响面小、可快速执行的手段。

概念解释

  • 回滚:撤销最近发布。
  • 降级:关闭非核心功能保核心链路。
  • 限流/熔断:保护下游不被压垮。
  • 切流/扩容:转移压力或增加容量。

原理流程

  1. 判断故障是否由最近变更引入。
  2. 回滚或关闭开关止血。
  3. 依赖过载则限流熔断;容量不足则扩容切流。
  4. 观察指标确认恢复。

代码或图示

发布问题 → 回滚版本 / 关功能开关
下游过载 → 限流 / 熔断 / 降级
容量不足 → 扩容 / 切流
数据问题 → 切备用 / 人工兜底

常见误区

  • 止血手段未验证过:应急时操作风险高,预案需平时演练。
  • 降级不通知用户/业务:降级范围与影响需明确告知。

追问

  • 回滚有什么前提?答:版本化产物可回退、数据库变更兼容、配置可恢复。
  • 限流阈值怎么定?答:按下游容量与压测基线,应急时先保核心流量。

01.4.1.4-004 怎么用 traceId/MDC 串联一次请求?

一句话结论

入口生成或透传 traceId,通过 MDC(映射诊断上下文)写入日志上下文,全链路日志携带同一标识;排查时按 traceId 检索一次请求的完整调用链,串联各服务与线程日志。

概念解释

  • traceId:一次请求的全局唯一标识。
  • MDC:线程上下文存储日志字段,随日志输出。
  • 透传:跨 HTTP/RPC/MQ 传递标识。

原理流程

  1. 入口生成/接收 traceId 并放入 MDC。
  2. 调用下游时在请求头/消息属性透传。
  3. 各服务从上下文取出写入 MDC。
  4. 日志检索按 traceId 串联链路。

代码或图示

入口 → traceId 入 MDC → 日志输出 traceId
下游调用透传 header → 下游 MDC 写入
检索:traceId=xxx 拉出全链路日志

常见误区

  • 异步线程丢失 MDC:线程池需传递上下文,否则日志断链。
  • 日志只打业务字段不带 traceId:无法跨服务串联。

追问

  • MDC 用完要清理吗?答:线程复用场景请求结束应清理,避免上下文串到下一请求。
  • 跨线程怎么传递?答:包装任务复制 MDC,或使用支持上下文传递的线程池封装。

01.4.1.4-005 CPU 高怎么排查?

一句话结论

先 top 定位高 CPU 进程,top -Hp <pid> 找高 CPU 线程,转换线程 ID 后用 jstack(Java)或对应工具看线程栈,结合 perf 采样定位热点方法;区分计算密集、锁竞争、上下文切换与死循环。

概念解释

  • 进程级:top/htop 看 %CPU 与进程。
  • 线程级:top -Hp 看线程占用。
  • 栈定位:线程栈对应代码方法。

原理流程

  1. top 找高 CPU 进程 pid。
  2. top -Hp <pid> 找高 CPU 线程 tid。
  3. tid 转十六进制,jstack <pid> | grep 对应线程栈。
  4. perf top/perf record 采样确认热点。

代码或图示

top
top -Hp <pid>
printf '%x\n' <tid>          # 线程 ID 转十六进制
jstack <pid> | grep <hex>
perf top -p <pid>

常见误区

  • CPU 高就重启:未定位根因,问题可能复发。
  • 只看进程不看线程:进程内多线程需下钻到线程栈。

追问

  • CPU 高但线程栈都在等待?答:可能是上下文切换频繁、锁竞争或 IO 等待,结合 vmstat/pidstat 看切换与等待。
  • 非 Java 进程怎么定位?答:perf 采样、gdb 附加查看调用栈,按语言生态选择工具。

01.4.1.4-006 内存问题怎么排查?

一句话结论

先用 free -m 看整体内存与交换,ps aux --sort=-%mem 找占用进程;Java 用 jmap -histo 看对象统计、jmap -dump 转储分析,pmap 看进程内存映射;区分内存泄漏、堆外占用、缓存膨胀与大对象。

概念解释

  • 整体:free 看 used/available/swap。
  • 进程:ps/pmap 看内存分布。
  • 对象:jmap 直方图与堆转储。

原理流程

  1. free -m 确认是整机还是单进程问题。
  2. ps aux --sort=-%mem 定位进程。
  3. jmap -histo:live <pid> 看对象类型与数量。
  4. 必要时 dump 堆转储离线分析,避免线上反复 dump。

代码或图示

free -m
ps aux --sort=-%mem | head
jmap -histo:live <pid> | head -20
jmap -dump:live,format=b,file=heap.hprof <pid>
pmap -x <pid> | head

常见误区

  • available 低就判定泄漏:缓存占用与可回收内存需结合判断。
  • 线上频繁 dump 堆:转储大、影响进程,应择机并离线分析。

追问

  • 堆外内存泄漏怎么查?答:看 NMT/堆外统计、直接内存与线程栈,结合 pmap 与 Native 内存追踪,具体工具按运行时版本确认。
  • 内存持续增长一定是泄漏吗?答:也可能是缓存未设上限或大对象堆积,先看增长对象类型与回收表现。

01.4.1.4-007 磁盘与 IO 问题怎么排查?

一句话结论

df -h 看分区占用,du -sh * 定位大目录,iostat -x 1 看磁盘利用率与 await,lsof +L1 找已删除但句柄未释放的文件;区分容量写满、IO 瓶颈与日志/临时文件膨胀。

概念解释

  • 容量:分区使用率与大文件目录。
  • IO:利用率、读写等待、吞吐。
  • 句柄:删除文件未释放导致空间不回收。

原理流程

  1. df -h 确认满的分区。
  2. du -sh 逐层定位大目录。
  3. iostat -x 1 判断是否 IO 瓶颈。
  4. lsof +L1 查占用已删除文件的进程。

代码或图示

df -h
du -sh /* 2>/dev/null | sort -h
iostat -x 1
lsof +L1

常见误区

  • du 与 df 对不上:文件被删除但进程持有句柄,空间未释放,需重启/释放进程。
  • 磁盘满只删文件不查来源:日志/临时文件增长原因需治理。

追问

  • IO 高 await 大说明什么?答:磁盘处理慢或排队严重,需看读写类型、容量与下游依赖。
  • 日志占满怎么处理?答:调整滚动策略与保留周期,先清理释放空间再定位写入来源。

01.4.1.4-008 网络问题怎么排查?

一句话结论

按链路分层排查:ping/mtr 看连通与丢包,ss -lntp/netstat 看连接与状态,tcpdump 抓包看握手/重传/RST,nstat 看协议统计;区分本机连接问题、网络链路问题与对端服务问题。

概念解释

  • 连通性:ping、mtr 路径丢包与时延。
  • 连接:ss/netstat 看 LISTEN、ESTAB、TIME_WAIT、CLOSE_WAIT。
  • 报文:tcpdump 抓包判读握手、重传、复位。

原理流程

  1. ping/mtr 判断链路连通与丢包。
  2. ss -lntp 看端口监听与连接状态。
  3. tcpdump 按主机/端口抓包分析报文。
  4. nstat/netstat -s 看重传、错误统计。

代码或图示

ping <host>
mtr -rwc 10 <host>
ss -lntp
ss -ant state time-wait | wc -l
tcpdump -i any host <ip> and port <port> -nn
nstat -az | grep -i retrans

常见误区

  • 网络不通就判断对端故障:先区分本机防火墙、DNS、链路、对端各段。
  • 只看连接状态不抓包:状态异常需报文证据确认原因。

追问

  • 连接被 RST 怎么判断?答:tcpdump 看对端是否发 RST,结合对端服务日志判断是拒绝还是崩溃。
  • DNS 解析慢/失败怎么查?答:dig/nslookup 看解析链路与缓存,对比系统与公共 DNS。

01.4.1.4-009 线上问题排查的整体思路是什么?

一句话结论

先确认现象与范围(什么坏了、影响谁、何时开始),再按“入口 → 应用 → 依赖 → 资源”分层下钻,用指标与日志定位到进程/线程/代码,最后验证修复;避免凭猜测反复重启或改配置。

概念解释

  • 现象:报错信息、指标曲线、用户反馈。
  • 分层:接入层、应用服务、中间件/下游、主机资源。
  • 定位:从现象到具体代码与数据。

原理流程

  1. 收集告警、日志、指标与影响范围。
  2. 确认最近变更(发布/配置/数据/依赖)。
  3. 分层排查资源、应用、依赖、网络。
  4. 定位根因并验证修复效果。

代码或图示

现象/范围 → 最近变更 → 主机资源(CPU/内存/磁盘/网络)
→ 应用日志/线程栈 → 下游依赖/中间件 → 代码/数据根因

常见误区

  • 跳过现象确认直接翻代码:方向容易跑偏。
  • 只看单机指标:需结合集群与上下游整体判断。

追问

  • 排查先看变更还是先看资源?答:先看最近变更(发布/配置),同时看资源指标,两条线并行。
  • 怎么避免误判?答:用日志、指标、报文证据互相印证,结论可复现。

01.4.1.4-010 监控与告警怎么设计?

一句话结论

监控覆盖业务指标、技术指标与主机资源,告警基于历史基线与业务容忍度设阈值,分级通知;告警要可执行、有明确处理路径,避免噪音告警淹没真实故障。

概念解释

  • 业务:下单量、支付成功率、关键转化。
  • 技术:QPS、RT、错误率、队列积压。
  • 资源:CPU、内存、磁盘、网络、连接数。

原理流程

  1. 梳理核心链路与关键指标。
  2. 基于基线设定阈值与持续时间。
  3. 分级配置通知渠道与升级路径。
  4. 定期复盘告警有效性,调整阈值。

代码或图示

业务指标 + 技术指标 + 资源指标
阈值 + 持续时间 → 分级告警 → 通知/升级
噪音告警 → 复盘调阈值/补监控

常见误区

  • 阈值拍脑袋:无基线支撑导致误报或漏报。
  • 告警只发消息无人跟进:需明确值班响应与升级机制。

追问

  • 告警分级怎么分?答:紧急(影响核心业务,立即响应)、警告(趋势异常,关注处理)、提示(记录观察)。
  • 指标太多怎么办?答:围绕 SLO 与核心链路选关键指标,冗余指标下线。

01.4.1.4-011 SLO/SLI 是什么关系?

一句话结论

SLI 是衡量服务质量的具体指标(如可用性、延迟、正确率),SLO 是为 SLI 设定的目标值;SLO 用于判断服务是否达标、告警与容量规划,错误预算量化可接受的不可用时间。

概念解释

  • SLI:指标定义与测量(成功请求/总请求、P99 延迟)。
  • SLO:目标值(如 99.9% 可用性)。
  • 错误预算:100% − SLO,允许的失败额度。

原理流程

  1. 定义核心 SLI 指标与计算口径。
  2. 设定 SLO 目标。
  3. 用错误预算约束发布节奏与告警。
  4. 定期回顾 SLO 达标情况。

代码或图示

SLI:成功率 = 成功请求 / 总请求
SLO:月度成功率 ≥ 99.9%
错误预算:0.1% 不可用额度,超标则冻结高风险发布

常见误区

  • SLO 定 100%:不现实且无法指导取舍。
  • SLI 口径不清:分子分母定义不一致导致指标失真。

追问

  • 错误预算有什么用?答:量化可靠性空间,预算充足可加快发布,耗尽则优先稳定性治理。
  • 延迟 SLO 看平均值还是分位?答:看 P95/P99 等分位,避免长尾被平均掩盖。

01.4.1.4-012 值班职责与交接包含什么?

一句话结论

值班负责监控响应、故障初判、止血协调与升级上报;交接需同步未闭环告警、在途问题、值班联系人与应急预案;值班文档记录操作与遗留事项,保证责任连续。

概念解释

  • 响应:告警确认、初步定位、联系对应负责人。
  • 协调:拉相关角色,跟踪止血与恢复。
  • 交接:未闭环事项、风险点、联系人。

原理流程

  1. 值班前确认监控视图与联系人清单。
  2. 告警响应按流程定级与处理。
  3. 交接班同步在途问题与遗留项。
  4. 记录操作时间线。

代码或图示

值班:监控视图 / 联系人 / 预案 / 升级路径
交接:未闭环告警 + 在途问题 + 风险点 + 待跟进事项

常见误区

  • 值班只接电话不记录:复盘与交接缺少事实依据。
  • 交接口头无文档:换班后信息丢失。

追问

  • 值班找不到负责人怎么办?答:按升级路径逐级上报,先止血再追根因。
  • 值班期间非紧急问题怎么处理?答:记录进待办,避免打断故障响应。

01.4.1.4-013 故障复盘模板包含哪些部分?

一句话结论

复盘模板包含故障概述、时间线(发现/定级/止血/恢复)、影响范围、根因分析、处置过程评估、行动项(改进措施、责任人、期限)与经验教训;对事不对人,聚焦流程与系统改进。

概念解释

  • 时间线:关键节点与操作事实。
  • 根因:直接原因与深层诱因。
  • 行动项:可跟踪、有责任人与期限。

原理流程

  1. 汇总告警、日志、操作记录形成时间线。
  2. 分析根因与处置得失。
  3. 列出改进行动项并分配跟踪。
  4. 复盘后闭环检查行动项。

代码或图示

概述/影响 → 时间线 → 根因分析
→ 处置评估(有效/不足)→ 行动项(措施/负责人/期限)→ 经验教训

常见误区

  • 复盘只写“加强测试/注意规范”:行动项不可执行、不可跟踪。
  • 复盘归责个人:打击上报与复盘意愿,应聚焦系统与流程。

追问

  • 复盘什么时候开?答:故障恢复、信息稳定后尽快组织,避免细节遗忘。
  • 行动项怎么闭环?答:录入任务跟踪,到期检查完成情况,未闭环在后续复盘跟进。

01.4.1.4-014 根因分析有哪些常用方法?

一句话结论

常用 5 Why(连续追问为什么直到深层根因)、鱼骨图(人/机/料/法/环分类梳理)、时间线还原;根因区分直接原因(触发点)与系统诱因(流程/监控/设计缺失),避免停留在表面现象。

概念解释

  • 5 Why:逐层下钻,每层基于证据。
  • 鱼骨图:分类枚举可能因素。
  • 直接/深层:触发事件 vs 缺失的防护机制。

原理流程

  1. 还原时间线与事实证据。
  2. 用 5 Why 下钻或鱼骨图分类。
  3. 区分直接原因与系统根因。
  4. 根因对应到可改进的行动项。

代码或图示

现象:接口超时
Why1:下游响应慢 Why2:连接池耗尽 Why3:未释放连接
Why4:异常路径未关闭 Why5:缺资源释放测试与检查
根因:异常路径资源释放缺失 + 对应测试/扫描缺位

常见误区

  • 5 Why 跳到“人为失误”:人为错误背后通常有流程/防护缺失,需继续下钻。
  • 根因无证据支撑:结论需日志、指标、代码事实印证。

追问

  • 多因素故障怎么分析?答:鱼骨图分类列出,再判断各因素因果与主次关系。
  • 根因和触发条件区别?答:触发是当时发生的事件,根因是让事件演化为故障的系统缺陷。

01.4.1.4-015 行动项怎么跟踪闭环?

一句话结论

行动项必须具体、可验证、有责任人和期限,录入任务系统跟踪;按优先级排期,到期检查完成度,未闭环升级;复盘会议只定方向,闭环靠持续跟踪。

概念解释

  • 可执行:明确改什么、怎么验证。
  • 责任到人:避免“相关同学”。
  • 期限:按风险等级排期。

原理流程

  1. 复盘产出行动项清单。
  2. 分配责任人与期限并排期。
  3. 定期检查进度与完成验证。
  4. 未闭环在后续复盘/周报跟进。

代码或图示

行动项:补充连接池泄漏监控(负责人/期限)
验证:压测下连接数回落 + 告警接入
跟踪:任务系统状态 → 到期复核 → 关闭/升级

常见误区

  • 行动项写口号:无法验收是否完成。
  • 复盘后不跟踪:同类故障重复发生。

追问

  • 行动项排不进迭代怎么办?答:评估风险等级,高风险项优先;低风险记录并定期回顾。
  • 怎么验证行动项有效?答:补充对应监控/测试/预案,用演练或后续事件检验。

01.4.1.4-016 重大故障怎么沟通与升级?

一句话结论

重大故障设立统一指挥/对接人,按节奏同步进展(现象、范围、处置、预计恢复),按等级升级到对应管理层与干系人;沟通信息基于已确认事实,避免猜测扩散,恢复后再做详细复盘。

概念解释

  • 单一对接:避免多头发言信息不一致。
  • 分级通报:技术团队 → 业务/管理层 → 对外。
  • 事实优先:未确认结论标注待核实。

原理流程

  1. 确认等级后拉通应急群与指挥角色。
  2. 定时同步现状、处置与下一步。
  3. 超出权限/时效按路径升级。
  4. 恢复后安排正式复盘。

代码或图示

告警/上报 → 定级 → 应急群 + 指挥人
定时同步:现象/范围/止血/预计恢复
升级:技术负责人 → 管理层/业务方 → 对外口径

常见误区

  • 故障期间多人各自对外沟通:口径混乱、信息矛盾。
  • 未确认结论提前通报:造成二次恐慌与信任损失。

追问

  • 升级条件怎么定?答:影响超等级、止血超时、缺少对应角色权限时按路径升级。
  • 对外口径谁负责?答:由指定角色统一整理技术事实与业务影响,避免开发直接对外承诺。

01.4.1.4-017 常见事故类型有哪些?怎么预防?

一句话结论

常见事故包括发布变更事故、依赖/下游故障、资源耗尽(CPU/内存/连接/磁盘)、数据不一致、配置错误、安全事件;预防手段是灰度发布、监控告警、容量冗余、资源治理、配置校验、预案演练与回归测试。

概念解释

  • 变更类:发布、配置、数据脚本。
  • 依赖类:下游服务、中间件、第三方。
  • 资源类:容量泄漏与耗尽。

原理流程

  1. 按历史故障归纳事故类型。
  2. 每类对应监控、检查与预案。
  3. 高风险变更走灰度与回滚准备。
  4. 定期演练预案有效性。

代码或图示

发布事故 → 灰度 + 回滚预案 + 监控对比
下游故障 → 限流降级 + 熔断 + 兜底
资源耗尽 → 容量监控 + 上限治理 + 泄漏排查
数据问题 → 校验 + 备份 + 可逆迁移
配置错误 → 校验 + 灰度 + 变更审计

常见误区

  • 预防只靠测试:线上变更与运行期监控同样关键。
  • 预案从不演练:真故障时操作不熟练。

追问

  • 变更事故怎么减少?答:小批量灰度、可回滚、变更前检查清单、变更窗口避开高峰。
  • 依赖故障怎么兜底?答:超时控制、重试退避、降级缓存、默认值与人工兜底。

01.4.1.4-018 复盘文化怎么建设?

一句话结论

复盘文化强调无指责(blameless):关注系统与流程缺陷而非个人失误,鼓励主动上报隐患;通过闭环行动项、共享故障案例、定期回顾告警与预案,让经验沉淀为团队能力。

概念解释

  • 无指责:人为失误背后找系统防护缺失。
  • 主动上报:隐患与小故障及时暴露。
  • 沉淀:案例库、检查清单、预案复用。

原理流程

  1. 复盘对事不对人,保护上报意愿。
  2. 行动项闭环并共享案例。
  3. 定期回顾故障类型与改进效果。
  4. 把经验写入规范、监控与预案。

代码或图示

故障/隐患上报 → 无指责复盘 → 行动项闭环
→ 案例沉淀 → 规范/监控/预案更新 → 同类问题减少

常见误区

  • 复盘变成追责会:后续问题被隐瞒,重复踩坑。
  • 案例不共享:不同团队重复经历同类故障。

追问

  • 小问题要不要复盘?答:高频小问题与隐患值得归纳,重点看趋势与共性根因。
  • 怎么衡量复盘成效?答:同类故障复发率、行动项闭环率、告警有效率随时间改善。