01.4.1.4 故障处理与值班复盘
所属:全栈开发面试题库 / 01 计算机基础与通用工程 / 01.4 工程素养 / 01.4.1 工程素养
01.4.1.4-001 故障响应的标准流程是什么?
一句话结论
故障响应按“发现 → 定级 → 止血 → 定位根因 → 恢复 → 复盘”推进:先快速恢复业务(止血优先),再深挖根因,避免在未恢复时长时间定位;全程记录时间线与操作。
概念解释
- 发现:监控告警、用户反馈、值班巡检。
- 止血:回滚、降级、限流、切流、扩容等快速恢复手段。
- 恢复:业务指标回到正常区间。
原理流程
- 确认现象与影响范围,定级。
- 先执行止血手段恢复业务。
- 在业务可用前提下定位根因。
- 修复验证后组织复盘。
代码或图示
发现告警 → 确认范围/定级 → 止血(回滚/降级/限流/切流)
→ 定位根因 → 修复恢复 → 复盘改进
常见误区
- 一上来深挖根因不先止血:故障时间被拉长,影响扩大。
- 止血手段不记录:复盘无法判断哪步有效。
追问
- 止血和定位冲突时选哪个?答:先止血恢复业务,根因在恢复后或并行排查,影响等级高时优先恢复。
- 故障期间怎么沟通?答:统一对接人同步进展,关键节点通报干系人,避免信息混乱。
01.4.1.4-002 故障定级看哪些维度?
一句话结论
定级看影响范围(用户/业务量/地域)、严重程度(不可用/数据错误/降级体验)、持续时间与数据损失风险;等级决定响应速度、参与角色与通报范围,定级可随排查升级或下调。
概念解释
- 范围:受影响用户数、订单/交易量、系统模块。
- 严重:完全不可用、部分功能、性能下降、数据不一致。
- 时效:从发生到恢复的时长。
原理流程
- 确认受影响范围与现象。
- 对照定级标准判定等级。
- 通知对应角色与升级路径。
- 信息更新后调整等级。
代码或图示
范围:用户量 / 业务量 / 模块 / 地域
严重:不可用 > 功能受损 > 降级 > 慢
风险:数据丢失/不一致 > 体验问题
常见误区
- 只按报错数量定级:核心链路少量失败也可能是高等级故障。
- 定级后不更新:范围扩大或缩小时应同步调整。
追问
- 定级标准谁定?答:团队/组织预先定义分级矩阵,值班按矩阵判断,避免临场争议。
- 误告警怎么定级?答:先核实无真实影响,按误报记录,不升级为故障。
01.4.1.4-003 常见止血手段有哪些?
一句话结论
止血手段包括版本回滚、功能降级、限流熔断、流量切换、扩容、关闭问题开关、切主/切换备用;选择依据是故障原因与恢复速度,优先选影响面小、可快速执行的手段。
概念解释
- 回滚:撤销最近发布。
- 降级:关闭非核心功能保核心链路。
- 限流/熔断:保护下游不被压垮。
- 切流/扩容:转移压力或增加容量。
原理流程
- 判断故障是否由最近变更引入。
- 回滚或关闭开关止血。
- 依赖过载则限流熔断;容量不足则扩容切流。
- 观察指标确认恢复。
代码或图示
发布问题 → 回滚版本 / 关功能开关
下游过载 → 限流 / 熔断 / 降级
容量不足 → 扩容 / 切流
数据问题 → 切备用 / 人工兜底
常见误区
- 止血手段未验证过:应急时操作风险高,预案需平时演练。
- 降级不通知用户/业务:降级范围与影响需明确告知。
追问
- 回滚有什么前提?答:版本化产物可回退、数据库变更兼容、配置可恢复。
- 限流阈值怎么定?答:按下游容量与压测基线,应急时先保核心流量。
01.4.1.4-004 怎么用 traceId/MDC 串联一次请求?
一句话结论
入口生成或透传 traceId,通过 MDC(映射诊断上下文)写入日志上下文,全链路日志携带同一标识;排查时按 traceId 检索一次请求的完整调用链,串联各服务与线程日志。
概念解释
- traceId:一次请求的全局唯一标识。
- MDC:线程上下文存储日志字段,随日志输出。
- 透传:跨 HTTP/RPC/MQ 传递标识。
原理流程
- 入口生成/接收 traceId 并放入 MDC。
- 调用下游时在请求头/消息属性透传。
- 各服务从上下文取出写入 MDC。
- 日志检索按 traceId 串联链路。
代码或图示
入口 → traceId 入 MDC → 日志输出 traceId
下游调用透传 header → 下游 MDC 写入
检索:traceId=xxx 拉出全链路日志
常见误区
- 异步线程丢失 MDC:线程池需传递上下文,否则日志断链。
- 日志只打业务字段不带 traceId:无法跨服务串联。
追问
- MDC 用完要清理吗?答:线程复用场景请求结束应清理,避免上下文串到下一请求。
- 跨线程怎么传递?答:包装任务复制 MDC,或使用支持上下文传递的线程池封装。
01.4.1.4-005 CPU 高怎么排查?
一句话结论
先 top 定位高 CPU 进程,top -Hp <pid> 找高 CPU 线程,转换线程 ID 后用 jstack(Java)或对应工具看线程栈,结合 perf 采样定位热点方法;区分计算密集、锁竞争、上下文切换与死循环。
概念解释
- 进程级:
top/htop看 %CPU 与进程。 - 线程级:
top -Hp看线程占用。 - 栈定位:线程栈对应代码方法。
原理流程
top找高 CPU 进程 pid。top -Hp <pid>找高 CPU 线程 tid。- tid 转十六进制,
jstack <pid> | grep对应线程栈。 perf top/perf record采样确认热点。
代码或图示
top
top -Hp <pid>
printf '%x\n' <tid> # 线程 ID 转十六进制
jstack <pid> | grep <hex>
perf top -p <pid>
常见误区
- CPU 高就重启:未定位根因,问题可能复发。
- 只看进程不看线程:进程内多线程需下钻到线程栈。
追问
- CPU 高但线程栈都在等待?答:可能是上下文切换频繁、锁竞争或 IO 等待,结合
vmstat/pidstat看切换与等待。 - 非 Java 进程怎么定位?答:
perf采样、gdb附加查看调用栈,按语言生态选择工具。
01.4.1.4-006 内存问题怎么排查?
一句话结论
先用 free -m 看整体内存与交换,ps aux --sort=-%mem 找占用进程;Java 用 jmap -histo 看对象统计、jmap -dump 转储分析,pmap 看进程内存映射;区分内存泄漏、堆外占用、缓存膨胀与大对象。
概念解释
- 整体:
free看 used/available/swap。 - 进程:
ps/pmap看内存分布。 - 对象:
jmap直方图与堆转储。
原理流程
free -m确认是整机还是单进程问题。ps aux --sort=-%mem定位进程。jmap -histo:live <pid>看对象类型与数量。- 必要时 dump 堆转储离线分析,避免线上反复 dump。
代码或图示
free -m
ps aux --sort=-%mem | head
jmap -histo:live <pid> | head -20
jmap -dump:live,format=b,file=heap.hprof <pid>
pmap -x <pid> | head
常见误区
- available 低就判定泄漏:缓存占用与可回收内存需结合判断。
- 线上频繁 dump 堆:转储大、影响进程,应择机并离线分析。
追问
- 堆外内存泄漏怎么查?答:看 NMT/堆外统计、直接内存与线程栈,结合
pmap与 Native 内存追踪,具体工具按运行时版本确认。 - 内存持续增长一定是泄漏吗?答:也可能是缓存未设上限或大对象堆积,先看增长对象类型与回收表现。
01.4.1.4-007 磁盘与 IO 问题怎么排查?
一句话结论
df -h 看分区占用,du -sh * 定位大目录,iostat -x 1 看磁盘利用率与 await,lsof +L1 找已删除但句柄未释放的文件;区分容量写满、IO 瓶颈与日志/临时文件膨胀。
概念解释
- 容量:分区使用率与大文件目录。
- IO:利用率、读写等待、吞吐。
- 句柄:删除文件未释放导致空间不回收。
原理流程
df -h确认满的分区。du -sh逐层定位大目录。iostat -x 1判断是否 IO 瓶颈。lsof +L1查占用已删除文件的进程。
代码或图示
df -h
du -sh /* 2>/dev/null | sort -h
iostat -x 1
lsof +L1
常见误区
du与df对不上:文件被删除但进程持有句柄,空间未释放,需重启/释放进程。- 磁盘满只删文件不查来源:日志/临时文件增长原因需治理。
追问
- IO 高 await 大说明什么?答:磁盘处理慢或排队严重,需看读写类型、容量与下游依赖。
- 日志占满怎么处理?答:调整滚动策略与保留周期,先清理释放空间再定位写入来源。
01.4.1.4-008 网络问题怎么排查?
一句话结论
按链路分层排查:ping/mtr 看连通与丢包,ss -lntp/netstat 看连接与状态,tcpdump 抓包看握手/重传/RST,nstat 看协议统计;区分本机连接问题、网络链路问题与对端服务问题。
概念解释
- 连通性:ping、mtr 路径丢包与时延。
- 连接:ss/netstat 看 LISTEN、ESTAB、TIME_WAIT、CLOSE_WAIT。
- 报文:tcpdump 抓包判读握手、重传、复位。
原理流程
ping/mtr判断链路连通与丢包。ss -lntp看端口监听与连接状态。tcpdump按主机/端口抓包分析报文。nstat/netstat -s看重传、错误统计。
代码或图示
ping <host>
mtr -rwc 10 <host>
ss -lntp
ss -ant state time-wait | wc -l
tcpdump -i any host <ip> and port <port> -nn
nstat -az | grep -i retrans
常见误区
- 网络不通就判断对端故障:先区分本机防火墙、DNS、链路、对端各段。
- 只看连接状态不抓包:状态异常需报文证据确认原因。
追问
- 连接被 RST 怎么判断?答:tcpdump 看对端是否发 RST,结合对端服务日志判断是拒绝还是崩溃。
- DNS 解析慢/失败怎么查?答:
dig/nslookup看解析链路与缓存,对比系统与公共 DNS。
01.4.1.4-009 线上问题排查的整体思路是什么?
一句话结论
先确认现象与范围(什么坏了、影响谁、何时开始),再按“入口 → 应用 → 依赖 → 资源”分层下钻,用指标与日志定位到进程/线程/代码,最后验证修复;避免凭猜测反复重启或改配置。
概念解释
- 现象:报错信息、指标曲线、用户反馈。
- 分层:接入层、应用服务、中间件/下游、主机资源。
- 定位:从现象到具体代码与数据。
原理流程
- 收集告警、日志、指标与影响范围。
- 确认最近变更(发布/配置/数据/依赖)。
- 分层排查资源、应用、依赖、网络。
- 定位根因并验证修复效果。
代码或图示
现象/范围 → 最近变更 → 主机资源(CPU/内存/磁盘/网络)
→ 应用日志/线程栈 → 下游依赖/中间件 → 代码/数据根因
常见误区
- 跳过现象确认直接翻代码:方向容易跑偏。
- 只看单机指标:需结合集群与上下游整体判断。
追问
- 排查先看变更还是先看资源?答:先看最近变更(发布/配置),同时看资源指标,两条线并行。
- 怎么避免误判?答:用日志、指标、报文证据互相印证,结论可复现。
01.4.1.4-010 监控与告警怎么设计?
一句话结论
监控覆盖业务指标、技术指标与主机资源,告警基于历史基线与业务容忍度设阈值,分级通知;告警要可执行、有明确处理路径,避免噪音告警淹没真实故障。
概念解释
- 业务:下单量、支付成功率、关键转化。
- 技术:QPS、RT、错误率、队列积压。
- 资源:CPU、内存、磁盘、网络、连接数。
原理流程
- 梳理核心链路与关键指标。
- 基于基线设定阈值与持续时间。
- 分级配置通知渠道与升级路径。
- 定期复盘告警有效性,调整阈值。
代码或图示
业务指标 + 技术指标 + 资源指标
阈值 + 持续时间 → 分级告警 → 通知/升级
噪音告警 → 复盘调阈值/补监控
常见误区
- 阈值拍脑袋:无基线支撑导致误报或漏报。
- 告警只发消息无人跟进:需明确值班响应与升级机制。
追问
- 告警分级怎么分?答:紧急(影响核心业务,立即响应)、警告(趋势异常,关注处理)、提示(记录观察)。
- 指标太多怎么办?答:围绕 SLO 与核心链路选关键指标,冗余指标下线。
01.4.1.4-011 SLO/SLI 是什么关系?
一句话结论
SLI 是衡量服务质量的具体指标(如可用性、延迟、正确率),SLO 是为 SLI 设定的目标值;SLO 用于判断服务是否达标、告警与容量规划,错误预算量化可接受的不可用时间。
概念解释
- SLI:指标定义与测量(成功请求/总请求、P99 延迟)。
- SLO:目标值(如 99.9% 可用性)。
- 错误预算:100% − SLO,允许的失败额度。
原理流程
- 定义核心 SLI 指标与计算口径。
- 设定 SLO 目标。
- 用错误预算约束发布节奏与告警。
- 定期回顾 SLO 达标情况。
代码或图示
SLI:成功率 = 成功请求 / 总请求
SLO:月度成功率 ≥ 99.9%
错误预算:0.1% 不可用额度,超标则冻结高风险发布
常见误区
- SLO 定 100%:不现实且无法指导取舍。
- SLI 口径不清:分子分母定义不一致导致指标失真。
追问
- 错误预算有什么用?答:量化可靠性空间,预算充足可加快发布,耗尽则优先稳定性治理。
- 延迟 SLO 看平均值还是分位?答:看 P95/P99 等分位,避免长尾被平均掩盖。
01.4.1.4-012 值班职责与交接包含什么?
一句话结论
值班负责监控响应、故障初判、止血协调与升级上报;交接需同步未闭环告警、在途问题、值班联系人与应急预案;值班文档记录操作与遗留事项,保证责任连续。
概念解释
- 响应:告警确认、初步定位、联系对应负责人。
- 协调:拉相关角色,跟踪止血与恢复。
- 交接:未闭环事项、风险点、联系人。
原理流程
- 值班前确认监控视图与联系人清单。
- 告警响应按流程定级与处理。
- 交接班同步在途问题与遗留项。
- 记录操作时间线。
代码或图示
值班:监控视图 / 联系人 / 预案 / 升级路径
交接:未闭环告警 + 在途问题 + 风险点 + 待跟进事项
常见误区
- 值班只接电话不记录:复盘与交接缺少事实依据。
- 交接口头无文档:换班后信息丢失。
追问
- 值班找不到负责人怎么办?答:按升级路径逐级上报,先止血再追根因。
- 值班期间非紧急问题怎么处理?答:记录进待办,避免打断故障响应。
01.4.1.4-013 故障复盘模板包含哪些部分?
一句话结论
复盘模板包含故障概述、时间线(发现/定级/止血/恢复)、影响范围、根因分析、处置过程评估、行动项(改进措施、责任人、期限)与经验教训;对事不对人,聚焦流程与系统改进。
概念解释
- 时间线:关键节点与操作事实。
- 根因:直接原因与深层诱因。
- 行动项:可跟踪、有责任人与期限。
原理流程
- 汇总告警、日志、操作记录形成时间线。
- 分析根因与处置得失。
- 列出改进行动项并分配跟踪。
- 复盘后闭环检查行动项。
代码或图示
概述/影响 → 时间线 → 根因分析
→ 处置评估(有效/不足)→ 行动项(措施/负责人/期限)→ 经验教训
常见误区
- 复盘只写“加强测试/注意规范”:行动项不可执行、不可跟踪。
- 复盘归责个人:打击上报与复盘意愿,应聚焦系统与流程。
追问
- 复盘什么时候开?答:故障恢复、信息稳定后尽快组织,避免细节遗忘。
- 行动项怎么闭环?答:录入任务跟踪,到期检查完成情况,未闭环在后续复盘跟进。
01.4.1.4-014 根因分析有哪些常用方法?
一句话结论
常用 5 Why(连续追问为什么直到深层根因)、鱼骨图(人/机/料/法/环分类梳理)、时间线还原;根因区分直接原因(触发点)与系统诱因(流程/监控/设计缺失),避免停留在表面现象。
概念解释
- 5 Why:逐层下钻,每层基于证据。
- 鱼骨图:分类枚举可能因素。
- 直接/深层:触发事件 vs 缺失的防护机制。
原理流程
- 还原时间线与事实证据。
- 用 5 Why 下钻或鱼骨图分类。
- 区分直接原因与系统根因。
- 根因对应到可改进的行动项。
代码或图示
现象:接口超时
Why1:下游响应慢 Why2:连接池耗尽 Why3:未释放连接
Why4:异常路径未关闭 Why5:缺资源释放测试与检查
根因:异常路径资源释放缺失 + 对应测试/扫描缺位
常见误区
- 5 Why 跳到“人为失误”:人为错误背后通常有流程/防护缺失,需继续下钻。
- 根因无证据支撑:结论需日志、指标、代码事实印证。
追问
- 多因素故障怎么分析?答:鱼骨图分类列出,再判断各因素因果与主次关系。
- 根因和触发条件区别?答:触发是当时发生的事件,根因是让事件演化为故障的系统缺陷。
01.4.1.4-015 行动项怎么跟踪闭环?
一句话结论
行动项必须具体、可验证、有责任人和期限,录入任务系统跟踪;按优先级排期,到期检查完成度,未闭环升级;复盘会议只定方向,闭环靠持续跟踪。
概念解释
- 可执行:明确改什么、怎么验证。
- 责任到人:避免“相关同学”。
- 期限:按风险等级排期。
原理流程
- 复盘产出行动项清单。
- 分配责任人与期限并排期。
- 定期检查进度与完成验证。
- 未闭环在后续复盘/周报跟进。
代码或图示
行动项:补充连接池泄漏监控(负责人/期限)
验证:压测下连接数回落 + 告警接入
跟踪:任务系统状态 → 到期复核 → 关闭/升级
常见误区
- 行动项写口号:无法验收是否完成。
- 复盘后不跟踪:同类故障重复发生。
追问
- 行动项排不进迭代怎么办?答:评估风险等级,高风险项优先;低风险记录并定期回顾。
- 怎么验证行动项有效?答:补充对应监控/测试/预案,用演练或后续事件检验。
01.4.1.4-016 重大故障怎么沟通与升级?
一句话结论
重大故障设立统一指挥/对接人,按节奏同步进展(现象、范围、处置、预计恢复),按等级升级到对应管理层与干系人;沟通信息基于已确认事实,避免猜测扩散,恢复后再做详细复盘。
概念解释
- 单一对接:避免多头发言信息不一致。
- 分级通报:技术团队 → 业务/管理层 → 对外。
- 事实优先:未确认结论标注待核实。
原理流程
- 确认等级后拉通应急群与指挥角色。
- 定时同步现状、处置与下一步。
- 超出权限/时效按路径升级。
- 恢复后安排正式复盘。
代码或图示
告警/上报 → 定级 → 应急群 + 指挥人
定时同步:现象/范围/止血/预计恢复
升级:技术负责人 → 管理层/业务方 → 对外口径
常见误区
- 故障期间多人各自对外沟通:口径混乱、信息矛盾。
- 未确认结论提前通报:造成二次恐慌与信任损失。
追问
- 升级条件怎么定?答:影响超等级、止血超时、缺少对应角色权限时按路径升级。
- 对外口径谁负责?答:由指定角色统一整理技术事实与业务影响,避免开发直接对外承诺。
01.4.1.4-017 常见事故类型有哪些?怎么预防?
一句话结论
常见事故包括发布变更事故、依赖/下游故障、资源耗尽(CPU/内存/连接/磁盘)、数据不一致、配置错误、安全事件;预防手段是灰度发布、监控告警、容量冗余、资源治理、配置校验、预案演练与回归测试。
概念解释
- 变更类:发布、配置、数据脚本。
- 依赖类:下游服务、中间件、第三方。
- 资源类:容量泄漏与耗尽。
原理流程
- 按历史故障归纳事故类型。
- 每类对应监控、检查与预案。
- 高风险变更走灰度与回滚准备。
- 定期演练预案有效性。
代码或图示
发布事故 → 灰度 + 回滚预案 + 监控对比
下游故障 → 限流降级 + 熔断 + 兜底
资源耗尽 → 容量监控 + 上限治理 + 泄漏排查
数据问题 → 校验 + 备份 + 可逆迁移
配置错误 → 校验 + 灰度 + 变更审计
常见误区
- 预防只靠测试:线上变更与运行期监控同样关键。
- 预案从不演练:真故障时操作不熟练。
追问
- 变更事故怎么减少?答:小批量灰度、可回滚、变更前检查清单、变更窗口避开高峰。
- 依赖故障怎么兜底?答:超时控制、重试退避、降级缓存、默认值与人工兜底。
01.4.1.4-018 复盘文化怎么建设?
一句话结论
复盘文化强调无指责(blameless):关注系统与流程缺陷而非个人失误,鼓励主动上报隐患;通过闭环行动项、共享故障案例、定期回顾告警与预案,让经验沉淀为团队能力。
概念解释
- 无指责:人为失误背后找系统防护缺失。
- 主动上报:隐患与小故障及时暴露。
- 沉淀:案例库、检查清单、预案复用。
原理流程
- 复盘对事不对人,保护上报意愿。
- 行动项闭环并共享案例。
- 定期回顾故障类型与改进效果。
- 把经验写入规范、监控与预案。
代码或图示
故障/隐患上报 → 无指责复盘 → 行动项闭环
→ 案例沉淀 → 规范/监控/预案更新 → 同类问题减少
常见误区
- 复盘变成追责会:后续问题被隐瞒,重复踩坑。
- 案例不共享:不同团队重复经历同类故障。
追问
- 小问题要不要复盘?答:高频小问题与隐患值得归纳,重点看趋势与共性根因。
- 怎么衡量复盘成效?答:同类故障复发率、行动项闭环率、告警有效率随时间改善。