罗罗编程学习记录 全栈面试题库
本页导航 展开查看

14.8.3 实时性故障现场排查

所属:全栈开发面试题库 / 14 物联网与嵌入式软件 / 14.8 设备综合场景题

本节要解决的问题

现场症状:偶发丢帧、看门狗复位、偶发死机,无规律、难复现。本节走"现场感":给出症状、可观测证据、排查顺序、结论,不重复概念。重点是分层排查方法。

学习目标

学完本节,你应当能够:

  • 按"硬件 → 中断 → 调度 → 临界区"顺序排查偶发丢帧。
  • 分析看门狗复位原因。
  • 定位中断延迟毛刺。
  • 区分偶发死机的原因(软件/硬件/电源)。

先修与前置

知识地图

症状: 偶发丢帧 / 看门狗复位 / 偶发死机
  │
  ├─ 硬件: 电源纹波 / 接线松动 / 温度
  ├─ 中断: 中断延迟毛刺 / 关中断太长
  ├─ 调度: 优先级反转 / 高优先级任务阻塞
  ├─ 临界区: 长临界区 / 关中断太长
  └─ 软件: 死循环 / 内存越界 / 栈溢出

核心术语

  • 偶发丢帧:偶尔丢失一帧数据,无规律。
  • 看门狗复位:WDT 超时,设备重启。
  • 中断延迟毛刺:某次中断延迟突然变大。
  • 优先级反转:高优先级任务被低优先级阻塞。
  • HardFault:程序跑飞,Cortex-M 异常。

覆盖范围

  • 偶发丢帧分层排查
  • 看门狗复位原因分析
  • 中断延迟毛刺定位
  • 优先级反转现场还原
  • Flash 擦写导致卡顿
  • 偶发死机现场抓取
  • 电源纹波与复位
  • 温度相关故障

高频题速览

编号 题目 难度 频率
14.8.3-001 偶发丢帧怎么排查? 基础 ★★★★★
14.8.3-002 看门狗复位原因有哪些? 进阶 ★★★★
14.8.3-003 中断延迟突然变大怎么定位? 进阶 ★★★★
14.8.3-004 优先级反转现场怎么还原? 进阶 ★★★
14.8.3-005 Flash 擦写为什么会卡顿? 进阶 ★★★
14.8.3-006 偶发死机怎么抓取现场? 高级 ★★★★
14.8.3-007 电源纹波怎么导致复位? 高级 ★★★
14.8.3-008 温度相关故障怎么查? 高级 ★★★
14.8.3-009 怎么从偶发到可复现? 高级 ★★★
14.8.3-010 栈溢出怎么发现? 进阶 ★★★

14.8.3-001 偶发丢帧怎么排查?

一句话结论

按"硬件 → 中断 → 调度 → 临界区"顺序排查:先量电源与接线,再测中断延迟,再查调度(优先级反转),最后查临界区长度。

概念解释

  • 偶发丢帧:偶尔丢失一帧,无规律。
  • 分层排查:从底层到上层,逐层排除。
  • 硬件:电源、接线、温度。
  • 中断:中断延迟毛刺。
  • 调度:优先级反转。
  • 临界区:关中断太长。

原理流程

  1. 硬件排查:
    • 量电源电压(纹波?)。
    • 检查接线(松动?)。
    • 温度是否过高?
  2. 中断排查:
    • GPIO 翻转 + 示波器量中断延迟。
    • 是否有毛刺(某次延迟突然变大)?
  3. 调度排查:
    • 是否有优先级反转(高优先级任务被阻塞)?
    • 高优先级任务是否等低优先级资源?
  4. 临界区排查:
    • 关中断时间多长?
    • 临界区是否太长?

代码或图示

排查顺序:
  1. 硬件: 电源纹波 → 示波器量 3.3V
  2. 中断: GPIO 翻转 → 量中断延迟
  3. 调度: trace 任务切换 → 看是否有反转
  4. 临界区: 量关中断时间 → 是否太长

常见原因:
  - 电源纹波 → ADC 采样错误
  - 接线松动 → 通信丢帧
  - 关中断太长 → 中断延迟毛刺
  - 优先级反转 → 高优先级任务等太久

常见误区

  • 误区:丢帧就是软件问题;正解:先查硬件。
  • 误区:偶发不用管;正解:偶发说明有隐患。
  • 误区:直接怀疑代码慢;正解:先测延迟,再定位。

追问

  • 怎么量中断延迟?答:ISR 第一条指令翻转 GPIO,示波器量触发源到 GPIO 的时间。机制上 GPIO 翻转快。边界在于:高频中断下 GPIO 翻转扰动系统。延伸:成熟方案用 DWT 周期计数器。
  • 怎么查优先级反转?答:trace 任务切换日志,看高优先级任务是否被低优先级阻塞。机制上 RTOS 有 trace 钩子。边界在于:trace 本身影响性能。延伸:成熟方案用事件记录器(SEGGER SystemView)。
  • 临界区怎么量?答:临界区入口/出口翻转 GPIO,量脉宽。机制上 GPIO 脉宽 = 临界区长度。边界在于:临界区太多时难逐个量。延伸:成熟方案用内核 trace 钩子统计最长临界区。

14.8.3-002 看门狗复位原因有哪些?

一句话结论

看门狗复位原因:主循环卡住、中断过长、死循环、内存越界;先读复位原因寄存器,再定位。

概念解释

  • 看门狗(WDT):超时不喂狗则复位。
  • 复位原因寄存器:记录上次复位原因(看门狗/软件/上电)。
  • 主循环卡住:任务死循环,没喂狗。
  • 中断过长:ISR 太长,主循环没机会跑。
  • 死循环:代码 bug,无限循环。

原理流程

  1. 读复位原因寄存器:确认是看门狗复位。
  2. 分析可能原因:
    • 主循环卡住?
    • 中断太长?
    • 死循环?
  3. 加日志:在喂狗点打日志,看卡在哪。
  4. 加 trace:记录任务运行状态。
  5. 定位:找到卡住的任务。

代码或图示

复位原因寄存器 (STM32):
  RCC_CSR: 位 29 = IWDGRSTF (独立看门狗复位)
  读这个寄存器确认是看门狗复位

喂狗点日志:
  task_A: ... feed_dog ...
  task_B: ... feed_dog ...
  → 看日志最后停在哪

常见原因:
  - 某任务死循环, 没喂狗
  - ISR 太长, 主循环没跑
  - 等信号量超时, 任务卡住

常见误区

  • 误区:看门狗复位就是跑飞;正解:先读复位原因,可能是软件复位。
  • 误区:喂狗点越多越好;正解:喂狗点要在关键任务,不能随便喂。
  • 误区:看门狗复位后没办法;正解:有复位原因寄存器与日志。

追问

  • 怎么区分看门狗复位与其他复位?答:读 RCC_CSR 寄存器。机制上每种复位有标志位。边界在于:复位后标志位可能被清,要第一时间读。延伸:成熟方案启动时立即读并记录。
  • 喂狗策略怎么设计?答:在主循环与关键任务喂狗,不在 ISR 喂。机制上喂狗说明主循环在跑。边界在于:多任务时要等所有关键任务都跑过才喂。延伸:成熟方案用"任务存活标志",所有任务都 OK 才喂狗。
  • 看门狗超时设多长?答:比最坏主循环周期长 3 倍。机制上太短误复位,太长没保护。边界在于:任务周期变化时要调整。延伸:成熟方案可配置超时。

14.8.3-003 中断延迟突然变大怎么定位?

一句话结论

中断延迟毛刺(偶发变大)通常由长临界区、Flash 擦写、高优先级中断嵌套导致;用 GPIO 翻转 + 示波器长时统计,找到毛刺时刻再查同期事件。

概念解释

  • 中断延迟毛刺:某次延迟突然变大(如 10us → 100us)。
  • 长临界区:关中断期间,中断被屏蔽。
  • Flash 擦写:擦写时 CPU 暂停(Flash 擦写期间不能取指)。
  • 高优先级中断:嵌套延迟。

原理流程

  1. GPIO 翻转 + 示波器长时统计,记录每次延迟。
  2. 找毛刺时刻(延迟突然变大)。
  3. 查同期事件:
    • 是否有 Flash 擦写?
    • 是否有关中断?
    • 是否有高优先级中断?
  4. 定位原因,修复。

代码或图示

测量:
  ISR 第一条指令翻转 GPIO
  示波器长时记录, 找毛刺

毛刺时刻查同期事件:
  - Flash 擦写日志?
  - 临界区日志?
  - 高优先级中断?

常见原因:
  - Flash 擦写 (CPU 暂停) → 延迟变大
  - 关中断临界区太长 → 中断被屏蔽
  - 高优先级 ISR 嵌套 → 延迟叠加

常见误区

  • 误区:延迟是平均的;正解:毛刺是偶发,要长时统计。
  • 误区:Flash 擦写不影响;正解:擦写时 CPU 暂停,延迟变大。
  • 误区:临界区不影响;正解:关中断屏蔽中断,延迟变大。

追问

  • Flash 擦写为什么暂停 CPU?答:Flash 擦写时不能同时取指(总线冲突)。机制上擦写期间 CPU 暂停。边界在于:擦写时间几十 ms,延迟大。延伸:成熟方案擦写放在低优先级任务,或用双 Bank。
  • 怎么减少 Flash 擦写影响?答:后台擦写(DMA)或双 Bank。机制上擦写不阻塞 CPU。边界在于:双 Bank 占 Flash 空间。延伸:成熟方案小数据量不擦写,只写。
  • 临界区怎么缩短?答:临界区只做必要操作,其余推后。机制上临界区越短越好。边界在于:有些操作必须原子(如改链表)。延伸:成熟方案用无锁结构减少临界区。

14.8.3-004 优先级反转现场怎么还原?

一句话结论

用 trace 记录任务状态:高优先级任务等信号量 → 低优先级持锁 → 中优先级任务抢占 → 高优先级阻塞时间变长。

概念解释

  • 优先级反转:高优先级任务等低优先级资源。
  • trace:记录任务切换与等待。
  • 持锁者:低优先级任务持有信号量。
  • 中优先级抢占:中优先级任务抢占低优先级。

原理流程

  1. trace 记录:
    • 任务 A(高)等信号量。
    • 任务 C(低)持有信号量。
    • 任务 B(中)就绪,抢占 C。
    • A 阻塞时间 = C 剩余临界区 + B 执行时间。
  2. 还原时序:
    C: [持锁......][被抢]....[释放]
    A:       [阻塞 ........ ][运行]
    B:               [运行]
    
  3. 解决:开优先级继承(见 14.1.1)。

代码或图示

trace 日志:
  10:00:00.000 C 拿锁
  10:00:00.010 A 等锁 (阻塞)
  10:00:00.020 B 就绪, 抢占 C
  10:00:00.100 B 完成
  10:00:00.110 C 释放锁
  10:00:00.110 A 运行

  A 阻塞 = 100ms (本应 10ms)
  → 优先级反转!

常见误区

  • 误区:反转是罕见 bug;正解:没开优先级继承时常见。
  • 误区:反转是 RTOS 问题;正解:是应用设计问题。
  • 误区:开继承就够了;正解:还要缩短临界区。

追问

  • 怎么开优先级继承?答:用互斥量(Mutex)而不是二值信号量。机制上 RTOS Mutex 支持继承。边界在于:继承有开销,不是所有锁都需要。延伸:成熟方案关键锁用 Mutex。
  • 怎么检测反转?答:RTOS 有统计,高优先级任务阻塞时间超预期。机制上 trace 可检测。边界在于:偶发反转难抓。延伸:成熟方案长时 trace 统计。
  • 反转和优先级天花板区别?答:继承是动态提升,天花板是静态提升。机制上天花板可静态分析。边界在于:天花板实现复杂。延伸:安全相关项目用天花板。

14.8.3-005 Flash 擦写为什么会卡顿?

一句话结论

Flash 擦写时 CPU 暂停取指(总线冲突),擦写期间代码不能运行,导致卡顿几十 ms。

概念解释

  • Flash 擦写:擦除扇区(几十 ms)。
  • CPU 暂停:擦写时不能取指。
  • 卡顿:应用冻结几十 ms。
  • 影响:实时任务错过截止时间。

原理流程

  1. 应用写 Flash(日志/配置)。
  2. Flash 控制器开始擦写扇区。
  3. 擦写期间 CPU 暂停(不能取指)。
  4. 擦写完成(几十 ms),CPU 继续。
  5. 期间实时任务错过截止时间。

代码或图示

Flash 擦写时序:
  应用: ... 写 Flash ...
  Flash: 擦写扇区 (30ms)
  CPU:   暂停取指 (30ms)
  应用: 冻结 30ms

常见误区

  • 误区:Flash 写是后台的;正解:擦写期间 CPU 暂停。
  • 误区:小数据不擦写;正解:写新扇区要先擦写。
  • 误区:擦写不影响;正解:实时任务卡顿。

追问

  • 怎么避免擦写卡顿?答:双 Bank(一个运行一个写)或后台 DMA。机制上擦写不阻塞 CPU。边界在于:双 Bank 占 Flash。延伸:成熟方案小数据量不擦写,只写新页。
  • 擦写时间多长?答:典型 Flash 扇区擦写 20–50ms。机制上不同芯片不同。边界在于:大容量 Flash 擦写更慢。延伸:成熟方案查芯片规格书。
  • 写 Flash 要关中断吗?答:某些芯片擦写时要关中断。机制上擦写期间不能响应中断。边界在于:关中断影响实时性。延伸:成熟方案擦写放在低优先级任务。

14.8.3-006 偶发死机怎么抓取现场?

一句话结论

HardFault 时保存寄存器(PC/LR/SP)写 Flash,重启后回传;用 PC 地址 + map 文件定位代码行。

概念解释

  • HardFault:程序跑飞,Cortex-M 异常。
  • 现场:寄存器(PC/LR/SP)、栈内容。
  • 写 Flash:掉电保护。
  • PC 定位:PC 指向崩溃指令,map 文件定位代码行。

原理流程

  1. HardFault ISR:保存寄存器到栈。
  2. 写 Flash:把 PC/LR/SP 写 Flash 专用区。
  3. 重启:设备复位。
  4. 启动检测:读 Flash 崩溃标志。
  5. 回传:联网后上报崩溃日志。
  6. 定位:PC + map 文件 → 代码行。

代码或图示

void HardFault_Handler(void)
{
    uint32_t *sp;
    asm volatile ("MRS %0, MSP" : "=r"(sp));
    uint32_t pc = sp[6], lr = sp[5];

    crash_log_t log = {.pc = pc, .lr = lr, .magic = 0xDEADBEEF};
    flash_write_crash(&log);
    NVIC_SystemReset();
}

常见误区

  • 误区:死机后没办法;正解:有 HardFault 现场。
  • 误区:RAM 里存现场;正解:掉电丢失,写 Flash。
  • 误区:PC 能直接定位;正解:要 map 文件 + addr2line。

追问

  • PC 怎么定位代码?答:PC 是指令地址,map 文件里找对应函数。机制上链接时生成 map 文件。边界在于:优化等级高时 PC 不准确。延伸:成熟方案用 addr2line 工具。
  • 栈内容有用吗?答:有用,可看调用链。机制上栈里有返回地址。边界在于:栈溢出时栈内容被破坏。延伸:成熟方案栈填魔术字检测溢出。
  • 频繁死机怎么办?答:记录死机次数,超过阈值停止回传。机制上避免风暴。边界在于:用户可能没收到死机通知。延伸:成熟方案死机后自动回滚固件。

14.8.3-007 电源纹波怎么导致复位?

一句话结论

电源纹波大时,MCU 电压跌到最低工作电压以下,触发 BOR(掉电复位),设备重启。

概念解释

  • 电源纹波:电压波动(如 3.3V ± 0.3V)。
  • BOR(Brown Out Reset):电压低于阈值,复位。
  • 纹波原因:开关电源噪声、负载突变。
  • 影响:设备重启。

原理流程

  1. 负载突变(如电机启动)→ 电压跌落。
  2. MCU 电压低于 BOR 阈值(如 2.7V)。
  3. BOR 触发,设备复位。
  4. 恢复后重启。

代码或图示

电源纹波时序:
  正常: 3.3V
  负载突变: 跌到 2.5V
  BOR 阈值: 2.7V
  → 2.5V < 2.7V → BOR 复位

常见误区

  • 误区:电源是稳定的;正解:有纹波。
  • 误区:复位就是软件问题;正解:先查电源。
  • 误区:加电容就行;正解:要分析纹波原因。

追问

  • 怎么量电源纹波?答:示波器量 3.3V,AC 耦合。机制上纹波是交流分量。边界在于:示波器要带宽足够。延伸:成熟方案用示波器 AC 耦合。
  • 怎么减少纹波?答:加大电容、LC 滤波、改进电源设计。机制上纹波是电源设计问题。边界在于:低成本电源纹波大。延伸:成熟方案关键电路加 LC 滤波。
  • BOR 阈值怎么设?答:设为最低工作电压以上。机制上 BOR 保护 MCU。边界在于:阈值太低不保护,太高误复位。延伸:成熟方案查芯片规格书。

14.8.3-008 温度相关故障怎么查?

一句话结论

温度相关故障:高温导致晶振漂移、低温导致电池电压低、温度变化导致接触不良;用温度箱复现。

概念解释

  • 晶振漂移:高温晶振频率变,时序不准。
  • 电池低温:低温电池容量下降,电压低。
  • 接触不良:温度变化导致热胀冷缩,接线松动。

原理流程

  1. 症状:高温/低温时故障。
  2. 温度箱复现:升温/降温,看故障是否出现。
  3. 分析:
    • 高温:晶振漂移?内存错误?
    • 低温:电池电压低?传感器精度?
  4. 修复:选宽温器件,改进散热。

代码或图示

温度相关故障:
  高温 (60℃):
    - 晶振漂移 → UART 通信错误
    - Flash 保持力下降
  低温 (-10℃):
    - 电池电压低 → 复位
    - LCD 不显示
  温度变化:
    - 热胀冷缩 → 接线松动

常见误区

  • 误区:温度故障是偶发不用管;正解:温度故障说明器件选型问题。
  • 误区:室温正常就行;正解:要按工作温度范围测试。
  • 误区:温度故障是硬件问题;正解:软件也要适应(如晶振补偿)。

追问

  • 晶振漂移怎么补偿?答:温度传感器 + 软件补偿。机制上晶振频率随温度变。边界在于:补偿精度有限。延伸:成熟方案用 TCXO(温度补偿晶振)。
  • 低温电池怎么办?答:选宽温电池,或加热。机制上锂电池低温性能差。边界在于:加热耗电。延伸:成熟方案选锂亚电池(宽温)。
  • 温度测试怎么做?答:温度箱循环(-20℃ ~ 60℃),长时间运行。机制上温度循环暴露隐患。边界在于:温度测试时间长。延伸:成熟方案 DVT 阶段做温度循环。

14.8.3-009 怎么从偶发到可复现?

一句话结论

长时运行 + 压力测试:提高频率、增加负载、温度循环,让偶发变必现。

概念解释

  • 偶发:难得出现。
  • 可复现:每次都出现。
  • 压力测试:提高频率、增加负载。
  • 温度循环:温度变化暴露隐患。

原理流程

  1. 长时运行:72 小时连续运行,抓日志。
  2. 提高频率:上报周期从 5 分钟改 1 秒。
  3. 增加负载:CPU/内存负载加大。
  4. 温度循环:-10℃ ~ 50℃ 循环。
  5. 找到复现条件。

代码或图示

压力测试:
  正常: 5 分钟上报 → 改 1 秒上报
  正常: 温度 25℃ → 温度循环 -10~50℃
  正常: 轻负载 → CPU 满负载

  → 偶发故障变必现

常见误区

  • 误区:偶发没办法;正解:压力测试可复现。
  • 误区:压力测试影响产品;正解:测试阶段做。
  • 误区:复现后就够了;正解:复现后要定位根因。

追问

  • 怎么设计压力测试?答:按最坏工况设计。机制上最坏工况下故障必现。边界在于:太极端不真实。延伸:成熟方案参考产品规格书。
  • 长时运行多久?答:72 小时起步,关键产品 7 天。机制上早期故障在前几天暴露。边界在于:磨损故障要更长。延伸:成熟方案 HALT 测试。
  • 复现后怎么定位?答:抓现场 + 日志 + trace。机制上复现时能抓数据。边界在于:复现了但抓不到现场。延伸:成熟方案加日志与 trace。

14.8.3-010 栈溢出怎么发现?

一句话结论

栈填充魔术字(0xDEADBEEF),运行后扫描未被动过的区域,得出栈用量;超阈值告警。

概念解释

  • 栈填充:创建任务时栈写魔术字。
  • 扫描:运行后扫描魔术字,找被改写的位置。
  • 栈水位:最高用量。
  • 告警:超阈值告警。

原理流程

  1. 创建任务时栈填 0xDEADBEEF。
  2. 运行一段时间。
  3. 扫描栈:找第一个不是魔术字的位置。
  4. 计算栈用量。
  5. 超阈值告警。

代码或图示

/* FreeRTOS 栈填充 */
#define configCHECK_FOR_STACK_OVERFLOW 2

void vApplicationStackOverflowHook(TaskHandle_t t, char *name)
{
    log_crash("stack overflow: %s", name);
}

/* 查栈水位 */
UBaseType_t hw = uxTaskGetStackHighWaterMark(task);

常见误区

  • 误区:栈没崩就够;正解:栈溢出可能破坏别的任务数据。
  • 误区:栈大小给大点就行;正解:要测量实际用量。
  • 误区:栈溢出立即崩;正解:可能静默破坏。

追问

  • 栈溢出怎么破坏?答:栈溢出写到相邻内存,破坏别的任务变量。机制上栈向下生长,溢出越界。边界在于:破坏是随机的。延伸:成熟方案 MPU 栈保护。
  • 栈大小怎么定?答:实测最坏用量 × 1.5。机制上静态估算 + 运行测量。边界在于:库函数(printf)栈消耗大。延伸:成熟方案测栈水位。
  • MPU 栈保护怎么做?答:MPU 区域设栈底不可访问。机制上溢出触发异常。边界在于:MPU 区域数量有限。延伸:安全相关项目用 MPU。

动手练习

练习 1:设计偶发丢帧排查流程

  • 任务:列出排查步骤(硬件/中断/调度/临界区),给出三个常见原因。
  • 验收标准:
    1. 排查顺序合理。
    2. 每个原因有验证方法。
    3. 说明修复方案。

练习 2:设计 HardFault 现场抓取

  • 任务:画出 HardFault ISR 保存现场 → 写 Flash → 回传的流程。
  • 验收标准:
    1. 说明保存哪些寄存器。
    2. 说明掉电保护机制。
    3. 说明 PC 定位方法。

自检清单

  • [ ] 能否按分层顺序排查偶发丢帧?
  • [ ] 能否分析看门狗复位原因?
  • [ ] 能否定位中断延迟毛刺?
  • [ ] 能否还原优先级反转现场?
  • [ ] 能否说明 Flash 擦写卡顿原因?
  • [ ] 能否抓取 HardFault 现场?
  • [ ] 能否分析电源纹波与温度故障?
  • [ ] 能否从偶发到可复现?

延伸阅读

  • ARM Cortex-M 异常与 HardFault 文档。
  • FreeRTOS 调试与 trace 文档。
  • SEGGER SystemView 使用指南。
  • STM32 应用笔记(复位原因、低功耗)。
  • 嵌入式可靠性测试(HALT/HASS)。

待整理清单

  • [ ] 补充 DWT/ITM 测量中断延迟的具体代码
  • [ ] 补充 RTOS trace 工具(SystemView/Tracealyzer)对比
  • [ ] 补充电源纹波测量的具体方法