罗罗编程学习记录 全栈面试题库
本页导航 展开查看

14.8.4 百万级设备 OTA 灰度

所属:全栈开发面试题库 / [14 物联网与嵌入式软件((../index.md) / [14.8 设备综合场景题((index.md)

本节要解决的问题

百万设备同时 OTA,云端带宽打满、CDN 限流、弱网设备失败率高。本节走"现场感":给出架构、限流、熔断、现场问题(升级率卡 60%)。

学习目标

学完本节,你应当能够:

  • 设计百万级 OTA 架构(CDN、分片、限速)。
  • 设计灰度分批策略与失败率熔断。
  • 排查"升级率卡在 60%"现场问题。
  • 说明僵尸设备与漏升级处理。

先修与前置

  • 综合 [14.7.2 OTA 架构、灰度与回滚((14.7.2-OTA架构灰度与回滚.md)。

知识地图

云端 OTA 平台:
  固件仓库 (CDN 分发)
  灰度策略: 1% → 10% → 50% → 100%
  失败率熔断: >5% 暂停
       ↓
  百万设备:
    分片下载 (CDN, 限速)
    断点续传
    失败重试
       ↓
  指标看板:
    升级率 / 失败率 / 回滚率

核心术语

  • CDN 分发:固件放 CDN,就近下载。
  • 分片下载:固件切片,逐片下载。
  • 灰度分批:1% → 10% → 50% → 100%。
  • 失败率熔断:失败率超阈值暂停。
  • 僵尸设备:长期离线的设备。

覆盖范围

  • 百万级 OTA 架构
  • CDN 分发与限速
  • 灰度分批策略
  • 失败率熔断
  • 弱网设备处理
  • 升级率指标与看板
  • 僵尸设备与漏升级
  • 现场:升级率卡 60%

高频题速览

编号 题目 难度 频率
14.8.4-001 百万级 OTA 架构怎么设计? 基础 ★★★★
14.8.4-002 CDN 怎么分发固件? 进阶 ★★★
14.8.4-003 灰度分批怎么设计? 进阶 ★★★★
14.8.4-004 失败率熔断怎么做? 进阶 ★★★★
14.8.4-005 弱网设备怎么处理? 高级 ★★★
14.8.4-006 升级率指标怎么看? 进阶 ★★★
14.8.4-007 僵尸设备怎么处理? 高级 ★★★
14.8.4-008 现场:升级率卡 60% 怎么排查? 高级 ★★★★
14.8.4-009 批量回滚怎么执行? 高级 ★★★
14.8.4-010 OTA 带宽怎么估算? 基础 ★★★

14.8.4-001 百万级 OTA 架构怎么设计?

一句话结论

架构:固件仓库 + CDN 分发 + 灰度调度 + 设备端分片下载;云端不直接传固件,CDN 就近分发,设备端断点续传。

概念解释

  • 固件仓库:存固件(签名 + 哈希)。
  • CDN 分发:固件同步到 CDN 节点。
  • 灰度调度:云端决定推哪些设备。
  • 设备端:分片下载、断点续传、校验、切换。

原理流程

  1. 固件上传:签名 + 哈希,存仓库。
  2. CDN 同步:固件推到 CDN 节点。
  3. 灰度策略:云端决定第一批 1% 设备。
  4. 推送通知:MQTT 通知设备有新版本。
  5. 设备下载:从 CDN 分片下载。
  6. 校验切换:校验 → 切换 → 确认。

代码或图示

架构:
  云端:
    固件仓库 (签名) → CDN 节点
    灰度调度 (1% → 10% → 50% → 100%)
       ↓ MQTT 通知
  设备:
    从 CDN 分片下载 → 校验 → 切换

常见误区

  • 误区:云端直接传固件;正解:CDN 分发,云端只发通知。
  • 误区:所有设备同时升级;正解:灰度分批。
  • 误区:OTA 只推一次;正解:漏升级设备要补推。

追问

  • 云端要多少带宽?答:CDN 分担,云端只发通知与统计。机制上云端带宽小。边界在于:通知量大,MQTT 集群要扛。延伸:成熟方案 MQTT 集群 + 分片通知。
  • 固件放 CDN 安全吗?答:固件签名,CDN 只传字节。机制上即使 CDN 被替换,设备验签失败。边界在于:固件不能明文暴露。延伸:成熟方案固件加密存储。
  • 设备从哪个 CDN 节点下载?答:就近 CDN 节点。机制上 CDN 调度。边界在于:弱网设备可能 CDN 节点也远。延伸:成熟方案设备上报 RSSI,选近的节点。

14.8.4-002 CDN 怎么分发固件?

一句话结论

固件同步到 CDN 节点,设备就近下载;CDN 按地域调度,带宽限流。

概念解释

  • CDN 节点:全国部署。
  • 就近下载:设备连最近节点。
  • 带宽限流:CDN 限制单设备速率。
  • 同步:固件上传后同步到所有节点。

原理流程

  1. 固件上传到源站。
  2. CDN 同步到所有节点。
  3. 设备请求下载,CDN 调度就近节点。
  4. 设备从节点下载,限速。

代码或图示

CDN 分发:
  源站 → CDN 节点 (北京/上海/广州/...)
  设备在北京 → 从北京节点下载
  限速: 单设备 100KB/s

常见误区

  • 误区:CDN 不限速;正解:CDN 限速避免占满。
  • 误区:CDN 节点越多越好;正解:节点多但同步成本高。
  • 误区:设备直接连源站;正解:CDN 就近。

追问

  • CDN 带宽多少钱?答:按流量计费,百万设备 OTA 流量大。机制上 OTA 是一次性大流量。边界在于:成本高。延伸:成熟方案错峰 + 差分减小流量。
  • CDN 故障怎么办?答:多 CDN 备份。机制上单 CDN 故障切换。边界在于:切换复杂。延伸:成熟方案主备 CDN。
  • 弱网设备 CDN 也慢?答:是,弱网设备从 CDN 下载也慢。机制上 CDN 解决就近,不解决弱网。边界在于:弱网设备要分片 + 重试。延伸:成熟方案弱网设备错峰。

14.8.4-003 灰度分批怎么设计?

一句话结论

1%(内测)→ 10%(特定地域)→ 50%(扩大)→ 100%(全量),每批观察 24–48 小时。

概念解释

  • 1% 内测:工程师自有设备。
  • 10%:特定地域或型号。
  • 50%:扩大。
  • 100%:全量。
  • 观察窗口:每批 24–48 小时。

原理流程

  1. 第一批 1%:内测设备,观察 24h。
  2. 成功率 > 95%:扩大到 10%。
  3. 观察 24h:失败率 < 3% → 50%。
  4. 观察 48h:失败率 < 3% → 100%。
  5. 失败率 > 5%:熔断暂停。

代码或图示

灰度:
  批次 1: 1% (内测, 24h)
  批次 2: 10% (地域 A, 24h)
  批次 3: 50% (48h)
  批次 4: 100%

熔断:
  失败率 > 5% → 暂停
  失败率 > 10% → 回滚

常见误区

  • 误区:灰度就是随便选;正解:按可观测性分组。
  • 误区:每批观察时间短;正解:24–48h,收集失败数据。
  • 误区:灰度后直接全量;正解:熔断规则。

追问

  • 怎么选第一批设备?答:内测池(工程师自有 + 可观测设备)。机制上出问题能快速定位。边界在于:不能选关键用户设备。延伸:成熟方案维护内测池。
  • 灰度指标有哪些?答:升级率、失败率、回滚率、业务异常率。机制上多维指标。边界在于:单指标不够。延伸:成熟方案看板综合看。
  • 灰度失败怎么回滚?答:通知设备切回旧版。机制上批量回滚。边界在于:回滚也要灰度。延伸:成熟方案回滚分批。

14.8.4-004 失败率熔断怎么做?

一句话结论

失败率 = 失败设备数 / 已推送数;> 5% 暂停,> 10% 自动回滚。

概念解释

  • 失败率:失败设备占比。
  • 熔断阈值:5% 暂停,10% 回滚。
  • 失败定义:下载失败 / 校验失败 / 回滚。
  • 自动暂停:云端停止推送。

原理流程

  1. 统计:每批设备的升级结果。
  2. 失败率 = 失败 / 已推送。
  3. 5%:暂停推送,告警。

  4. 10%:自动回滚。

  5. 人工分析原因。

代码或图示

熔断规则:
  失败率 > 5%: 暂停推送, 告警
  失败率 > 10%: 自动回滚

统计:
  已推送: 10000
  成功: 9000 (90%)
  失败: 1000 (10%)
  → 失败率 10% → 回滚

常见误区

  • 误区:失败率只看下载失败;正解:还要看回滚率。
  • 误区:熔断后继续;正解:暂停 + 人工分析。
  • 误区:失败率阈值固定;正解:按产品调整。

追问

  • 失败率怎么实时统计?答:设备回传升级结果事件。机制上 MQTT 上报。边界在于:弱网设备延迟回传。延伸:成熟方案统计窗口 2h。
  • 熔断后怎么恢复?答:人工分析 + 修复 + 重新灰度。机制上不能自动恢复。边界在于:紧急补丁要快速恢复。延伸:成熟方案审批后恢复。
  • 失败率怎么分维度?答:按地域/型号/版本。机制上某型号失败高可能是兼容问题。边界在于:维度太多统计慢。延伸:成熟方案自动分维度。

14.8.4-005 弱网设备怎么处理?

一句话结论

弱网设备:分片下载 + 断点续传 + 错峰 + 限速;不强制升级。

概念解释

  • 弱网:RSSI 低、丢包高。
  • 分片:固件切片,逐片下载。
  • 断点续传:中断后继续。
  • 错峰:夜间下载。
  • 限速:不占满带宽。

原理流程

  1. 设备上报 RSSI,弱网设备标记。
  2. 弱网设备错峰下载(凌晨)。
  3. 分片下载 + 断点续传。
  4. 限速(如 50KB/s)。
  5. 多次失败后放弃,下次再试。

代码或图示

弱网策略:
  错峰: 凌晨 2-5 点下载
  分片: 64KB/片
  断点续传: 记录 offset
  限速: 50KB/s
  失败 3 次: 放弃, 下次再试

常见误区

  • 误区:弱网设备也要升级;正解:弱网设备不强制,等网络好。
  • 误区:弱网设备下载快;正解:弱网下载慢,要错峰。
  • 误区:分片越碎越好;正解:64KB 平衡开销与重传。

追问

  • 弱网设备占多少?答:典型 5–10%。机制上部署位置决定。边界在于:弱网设备升级率低。延伸:成熟方案弱网设备单独统计。
  • 错峰怎么实现?答:设备本地时间判断,云端下发错峰窗口。机制上设备本地调度。边界在于:设备时钟不准。延伸:成熟方案 NTP 同步后错峰。
  • 弱网设备失败率高怎么办?答:不强制,等下次。机制上弱网设备升级率低正常。边界在于:安全补丁要覆盖弱网设备。延伸:成熟方案弱网设备延长窗口期。

14.8.4-006 升级率指标怎么看?

一句话结论

升级率 = 成功升级设备 / 应升级设备;分维度看(地域/型号/版本)。

概念解释

  • 升级率:成功 / 应升级。
  • 应升级:所有老版本设备。
  • 分维度:地域/型号/版本。
  • 趋势:升级率随时间上升。

原理流程

  1. 统计:应升级设备数。
  2. 成功升级数。
  3. 升级率 = 成功 / 应升级。
  4. 分维度:哪些地域/型号升级率低。

代码或图示

升级率:
  应升级: 100000 台 (老版本)
  成功: 80000 台
  升级率: 80%

分维度:
  地域 A: 90%
  地域 B: 60% → 有问题

常见误区

  • 误区:升级率越高越好;正解:要看失败原因。
  • 误区:只看总升级率;正解:分维度看。
  • 误区:升级率卡 100%;正解:僵尸设备拉低。

追问

  • 升级率多久达标?答:通常 1–2 周到 95%。机制上设备分批在线。边界在于:僵尸设备永远不升级。延伸:成熟方案 30 天达标率 95%。
  • 升级率低说明什么?答:弱网设备多 / 僵尸设备多 / 推送没到。机制上多原因。边界在于:要分维度排查。延伸:成熟方案看板自动下钻。
  • 怎么提高升级率?答:补推漏升级设备 + 弱网设备错峰。机制上主动推送。边界在于:用户关闭 OTA。延伸:成熟方案 OTA 通知 + 用户选择。

14.8.4-007 僵尸设备怎么处理?

一句话结论

僵尸设备(长期离线)不强制升级,标记为离线,等上线后再补推。

概念解释

  • 僵尸设备:长期离线(> 30 天)。
  • 不强制:不推送给僵尸。
  • 标记:云端标记离线。
  • 补推:上线后补推。

原理流程

  1. 设备离线 > 30 天,标记僵尸。
  2. 灰度推送跳过僵尸设备。
  3. 设备上线后,云端检测到老版本,补推。
  4. 僵尸设备占比统计。

代码或图示

僵尸设备:
  离线 > 30 天 → 标记僵尸
  灰度推送跳过
  上线后补推

统计:
  总设备: 100000
  在线: 80000
  僵尸: 20000 (20%)

常见误区

  • 误区:僵尸设备也要升级;正解:僵尸不在线,推了也收不到。
  • 误区:僵尸设备就是坏了;正解:可能用户不用了。
  • 误区:僵尸设备占比不重要;正解:拉低升级率。

追问

  • 僵尸设备占比多少?答:典型 10–20%。机制上部署后用户不用。边界在于:僵尸设备占比高说明产品问题。延伸:成熟方案分析僵尸原因。
  • 僵尸设备上线后怎么处理?答:补推 OTA。机制上设备上线检测老版本。边界在于:僵尸设备上线后可能很快又离线。延伸:成熟方案错峰补推。
  • 僵尸设备怎么清理?答:EOL 时清理。机制上僵尸设备不再服务。边界在于:僵尸设备可能是用户重要设备。延伸:成熟方案通知用户。

14.8.4-008 现场:升级率卡 60% 怎么排查?

一句话结论

按"推送 → 下载 → 校验 → 切换"分段排查,看哪一段卡住。

概念解释

  • 升级率 60%:60% 成功,40% 失败。
  • 分段:推送 / 下载 / 校验 / 切换。
  • 看板:看每段成功率。

原理流程

  1. 看板看:
    • 推送到达率?
    • 下载成功率?
    • 校验成功率?
    • 切换成功率?
  2. 找卡点段。
  3. 分维度:哪个地域/型号卡。

代码或图示

分段排查:
  推送到达: 95% (5% 没收到)
  下载成功: 90% (10% 下载失败)
  校验成功: 99%
  切换成功: 80% (20% 回滚)

  → 卡点: 切换阶段 20% 回滚
  → 原因: 新固件在某型号上启动失败

常见误区

  • 误区:升级率卡就是下载问题;正解:分段排查。
  • 误区:只看总率;正解:分段 + 分维度。
  • 误区:60% 就回滚;正解:先定位原因。

追问

  • 怎么分段统计?答:设备回传各阶段事件。机制上 MQTT 上报。边界在于:弱网设备事件延迟。延伸:成熟方案事件分阶段。
  • 切换阶段回滚率高说明什么?答:新固件兼容问题。机制上某型号启动失败。边界在于:要分型号排查。延伸:成熟方案按型号灰度。
  • 推送到达率低说明什么?答:设备离线 / MQTT 问题。机制上推送没到。边界在于:僵尸设备。延伸:成熟方案补推。

14.8.4-009 批量回滚怎么执行?

一句话结论

回滚 = 云端推"切回旧版"命令,设备 A/B 分区切回;分批回滚,避免同时离线。

概念解释

  • 回滚命令:云端通知设备切回旧版。
  • A/B 分区:设备切回旧 Bank。
  • 分批:回滚也分批。
  • 观察:回滚成功率。

原理流程

  1. 云端发回滚命令。
  2. 设备 A/B 分区切回旧版。
  3. 分批回滚(每次 1%)。
  4. 观察回滚成功率。

代码或图示

批量回滚:
  云端 → 设备: {"cmd":"rollback"}
  设备: 切回 A 分区 (旧版)
  分批: 1% → 10% → 50% → 100%

常见误区

  • 误区:回滚立即全量;正解:分批回滚。
  • 误区:回滚不影响;正解:回滚也可能失败。
  • 误区:回滚后结束;正解:回滚后分析原因。

追问

  • 回滚怎么实现?答:A/B 分区切回。机制上 bootloader 切回旧 Bank。边界在于:回滚也要校验。延伸:成熟方案回滚走 bootloader。
  • 回滚失败怎么办?答:设备卡在坏固件,只能现场。机制上回滚也可能失败。边界在于:回滚失败率高。延伸:成熟方案回滚分批观察。
  • 回滚后怎么修复?答:分析新固件 bug,重新灰度。机制上回滚是止损。边界在于:修复要时间。延伸:成熟方案热修或紧急版本。

14.8.4-010 OTA 带宽怎么估算?

一句话结论

带宽 = 固件大小 × 设备数 / 窗口期;CDN 分担。

概念解释

  • 固件大小:如 1MB。
  • 设备数:如 100 万。
  • 窗口期:如 7 天。
  • 带宽:总流量 / 时间。

原理流程

  1. 总流量 = 1MB × 100 万 = 1TB。
  2. 窗口期 7 天 = 604800 秒。
  3. 平均带宽 = 1TB / 604800s ≈ 1.7MB/s。
  4. CDN 分担,云端只发通知。

代码或图示

带宽估算:
  固件: 1MB
  设备: 100 万
  总流量: 1TB
  窗口期: 7 天
  平均带宽: 1.7MB/s

  CDN 分担: 各节点
  云端: 只发通知 (带宽小)

常见误区

  • 误区:云端带宽大;正解:CDN 分担。
  • 误区:带宽估算小;正解:总流量 TB 级。
  • 误区:同时下载;正解:错峰 + 灰度。

追问

  • 差分能省多少?答:差分包 10%–30%,流量减 70%。机制上差分小。边界在于:差分成功率。延伸:成熟方案差分 + 全量备份。
  • 错峰怎么省带宽?答:夜间下载,不占白天带宽。机制上带宽峰值降低。边界在于:夜间用户少。延伸:成熟方案错峰窗口。
  • CDN 成本多少?答:TB 级流量,成本高。机制上 CDN 按流量计费。边界在于:成本高要优化。延伸:成熟方案差分 + 错峰 + 压缩。

动手练习

练习 1:设计百万级 OTA 灰度方案

  • 任务:设计批次、熔断阈值、弱网策略。
  • 验收标准:
    1. 批次比例与观察窗口。
    2. 失败率熔断规则。
    3. 弱网设备处理。

练习 2:排查升级率卡 60%

  • 任务:列出分段排查步骤,给出三个常见卡点。
  • 验收标准:
    1. 分段(推送/下载/校验/切换)。
    2. 每个卡点的验证方法。
    3. 修复方案。

自检清单

  • [ ( 能否设计百万级 OTA 架构?
  • [ ( 能否说明 CDN 分发与限速?
  • [ ( 能否设计灰度分批与熔断?
  • [ ( 能否说明弱网设备处理?
  • [ ( 能否看升级率指标?
  • [ ( 能否处理僵尸设备?
  • [ ( 能否排查升级率卡 60%?
  • [ ( 能否执行批量回滚?

延伸阅读

  • AWS IoT OTA / Azure IoT Device Update 文档。
  • CDN 厂商文档(阿里云/腾讯云/Cloudflare)。
  • 灰度发布与熔断最佳实践。
  • A/B 分区 OTA(MCUboot)。
  • 百万级设备管理(EMQX)。

待整理清单

  • [ ( 补充 CDN 多活与故障切换
  • [ ( 补充差分 OTA 的实际案例
  • [ ( 补充 OTA 成本优化(差分/压缩/错峰)