14.8.4 百万级设备 OTA 灰度
所属:全栈开发面试题库 / [14 物联网与嵌入式软件((../index.md) / [14.8 设备综合场景题((index.md)
本节要解决的问题
百万设备同时 OTA,云端带宽打满、CDN 限流、弱网设备失败率高。本节走"现场感":给出架构、限流、熔断、现场问题(升级率卡 60%)。
学习目标
学完本节,你应当能够:
- 设计百万级 OTA 架构(CDN、分片、限速)。
- 设计灰度分批策略与失败率熔断。
- 排查"升级率卡在 60%"现场问题。
- 说明僵尸设备与漏升级处理。
先修与前置
- 综合 [14.7.2 OTA 架构、灰度与回滚((14.7.2-OTA架构灰度与回滚.md)。
知识地图
云端 OTA 平台:
固件仓库 (CDN 分发)
灰度策略: 1% → 10% → 50% → 100%
失败率熔断: >5% 暂停
↓
百万设备:
分片下载 (CDN, 限速)
断点续传
失败重试
↓
指标看板:
升级率 / 失败率 / 回滚率
核心术语
- CDN 分发:固件放 CDN,就近下载。
- 分片下载:固件切片,逐片下载。
- 灰度分批:1% → 10% → 50% → 100%。
- 失败率熔断:失败率超阈值暂停。
- 僵尸设备:长期离线的设备。
覆盖范围
- 百万级 OTA 架构
- CDN 分发与限速
- 灰度分批策略
- 失败率熔断
- 弱网设备处理
- 升级率指标与看板
- 僵尸设备与漏升级
- 现场:升级率卡 60%
高频题速览
| 编号 | 题目 | 难度 | 频率 |
|---|---|---|---|
| 14.8.4-001 | 百万级 OTA 架构怎么设计? | 基础 | ★★★★ |
| 14.8.4-002 | CDN 怎么分发固件? | 进阶 | ★★★ |
| 14.8.4-003 | 灰度分批怎么设计? | 进阶 | ★★★★ |
| 14.8.4-004 | 失败率熔断怎么做? | 进阶 | ★★★★ |
| 14.8.4-005 | 弱网设备怎么处理? | 高级 | ★★★ |
| 14.8.4-006 | 升级率指标怎么看? | 进阶 | ★★★ |
| 14.8.4-007 | 僵尸设备怎么处理? | 高级 | ★★★ |
| 14.8.4-008 | 现场:升级率卡 60% 怎么排查? | 高级 | ★★★★ |
| 14.8.4-009 | 批量回滚怎么执行? | 高级 | ★★★ |
| 14.8.4-010 | OTA 带宽怎么估算? | 基础 | ★★★ |
14.8.4-001 百万级 OTA 架构怎么设计?
一句话结论
架构:固件仓库 + CDN 分发 + 灰度调度 + 设备端分片下载;云端不直接传固件,CDN 就近分发,设备端断点续传。
概念解释
- 固件仓库:存固件(签名 + 哈希)。
- CDN 分发:固件同步到 CDN 节点。
- 灰度调度:云端决定推哪些设备。
- 设备端:分片下载、断点续传、校验、切换。
原理流程
- 固件上传:签名 + 哈希,存仓库。
- CDN 同步:固件推到 CDN 节点。
- 灰度策略:云端决定第一批 1% 设备。
- 推送通知:MQTT 通知设备有新版本。
- 设备下载:从 CDN 分片下载。
- 校验切换:校验 → 切换 → 确认。
代码或图示
架构:
云端:
固件仓库 (签名) → CDN 节点
灰度调度 (1% → 10% → 50% → 100%)
↓ MQTT 通知
设备:
从 CDN 分片下载 → 校验 → 切换
常见误区
- 误区:云端直接传固件;正解:CDN 分发,云端只发通知。
- 误区:所有设备同时升级;正解:灰度分批。
- 误区:OTA 只推一次;正解:漏升级设备要补推。
追问
- 云端要多少带宽?答:CDN 分担,云端只发通知与统计。机制上云端带宽小。边界在于:通知量大,MQTT 集群要扛。延伸:成熟方案 MQTT 集群 + 分片通知。
- 固件放 CDN 安全吗?答:固件签名,CDN 只传字节。机制上即使 CDN 被替换,设备验签失败。边界在于:固件不能明文暴露。延伸:成熟方案固件加密存储。
- 设备从哪个 CDN 节点下载?答:就近 CDN 节点。机制上 CDN 调度。边界在于:弱网设备可能 CDN 节点也远。延伸:成熟方案设备上报 RSSI,选近的节点。
14.8.4-002 CDN 怎么分发固件?
一句话结论
固件同步到 CDN 节点,设备就近下载;CDN 按地域调度,带宽限流。
概念解释
- CDN 节点:全国部署。
- 就近下载:设备连最近节点。
- 带宽限流:CDN 限制单设备速率。
- 同步:固件上传后同步到所有节点。
原理流程
- 固件上传到源站。
- CDN 同步到所有节点。
- 设备请求下载,CDN 调度就近节点。
- 设备从节点下载,限速。
代码或图示
CDN 分发:
源站 → CDN 节点 (北京/上海/广州/...)
设备在北京 → 从北京节点下载
限速: 单设备 100KB/s
常见误区
- 误区:CDN 不限速;正解:CDN 限速避免占满。
- 误区:CDN 节点越多越好;正解:节点多但同步成本高。
- 误区:设备直接连源站;正解:CDN 就近。
追问
- CDN 带宽多少钱?答:按流量计费,百万设备 OTA 流量大。机制上 OTA 是一次性大流量。边界在于:成本高。延伸:成熟方案错峰 + 差分减小流量。
- CDN 故障怎么办?答:多 CDN 备份。机制上单 CDN 故障切换。边界在于:切换复杂。延伸:成熟方案主备 CDN。
- 弱网设备 CDN 也慢?答:是,弱网设备从 CDN 下载也慢。机制上 CDN 解决就近,不解决弱网。边界在于:弱网设备要分片 + 重试。延伸:成熟方案弱网设备错峰。
14.8.4-003 灰度分批怎么设计?
一句话结论
1%(内测)→ 10%(特定地域)→ 50%(扩大)→ 100%(全量),每批观察 24–48 小时。
概念解释
- 1% 内测:工程师自有设备。
- 10%:特定地域或型号。
- 50%:扩大。
- 100%:全量。
- 观察窗口:每批 24–48 小时。
原理流程
- 第一批 1%:内测设备,观察 24h。
- 成功率 > 95%:扩大到 10%。
- 观察 24h:失败率 < 3% → 50%。
- 观察 48h:失败率 < 3% → 100%。
- 失败率 > 5%:熔断暂停。
代码或图示
灰度:
批次 1: 1% (内测, 24h)
批次 2: 10% (地域 A, 24h)
批次 3: 50% (48h)
批次 4: 100%
熔断:
失败率 > 5% → 暂停
失败率 > 10% → 回滚
常见误区
- 误区:灰度就是随便选;正解:按可观测性分组。
- 误区:每批观察时间短;正解:24–48h,收集失败数据。
- 误区:灰度后直接全量;正解:熔断规则。
追问
- 怎么选第一批设备?答:内测池(工程师自有 + 可观测设备)。机制上出问题能快速定位。边界在于:不能选关键用户设备。延伸:成熟方案维护内测池。
- 灰度指标有哪些?答:升级率、失败率、回滚率、业务异常率。机制上多维指标。边界在于:单指标不够。延伸:成熟方案看板综合看。
- 灰度失败怎么回滚?答:通知设备切回旧版。机制上批量回滚。边界在于:回滚也要灰度。延伸:成熟方案回滚分批。
14.8.4-004 失败率熔断怎么做?
一句话结论
失败率 = 失败设备数 / 已推送数;> 5% 暂停,> 10% 自动回滚。
概念解释
- 失败率:失败设备占比。
- 熔断阈值:5% 暂停,10% 回滚。
- 失败定义:下载失败 / 校验失败 / 回滚。
- 自动暂停:云端停止推送。
原理流程
- 统计:每批设备的升级结果。
- 失败率 = 失败 / 已推送。
-
5%:暂停推送,告警。
-
10%:自动回滚。
- 人工分析原因。
代码或图示
熔断规则:
失败率 > 5%: 暂停推送, 告警
失败率 > 10%: 自动回滚
统计:
已推送: 10000
成功: 9000 (90%)
失败: 1000 (10%)
→ 失败率 10% → 回滚
常见误区
- 误区:失败率只看下载失败;正解:还要看回滚率。
- 误区:熔断后继续;正解:暂停 + 人工分析。
- 误区:失败率阈值固定;正解:按产品调整。
追问
- 失败率怎么实时统计?答:设备回传升级结果事件。机制上 MQTT 上报。边界在于:弱网设备延迟回传。延伸:成熟方案统计窗口 2h。
- 熔断后怎么恢复?答:人工分析 + 修复 + 重新灰度。机制上不能自动恢复。边界在于:紧急补丁要快速恢复。延伸:成熟方案审批后恢复。
- 失败率怎么分维度?答:按地域/型号/版本。机制上某型号失败高可能是兼容问题。边界在于:维度太多统计慢。延伸:成熟方案自动分维度。
14.8.4-005 弱网设备怎么处理?
一句话结论
弱网设备:分片下载 + 断点续传 + 错峰 + 限速;不强制升级。
概念解释
- 弱网:RSSI 低、丢包高。
- 分片:固件切片,逐片下载。
- 断点续传:中断后继续。
- 错峰:夜间下载。
- 限速:不占满带宽。
原理流程
- 设备上报 RSSI,弱网设备标记。
- 弱网设备错峰下载(凌晨)。
- 分片下载 + 断点续传。
- 限速(如 50KB/s)。
- 多次失败后放弃,下次再试。
代码或图示
弱网策略:
错峰: 凌晨 2-5 点下载
分片: 64KB/片
断点续传: 记录 offset
限速: 50KB/s
失败 3 次: 放弃, 下次再试
常见误区
- 误区:弱网设备也要升级;正解:弱网设备不强制,等网络好。
- 误区:弱网设备下载快;正解:弱网下载慢,要错峰。
- 误区:分片越碎越好;正解:64KB 平衡开销与重传。
追问
- 弱网设备占多少?答:典型 5–10%。机制上部署位置决定。边界在于:弱网设备升级率低。延伸:成熟方案弱网设备单独统计。
- 错峰怎么实现?答:设备本地时间判断,云端下发错峰窗口。机制上设备本地调度。边界在于:设备时钟不准。延伸:成熟方案 NTP 同步后错峰。
- 弱网设备失败率高怎么办?答:不强制,等下次。机制上弱网设备升级率低正常。边界在于:安全补丁要覆盖弱网设备。延伸:成熟方案弱网设备延长窗口期。
14.8.4-006 升级率指标怎么看?
一句话结论
升级率 = 成功升级设备 / 应升级设备;分维度看(地域/型号/版本)。
概念解释
- 升级率:成功 / 应升级。
- 应升级:所有老版本设备。
- 分维度:地域/型号/版本。
- 趋势:升级率随时间上升。
原理流程
- 统计:应升级设备数。
- 成功升级数。
- 升级率 = 成功 / 应升级。
- 分维度:哪些地域/型号升级率低。
代码或图示
升级率:
应升级: 100000 台 (老版本)
成功: 80000 台
升级率: 80%
分维度:
地域 A: 90%
地域 B: 60% → 有问题
常见误区
- 误区:升级率越高越好;正解:要看失败原因。
- 误区:只看总升级率;正解:分维度看。
- 误区:升级率卡 100%;正解:僵尸设备拉低。
追问
- 升级率多久达标?答:通常 1–2 周到 95%。机制上设备分批在线。边界在于:僵尸设备永远不升级。延伸:成熟方案 30 天达标率 95%。
- 升级率低说明什么?答:弱网设备多 / 僵尸设备多 / 推送没到。机制上多原因。边界在于:要分维度排查。延伸:成熟方案看板自动下钻。
- 怎么提高升级率?答:补推漏升级设备 + 弱网设备错峰。机制上主动推送。边界在于:用户关闭 OTA。延伸:成熟方案 OTA 通知 + 用户选择。
14.8.4-007 僵尸设备怎么处理?
一句话结论
僵尸设备(长期离线)不强制升级,标记为离线,等上线后再补推。
概念解释
- 僵尸设备:长期离线(> 30 天)。
- 不强制:不推送给僵尸。
- 标记:云端标记离线。
- 补推:上线后补推。
原理流程
- 设备离线 > 30 天,标记僵尸。
- 灰度推送跳过僵尸设备。
- 设备上线后,云端检测到老版本,补推。
- 僵尸设备占比统计。
代码或图示
僵尸设备:
离线 > 30 天 → 标记僵尸
灰度推送跳过
上线后补推
统计:
总设备: 100000
在线: 80000
僵尸: 20000 (20%)
常见误区
- 误区:僵尸设备也要升级;正解:僵尸不在线,推了也收不到。
- 误区:僵尸设备就是坏了;正解:可能用户不用了。
- 误区:僵尸设备占比不重要;正解:拉低升级率。
追问
- 僵尸设备占比多少?答:典型 10–20%。机制上部署后用户不用。边界在于:僵尸设备占比高说明产品问题。延伸:成熟方案分析僵尸原因。
- 僵尸设备上线后怎么处理?答:补推 OTA。机制上设备上线检测老版本。边界在于:僵尸设备上线后可能很快又离线。延伸:成熟方案错峰补推。
- 僵尸设备怎么清理?答:EOL 时清理。机制上僵尸设备不再服务。边界在于:僵尸设备可能是用户重要设备。延伸:成熟方案通知用户。
14.8.4-008 现场:升级率卡 60% 怎么排查?
一句话结论
按"推送 → 下载 → 校验 → 切换"分段排查,看哪一段卡住。
概念解释
- 升级率 60%:60% 成功,40% 失败。
- 分段:推送 / 下载 / 校验 / 切换。
- 看板:看每段成功率。
原理流程
- 看板看:
- 推送到达率?
- 下载成功率?
- 校验成功率?
- 切换成功率?
- 找卡点段。
- 分维度:哪个地域/型号卡。
代码或图示
分段排查:
推送到达: 95% (5% 没收到)
下载成功: 90% (10% 下载失败)
校验成功: 99%
切换成功: 80% (20% 回滚)
→ 卡点: 切换阶段 20% 回滚
→ 原因: 新固件在某型号上启动失败
常见误区
- 误区:升级率卡就是下载问题;正解:分段排查。
- 误区:只看总率;正解:分段 + 分维度。
- 误区:60% 就回滚;正解:先定位原因。
追问
- 怎么分段统计?答:设备回传各阶段事件。机制上 MQTT 上报。边界在于:弱网设备事件延迟。延伸:成熟方案事件分阶段。
- 切换阶段回滚率高说明什么?答:新固件兼容问题。机制上某型号启动失败。边界在于:要分型号排查。延伸:成熟方案按型号灰度。
- 推送到达率低说明什么?答:设备离线 / MQTT 问题。机制上推送没到。边界在于:僵尸设备。延伸:成熟方案补推。
14.8.4-009 批量回滚怎么执行?
一句话结论
回滚 = 云端推"切回旧版"命令,设备 A/B 分区切回;分批回滚,避免同时离线。
概念解释
- 回滚命令:云端通知设备切回旧版。
- A/B 分区:设备切回旧 Bank。
- 分批:回滚也分批。
- 观察:回滚成功率。
原理流程
- 云端发回滚命令。
- 设备 A/B 分区切回旧版。
- 分批回滚(每次 1%)。
- 观察回滚成功率。
代码或图示
批量回滚:
云端 → 设备: {"cmd":"rollback"}
设备: 切回 A 分区 (旧版)
分批: 1% → 10% → 50% → 100%
常见误区
- 误区:回滚立即全量;正解:分批回滚。
- 误区:回滚不影响;正解:回滚也可能失败。
- 误区:回滚后结束;正解:回滚后分析原因。
追问
- 回滚怎么实现?答:A/B 分区切回。机制上 bootloader 切回旧 Bank。边界在于:回滚也要校验。延伸:成熟方案回滚走 bootloader。
- 回滚失败怎么办?答:设备卡在坏固件,只能现场。机制上回滚也可能失败。边界在于:回滚失败率高。延伸:成熟方案回滚分批观察。
- 回滚后怎么修复?答:分析新固件 bug,重新灰度。机制上回滚是止损。边界在于:修复要时间。延伸:成熟方案热修或紧急版本。
14.8.4-010 OTA 带宽怎么估算?
一句话结论
带宽 = 固件大小 × 设备数 / 窗口期;CDN 分担。
概念解释
- 固件大小:如 1MB。
- 设备数:如 100 万。
- 窗口期:如 7 天。
- 带宽:总流量 / 时间。
原理流程
- 总流量 = 1MB × 100 万 = 1TB。
- 窗口期 7 天 = 604800 秒。
- 平均带宽 = 1TB / 604800s ≈ 1.7MB/s。
- CDN 分担,云端只发通知。
代码或图示
带宽估算:
固件: 1MB
设备: 100 万
总流量: 1TB
窗口期: 7 天
平均带宽: 1.7MB/s
CDN 分担: 各节点
云端: 只发通知 (带宽小)
常见误区
- 误区:云端带宽大;正解:CDN 分担。
- 误区:带宽估算小;正解:总流量 TB 级。
- 误区:同时下载;正解:错峰 + 灰度。
追问
- 差分能省多少?答:差分包 10%–30%,流量减 70%。机制上差分小。边界在于:差分成功率。延伸:成熟方案差分 + 全量备份。
- 错峰怎么省带宽?答:夜间下载,不占白天带宽。机制上带宽峰值降低。边界在于:夜间用户少。延伸:成熟方案错峰窗口。
- CDN 成本多少?答:TB 级流量,成本高。机制上 CDN 按流量计费。边界在于:成本高要优化。延伸:成熟方案差分 + 错峰 + 压缩。
动手练习
练习 1:设计百万级 OTA 灰度方案
- 任务:设计批次、熔断阈值、弱网策略。
- 验收标准:
- 批次比例与观察窗口。
- 失败率熔断规则。
- 弱网设备处理。
练习 2:排查升级率卡 60%
- 任务:列出分段排查步骤,给出三个常见卡点。
- 验收标准:
- 分段(推送/下载/校验/切换)。
- 每个卡点的验证方法。
- 修复方案。
自检清单
- [ ( 能否设计百万级 OTA 架构?
- [ ( 能否说明 CDN 分发与限速?
- [ ( 能否设计灰度分批与熔断?
- [ ( 能否说明弱网设备处理?
- [ ( 能否看升级率指标?
- [ ( 能否处理僵尸设备?
- [ ( 能否排查升级率卡 60%?
- [ ( 能否执行批量回滚?
延伸阅读
- AWS IoT OTA / Azure IoT Device Update 文档。
- CDN 厂商文档(阿里云/腾讯云/Cloudflare)。
- 灰度发布与熔断最佳实践。
- A/B 分区 OTA(MCUboot)。
- 百万级设备管理(EMQX)。
待整理清单
- [ ( 补充 CDN 多活与故障切换
- [ ( 补充差分 OTA 的实际案例
- [ ( 补充 OTA 成本优化(差分/压缩/错峰)