12.4.1.4 端侧 AI 与本地推理
所属:全栈开发面试题库 / 12 待归类与新技术观察 / 12.4 新端侧与桌面方案 / 12.4.1 新端侧与桌面方案
观察口径:截至 2026 年,端侧模型规格、加速器支持与工具链以官方文档为准;本页做定位与机制观察,不固化模型参数、延迟与耗电数字,标注「待确认」处采用前核实。
12.4.1.4-001 端侧 AI(On-device)的定位与价值是什么?
一句话结论
端侧 AI 指在终端设备本地完成模型推理,价值在隐私不出端、低延迟、离线可用与节省云端调用成本;代价是设备算力/内存有限、模型规模受限;适合明确的局部智能场景。
概念解释
- 本地推理:模型运行在设备。
- 价值:隐私/延迟/离线/成本。
- 约束:算力内存与模型规模。
原理流程
- 判断任务是否适合端侧。
- 评估设备资源约束。
- 端侧与云端分工。
代码 / 图示
任务特性 → 设备资源评估 → 端侧/云端/协同分工
常见误区
- 误区:端侧 AI 替代云端大模型;正解:复杂任务仍需云端,端侧做局部能力。
- 误区:本地推理天然省成本;正解:模型下发与设备适配也有成本。
追问
- Q:端云分工见哪条? A:12.4.1.4-002。
- Q:典型场景见哪条? A:12.4.1.4-008。
12.4.1.4-002 端云协同怎么划分职责?
一句话结论
简单、高频、隐私敏感或离线依赖的任务放端侧;复杂推理、大上下文与多模态重任务走云端;端侧做预处理/过滤/初筛,云端做深度生成;按延迟、隐私与成本动态分工。
概念解释
- 端侧:局部高频任务。
- 云端:复杂重任务。
- 协同:预处理与结果衔接。
原理流程
- 拆解任务环节。
- 按约束分配端/云。
- 设计衔接与兜底。
代码 / 图示
端侧:初筛/预处理/高频小任务;云端:复杂生成;衔接:结果回传与兜底
常见误区
- 误区:所有 AI 能力都压到端侧;正解:模型能力受设备限制。
- 误区:端云切换对用户无感;正解:降级与衔接需产品设计。
追问
- Q:网络不可用时怎么办? A:端侧能力兜底,云端功能标注不可用。
- Q:详见哪分册? A:AI 应用工程化见 10 分册。
12.4.1.4-003 端侧模型有哪些形态?
一句话结论
端侧模型以小参数规模、量化压缩后的模型为主,配合推理引擎在设备运行;具体模型规格、量化方案与支持平台以官方/模型文档为准(待确认最新清单)。
概念解释
- 小模型:适配设备算力。
- 量化:压缩体积与计算。
- 推理引擎:端侧运行时。
原理流程
- 选适配设备的模型规格。
- 量化压缩打包。
- 端侧引擎加载推理。
代码 / 图示
小模型 + 量化压缩 → 端侧推理引擎 → 设备本地运行
常见误区
- 误区:云端大模型可直接塞进端侧;正解:规模与资源不匹配。
- 误区:量化无精度损失;正解:压缩带来精度权衡,需评测。
追问
- Q:量化权衡? A:体积/速度 vs 精度,按任务评测。
- Q:待确认什么? A:各模型端侧支持规格与授权条款。
12.4.1.4-004 NPU 与加速器在端侧扮演什么角色?
一句话结论
NPU/专用加速器为矩阵运算提供硬件加速,提升推理能效;支持程度随芯片与系统差异大;应用需核对目标设备加速器可用性与推理框架适配(待确认)。
概念解释
- NPU:神经网络专用计算单元。
- 加速器:GPU/DSP 等方向。
- 适配:推理框架对接硬件。
原理流程
- 核对设备加速器支持。
- 推理框架对接硬件。
- 实测加速收益。
代码 / 图示
设备加速器(NPU/GPU) → 推理框架适配 → 能效实测
常见误区
- 误区:有 NPU 就自动加速;正解:模型与框架需对应支持。
- 误区:加速器收益全机型一致;正解:芯片代际差异明显。
追问
- Q:无加速器设备怎么办? A:回退 CPU 推理,性能降级。
- Q:待确认什么? A:目标机型加速器与框架兼容矩阵。
12.4.1.4-005 端侧内存与电量约束怎么评估?
一句话结论
模型加载占用内存,推理消耗电量与发热;需在目标机型评估常驻内存、单次推理耗时与耗电;低端设备可能无法承载;约束指标按实测,不引用未核实数字。
概念解释
- 内存:模型与运行时占用。
- 电量:推理能耗。
- 发热:持续推理温控。
原理流程
- 选代表机型。
- 测内存/耗时/耗电/发热。
- 设定可承载设备门槛。
代码 / 图示
代表机型 → 内存/耗时/耗电/发热实测 → 设备门槛
常见误区
- 误区:旗舰机结果代表全量用户;正解:需覆盖中低端机型。
- 误区:只看推理速度;正解:内存与耗电同样决定可用性。
追问
- Q:模型常驻还是按需加载? A:按使用频率权衡启动延迟与常驻内存。
- Q:温控限制? A:持续推理可能降频,需实测稳定性。
12.4.1.4-006 设备碎片化带来什么兼容性问题?
一句话结论
芯片架构、系统版本、加速器与推理框架支持不一,同一模型在不同设备表现差异大;需维护设备兼容矩阵,提供降级路径;兼容性是端侧 AI 落地的主要工程风险之一。
概念解释
- 碎片化:硬件/系统多样。
- 兼容矩阵:设备支持清单。
- 降级:不满足时回退方案。
原理流程
- 梳理目标设备清单。
- 核对架构与加速器支持。
- 设计分级降级。
代码 / 图示
设备清单 → 架构/加速器/框架核对 → 兼容矩阵 + 分级降级
常见误区
- 误区:开发机调试通过即可发布;正解:需覆盖主流机型实测。
- 误区:模型包全设备通用;正解:架构与精度支持可能需分包。
追问
- Q:不兼容设备怎么处理? A:隐藏端侧能力或走云端兜底。
- Q:兼容测试怎么组织? A:机型矩阵 + 自动化冒烟 + 真机回归。
12.4.1.4-007 隐私与数据不出端怎么理解?
一句话结论
端侧推理使敏感数据不必上传云端,降低泄露面;但模型更新、日志与错误上报仍可能携带信息,需单独审查;隐私收益需配合端侧数据最小化与上报脱敏。
概念解释
- 不出端:原始数据本地处理。
- 上报审查:日志/错误信息。
- 最小化:只传必要信息。
原理流程
- 梳理数据流与上报项。
- 敏感数据本地处理。
- 上报内容脱敏审查。
代码 / 图示
敏感数据本地处理;日志/错误上报 → 脱敏与最小化审查
常见误区
- 误区:端侧 AI 自动满足隐私合规;正解:上报与模型链路仍需审查。
- 误区:本地模型无数据外传;正解:模型下载与遥测可能联网。
追问
- Q:合规审查见哪页? A:12.5.1.4。
- Q:隐私设计原则? A:数据最小化、本地优先、上报脱敏。
12.4.1.4-008 端侧 AI 适合哪些典型场景?
一句话结论
适合:语音唤醒与识别、输入法预测、图像/相机预处理、离线翻译/摘要、本地检索与隐私敏感分类;复杂对话、大上下文与高精度生成仍走云端;场景按模型能力与设备约束判断。
概念解释
- 高频局部:小任务反复执行。
- 离线依赖:无网络可用。
- 隐私敏感:数据不出端。
原理流程
- 拆解任务复杂度。
- 匹配端侧能力边界。
- 不满足走云端协同。
代码 / 图示
唤醒/输入法/图像预处理/离线翻译/本地检索 → 端侧;复杂生成 → 云端
常见误区
- 误区:端侧可承接任意对话场景;正解:模型规模与能力有限。
- 误区:场景选择只看技术;正解:用户体验与离线需求同样关键。
追问
- Q:端侧小 RAG 见哪条? A:12.4.1.4-012。
- Q:场景收益怎么量化? A:延迟、离线可用与云端成本对照。
12.4.1.4-009 模型部署与打包怎么做?
一句话结论
模型作为资源包随应用分发或按需下载;需管理模型版本、体积与更新;端侧打包受应用包体限制,常采用按需下载与分包策略;具体打包能力按推理框架核实。
概念解释
- 模型包:权重资源。
- 分发:随包或下载。
- 版本管理:模型迭代。
原理流程
- 决定随包/下载策略。
- 管理模型版本与兼容。
- 校验完整性后加载。
代码 / 图示
模型包 → 随包/按需下载 → 版本校验 → 端侧加载
常见误区
- 误区:模型直接打进安装包无体积问题;正解:包体受限,需按需下载。
- 误区:模型更新随应用发版即可;正解:独立下发可加快迭代。
追问
- Q:模型更新见哪条? A:12.4.1.4-010。
- Q:模型完整性怎么保证? A:校验哈希/签名,防篡改。
12.4.1.4-010 模型更新与下发怎么设计?
一句话结论
模型可独立于应用版本下发更新,需管理版本兼容、灰度发布与回滚;旧应用版本与新模型的兼容矩阵需明确;模型下发也受网络与流量约束。
概念解释
- 独立下发:模型版本与应用解耦。
- 灰度:按设备/比例推送。
- 回滚:版本退回。
原理流程
- 模型版本化管理。
- 灰度下发与兼容核对。
- 异常回滚旧版本。
代码 / 图示
模型版本 → 灰度下发/兼容核对 → 异常回滚
常见误区
- 误区:模型更新无兼容性问题;正解:旧应用可能不支持新模型格式。
- 误区:全量下发无网络成本;正解:模型体积消耗用户流量与存储。
追问
- Q:灰度指标? A:推理成功率、崩溃与体验指标。
- Q:详见哪类主题? A:灰度实验平台见 12.5.1.2。
12.4.1.4-011 端侧推理性能看哪些口径?
一句话结论
口径:首响应延迟、单次推理耗时、吞吐、内存峰值、耗电与发热;不同任务(分类/生成)指标不同;需在目标机型与典型输入下实测,标注设备前提。
概念解释
- 延迟:首响应与完成耗时。
- 内存峰值:推理占用。
- 能效:耗电与发热。
原理流程
- 定义任务与输入规模。
- 目标机型实测各指标。
- 对照体验门槛。
代码 / 图示
首响应/耗时/吞吐/内存/耗电 → 目标机型实测 → 体验门槛对照
常见误区
- 误区:只报单次推理速度;正解:内存与耗电决定可长期使用。
- 误区:benchmark 数字可直接引用;正解:自身任务与机型实测为准。
追问
- Q:生成式端侧模型关注什么? A:首 token 延迟与流式速度。
- Q:性能不达标怎么办? A:换小模型/量化、转云端或裁剪任务。
12.4.1.4-012 端侧检索与小型 RAG 怎么做?
一句话结论
端侧可本地保存少量向量/索引做本地检索,配合小模型生成;规模受设备内存限制,适合私有离线知识场景;大规模检索仍走云端;嵌入与向量存储口径参照 12.3.1.4。
概念解释
- 本地索引:设备内向量/检索。
- 规模受限:内存与存储。
- 离线知识:私有数据本地用。
原理流程
- 评估本地知识规模。
- 构建本地索引。
- 超规模转云端检索。
代码 / 图示
私有知识 → 本地嵌入/索引 → 端侧检索 + 小模型;超规模 → 云端
常见误区
- 误区:端侧可承载大规模知识库;正解:内存与索引规模受限。
- 误区:本地索引无需更新;正解:知识变更需同步重建。
追问
- Q:向量索引口径见哪页? A:12.3.1.4。
- Q:RAG 完整链路见哪分册? A:10 分册 RAG 章节。
12.4.1.4-013 端侧多模态的边界在哪?
一句话结论
图像等单模态端侧处理较常见,跨模态理解受模型规模与设备算力限制;端侧多模态能力按模型与芯片支持核实(待确认),重任务仍走云端协同。
概念解释
- 单模态:图像/语音局部处理。
- 多模态:跨模态理解生成。
- 边界:模型与算力约束。
原理流程
- 判断模态与任务复杂度。
- 核对端侧模型支持。
- 超限走云端。
代码 / 图示
单模态局部处理 → 端侧;跨模态复杂理解 → 云端协同
常见误区
- 误区:端侧可运行云端同款多模态;正解:模型规模受限。
- 误区:媒体文件本地处理无资源成本;正解:编解码同样消耗算力。
追问
- Q:端侧图像处理场景? A:裁剪、识别、预处理与过滤。
- Q:待确认什么? A:多模态模型端侧规格与芯片支持。
12.4.1.4-014 端侧模型与云端接口怎么衔接?
一句话结论
端侧预处理/初筛后把必要信息传云端,云端结果回端侧呈现;接口契约、降级策略与超时处理需明确;端云模型能力差异需在适配层隔离。
概念解释
- 衔接接口:端云数据交换。
- 降级:云端不可用兜底。
- 适配隔离:模型差异封装。
原理流程
- 定义端云职责边界。
- 约定接口与数据格式。
- 设计降级与超时。
代码 / 图示
端侧预处理 → 云端接口 → 结果回端;降级/超时/适配层隔离
常见误区
- 误区:端云模型输出格式一致;正解:能力差异需适配层处理。
- 误区:网络异常无需设计;正解:端侧兜底与提示必须覆盖。
追问
- Q:API 协议选型见哪章? A:12.2.1.2。
- Q:模型差异适配见哪页? A:12.2.1.4-013。
12.4.1.4-015 端侧 AI 的成本怎么权衡?
一句话结论
收益:节省云端调用费用、隐私与离线体验;成本:模型开发/适配、设备兼容测试、包体与维护;需按调用频次与设备覆盖测算净收益,不为概念性能力堆砌端侧模型。
概念解释
- 收益:云端成本/体验/隐私。
- 成本:适配/兼容/维护。
- 净收益:对照测算。
原理流程
- 估算云端调用频次成本。
- 计入端侧适配成本。
- 对照净收益决策。
代码 / 图示
云端成本节省 + 体验/隐私收益 vs 适配/兼容/维护成本 → 净收益
常见误区
- 误区:端侧一定省钱;正解:低频场景适配成本可能高于云调用。
- 误区:成本只算模型授权;正解:兼容测试与维护长期投入。
追问
- Q:成本治理通用口径? A:参照 12.5.1.3。
- Q:怎么估算调用量? A:按用户规模与使用频次压测推算。
12.4.1.4-016 端侧 AI 体验怎么评测?
一句话结论
评测:任务成功率、延迟分布、内存/耗电、崩溃率与用户主观体验;需覆盖代表机型与典型输入;模型质量评测参照 AI 应用评测方法,端侧额外测资源与稳定性。
概念解释
- 质量:任务成功率/准确性。
- 资源:内存/耗电/发热。
- 稳定性:崩溃与降级。
原理流程
- 建评测集与机型矩阵。
- 测质量与资源指标。
- 线上观测持续优化。
代码 / 图示
评测集 + 机型矩阵 → 质量/资源/稳定性评测 → 线上观测迭代
常见误区
- 误区:模型效果好即可上线;正解:资源与稳定性在真机上验证。
- 误区:单次评测足够;正解:模型与机型更新需回归。
追问
- Q:模型质量评测见哪分册? A:10 分册 LLM 工程化章节。
- Q:bad case 怎么分析? A:区分模型能力、设备性能与输入问题。
12.4.1.4-017 端侧、云端与协同怎么选型?
一句话结论
隐私敏感/离线/高频小任务优先端侧;复杂生成与大上下文走云端;多数产品采用端云协同;选型基于任务特性、设备约束与成本测算,不假设单一模式最优。
概念解释
- 端侧条件:隐私/离线/高频。
- 云端条件:复杂/大规模。
- 协同:混合分工。
原理流程
- 拆解任务环节。
- 对照约束与成本。
- 选定模式并 PoC 验证。
代码 / 图示
隐私/离线/高频 → 端侧;复杂/大上下文 → 云端;其余 → 端云协同
常见误区
- 误区:追求全端侧技术先进;正解:按任务与成本匹配。
- 误区:全云端最省事;正解:隐私与离线场景端侧不可替代。
追问
- Q:选型 PoC 测什么? A:端侧资源可行 + 云端衔接稳定 + 降级可用。
- Q:端侧选型总框架见哪条? A:12.4.1.5。
12.4.1.4-018 本页哪些现状属于待确认?
一句话结论
待确认:端侧模型最新规格与授权、加速器兼容矩阵、推理框架成熟度、设备覆盖与生产案例;任务划分与约束原理稳定,具体能力采用前查官方文档并记录验证点。
概念解释
- 模型规格:随版本演进。
- 硬件兼容:芯片相关。
- 案例:一手反馈。
原理流程
- 标记变化项。
- 列官方文档入口。
- 采用前复核。
代码 / 图示
模型规格/加速器兼容/框架/案例 → 官方文档 + 真机实测核实
常见误区
- 误区:把宣传端侧能力写成全机型可用;正解:兼容矩阵需实测。
- 误区:模型授权可忽略;正解:端侧分发模型需核对许可条款。
追问
- Q:面试怎么答端侧 AI 题? A:讲端云分工、设备约束与隐私价值,规格细节标注待确认。
- Q:下次更新看什么? A:模型规格、芯片适配与落地案例。