罗罗编程学习记录
本页内容 展开查看

12.4.1.4 端侧 AI 与本地推理

所属:全栈开发面试题库 / 12 待归类与新技术观察 / 12.4 新端侧与桌面方案 / 12.4.1 新端侧与桌面方案

观察口径:截至 2026 年,端侧模型规格、加速器支持与工具链以官方文档为准;本页做定位与机制观察,不固化模型参数、延迟与耗电数字,标注「待确认」处采用前核实。

12.4.1.4-001 端侧 AI(On-device)的定位与价值是什么?

一句话结论

端侧 AI 指在终端设备本地完成模型推理,价值在隐私不出端、低延迟、离线可用与节省云端调用成本;代价是设备算力/内存有限、模型规模受限;适合明确的局部智能场景。

概念解释

  • 本地推理:模型运行在设备。
  • 价值:隐私/延迟/离线/成本。
  • 约束:算力内存与模型规模。

原理流程

  1. 判断任务是否适合端侧。
  2. 评估设备资源约束。
  3. 端侧与云端分工。

代码 / 图示

任务特性 → 设备资源评估 → 端侧/云端/协同分工

常见误区

  • 误区:端侧 AI 替代云端大模型;正解:复杂任务仍需云端,端侧做局部能力。
  • 误区:本地推理天然省成本;正解:模型下发与设备适配也有成本。

追问

  • Q:端云分工见哪条? A:12.4.1.4-002。
  • Q:典型场景见哪条? A:12.4.1.4-008。

12.4.1.4-002 端云协同怎么划分职责?

一句话结论

简单、高频、隐私敏感或离线依赖的任务放端侧;复杂推理、大上下文与多模态重任务走云端;端侧做预处理/过滤/初筛,云端做深度生成;按延迟、隐私与成本动态分工。

概念解释

  • 端侧:局部高频任务。
  • 云端:复杂重任务。
  • 协同:预处理与结果衔接。

原理流程

  1. 拆解任务环节。
  2. 按约束分配端/云。
  3. 设计衔接与兜底。

代码 / 图示

端侧:初筛/预处理/高频小任务;云端:复杂生成;衔接:结果回传与兜底

常见误区

  • 误区:所有 AI 能力都压到端侧;正解:模型能力受设备限制。
  • 误区:端云切换对用户无感;正解:降级与衔接需产品设计。

追问

  • Q:网络不可用时怎么办? A:端侧能力兜底,云端功能标注不可用。
  • Q:详见哪分册? A:AI 应用工程化见 10 分册。

12.4.1.4-003 端侧模型有哪些形态?

一句话结论

端侧模型以小参数规模、量化压缩后的模型为主,配合推理引擎在设备运行;具体模型规格、量化方案与支持平台以官方/模型文档为准(待确认最新清单)。

概念解释

  • 小模型:适配设备算力。
  • 量化:压缩体积与计算。
  • 推理引擎:端侧运行时。

原理流程

  1. 选适配设备的模型规格。
  2. 量化压缩打包。
  3. 端侧引擎加载推理。

代码 / 图示

小模型 + 量化压缩 → 端侧推理引擎 → 设备本地运行

常见误区

  • 误区:云端大模型可直接塞进端侧;正解:规模与资源不匹配。
  • 误区:量化无精度损失;正解:压缩带来精度权衡,需评测。

追问

  • Q:量化权衡? A:体积/速度 vs 精度,按任务评测。
  • Q:待确认什么? A:各模型端侧支持规格与授权条款。

12.4.1.4-004 NPU 与加速器在端侧扮演什么角色?

一句话结论

NPU/专用加速器为矩阵运算提供硬件加速,提升推理能效;支持程度随芯片与系统差异大;应用需核对目标设备加速器可用性与推理框架适配(待确认)。

概念解释

  • NPU:神经网络专用计算单元。
  • 加速器:GPU/DSP 等方向。
  • 适配:推理框架对接硬件。

原理流程

  1. 核对设备加速器支持。
  2. 推理框架对接硬件。
  3. 实测加速收益。

代码 / 图示

设备加速器(NPU/GPU) → 推理框架适配 → 能效实测

常见误区

  • 误区:有 NPU 就自动加速;正解:模型与框架需对应支持。
  • 误区:加速器收益全机型一致;正解:芯片代际差异明显。

追问

  • Q:无加速器设备怎么办? A:回退 CPU 推理,性能降级。
  • Q:待确认什么? A:目标机型加速器与框架兼容矩阵。

12.4.1.4-005 端侧内存与电量约束怎么评估?

一句话结论

模型加载占用内存,推理消耗电量与发热;需在目标机型评估常驻内存、单次推理耗时与耗电;低端设备可能无法承载;约束指标按实测,不引用未核实数字。

概念解释

  • 内存:模型与运行时占用。
  • 电量:推理能耗。
  • 发热:持续推理温控。

原理流程

  1. 选代表机型。
  2. 测内存/耗时/耗电/发热。
  3. 设定可承载设备门槛。

代码 / 图示

代表机型 → 内存/耗时/耗电/发热实测 → 设备门槛

常见误区

  • 误区:旗舰机结果代表全量用户;正解:需覆盖中低端机型。
  • 误区:只看推理速度;正解:内存与耗电同样决定可用性。

追问

  • Q:模型常驻还是按需加载? A:按使用频率权衡启动延迟与常驻内存。
  • Q:温控限制? A:持续推理可能降频,需实测稳定性。

12.4.1.4-006 设备碎片化带来什么兼容性问题?

一句话结论

芯片架构、系统版本、加速器与推理框架支持不一,同一模型在不同设备表现差异大;需维护设备兼容矩阵,提供降级路径;兼容性是端侧 AI 落地的主要工程风险之一。

概念解释

  • 碎片化:硬件/系统多样。
  • 兼容矩阵:设备支持清单。
  • 降级:不满足时回退方案。

原理流程

  1. 梳理目标设备清单。
  2. 核对架构与加速器支持。
  3. 设计分级降级。

代码 / 图示

设备清单 → 架构/加速器/框架核对 → 兼容矩阵 + 分级降级

常见误区

  • 误区:开发机调试通过即可发布;正解:需覆盖主流机型实测。
  • 误区:模型包全设备通用;正解:架构与精度支持可能需分包。

追问

  • Q:不兼容设备怎么处理? A:隐藏端侧能力或走云端兜底。
  • Q:兼容测试怎么组织? A:机型矩阵 + 自动化冒烟 + 真机回归。

12.4.1.4-007 隐私与数据不出端怎么理解?

一句话结论

端侧推理使敏感数据不必上传云端,降低泄露面;但模型更新、日志与错误上报仍可能携带信息,需单独审查;隐私收益需配合端侧数据最小化与上报脱敏。

概念解释

  • 不出端:原始数据本地处理。
  • 上报审查:日志/错误信息。
  • 最小化:只传必要信息。

原理流程

  1. 梳理数据流与上报项。
  2. 敏感数据本地处理。
  3. 上报内容脱敏审查。

代码 / 图示

敏感数据本地处理;日志/错误上报 → 脱敏与最小化审查

常见误区

  • 误区:端侧 AI 自动满足隐私合规;正解:上报与模型链路仍需审查。
  • 误区:本地模型无数据外传;正解:模型下载与遥测可能联网。

追问

  • Q:合规审查见哪页? A:12.5.1.4。
  • Q:隐私设计原则? A:数据最小化、本地优先、上报脱敏。

12.4.1.4-008 端侧 AI 适合哪些典型场景?

一句话结论

适合:语音唤醒与识别、输入法预测、图像/相机预处理、离线翻译/摘要、本地检索与隐私敏感分类;复杂对话、大上下文与高精度生成仍走云端;场景按模型能力与设备约束判断。

概念解释

  • 高频局部:小任务反复执行。
  • 离线依赖:无网络可用。
  • 隐私敏感:数据不出端。

原理流程

  1. 拆解任务复杂度。
  2. 匹配端侧能力边界。
  3. 不满足走云端协同。

代码 / 图示

唤醒/输入法/图像预处理/离线翻译/本地检索 → 端侧;复杂生成 → 云端

常见误区

  • 误区:端侧可承接任意对话场景;正解:模型规模与能力有限。
  • 误区:场景选择只看技术;正解:用户体验与离线需求同样关键。

追问

  • Q:端侧小 RAG 见哪条? A:12.4.1.4-012。
  • Q:场景收益怎么量化? A:延迟、离线可用与云端成本对照。

12.4.1.4-009 模型部署与打包怎么做?

一句话结论

模型作为资源包随应用分发或按需下载;需管理模型版本、体积与更新;端侧打包受应用包体限制,常采用按需下载与分包策略;具体打包能力按推理框架核实。

概念解释

  • 模型包:权重资源。
  • 分发:随包或下载。
  • 版本管理:模型迭代。

原理流程

  1. 决定随包/下载策略。
  2. 管理模型版本与兼容。
  3. 校验完整性后加载。

代码 / 图示

模型包 → 随包/按需下载 → 版本校验 → 端侧加载

常见误区

  • 误区:模型直接打进安装包无体积问题;正解:包体受限,需按需下载。
  • 误区:模型更新随应用发版即可;正解:独立下发可加快迭代。

追问

  • Q:模型更新见哪条? A:12.4.1.4-010。
  • Q:模型完整性怎么保证? A:校验哈希/签名,防篡改。

12.4.1.4-010 模型更新与下发怎么设计?

一句话结论

模型可独立于应用版本下发更新,需管理版本兼容、灰度发布与回滚;旧应用版本与新模型的兼容矩阵需明确;模型下发也受网络与流量约束。

概念解释

  • 独立下发:模型版本与应用解耦。
  • 灰度:按设备/比例推送。
  • 回滚:版本退回。

原理流程

  1. 模型版本化管理。
  2. 灰度下发与兼容核对。
  3. 异常回滚旧版本。

代码 / 图示

模型版本 → 灰度下发/兼容核对 → 异常回滚

常见误区

  • 误区:模型更新无兼容性问题;正解:旧应用可能不支持新模型格式。
  • 误区:全量下发无网络成本;正解:模型体积消耗用户流量与存储。

追问

  • Q:灰度指标? A:推理成功率、崩溃与体验指标。
  • Q:详见哪类主题? A:灰度实验平台见 12.5.1.2。

12.4.1.4-011 端侧推理性能看哪些口径?

一句话结论

口径:首响应延迟、单次推理耗时、吞吐、内存峰值、耗电与发热;不同任务(分类/生成)指标不同;需在目标机型与典型输入下实测,标注设备前提。

概念解释

  • 延迟:首响应与完成耗时。
  • 内存峰值:推理占用。
  • 能效:耗电与发热。

原理流程

  1. 定义任务与输入规模。
  2. 目标机型实测各指标。
  3. 对照体验门槛。

代码 / 图示

首响应/耗时/吞吐/内存/耗电 → 目标机型实测 → 体验门槛对照

常见误区

  • 误区:只报单次推理速度;正解:内存与耗电决定可长期使用。
  • 误区:benchmark 数字可直接引用;正解:自身任务与机型实测为准。

追问

  • Q:生成式端侧模型关注什么? A:首 token 延迟与流式速度。
  • Q:性能不达标怎么办? A:换小模型/量化、转云端或裁剪任务。

12.4.1.4-012 端侧检索与小型 RAG 怎么做?

一句话结论

端侧可本地保存少量向量/索引做本地检索,配合小模型生成;规模受设备内存限制,适合私有离线知识场景;大规模检索仍走云端;嵌入与向量存储口径参照 12.3.1.4。

概念解释

  • 本地索引:设备内向量/检索。
  • 规模受限:内存与存储。
  • 离线知识:私有数据本地用。

原理流程

  1. 评估本地知识规模。
  2. 构建本地索引。
  3. 超规模转云端检索。

代码 / 图示

私有知识 → 本地嵌入/索引 → 端侧检索 + 小模型;超规模 → 云端

常见误区

  • 误区:端侧可承载大规模知识库;正解:内存与索引规模受限。
  • 误区:本地索引无需更新;正解:知识变更需同步重建。

追问

  • Q:向量索引口径见哪页? A:12.3.1.4。
  • Q:RAG 完整链路见哪分册? A:10 分册 RAG 章节。

12.4.1.4-013 端侧多模态的边界在哪?

一句话结论

图像等单模态端侧处理较常见,跨模态理解受模型规模与设备算力限制;端侧多模态能力按模型与芯片支持核实(待确认),重任务仍走云端协同。

概念解释

  • 单模态:图像/语音局部处理。
  • 多模态:跨模态理解生成。
  • 边界:模型与算力约束。

原理流程

  1. 判断模态与任务复杂度。
  2. 核对端侧模型支持。
  3. 超限走云端。

代码 / 图示

单模态局部处理 → 端侧;跨模态复杂理解 → 云端协同

常见误区

  • 误区:端侧可运行云端同款多模态;正解:模型规模受限。
  • 误区:媒体文件本地处理无资源成本;正解:编解码同样消耗算力。

追问

  • Q:端侧图像处理场景? A:裁剪、识别、预处理与过滤。
  • Q:待确认什么? A:多模态模型端侧规格与芯片支持。

12.4.1.4-014 端侧模型与云端接口怎么衔接?

一句话结论

端侧预处理/初筛后把必要信息传云端,云端结果回端侧呈现;接口契约、降级策略与超时处理需明确;端云模型能力差异需在适配层隔离。

概念解释

  • 衔接接口:端云数据交换。
  • 降级:云端不可用兜底。
  • 适配隔离:模型差异封装。

原理流程

  1. 定义端云职责边界。
  2. 约定接口与数据格式。
  3. 设计降级与超时。

代码 / 图示

端侧预处理 → 云端接口 → 结果回端;降级/超时/适配层隔离

常见误区

  • 误区:端云模型输出格式一致;正解:能力差异需适配层处理。
  • 误区:网络异常无需设计;正解:端侧兜底与提示必须覆盖。

追问

  • Q:API 协议选型见哪章? A:12.2.1.2。
  • Q:模型差异适配见哪页? A:12.2.1.4-013。

12.4.1.4-015 端侧 AI 的成本怎么权衡?

一句话结论

收益:节省云端调用费用、隐私与离线体验;成本:模型开发/适配、设备兼容测试、包体与维护;需按调用频次与设备覆盖测算净收益,不为概念性能力堆砌端侧模型。

概念解释

  • 收益:云端成本/体验/隐私。
  • 成本:适配/兼容/维护。
  • 净收益:对照测算。

原理流程

  1. 估算云端调用频次成本。
  2. 计入端侧适配成本。
  3. 对照净收益决策。

代码 / 图示

云端成本节省 + 体验/隐私收益 vs 适配/兼容/维护成本 → 净收益

常见误区

  • 误区:端侧一定省钱;正解:低频场景适配成本可能高于云调用。
  • 误区:成本只算模型授权;正解:兼容测试与维护长期投入。

追问

  • Q:成本治理通用口径? A:参照 12.5.1.3。
  • Q:怎么估算调用量? A:按用户规模与使用频次压测推算。

12.4.1.4-016 端侧 AI 体验怎么评测?

一句话结论

评测:任务成功率、延迟分布、内存/耗电、崩溃率与用户主观体验;需覆盖代表机型与典型输入;模型质量评测参照 AI 应用评测方法,端侧额外测资源与稳定性。

概念解释

  • 质量:任务成功率/准确性。
  • 资源:内存/耗电/发热。
  • 稳定性:崩溃与降级。

原理流程

  1. 建评测集与机型矩阵。
  2. 测质量与资源指标。
  3. 线上观测持续优化。

代码 / 图示

评测集 + 机型矩阵 → 质量/资源/稳定性评测 → 线上观测迭代

常见误区

  • 误区:模型效果好即可上线;正解:资源与稳定性在真机上验证。
  • 误区:单次评测足够;正解:模型与机型更新需回归。

追问

  • Q:模型质量评测见哪分册? A:10 分册 LLM 工程化章节。
  • Q:bad case 怎么分析? A:区分模型能力、设备性能与输入问题。

12.4.1.4-017 端侧、云端与协同怎么选型?

一句话结论

隐私敏感/离线/高频小任务优先端侧;复杂生成与大上下文走云端;多数产品采用端云协同;选型基于任务特性、设备约束与成本测算,不假设单一模式最优。

概念解释

  • 端侧条件:隐私/离线/高频。
  • 云端条件:复杂/大规模。
  • 协同:混合分工。

原理流程

  1. 拆解任务环节。
  2. 对照约束与成本。
  3. 选定模式并 PoC 验证。

代码 / 图示

隐私/离线/高频 → 端侧;复杂/大上下文 → 云端;其余 → 端云协同

常见误区

  • 误区:追求全端侧技术先进;正解:按任务与成本匹配。
  • 误区:全云端最省事;正解:隐私与离线场景端侧不可替代。

追问

  • Q:选型 PoC 测什么? A:端侧资源可行 + 云端衔接稳定 + 降级可用。
  • Q:端侧选型总框架见哪条? A:12.4.1.5。

12.4.1.4-018 本页哪些现状属于待确认?

一句话结论

待确认:端侧模型最新规格与授权、加速器兼容矩阵、推理框架成熟度、设备覆盖与生产案例;任务划分与约束原理稳定,具体能力采用前查官方文档并记录验证点。

概念解释

  • 模型规格:随版本演进。
  • 硬件兼容:芯片相关。
  • 案例:一手反馈。

原理流程

  1. 标记变化项。
  2. 列官方文档入口。
  3. 采用前复核。

代码 / 图示

模型规格/加速器兼容/框架/案例 → 官方文档 + 真机实测核实

常见误区

  • 误区:把宣传端侧能力写成全机型可用;正解:兼容矩阵需实测。
  • 误区:模型授权可忽略;正解:端侧分发模型需核对许可条款。

追问

  • Q:面试怎么答端侧 AI 题? A:讲端云分工、设备约束与隐私价值,规格细节标注待确认。
  • Q:下次更新看什么? A:模型规格、芯片适配与落地案例。