罗罗编程学习记录
本页内容 展开查看

10.5.1.2 推理优化与部署

所属:全栈开发面试题库 / 10 AI 应用开发:LLM 与 Agent / 10.5 LLM 工程化 / 10.5.1 LLM 工程化

10.5.1.2-001 大模型推理的主要瓶颈是什么?

一句话结论

推理瓶颈主要在显存容量、显存带宽与计算利用率:prefill 阶段受算力约束,decode 阶段逐 token 生成受显存带宽约束;理解瓶颈分布才能选择对应的量化、批处理与缓存手段,具体硬件指标以实际部署环境为准。

概念解释

  • prefill:并行处理提示,算力密集。
  • decode:逐 token 生成,带宽密集。
  • 显存:权重与 KV Cache 占用。

原理流程

  1. 区分两阶段瓶颈。
  2. 对照瓶颈选优化手段。
  3. 压测验证延迟与吞吐。

代码 / 图示

prefill: 计算密集(并行提示)
decode: 带宽密集(逐 token 读权重/KV)

常见误区

  • 误区:瓶颈只在模型大小;正解:decode 阶段带宽与 KV Cache 同样关键。
  • 误区:一种优化解决全部阶段;正解:prefill 与 decode 手段不同,需分别观测。

追问

  • Q:如何判断瓶颈阶段? 答:观测 prefill 耗时、decode 单 token 时延与硬件利用率。
  • Q:长上下文主要加剧什么? 答:KV Cache 显存占用与 decode 带宽压力。

10.5.1.2-002 量化是什么,能带来什么收益与代价?

一句话结论

量化把权重或激活从高精度压到低位宽(如 INT8/FP8/4bit),降低显存占用与带宽压力,提升吞吐;代价是一定精度损失,低位宽压缩更明显;是否可用需在任务评测集上验证质量达标,位宽与支持程度以所选框架和硬件文档为准。

概念解释

  • 权重量化:存储位宽降低。
  • 激活量化:计算精度压缩。
  • 精度折损:压缩带来的质量风险。

原理流程

  1. 选择量化方案与位宽。
  2. 部署后跑任务评测集。
  3. 质量达标再上线,不达标回退精度。

代码 / 图示

FP16 → INT8/FP8/4bit
收益: 显存降 带宽降 吞吐升; 代价: 精度可能降

常见误区

  • 误区:量化对所有任务无损;正解:复杂推理与敏感任务需实测精度折损。
  • 误区:位宽越低越好;正解:以质量门禁换取压缩收益,不盲目压到最低。

追问

  • Q:量化为什么能加速? 答:decode 受带宽限制,低位宽减少数据搬运量。
  • Q:权重与激活量化区别? 答:权重量化省存储,激活量化影响计算路径,方案支持度按框架确认。

10.5.1.2-003 KV Cache 在推理中起什么作用?

一句话结论

KV Cache 缓存已计算的注意力键值,decode 时不必重算历史 token 表示,避免每步重复前向计算;代价是随上下文长度线性增长的显存占用;长上下文场景需要分页、量化或滑动窗口等手段控制占用。

概念解释

  • 缓存对象:历史层的 K、V。
  • 收益:避免重复计算。
  • 代价:显存随序列增长。

原理流程

  1. prefill 计算并缓存 K/V。
  2. decode 每步复用历史缓存。
  3. 长序列评估缓存显存预算。

代码 / 图示

历史 token 的 K/V 留存 → 新 token 注意力只算增量
占用约为 层数×头数×维度×序列长度×精度

常见误区

  • 误区:KV Cache 只省算力不占显存;正解:它用显存换取计算节省,长上下文显存压力显著。
  • 误区:所有序列缓存都保留;正解:超出需要的历史可按策略淘汰或压缩。

追问

  • Q:KV Cache 显存怎么估算? 答:按层数、注意力维度、序列长度与数值精度计算,具体公式随模型结构变化。
  • Q:多请求共享缓存吗? 答:相同前缀可复用前缀缓存,独立请求缓存互不影响。

10.5.1.2-004 什么是连续批处理(continuous batching)?

一句话结论

连续批处理在请求级动态组合批次:有新请求或请求完成时即时加入/移出批次,不必等整批同步结束;相比静态整批等待,提升 GPU 利用率与吞吐;框架按调度策略拼装批次,具体实现以所选推理框架文档为准。

概念解释

  • 动态调度:请求级进出批次。
  • 利用率填充:减少空闲等待。
  • 吞吐提升:硬件占用更满。

原理流程

  1. 推理框架维护等待队列。
  2. 每调度步拼装可运行批次。
  3. 完成请求移出,新请求补入。

代码 / 图示

静态批: 凑齐一批 → 全部完成才释放槽位
连续批: 步级调度, 完成即退出, 新请求补入

常见误区

  • 误区:批越大延迟越低;正解:大批次提升吞吐但单请求排队与等待可能变长。
  • 误区:连续批处理自动保证公平;正解:队列优先级与超时策略需要配置。

追问

  • Q:批处理影响什么指标? 答:吞吐(token/s)与单请求延迟之间需要权衡。
  • Q:短请求多时收益? 答:动态填充减少槽位空闲,利用率改善明显。

10.5.1.2-005 PagedAttention 解决什么问题?

一句话结论

PagedAttention 把 KV Cache 按块分页管理,减少显存碎片、提升可容纳的并发序列数;块表记录序列与物理块映射;它服务于连续批处理下的缓存高效复用,具体实现细节以对应框架文档为准。

概念解释

  • 块分页:缓存按固定块分配。
  • 碎片减少:连续显存不再硬绑定。
  • 并发提升:缓存利用率提高。

原理流程

  1. KV 缓存切块存储。
  2. 序列通过块表映射。
  3. 并发序列按需分配块。

代码 / 图示

逻辑序列块 → 物理块(块表映射)

常见误区

  • 误区:分页改变了注意力计算结果;正解:它是存储管理方式,注意力语义不变。
  • 误区:有了分页就不用控制上下文长度;正解:总缓存显存仍受块数量上限约束。

追问

  • Q:前缀缓存复用与分页关系? 答:分页管理支持块级共享,相同前缀块可被多序列引用。
  • Q:块大小怎么定? 答:按框架默认与显存碎片表现调整,不自行拍定值。

10.5.1.2-006 投机解码(speculative decoding)是什么?

一句话结论

用小模型或草稿模型先生成候选 token 序列,大模型一次性并行校验接受或修正;在保持大模型输出分布的前提下减少 decode 串行步数,提升生成速度;草稿接受率决定收益,具体支持度以框架与模型组合为准。

概念解释

  • 草稿生成:小模型拟候选。
  • 并行校验:大模型批量验证。
  • 接受率:草稿被采纳比例。

原理流程

  1. 草稿模型生成短候选链。
  2. 大模型一次前向校验。
  3. 接受通过部分,末位修正继续。

代码 / 图示

小模型草稿 t1 t2 t3 → 大模型并行校验 → 接受前缀 / 重采样

常见误区

  • 误区:投机解码改变输出质量;正解:校验目标是保持与大模型一致分布,不偷换生成结果。
  • 误区:任何组合都加速;正解:草稿接受率低时反而增加开销,需实测。

追问

  • Q:草稿模型怎么选? 答:同系列小模型或适配草稿头,接受率作为主要观测指标。
  • Q:收益受什么影响? 答:任务生成确定性越强,草稿命中率通常越高。

10.5.1.2-007 部署推理服务需要关注哪些关键指标?

一句话结论

关注首 token 延迟(TTFT)、单 token 延迟、端到端时延、吞吐(请求数/token 每秒)、显存占用、GPU 利用率与排队长度;分 prefill/decode 观测;指标随并发与输入输出长度变化,压测曲线用于容量规划。

概念解释

  • TTFT:首字返回等待。
  • 吞吐:单位时间处理量。
  • 利用率:硬件占用与排队。

原理流程

  1. 定义各阶段指标口径。
  2. 压测不同并发与长度。
  3. 定位瓶颈并配置容量。

代码 / 图示

TTFT · decode 步时延 · 端到端时延 · 吞吐 · 显存 · 利用率 · 队列

常见误区

  • 误区:只看平均延迟;正解:P95/P99 尾延迟与排队情况同样决定体验。
  • 误区:吞吐高就代表服务健康;正解:高吞吐可能以排队延迟为代价。

追问

  • Q:指标按什么维度拆? 答:按输入长度、输出长度、并发与任务类型分组。
  • Q:容量依据什么定? 答:压测得到的并发-延迟曲线与目标 SLA 对照。

10.5.1.2-008 推理框架选型对比哪些方面?

一句话结论

对比批处理调度、KV 缓存管理、量化支持、并发与显存表现、模型/适配器兼容、部署形态与运维成熟度;结合自有模型结构、硬件与 SLA 压测选型,不按宣传参数直接决定;框架能力以官方文档为准。

概念解释

  • 调度缓存:批处理与缓存方案。
  • 兼容:模型结构与适配器。
  • 运维:部署、监控与社区成熟度。

原理流程

  1. 列出自有模型与硬件约束。
  2. 候选框架同场景压测。
  3. 对比指标与运维成本选型。

代码 / 图示

批处理/缓存/量化/并发/兼容/部署/监控 → 压测对比

常见误区

  • 误区:选最热门框架即可;正解:模型结构与硬件兼容性可能不匹配。
  • 误区:基准测试数字直接套用;正解:自有长度分布与并发下需实测。

追问

  • Q:框架支持哪些模型? 答:以官方兼容列表为准,小众结构需验证。
  • Q:自建服务还是托管? 答:按数据合规、成本与运维能力权衡。

10.5.1.2-009 流式输出在推理部署上有什么意义?

一句话结论

流式逐 token 返回降低首字等待感知,长回答不必等全文生成;服务需维持长连接并处理中断与重连;部署侧关注连接数、流式缓冲区与失败重试,体验指标仍以 TTFT 与整体时延为准。

概念解释

  • 逐 token 返回:改善感知延迟。
  • 连接维护:长连接与缓冲。
  • 失败处理:断连与重发策略。

原理流程

  1. 生成增量通过流式通道下发。
  2. 维持连接与缓冲状态。
  3. 中途失败按策略处理。

代码 / 图示

模型增量 → 流式通道 → 前端逐步渲染

常见误区

  • 误区:流式就等于快;正解:TTFT 与总生成时间不变,只是提前展示。
  • 误区:流式中断无需处理;正解:断连后结果一致性与重试要有设计。

追问

  • Q:流式对部署资源影响? 答:并发连接数与缓冲占用上升,需纳入容量评估。
  • Q:流式失败如何兜底? 答:保留生成状态,支持重连续传或降级一次性返回。

10.5.1.2-010 长上下文推理的显存与延迟如何控制?

一句话结论

控制输入长度与检索片段数量、启用 KV 缓存复用与量化、必要时滑动窗口淘汰早期 token;上下文长度直接影响缓存显存与注意力计算;上限按模型支持与业务预算设定,超限走检索压缩而非硬塞。

概念解释

  • 长度控制:输入与片段预算。
  • 缓存优化:复用、量化、淘汰。
  • 上限策略:模型与预算约束。

原理流程

  1. 统计常见上下文长度分布。
  2. 启用缓存优化手段。
  3. 超限走压缩/检索,不超窗口。

代码 / 图示

输入预算 + 片段条数 → 缓存占用
超窗: 压缩摘要 / 检索式回忆, 不截断关键约束

常见误区

  • 误区:上下文越长越好;正解:长度上升带来显存、延迟与注意力稀释问题。
  • 误区:早期 token 一律保留;正解:无关历史可淘汰,目标与约束优先保留。

追问

  • Q:模型上下文上限以什么为准? 答:所选模型官方文档说明,部署按实测稳定长度配置。
  • Q:长度超窗怎么兜底? 答:压缩历史、精简检索片段或拆分任务。

10.5.1.2-011 模型并行与张量并行在什么规模下需要?

一句话结论

单卡显存装不下权重或批量时,才考虑多卡并行(张量/流水线等切分方式);中小规模单卡或适配器部署通常无需复杂并行;并行引入通信开销与部署复杂度,是否需要由显存容量与压测结果决定,具体并行方案以框架支持为准。

概念解释

  • 显存约束:权重与缓存放不下。
  • 并行切分:模型维度/阶段拆分。
  • 通信开销:多卡同步成本。

原理流程

  1. 评估单卡显存与批量需求。
  2. 不足再选并行方式。
  3. 压测并行效率与延迟。

代码 / 图示

单卡可容纳 → 单卡部署
显存/批量不足 → 多卡并行(通信开销)

常见误区

  • 误区:大模型必须多卡并行才能跑;正解:量化与小批量可能单卡可行,先评估容量。
  • 误区:并行线性提速;正解:通信同步会降低扩展效率。

追问

  • Q:并行主要优化什么? 答:显存容纳能力,吞吐提升受通信限制。
  • Q:并行部署复杂度? 答:多卡调度、容错与监控要求更高,小团队谨慎引入。

10.5.1.2-012 推理压测应如何设计场景?

一句话结论

按真实输入/输出长度分布构造并发场景,覆盖典型、边界与峰值;分别观测 TTFT、时延、吞吐与显存;逐步加压找到拐点(延迟劣化或资源饱和);压测环境与生产配置尽量一致,结果用于容量与限流设定。

概念解释

  • 真实分布:长度与任务构成。
  • 阶梯加压:找拐点与饱和点。
  • 环境一致:配置可比。

原理流程

  1. 采集线上长度与并发分布。
  2. 构造典型/边界/峰值样本。
  3. 阶梯压测记录指标曲线。

代码 / 图示

并发阶梯: 低 → 中 → 峰值
记录: 时延/吞吐/显存拐点

常见误区

  • 误区:用固定短文本压测;正解:长度分布失真会高估容量。
  • 误区:只压成功率;正解:尾延迟与资源饱和点才是容量依据。

追问

  • Q:输出长度怎么模拟? 答:按真实回答长度分布设 max_tokens 与生成样本。
  • Q:压测结果如何落地? 答:形成并发-时延曲线,作为限流与扩容基线。

10.5.1.2-013 部署模型版本与适配器在服务侧如何组织?

一句话结论

服务侧登记基座版本、适配器版本、配置与路由关系;按任务/租户加载对应版本;支持灰度挂载与回滚;模型产物与服务配置版本对应,避免线上加载到不匹配的组合。

概念解释

  • 版本登记:基座 + 适配器 + 配置。
  • 路由加载:按任务选择。
  • 回滚:版本可切回。

原理流程

  1. 产物元信息入库登记。
  2. 服务按路由加载版本。
  3. 异常切回稳定版本。

代码 / 图示

模型版本表: 基座/适配器/配置/状态
路由: 任务 → 版本组合

常见误区

  • 误区:适配器与基座随意搭配;正解:不匹配会导致加载失败或行为异常。
  • 误区:线上版本无记录;正解:复盘与回滚缺少依据。

追问

  • Q:多版本共存资源怎么算? 答:按并发与常驻版本规划显存,非常驻版本冷加载。
  • Q:版本切换注意什么? 答:灰度验证兼容性,保留旧版本快速回退。

10.5.1.2-014 为什么要限制 max_tokens,工程上怎么配?

一句话结论

限制输出长度控制显存占用、生成时间与成本,避免失控长输出;按任务类型设定合理上限,超长时截断并提示;上限过短截断答案,过长放大延迟与费用,取值按真实回答长度分布标定。

概念解释

  • 长度上限:单次生成 token 数。
  • 成本延迟:输出长度直接相关。
  • 分布标定:按任务真实长度。

原理流程

  1. 统计各任务回答长度分布。
  2. 设定任务级上限。
  3. 超限走截断或澄清处理。

代码 / 图示

任务 A 上限短, 任务 B 上限长; 超限 → 截断/提示继续

常见误区

  • 误区:统一给很大上限;正解:长尾失控输出放大成本与时延。
  • 误区:上限越短越省;正解:过短会截断必要回答,降低完成率。

追问

  • Q:超长输出如何识别? 答:达到上限仍未完成时按任务策略收尾或要求续接。
  • Q:输出费用口径? 答:按输出 token 计费,价格以供应商文档为准。

10.5.1.2-015 推理服务如何做资源隔离与多租户共享?

一句话结论

按租户/任务隔离配额与优先级,共享实例时控制并发与资源占用;高优任务预留资源,低优任务排队降级;隔离策略与权限、限流配合;关键租户可独立实例,具体隔离能力以部署平台为准。

概念解释

  • 配额隔离:并发与资源上限。
  • 优先级:排队与预留策略。
  • 降级排队:资源紧张时取舍。

原理流程

  1. 划分租户等级与配额。
  2. 调度按优先级分配槽位。
  3. 过载时排队或降级。

代码 / 图示

租户配额 + 优先级 → 调度槽位
过载: 排队 / 降级 / 独立实例

常见误区

  • 误区:所有租户混享无配额;正解:单个租户洪流会挤占全局容量。
  • 误区:隔离只靠模型权限;正解:并发、显存与队列同样需要配额控制。

追问

  • Q:独立实例成本? 答:资源利用率低但隔离强,按业务重要性选择。
  • Q:配额怎么设定? 答:基于压测容量与租户业务量分配,超限限流。

10.5.1.2-016 量化部署后如何验证质量没有明显退化?

一句话结论

在固定评测集上对比高精度与量化版本的任务完成率、格式通过率、事实正确率与关键场景表现;退化在容忍阈值内才上线;敏感任务保留高精度备选;量化收益(显存/吞吐)与质量代价一起评估。

概念解释

  • 质量对照:同集两版本对比。
  • 容忍阈值:退化可接受范围。
  • 备选回退:高精度版本保留。

原理流程

  1. 准备任务与安全评测集。
  2. 跑高精度与量化版本。
  3. 对比指标,达标上线,否则回退。

代码 / 图示

高精度基线 vs 量化版本: 完成率/格式/事实/安全

常见误区

  • 误区:量化只看显存节省;正解:质量退化不可接受时压缩无意义。
  • 误区:一次评测长期有效;正解:模型或数据更新后需重新验证。

追问

  • Q:退化阈值谁定? 答:业务按任务风险设定,关键结论类任务更严。
  • Q:哪些任务慎用低比特量化? 答:复杂推理、数值计算与高风险事实回答。

10.5.1.2-017 推理链路常见的故障点有哪些?

一句话结论

故障点:模型/适配器加载失败、显存溢出、排队超时、上游依赖(工具/检索)超时、流式断连、输出格式解析失败;各环节要有超时、重试与降级;故障按 prefill/decode/外部依赖分段定位。

概念解释

  • 资源故障:加载/OOM。
  • 调度故障:排队超时。
  • 依赖故障:工具/检索/网络。

原理流程

  1. 链路分段设置超时与监控。
  2. 故障分类重试或降级。
  3. 记录轨迹用于复盘。

代码 / 图示

加载 → 排队 → prefill → decode → 依赖工具 → 解析输出
各段: 超时/重试/降级策略

常见误区

  • 误区:故障都归模型生成慢;正解:检索、工具与网络依赖常是超时来源。
  • 误区:无限等待上游;正解:各段必须有超时上限与兜底响应。

追问

  • Q:OOM 怎么预防? 答:控制批量、上下文长度与并发,预留显存余量。
  • Q:解析失败怎么处理? 答:按格式约束重试一次,仍失败转兜底模板或人工。

10.5.1.2-018 自托管与 API 调用如何取舍?

一句话结论

API 接入快、无需运维 GPU,适合起步与弹性场景;自托管可控数据与定制,但承担硬件、运维与容量成本;按数据合规、调用规模、定制深度与成本测算选择,也可混合部署;价格与限额以供应商官方文档为准。

概念解释

  • API:托管能力,按量计费。
  • 自托管:自有基础设施,可控可定制。
  • 混合:敏感自托管,弹性走 API。

原理流程

  1. 评估合规、规模与定制需求。
  2. 测算 API 成本与自托管投入。
  3. 选择单一或混合方案。

代码 / 图示

起步/弹性/少运维 → API
数据敏感/规模大/深度定制 → 自托管
混合: 敏感自托管 + 峰值 API

常见误区

  • 误区:规模大就一定该自托管;正解:需测算硬件运维成本与利用率,未必更省。
  • 误区:自托管就不受模型版本约束;正解:仍受基座能力与更新周期限制。

追问

  • Q:数据合规影响选型? 答:敏感数据不出域时自托管或合规 API 区域。
  • Q:迁移成本? 答:提示、工具与评测集需适配两套接口能力。