10.5.1.2 推理优化与部署
所属:全栈开发面试题库 / 10 AI 应用开发:LLM 与 Agent / 10.5 LLM 工程化 / 10.5.1 LLM 工程化
10.5.1.2-001 大模型推理的主要瓶颈是什么?
一句话结论
推理瓶颈主要在显存容量、显存带宽与计算利用率:prefill 阶段受算力约束,decode 阶段逐 token 生成受显存带宽约束;理解瓶颈分布才能选择对应的量化、批处理与缓存手段,具体硬件指标以实际部署环境为准。
概念解释
- prefill:并行处理提示,算力密集。
- decode:逐 token 生成,带宽密集。
- 显存:权重与 KV Cache 占用。
原理流程
- 区分两阶段瓶颈。
- 对照瓶颈选优化手段。
- 压测验证延迟与吞吐。
代码 / 图示
prefill: 计算密集(并行提示)
decode: 带宽密集(逐 token 读权重/KV)
常见误区
- 误区:瓶颈只在模型大小;正解:decode 阶段带宽与 KV Cache 同样关键。
- 误区:一种优化解决全部阶段;正解:prefill 与 decode 手段不同,需分别观测。
追问
- Q:如何判断瓶颈阶段? 答:观测 prefill 耗时、decode 单 token 时延与硬件利用率。
- Q:长上下文主要加剧什么? 答:KV Cache 显存占用与 decode 带宽压力。
10.5.1.2-002 量化是什么,能带来什么收益与代价?
一句话结论
量化把权重或激活从高精度压到低位宽(如 INT8/FP8/4bit),降低显存占用与带宽压力,提升吞吐;代价是一定精度损失,低位宽压缩更明显;是否可用需在任务评测集上验证质量达标,位宽与支持程度以所选框架和硬件文档为准。
概念解释
- 权重量化:存储位宽降低。
- 激活量化:计算精度压缩。
- 精度折损:压缩带来的质量风险。
原理流程
- 选择量化方案与位宽。
- 部署后跑任务评测集。
- 质量达标再上线,不达标回退精度。
代码 / 图示
FP16 → INT8/FP8/4bit
收益: 显存降 带宽降 吞吐升; 代价: 精度可能降
常见误区
- 误区:量化对所有任务无损;正解:复杂推理与敏感任务需实测精度折损。
- 误区:位宽越低越好;正解:以质量门禁换取压缩收益,不盲目压到最低。
追问
- Q:量化为什么能加速? 答:decode 受带宽限制,低位宽减少数据搬运量。
- Q:权重与激活量化区别? 答:权重量化省存储,激活量化影响计算路径,方案支持度按框架确认。
10.5.1.2-003 KV Cache 在推理中起什么作用?
一句话结论
KV Cache 缓存已计算的注意力键值,decode 时不必重算历史 token 表示,避免每步重复前向计算;代价是随上下文长度线性增长的显存占用;长上下文场景需要分页、量化或滑动窗口等手段控制占用。
概念解释
- 缓存对象:历史层的 K、V。
- 收益:避免重复计算。
- 代价:显存随序列增长。
原理流程
- prefill 计算并缓存 K/V。
- decode 每步复用历史缓存。
- 长序列评估缓存显存预算。
代码 / 图示
历史 token 的 K/V 留存 → 新 token 注意力只算增量
占用约为 层数×头数×维度×序列长度×精度
常见误区
- 误区:KV Cache 只省算力不占显存;正解:它用显存换取计算节省,长上下文显存压力显著。
- 误区:所有序列缓存都保留;正解:超出需要的历史可按策略淘汰或压缩。
追问
- Q:KV Cache 显存怎么估算? 答:按层数、注意力维度、序列长度与数值精度计算,具体公式随模型结构变化。
- Q:多请求共享缓存吗? 答:相同前缀可复用前缀缓存,独立请求缓存互不影响。
10.5.1.2-004 什么是连续批处理(continuous batching)?
一句话结论
连续批处理在请求级动态组合批次:有新请求或请求完成时即时加入/移出批次,不必等整批同步结束;相比静态整批等待,提升 GPU 利用率与吞吐;框架按调度策略拼装批次,具体实现以所选推理框架文档为准。
概念解释
- 动态调度:请求级进出批次。
- 利用率填充:减少空闲等待。
- 吞吐提升:硬件占用更满。
原理流程
- 推理框架维护等待队列。
- 每调度步拼装可运行批次。
- 完成请求移出,新请求补入。
代码 / 图示
静态批: 凑齐一批 → 全部完成才释放槽位
连续批: 步级调度, 完成即退出, 新请求补入
常见误区
- 误区:批越大延迟越低;正解:大批次提升吞吐但单请求排队与等待可能变长。
- 误区:连续批处理自动保证公平;正解:队列优先级与超时策略需要配置。
追问
- Q:批处理影响什么指标? 答:吞吐(token/s)与单请求延迟之间需要权衡。
- Q:短请求多时收益? 答:动态填充减少槽位空闲,利用率改善明显。
10.5.1.2-005 PagedAttention 解决什么问题?
一句话结论
PagedAttention 把 KV Cache 按块分页管理,减少显存碎片、提升可容纳的并发序列数;块表记录序列与物理块映射;它服务于连续批处理下的缓存高效复用,具体实现细节以对应框架文档为准。
概念解释
- 块分页:缓存按固定块分配。
- 碎片减少:连续显存不再硬绑定。
- 并发提升:缓存利用率提高。
原理流程
- KV 缓存切块存储。
- 序列通过块表映射。
- 并发序列按需分配块。
代码 / 图示
逻辑序列块 → 物理块(块表映射)
常见误区
- 误区:分页改变了注意力计算结果;正解:它是存储管理方式,注意力语义不变。
- 误区:有了分页就不用控制上下文长度;正解:总缓存显存仍受块数量上限约束。
追问
- Q:前缀缓存复用与分页关系? 答:分页管理支持块级共享,相同前缀块可被多序列引用。
- Q:块大小怎么定? 答:按框架默认与显存碎片表现调整,不自行拍定值。
10.5.1.2-006 投机解码(speculative decoding)是什么?
一句话结论
用小模型或草稿模型先生成候选 token 序列,大模型一次性并行校验接受或修正;在保持大模型输出分布的前提下减少 decode 串行步数,提升生成速度;草稿接受率决定收益,具体支持度以框架与模型组合为准。
概念解释
- 草稿生成:小模型拟候选。
- 并行校验:大模型批量验证。
- 接受率:草稿被采纳比例。
原理流程
- 草稿模型生成短候选链。
- 大模型一次前向校验。
- 接受通过部分,末位修正继续。
代码 / 图示
小模型草稿 t1 t2 t3 → 大模型并行校验 → 接受前缀 / 重采样
常见误区
- 误区:投机解码改变输出质量;正解:校验目标是保持与大模型一致分布,不偷换生成结果。
- 误区:任何组合都加速;正解:草稿接受率低时反而增加开销,需实测。
追问
- Q:草稿模型怎么选? 答:同系列小模型或适配草稿头,接受率作为主要观测指标。
- Q:收益受什么影响? 答:任务生成确定性越强,草稿命中率通常越高。
10.5.1.2-007 部署推理服务需要关注哪些关键指标?
一句话结论
关注首 token 延迟(TTFT)、单 token 延迟、端到端时延、吞吐(请求数/token 每秒)、显存占用、GPU 利用率与排队长度;分 prefill/decode 观测;指标随并发与输入输出长度变化,压测曲线用于容量规划。
概念解释
- TTFT:首字返回等待。
- 吞吐:单位时间处理量。
- 利用率:硬件占用与排队。
原理流程
- 定义各阶段指标口径。
- 压测不同并发与长度。
- 定位瓶颈并配置容量。
代码 / 图示
TTFT · decode 步时延 · 端到端时延 · 吞吐 · 显存 · 利用率 · 队列
常见误区
- 误区:只看平均延迟;正解:P95/P99 尾延迟与排队情况同样决定体验。
- 误区:吞吐高就代表服务健康;正解:高吞吐可能以排队延迟为代价。
追问
- Q:指标按什么维度拆? 答:按输入长度、输出长度、并发与任务类型分组。
- Q:容量依据什么定? 答:压测得到的并发-延迟曲线与目标 SLA 对照。
10.5.1.2-008 推理框架选型对比哪些方面?
一句话结论
对比批处理调度、KV 缓存管理、量化支持、并发与显存表现、模型/适配器兼容、部署形态与运维成熟度;结合自有模型结构、硬件与 SLA 压测选型,不按宣传参数直接决定;框架能力以官方文档为准。
概念解释
- 调度缓存:批处理与缓存方案。
- 兼容:模型结构与适配器。
- 运维:部署、监控与社区成熟度。
原理流程
- 列出自有模型与硬件约束。
- 候选框架同场景压测。
- 对比指标与运维成本选型。
代码 / 图示
批处理/缓存/量化/并发/兼容/部署/监控 → 压测对比
常见误区
- 误区:选最热门框架即可;正解:模型结构与硬件兼容性可能不匹配。
- 误区:基准测试数字直接套用;正解:自有长度分布与并发下需实测。
追问
- Q:框架支持哪些模型? 答:以官方兼容列表为准,小众结构需验证。
- Q:自建服务还是托管? 答:按数据合规、成本与运维能力权衡。
10.5.1.2-009 流式输出在推理部署上有什么意义?
一句话结论
流式逐 token 返回降低首字等待感知,长回答不必等全文生成;服务需维持长连接并处理中断与重连;部署侧关注连接数、流式缓冲区与失败重试,体验指标仍以 TTFT 与整体时延为准。
概念解释
- 逐 token 返回:改善感知延迟。
- 连接维护:长连接与缓冲。
- 失败处理:断连与重发策略。
原理流程
- 生成增量通过流式通道下发。
- 维持连接与缓冲状态。
- 中途失败按策略处理。
代码 / 图示
模型增量 → 流式通道 → 前端逐步渲染
常见误区
- 误区:流式就等于快;正解:TTFT 与总生成时间不变,只是提前展示。
- 误区:流式中断无需处理;正解:断连后结果一致性与重试要有设计。
追问
- Q:流式对部署资源影响? 答:并发连接数与缓冲占用上升,需纳入容量评估。
- Q:流式失败如何兜底? 答:保留生成状态,支持重连续传或降级一次性返回。
10.5.1.2-010 长上下文推理的显存与延迟如何控制?
一句话结论
控制输入长度与检索片段数量、启用 KV 缓存复用与量化、必要时滑动窗口淘汰早期 token;上下文长度直接影响缓存显存与注意力计算;上限按模型支持与业务预算设定,超限走检索压缩而非硬塞。
概念解释
- 长度控制:输入与片段预算。
- 缓存优化:复用、量化、淘汰。
- 上限策略:模型与预算约束。
原理流程
- 统计常见上下文长度分布。
- 启用缓存优化手段。
- 超限走压缩/检索,不超窗口。
代码 / 图示
输入预算 + 片段条数 → 缓存占用
超窗: 压缩摘要 / 检索式回忆, 不截断关键约束
常见误区
- 误区:上下文越长越好;正解:长度上升带来显存、延迟与注意力稀释问题。
- 误区:早期 token 一律保留;正解:无关历史可淘汰,目标与约束优先保留。
追问
- Q:模型上下文上限以什么为准? 答:所选模型官方文档说明,部署按实测稳定长度配置。
- Q:长度超窗怎么兜底? 答:压缩历史、精简检索片段或拆分任务。
10.5.1.2-011 模型并行与张量并行在什么规模下需要?
一句话结论
单卡显存装不下权重或批量时,才考虑多卡并行(张量/流水线等切分方式);中小规模单卡或适配器部署通常无需复杂并行;并行引入通信开销与部署复杂度,是否需要由显存容量与压测结果决定,具体并行方案以框架支持为准。
概念解释
- 显存约束:权重与缓存放不下。
- 并行切分:模型维度/阶段拆分。
- 通信开销:多卡同步成本。
原理流程
- 评估单卡显存与批量需求。
- 不足再选并行方式。
- 压测并行效率与延迟。
代码 / 图示
单卡可容纳 → 单卡部署
显存/批量不足 → 多卡并行(通信开销)
常见误区
- 误区:大模型必须多卡并行才能跑;正解:量化与小批量可能单卡可行,先评估容量。
- 误区:并行线性提速;正解:通信同步会降低扩展效率。
追问
- Q:并行主要优化什么? 答:显存容纳能力,吞吐提升受通信限制。
- Q:并行部署复杂度? 答:多卡调度、容错与监控要求更高,小团队谨慎引入。
10.5.1.2-012 推理压测应如何设计场景?
一句话结论
按真实输入/输出长度分布构造并发场景,覆盖典型、边界与峰值;分别观测 TTFT、时延、吞吐与显存;逐步加压找到拐点(延迟劣化或资源饱和);压测环境与生产配置尽量一致,结果用于容量与限流设定。
概念解释
- 真实分布:长度与任务构成。
- 阶梯加压:找拐点与饱和点。
- 环境一致:配置可比。
原理流程
- 采集线上长度与并发分布。
- 构造典型/边界/峰值样本。
- 阶梯压测记录指标曲线。
代码 / 图示
并发阶梯: 低 → 中 → 峰值
记录: 时延/吞吐/显存拐点
常见误区
- 误区:用固定短文本压测;正解:长度分布失真会高估容量。
- 误区:只压成功率;正解:尾延迟与资源饱和点才是容量依据。
追问
- Q:输出长度怎么模拟? 答:按真实回答长度分布设 max_tokens 与生成样本。
- Q:压测结果如何落地? 答:形成并发-时延曲线,作为限流与扩容基线。
10.5.1.2-013 部署模型版本与适配器在服务侧如何组织?
一句话结论
服务侧登记基座版本、适配器版本、配置与路由关系;按任务/租户加载对应版本;支持灰度挂载与回滚;模型产物与服务配置版本对应,避免线上加载到不匹配的组合。
概念解释
- 版本登记:基座 + 适配器 + 配置。
- 路由加载:按任务选择。
- 回滚:版本可切回。
原理流程
- 产物元信息入库登记。
- 服务按路由加载版本。
- 异常切回稳定版本。
代码 / 图示
模型版本表: 基座/适配器/配置/状态
路由: 任务 → 版本组合
常见误区
- 误区:适配器与基座随意搭配;正解:不匹配会导致加载失败或行为异常。
- 误区:线上版本无记录;正解:复盘与回滚缺少依据。
追问
- Q:多版本共存资源怎么算? 答:按并发与常驻版本规划显存,非常驻版本冷加载。
- Q:版本切换注意什么? 答:灰度验证兼容性,保留旧版本快速回退。
10.5.1.2-014 为什么要限制 max_tokens,工程上怎么配?
一句话结论
限制输出长度控制显存占用、生成时间与成本,避免失控长输出;按任务类型设定合理上限,超长时截断并提示;上限过短截断答案,过长放大延迟与费用,取值按真实回答长度分布标定。
概念解释
- 长度上限:单次生成 token 数。
- 成本延迟:输出长度直接相关。
- 分布标定:按任务真实长度。
原理流程
- 统计各任务回答长度分布。
- 设定任务级上限。
- 超限走截断或澄清处理。
代码 / 图示
任务 A 上限短, 任务 B 上限长; 超限 → 截断/提示继续
常见误区
- 误区:统一给很大上限;正解:长尾失控输出放大成本与时延。
- 误区:上限越短越省;正解:过短会截断必要回答,降低完成率。
追问
- Q:超长输出如何识别? 答:达到上限仍未完成时按任务策略收尾或要求续接。
- Q:输出费用口径? 答:按输出 token 计费,价格以供应商文档为准。
10.5.1.2-015 推理服务如何做资源隔离与多租户共享?
一句话结论
按租户/任务隔离配额与优先级,共享实例时控制并发与资源占用;高优任务预留资源,低优任务排队降级;隔离策略与权限、限流配合;关键租户可独立实例,具体隔离能力以部署平台为准。
概念解释
- 配额隔离:并发与资源上限。
- 优先级:排队与预留策略。
- 降级排队:资源紧张时取舍。
原理流程
- 划分租户等级与配额。
- 调度按优先级分配槽位。
- 过载时排队或降级。
代码 / 图示
租户配额 + 优先级 → 调度槽位
过载: 排队 / 降级 / 独立实例
常见误区
- 误区:所有租户混享无配额;正解:单个租户洪流会挤占全局容量。
- 误区:隔离只靠模型权限;正解:并发、显存与队列同样需要配额控制。
追问
- Q:独立实例成本? 答:资源利用率低但隔离强,按业务重要性选择。
- Q:配额怎么设定? 答:基于压测容量与租户业务量分配,超限限流。
10.5.1.2-016 量化部署后如何验证质量没有明显退化?
一句话结论
在固定评测集上对比高精度与量化版本的任务完成率、格式通过率、事实正确率与关键场景表现;退化在容忍阈值内才上线;敏感任务保留高精度备选;量化收益(显存/吞吐)与质量代价一起评估。
概念解释
- 质量对照:同集两版本对比。
- 容忍阈值:退化可接受范围。
- 备选回退:高精度版本保留。
原理流程
- 准备任务与安全评测集。
- 跑高精度与量化版本。
- 对比指标,达标上线,否则回退。
代码 / 图示
高精度基线 vs 量化版本: 完成率/格式/事实/安全
常见误区
- 误区:量化只看显存节省;正解:质量退化不可接受时压缩无意义。
- 误区:一次评测长期有效;正解:模型或数据更新后需重新验证。
追问
- Q:退化阈值谁定? 答:业务按任务风险设定,关键结论类任务更严。
- Q:哪些任务慎用低比特量化? 答:复杂推理、数值计算与高风险事实回答。
10.5.1.2-017 推理链路常见的故障点有哪些?
一句话结论
故障点:模型/适配器加载失败、显存溢出、排队超时、上游依赖(工具/检索)超时、流式断连、输出格式解析失败;各环节要有超时、重试与降级;故障按 prefill/decode/外部依赖分段定位。
概念解释
- 资源故障:加载/OOM。
- 调度故障:排队超时。
- 依赖故障:工具/检索/网络。
原理流程
- 链路分段设置超时与监控。
- 故障分类重试或降级。
- 记录轨迹用于复盘。
代码 / 图示
加载 → 排队 → prefill → decode → 依赖工具 → 解析输出
各段: 超时/重试/降级策略
常见误区
- 误区:故障都归模型生成慢;正解:检索、工具与网络依赖常是超时来源。
- 误区:无限等待上游;正解:各段必须有超时上限与兜底响应。
追问
- Q:OOM 怎么预防? 答:控制批量、上下文长度与并发,预留显存余量。
- Q:解析失败怎么处理? 答:按格式约束重试一次,仍失败转兜底模板或人工。
10.5.1.2-018 自托管与 API 调用如何取舍?
一句话结论
API 接入快、无需运维 GPU,适合起步与弹性场景;自托管可控数据与定制,但承担硬件、运维与容量成本;按数据合规、调用规模、定制深度与成本测算选择,也可混合部署;价格与限额以供应商官方文档为准。
概念解释
- API:托管能力,按量计费。
- 自托管:自有基础设施,可控可定制。
- 混合:敏感自托管,弹性走 API。
原理流程
- 评估合规、规模与定制需求。
- 测算 API 成本与自托管投入。
- 选择单一或混合方案。
代码 / 图示
起步/弹性/少运维 → API
数据敏感/规模大/深度定制 → 自托管
混合: 敏感自托管 + 峰值 API
常见误区
- 误区:规模大就一定该自托管;正解:需测算硬件运维成本与利用率,未必更省。
- 误区:自托管就不受模型版本约束;正解:仍受基座能力与更新周期限制。
追问
- Q:数据合规影响选型? 答:敏感数据不出域时自托管或合规 API 区域。
- Q:迁移成本? 答:提示、工具与评测集需适配两套接口能力。