罗罗编程学习记录
本页内容 展开查看

10.1.1.3 Transformer 推理与 KV Cache

所属:全栈开发面试题库 / 10 AI 应用开发:LLM 与 Agent / 10.1 LLM 基础 / 10.1.1 模型与推理基础

10.1.1.3-001 Transformer 的自注意力在做什么?

一句话结论

自注意力让每个位置根据与其他位置的相关性加权汇总信息:每个 token 生成 Query、Key、Value,用 Q 与所有 K 算注意力权重,再对 V 加权求和,从而在单层内建立任意位置间的依赖。

概念解释

  • Q(查询):当前位置想找什么。
  • K(键):其他位置提供什么匹配信号。
  • V(值):被汇总的实际内容。
  • 多头注意力把表示分到多个子空间,各自关注不同关系。

原理流程

  1. 输入向量投影出 Q、K、V。
  2. Q 与各 K 点积得到相似度,缩放后经 softmax 归一为权重。
  3. 权重对 V 加权求和。
  4. 多头结果拼接后投影,送入前馈网络。

代码 / 图示

attention(Q, K, V) = softmax(Q·Kᵀ / √dₖ) · V
位置 i 看到位置 j 的强度, 由 Qᵢ 与 Kⱼ 的匹配决定

常见误区

  • 误区:注意力就是顺序传递;正解:自注意力在单层内并行建立全局关联,顺序信息由位置编码补充。
  • 误区:多头是模型重复训练多次;正解:多头是同一层内的多个表示子空间,并行计算后融合。

追问

  • Q:为什么要除以 √dₖ? A:维度越大点积方差越大,缩放避免 softmax 进入梯度极小的饱和区。
  • Q:注意力复杂度是多少? A:序列长度 n 的平方级(n²),长上下文的主要成本来源之一。

10.1.1.3-002 一次模型前向推理的完整链路是什么?

一句话结论

一次前向:输入 id 经 embedding 加位置信息,穿过多层 Transformer(自注意力 + 前馈),最后投影到词表维度得到 logits,再经采样选出下一个 token;生成阶段把新 token 重复喂回,自回归展开。

概念解释

  • 前向:一次输入到输出分布的计算过程。
  • 自回归:每生成一个 token,就把它接到序列尾部继续前向。
  • 多层堆叠:浅层到深层逐步抽象组合语义。

原理流程

  1. id → embedding + 位置编码。
  2. 逐层计算注意力与前馈。
  3. 输出头映射到词表 logits。
  4. 采样得到下一 token,追加序列后重复。

代码 / 图示

ids → embed + pos → [Attn → FFN] × L → logits → sample → next token

常见误区

  • 误区:一次前向生成整段回答;正解:标准解码是逐 token 自回归,一次前向只定一个下一步。
  • 误区:位置信息靠网络顺序天然学到;正解:必须有位置编码/位置嵌入机制注入顺序信息。

追问

  • Q:logits 是什么? A:输出头对每个词表 token 打的原始分数,经归一化后成为采样概率。
  • Q:前向可以批处理吗? A:可以,多条请求组成批次并行计算,推理服务的批处理就是利用这一点。

10.1.1.3-003 什么是 prefill 阶段,做什么?

一句话结论

prefill(预填充)处理用户输入的整段 prompt:一次性并行计算所有输入位置的注意力与隐藏状态,并把各层 Key、Value 写入 KV Cache,为后续逐 token 生成做好准备。

概念解释

  • prefill 只在请求开始时跑一次。
  • 输入长度决定 prefill 计算量与首 token 延迟。
  • 产出的 KV Cache 让 decode 阶段不必重复计算历史键值。

原理流程

  1. 编码完整 prompt 序列。
  2. 并行计算每层注意力,得到并缓存 K、V。
  3. 最后一个位置的隐藏状态产出第一个输出 token 的 logits。
  4. 进入 decode 阶段。

代码 / 图示

prompt: [t1 t2 ... tn]
prefill: 并行算全部位置 → 缓存 K/V → 预测 t(n+1)

常见误区

  • 误区:prefill 也是逐字读 prompt;正解:prefill 对整段输入并行计算,decode 才是逐 token 阶段。
  • 误区:prompt 长短只影响计费;正解:长 prompt 直接拉长 prefill 时间,首 token 等待更久。

追问

  • Q:prefill 瓶颈是什么? A:注意力的 n² 计算与输入维度的矩阵乘,长 prompt 下算力与显存压力同时上升。
  • Q:什么是 chunked prefill? A:把超长输入分块逐步 prefill,避免单次计算过长阻塞 decode,具体调度以推理框架为准。

10.1.1.3-004 什么是 decode 阶段,与 prefill 有什么区别?

一句话结论

decode 是自回归生成阶段:每步只把最新 token 送进模型,复用已缓存的历史 K/V,算出下一个 token 并把它的 K/V 追加进缓存;每步序列长度加一,计算量小但步数等于输出长度。

概念解释

  • 输入:每步只有一个新 token。
  • 历史 K/V 来自 Cache,不重算。
  • 步数 = 输出 token 数,决定总生成时间。

原理流程

  1. 取最新 token 编码进入模型。
  2. 用新 Q 与缓存的全部 K/V 算注意力。
  3. 采样得到下一 token,追加其 K/V 到 Cache。
  4. 重复直到结束 token 或达到上限。

代码 / 图示

decode step 1: 新 token t(n+1) → 读缓存 K/V → 预测 t(n+2)
decode step 2: t(n+2) → 缓存追加 → 预测 t(n+3)

常见误区

  • 误区:decode 每步都重算整段 prompt;正解:历史键值走 Cache,只计算新 token 相关的部分。
  • 误区:生成慢只因为模型大;正解:步数(输出长度)与每步延迟共同决定生成时间,长回答天然更慢。

追问

  • Q:decode 阶段主要受什么限制? A:显存带宽(读取权重与 KV Cache)与每步延迟,批次并发也受显存约束。
  • Q:为什么 decode 难以像 prefill 那样并行? A:后一步依赖前一步的输出 token,自回归顺序无法跨步并行。

10.1.1.3-005 为什么需要 KV Cache?

一句话结论

自回归生成时历史 token 的 Key、Value 不变,缓存后每步只需为新 token 计算 Q 并与缓存 K/V 算注意力,避免每步重算整段历史,把 decode 的计算量从随序列长度重复的大矩阵运算降下来。

概念解释

  • 不缓存:每步把完整历史重新编码,重复计算历史 K/V。
  • 缓存:历史 K/V 只算一次并复用。
  • Cache 是推理显存占用的主要组成之一。

原理流程

  1. prefill 把各层历史 K、V 存入 Cache。
  2. decode 每步追加新 token 的 K、V。
  3. 注意力只对新 Q 与缓存 K/V 计算。

代码 / 图示

无缓存: 每步重算 [全部历史] 的 K/V  → 重复计算 O(n²) 级别
有缓存: 历史 K/V 复用, 只算新 token  → decode 每步轻量

常见误区

  • 误区:KV Cache 缓存的是模型权重;正解:缓存的是每层注意力的键值向量,权重仍在显存中常驻。
  • 误区:Cache 占用可以忽略;正解:序列越长、并发越多,KV Cache 显存越大,是并发容量的关键约束。

追问

  • Q:Cache 存哪些层哪些头? A:每层每个注意力头都有一份 K/V,结构与模型注意力实现一致。
  • Q:换一个请求 Cache 还在吗? A:Cache 按请求/会话隔离,请求结束后释放;前缀共享的缓存可被多请求复用(见前缀缓存)。

10.1.1.3-006 KV Cache 具体存什么、存在哪一层?

一句话结论

KV Cache 为每个 Transformer 注意力层、每个注意力头保存历史 token 对应的 Key 与 Value 向量;它存在推理服务的显存(或内存)中,随请求生命周期分配与释放。

概念解释

  • 粒度:层 × 头 × 序列位置 × 头维度。
  • 内容:历史位置的 K、V 投影结果。
  • 位置:推理进程的 GPU 显存优先,容量不足时可能落 CPU 内存(方案以框架为准)。

原理流程

  1. prefill 逐层写入 K/V。
  2. decode 逐步追加。
  3. 请求结束回收对应 Cache 块。

代码 / 图示

Cache[层 l][头 h] = { K: [k₁...kₙ], V: [v₁...vₙ] }

常见误区

  • 误区:Cache 只存 K 不存 V;正解:K 用于算注意力权重,V 用于加权汇总,两者都要缓存。
  • 误区:Cache 跨请求长期保留;正解:按请求隔离,除非显式做前缀缓存复用,否则不跨会话保留。

追问

  • Q:MQA/GQA 对 Cache 有什么影响? A:多头共享 K/V 组,Cache 体量随之减小,详见相关条目。
  • Q:Cache 能落磁盘吗? A:典型部署以显存/内存为主,落盘会显著增加延迟;持久化前缀缓存的实现以推理框架为准。

10.1.1.3-007 KV Cache 显存如何估算?

一句话结论

估算口径:每层每头的 K、V 各一份向量,按「层数 × 头数 × 序列长度 × 头维度 × 2(K 和 V)× 数据类型字节数」估算单请求占用,再乘以并发请求数;具体结构以模型实现为准,这是容量规划的粗算口径而不是精确账单。

概念解释

  • 增长因子:序列长度、并发批次数是线性放大项。
  • 精度:fp16/bf16 等数据类型决定每个数值字节数。
  • 共享头数:MQA/GQA 会减少 K/V 头数。

原理流程

  1. 取模型层数、K/V 头数、头维度、序列上限。
  2. 算单请求 KV 字节数。
  3. 乘以并发数,再与权重显存、激活显存相加得到总需求。

代码 / 示例

单请求 KV(粗算):
  2 × 层数 × KV头数 × 序列长度 × 头维度 × 每值字节数
总 KV ≈ 单请求 × 并发请求数
(头维度 = 隐层维度 / 注意力头数;共享头配置以模型为准)

常见误区

  • 误区:KV Cache 只与输出长度有关;正解:输入历史 + 已生成输出共同计入序列长度。
  • 误区:权重显存够就能并发;正解:并发容量常被 KV Cache 显存卡住,长上下文请求占 Cache 更多。

追问

  • Q:上下文翻倍对 Cache 影响? A:单请求 KV 随序列长度近似线性增长,并发容量相应下降。
  • Q:如何压低 KV 显存? A:减少 KV 头数(MQA/GQA)、KV 量化、限制上下文与并发、前缀复用;取舍需结合质量。

10.1.1.3-008 推理时为什么不能像训练那样并行算全部输出?

一句话结论

训练时目标序列已给定,可以teacher forcing 并行计算所有位置;推理时输出尚未生成,后一步依赖前一步的实际采样结果,只能自回归逐步展开,无法提前并行算出整段答案。

概念解释

  • 训练:输入与标签都在,掩码下并行预测每个位置。
  • 推理:每步结果是下一步的输入,存在顺序依赖。
  • 并行空间:同一批次内多请求可并行,单请求内部生成不可跨步并行。

原理流程

  1. 训练:整段序列一次前向,所有位置同时算损失。
  2. 推理:第一步采样结果决定第二步输入。
  3. 只能在批次维度叠加并行。

代码 / 图示

训练: [t1 t2 t3 t4] 并行预测 t2/t3/t4
推理: t1 → 预测 t2 → 预测 t3 → 预测 t4(顺序依赖)

常见误区

  • 误区:推理慢是工程没做好并行;正解:自回归依赖是结构性约束,并行只能来自批次、投机解码等手段。
  • 误区:训练快所以推理也该快;正解:训练有整段标签可并行,推理受逐 token 解码约束,二者算力形态不同。

追问

  • Q:投机解码缓解什么? A:用小模型先草拟多个候选 token,大模型一次前向验证,减少大模型 decode 步数;接受率与质量以实现为准。
  • Q:批处理并行什么? A:不同请求的序列并行进入同一前向,请求之间互不依赖。

10.1.1.3-009 解码如何终止(EOS / max tokens)?

一句话结论

生成在遇到结束 token(EOS)、命中停止词,或达到 max_tokens 上限时停止;前两者是内容自然结束,后者是硬性截断,应用层必须区分是否被截断。

概念解释

  • EOS:模型生成的序列结束标记。
  • 停止词:配置的字符串,命中即停止输出。
  • max_tokens:输出长度上限,防止无限生成。

原理流程

  1. 每步采样后检查终止条件。
  2. 命中 EOS/停止词:正常结束。
  3. 达到上限:截断结束,标记输出不完整。

代码 / 图示

每步: 生成 token?
  ├─ EOS / stop sequence → 正常结束
  └─ 达到 max_tokens → 截断, 需后续补请求或提示

常见误区

  • 误区:max_tokens 到了说明回答完整;正解:到上限通常意味着被截断,结构化输出可能不完整,需要校验与重试。
  • 误区:EOS 一定显式出现在文本里;正解:EOS 是特殊 token,不渲染为正文,靠生成状态判断。

追问

  • Q:被截断后怎么办? A:识别截断标记后可续写请求,或压缩输入、降低输出要求;结构化场景优先重试并校验完整性。
  • Q:停止词与 EOS 冲突吗? A:不冲突,停止词是应用侧额外配置,命中即停,适合按格式边界截断。

10.1.1.3-010 注意力复杂度 O(n²) 的工程影响是什么?

一句话结论

注意力对序列长度是平方级计算与关联,上下文变长时计算量、显存与延迟快速上升;这是长上下文场景最核心的成本约束,也是各种注意力优化要解决的问题。

概念解释

  • 序列长度 n:每对位置都要计算关联分数。
  • 计算与显存随 n² 增长的趋势(实现细节有差异)。
  • 输入与输出都计入 n。

原理流程

  1. 估算上下文长度上限。
  2. 评估 n 增长带来的注意力成本。
  3. 通过切分、压缩、稀疏/滑窗注意力等手段控制有效长度。

代码 / 图示

n = 1k   → 关联对量级 ~10⁶
n = 10k  → 关联对量级 ~10⁸(趋势示意,非实测数字)

常见误区

  • 误区:上下文变长只是多占一点显存;正解:注意力计算与缓存关联成本随长度快速上升,延迟也随之恶化。
  • 误区:n² 只在训练时存在;正解:推理注意力同样按序列长度计算关联,长 prompt + 长输出一起放大。

追问

  • Q:有哪些降低注意力成本的方向? A:稀疏/滑窗注意力、分组共享 KV、长上下文专用结构、前缀压缩等,具体效果以模型与框架实现为准。
  • Q:工程上最直接的控制手段? A:管理上下文长度(裁剪、摘要、检索片段数量),把有效 n 压在业务需要的范围。

10.1.1.3-011 什么是 MQA、GQA?与 KV Cache 有什么关系?

一句话结论

MQA(多查询注意力)让所有头共享一份 K/V,GQA(分组查询注意力)把头分成若干组、每组共享一份 K/V;二者通过减少 K/V 份数压缩 KV Cache 显存,提升并发与长上下文能力,代价是表达能力需实测权衡。

概念解释

  • MHA(标准多头):每头独立 K/V,Cache 最大。
  • GQA:若干 Q 头共享一组 K/V,介于 MHA 与 MQA 之间。
  • MQA:全体头共享一份 K/V,Cache 最省。

原理流程

  1. 模型设计时确定 K/V 头数。
  2. 推理时按共享组写入与读取 Cache。
  3. Cache 体积随 K/V 头数减少而下降。

代码 / 图示

MHA:  Q头 = KV头, 每头独立 K/V
GQA:  Q头分组, 每组共享 K/V
MQA:  全部 Q头 共享一份 K/V

常见误区

  • 误区:GQA 就是 MQA 的另一种叫法;正解:共享粒度不同,GQA 分组共享,MQA 全体共享。
  • 误区:共享 K/V 没有质量代价;正解:表达冗余减少,需在任务上验证质量损失是否可接受。

追问

  • Q:选型时怎么看模型用了哪种? A:查模型架构说明中的 KV 头配置;它直接影响推理显存估算公式。
  • Q:K/V 共享对输出质量影响多大? A:因任务与模型而异,长上下文、高并发场景常换换取空间,应在评测集上对比。

10.1.1.3-012 PagedAttention / vLLM 的分页思路解决什么问题?

一句话结论

分页注意力把 KV Cache 切成固定大小的块进行非连续存储与管理,像虚拟内存分页一样减少碎片、提高显存利用率,并支持更高效的批处理与共享;这是高吞吐推理框架的经典设计思路。

概念解释

  • 传统连续分配:为每个请求预留连续 KV 空间,碎片多、利用率低。
  • 分页:块表记录逻辑序列到物理块的映射。
  • 共享:相同前缀的块可被多请求引用。

原理流程

  1. KV 按块写入非连续显存块。
  2. 块表维护位置映射。
  3. 调度时按块分配、回收、跨请求共享。

代码 / 图示

逻辑序列: [块1][块2][块3]
物理块:   分散在显存不同位置, 块表记录映射

常见误区

  • 误区:分页只是存储格式调整,不影响吞吐;正解:它改善碎片与利用率,直接决定可承载的并发批大小。
  • 误区:所有推理框架都内置分页;正解:分页是特定框架(如 vLLM 系列)的实现思路,其他框架调度方式不同。

追问

  • Q:分页与前缀缓存什么关系? A:分页块便于相同前缀块跨请求共享,二者常配合提升重复前缀场景的利用率。
  • Q:块大小怎么影响效果? A:块过小元数据开销大,过大内部碎片多,参数以框架默认与实测为准。

10.1.1.3-013 连续批处理(continuous batching)解决什么问题?

一句话结论

连续批处理在解码步级动态组装与替换批次:某请求生成结束就立即腾出位置接入新请求,避免传统整批等待最慢请求造成的闲置,提升吞吐与显存利用率。

概念解释

  • 静态批处理:一批请求同时开始、同时结束,快的等慢的。
  • 连续批处理:每步调度,完成即换入新请求。
  • 目标:让 GPU 尽量保持满载。

原理流程

  1. 每步收集尚未完成的请求。
  2. 结束请求出批,新请求入批。
  3. 组成当前批次做一次前向。

代码 / 图示

传统批: [A B C] 一起跑, A 早结束仍占位置等待 C
连续批: 步级调度, A 结束 → 立即接入 D

常见误区

  • 误区:批处理越大越好;正解:批次受 KV 显存约束,过大导致排队或 OOM,调度器按容量动态决定。
  • 误区:连续批处理降低单请求延迟;正解:它主要提升整体吞吐,单请求延迟还受排队与批次大小影响。

追问

  • Q:prefill 与 decode 混排有什么讲究? A:长 prefill 可能阻塞 decode 步,框架常用优先级调度或分块混合,细节以实现为准。
  • Q:吞吐和延迟怎么权衡? A:调高并发提升吞吐但单请求排队与步延迟上升,按业务 SLA 定批次策略。

10.1.1.3-014 TTFT 与 TPOT 分别由什么决定?

一句话结论

TTFT(首 token 延迟)主要由 prefill 计算、排队调度与输入长度决定;TPOT(每 token 输出延迟)由 decode 每步计算、显存带宽与批次负载决定;二者共同构成端到端响应时间。

概念解释

  • TTFT:从请求到出现第一个输出 token 的等待。
  • TPOT:相邻两个输出 token 之间的平均间隔。
  • 总时间 ≈ TTFT + 输出长度 × TPOT(粗略口径)。

原理流程

  1. 请求排队后开始 prefill,计时到首 token。
  2. decode 每步产出一个 token,测量步间隔。
  3. 按输出长度估算总耗时。

代码 / 图示

端到端 ≈ 排队 + prefill(TTFT) + n_out × TPOT
长 prompt 压 TTFT, 长输出压总时长

常见误区

  • 误区:响应慢只看模型大小;正解:TTFT 看输入与排队,TPOT 看 decode 步负载,瓶颈定位要分开测。
  • 误区:流式输出就没有 TTFT;正解:流式只是边生成边推,首 token 前的等待仍然存在。

追问

  • Q:怎么降低 TTFT? A:缩短输入、减小排队、优化 prefill(分块、前缀缓存)、选择更快的推理规格。
  • Q:怎么降低 TPOT? A:降低每步负载、合理配置批次、保证显存带宽;输出长度本身不可压缩。

10.1.1.3-015 长上下文为什么显存和算力涨得快?

一句话结论

长上下文同时放大注意力计算、KV Cache 体积与激活显存;输入历史越长,每步 decode 读取的 Cache 越多,单请求占用越大,可承载并发越少。

概念解释

  • 计算:注意力关联随序列长度上升。
  • 显存:KV Cache 随长度线性增长(关联结构随实现而定)。
  • 并发:单请求占 Cache 越多,同显存能跑的请求越少。

原理流程

  1. 估算上下文上限对应的 KV 显存。
  2. 评估长序列 prefill 算力峰值。
  3. 结合并发目标判断部署规格。

代码 / 图示

上下文 ↑ → KV Cache ↑ → 单请求显存 ↑ → 并发数 ↓
同时 prefill 算力峰值 ↑ → TTFT ↑

常见误区

  • 误区:厂商宣称多长上下文就能无代价使用;正解:长上下文能力受显存、延迟与质量衰减约束,有效可用长度需实测。
  • 误区:长上下文只影响内存不影响速度;正解:注意力读取与计算同步变慢,延迟指标一起恶化。

追问

  • Q:上下文超长但内容重复有帮助吗? A:重复历史仍占 Cache 与计算,应裁剪或摘要,而不是靠长窗口硬塞。
  • Q:怎么判断有效上下文长度? A:用长文档 needle-in-haystack 类测试在不同距离上验证检索与引用准确性,结论以实测为准。

10.1.1.3-016 位置编码在推理中如何生效?

一句话结论

位置编码把序列顺序信息注入每个 token 表示;推理时位置按当前序列序号分配,使模型知道谁先谁后,不同编码方案(绝对/相对、可外推与否)对长上下文扩展性影响不同。

概念解释

  • 绝对位置:每个序号对应一组位置向量。
  • 相对位置:注意力中编码两个位置的距离。
  • 外推:训练长度之外能否合理泛化,取决于方案。

原理流程

  1. 输入 token 按序号取得位置表示。
  2. 与 token 向量相加或注入注意力。
  3. 生成新 token 时顺延位置序号。

代码 / 图示

表示 = token 向量 + 位置向量
生成第 n+1 个 token 时, 位置编号顺延

常见误区

  • 误区:注意力本身就能记住顺序;正解:自注意力对位置排列不敏感,必须靠位置编码注入顺序。
  • 误区:训练长度外推到任意长度都有效;正解:外推能力因编码方案而异,超训练长度的表现需要实测验证。

追问

  • Q:位置编码会占 KV Cache 吗? A:位置信息的注入方式各有实现,主要成本在表示计算;Cache 中存的是 K/V,细节以模型架构为准。
  • Q:截断历史后位置编号要重排吗? A:取决于模型实现与位置编码口径,裁剪上下文时应遵循推理框架的处理方式,不手工改动位置向量。

10.1.1.3-017 推理服务并发如何受 KV Cache 限制?

一句话结论

可并发请求数 ≈ 可用 KV 显存 / 单请求 Cache 占用;单请求上下文越长、批次越大,剩余 Cache 越少,并发上限由 Cache 而不是只由权重显存决定。

概念解释

  • 单请求 Cache 随上下文长度增长。
  • 并发总量受显存预算约束。
  • 排队:Cache 不足时新请求等待或限流。

原理流程

  1. 计算权重常驻显存与可用预算。
  2. 按单请求平均上下文长度估 Cache 占用。
  3. 得出并发上限,超出部分排队或拒绝。

代码 / 图示

并发上限 ≈ 可用 KV 预算 / 单请求 KV
长上下文请求 → 单请求占用大 → 并发名额少

常见误区

  • 误区:并发数由 CPU 核数决定;正解:GPU 显存(尤其 KV Cache)通常是 LLM 推理的首要并发约束。
  • 误区:所有请求上下文一样长;正解:波动的历史长度让 Cache 占用不均,调度需预留余量。

追问

  • Q:高峰期怎么保护服务? A:设置并发与队列上限、按上下文长度分级限流、长请求降级到更小模型或分片处理。
  • Q:怎么提高并发? A:压缩上下文、KV 量化/共享、GQA/MQA、分页管理、增加推理规格,组合权衡。

10.1.1.3-018 量化(权重 / 激活 / KV)对推理有什么影响?

一句话结论

量化用更低数值精度存储权重、激活或 KV Cache,降低显存与带宽压力、提升吞吐;代价是精度损失,具体影响随量化方案、模型与任务而定,必须在评测集上验证。

概念解释

  • 权重量化:常驻权重用低比特存储。
  • 激活量化:计算中间结果低精度。
  • KV 量化:压缩 Cache 占用,直接放宽并发约束。

原理流程

  1. 选定量化方案与精度级别。
  2. 在代表样本上评测质量损失。
  3. 对比显存、延迟收益后上线。

代码 / 图示

精度高 → 质量稳、显存带宽压力大
量化   → 显存/带宽下降, 质量有损失风险

常见误区

  • 误区:量化只影响体积不影响输出;正解:低精度会引入误差,敏感任务(精确抽取、代码)可能掉点。
  • 误区:KV 量化比权重量化更安全;正解:每类量化影响环节不同,都需要单独验证召回与生成质量。

追问

  • Q:常见量化级别有哪些? A:不同框架命名与位数不同,具体支持精度以部署框架与模型说明为准,不背固定数字。
  • Q:API 托管服务能选量化吗? A:多数托管 API 由服务商内部决定;自托管部署才需要自己选量化方案并验证。

10.1.1.3-019 prompt 很长时为什么 prefill 慢?

一句话结论

长 prompt 意味着 prefill 要并行编码更长序列,注意力关联与矩阵乘规模变大,同时写入更多 K/V;输入越长首 token 等待越久,这也是长文档直连模型体验差的直接原因。

概念解释

  • prefill 算力随输入长度上升。
  • 长输入一次性进入,峰值计算高。
  • 排队与批次调度也可能叠加等待。

原理流程

  1. 输入序列变长。
  2. prefill 注意力与投影计算量上升。
  3. K/V 写入增加,首 token 输出推迟。

代码 / 图示

短 prompt: prefill 快, 很快首 token
长 prompt: prefill 计算重 → TTFT 明显拉长

常见误区

  • 误区:长 prompt 主要拖慢生成阶段;正解:首当其冲的是 prefill 与 TTFT,decode 阶段再叠加长历史读取。
  • 误区:把长文档全部贴进 prompt 是最直接的用法;正解:应先切分检索,只把相关片段送入,详见 RAG 章节。

追问

  • Q:前缀缓存能改善长 prompt 吗? A:重复系统提示、固定文档前缀命中缓存时可跳过重复 prefill,效果取决于前缀是否稳定与框架支持。
  • Q:prefill 可以分块吗? A:框架支持 chunked prefill 时把长输入分批编码,降低单次峰值与对 decode 的阻塞,具体以实现为准。

10.1.1.3-020 常见推理优化手段有哪些?

一句话结论

推理优化沿三条线:减少重复计算(前缀缓存、KV 复用)、压缩显存与带宽(量化、GQA/MQA、分页管理)、提升调度效率(连续批处理、分块 prefill、投机解码);组合使用时都要回归质量。

概念解释

  • 计算复用:固定前缀与历史 K/V 不重算。
  • 压缩:低比特、共享 KV、分页碎片整理。
  • 调度与并行:批处理、请求调度、候选草拟验证。

原理流程

  1. 定位瓶颈:TTFT、TPOT、显存、并发哪一项先到顶。
  2. 选对应优化手段。
  3. 评测质量与延迟/显存收益后上线。

代码 / 图示

计算复用: 前缀缓存, KV Cache
压缩:     权重/激活/KV 量化, GQA/MQA, 分页
调度:     continuous batching, chunked prefill, 投机解码

常见误区

  • 误区:上一个优化手段就能解决全部瓶颈;正解:TTFT、步延迟、显存、并发瓶颈不同,措施要对症。
  • 误区:优化对质量没有影响;正解:压缩与调度手段都可能引入损失或排序变化,必须回归评测。

追问

  • Q:投机解码什么时候收益明显? A:大模型 decode 带宽受限、小模型草拟接受率高时;接受率低反而浪费,需实测。
  • Q:自托管推理优先做哪步? A:先量 TTFT/TPOT/显存与并发,再按瓶颈选手段;不要在未测量前盲目堆优化。