10.8.2 KV Cache 与 PagedAttention
所属:全栈开发面试题库 / 10 AI 应用开发:LLM 与 Agent / 10.8 推理部署与本地化
覆盖范围
- KV Cache 在推理调度中的角色
- PagedAttention 的分页机制
- KV Cache 的内存碎片问题
- 前缀缓存与跨请求共享
- KV Cache 的回收与调度
- 与 10.1.1.3 的交叉引用
高频题速览
| 编号 | 题目 | 难度 | 频率 |
|---|---|---|---|
| 10.8.2-001 | PagedAttention 解决了什么问题? | 基础 | ★★★★★ |
| 10.8.2-002 | KV Cache 的传统分配方式有什么问题? | 进阶 | ★★★★ |
| 10.8.2-003 | 前缀缓存如何跨请求共享? | 进阶 | ★★★★ |
| 10.8.2-004 | KV Cache 的调度策略有哪些? | 高级 | ★★★ |
| 10.8.2-005 | KV Cache 怎么回收? | 基础 | ★★★ |
| 10.8.2-006 | 块大小怎么影响性能? | 进阶 | ★★★ |
| 10.8.2-007 | KV Cache 与并发的关系? | 基础 | ★★★★ |
| 10.8.2-008 | 什么是 KV Cache 卸载? | 进阶 | ★★★ |
10.8.2-001 PagedAttention 解决了什么问题?
频率 ★★★★★ | 难度 基础
一句话结论
PagedAttention 解决了传统 KV Cache 连续分配导致的内存碎片和利用率低问题:把 KV Cache 切成固定大小的块(block),非连续存储,像操作系统虚拟内存分页,块表记录映射,显存利用率从 20%~40% 提升到 90%+。
概念解释
- 传统连续分配:为每个请求预分配最大长度的连续 KV 空间,实际用多少不知道,内部碎片大。
- 分页分配:KV 按块存储,逻辑上连续,物理上分散,块表记录映射。
- 外部碎片消除:块大小固定,分配回收简单。
- 跨请求共享:相同前缀的块可以被多个请求引用,类似 copy-on-write。
原理流程
- KV Cache 显存被切成固定大小的块(如 16 token 一块)。
- 请求开始时,分配一个块。
- 生成新 token 时,写入当前块;块满了再分配新块。
- 块表维护逻辑位置到物理块的映射。
- 请求结束,回收所有块。
代码 / 示例
传统连续分配:
请求 A 预分配 4096 token 空间, 实际只用了 512
→ 内部碎片 3584, 利用率 12.5%
PagedAttention:
请求 A 用了 512 token = 32 个块 (每块 16 token)
→ 只占 32 个块, 其余块分配给其他请求
→ 利用率 >90%
常见误区
- 误区:PagedAttention 只是换了存储格式;正解:它改变了调度方式,使高并发批处理成为可能,是 vLLM 高吞吐的核心。
- 误区:所有推理框架都用 PagedAttention;正解:PagedAttention 是 vLLM 的核心技术,其他框架有类似思路但实现不同。
追问
- Q:块大小一般是多少? A:通常 16 或 32 token,块太小元数据开销大,块太大内部碎片多,具体以框架默认配置为准。
- Q:PagedAttention 影响注意力计算吗? A:注意力计算逻辑不变,只是 KV 的存储和访问方式变了,数学上等价。
10.8.2-002 KV Cache 的传统分配方式有什么问题?
频率 ★★★★ | 难度 进阶
一句话结论
传统连续分配有两个问题:一是为每个请求预分配最大长度的连续空间,实际用不满,内部碎片严重;二是连续空间在显存中不好管理,外部碎片导致无法分配大块,整体利用率低。
概念解释
- 内部碎片:预分配空间大于实际使用,浪费的部分。
- 外部碎片:显存中散落的空闲块,单个块不够大,无法分配给需要连续空间的请求。
- 利用率:实际使用的 KV 显存 / 总分配的 KV 显存,传统方式通常只有 20%~40%。
- 后果:并发容量被碎片化限制,实际能跑的请求数远低于理论值。
原理流程
- 请求进来,按最大长度分配连续 KV 空间。
- 实际生成长度通常远小于最大长度。
- 浪费的空间无法给其他请求用。
- 多次分配回收后,显存散落大量碎片。
- 新请求找不到连续空间,即使总空闲显存够。
代码 / 示例
传统 KV 分配问题:
显存总容量: 40 GB
请求 A 预分配 10 GB (最大长度), 实际用 2 GB
请求 B 预分配 10 GB, 实际用 3 GB
→ 实际只用 5 GB, 但已分配 20 GB
→ 利用率 25%
→ 新请求需要连续 10 GB, 找不到, 即使还有 20 GB 空闲
PagedAttention 后:
实际用 5 GB, 块分配给 3 个请求
→ 剩余 35 GB 可分配给其他请求
→ 利用率 >90%
常见误区
- 误区:KV Cache 利用率低是因为显存不够大;正解:是分配方式导致的碎片,不是总量不够。
- 误区:预分配小一点就好了;正解:预分配小了会导致长请求 OOM,预分配大了又浪费,两难。
追问
- Q:PagedAttention 怎么解决外部碎片? A:块大小固定,不需要连续空间,回收的块可以立即给任何请求用,没有外部碎片。
- Q:内部碎片还存在吗? A:存在,但很小——每个请求最多浪费一个块(块大小的一半),比传统方式小两个数量级。
10.8.2-003 前缀缓存如何跨请求共享?
频率 ★★★★ | 难度 进阶
一句话结论
前缀缓存(prefix caching)让多个请求共享相同前缀的 KV 块:如果系统提示或文档前缀相同,这些块只计算一次,后续请求直接引用,避免重复 prefill;PagedAttention 的块机制天然支持这种共享。
概念解释
- 前缀共享:多个请求有相同的前缀(如系统提示、固定模板),这些前缀的 KV 只算一次。
- 引用计数:每个块记录被多少请求引用,引用数为 0 时才回收。
- 命中收益:相同前缀的请求不需要重新 prefill,TTFT 大幅降低。
- 适用场景:多轮对话(系统提示相同)、RAG(固定模板 + 不同检索片段)、批量生成。
原理流程
- 请求 A prefill,生成前缀 KV 块。
- 请求 B 进来,前缀与 A 相同。
- 检查块表,发现前缀块已存在,直接引用(引用计数 +1)。
- 请求 B 只计算新增部分的 KV。
- 请求结束,引用计数 -1,归零才回收。
代码 / 示例
前缀缓存示例:
系统提示: "你是客服助手, 请礼貌回答用户问题。" (50 token)
请求 A: 系统提示 + "怎么退款"
请求 B: 系统提示 + "怎么改密码"
请求 C: 系统提示 + "怎么开发票"
无前缀缓存:
每个请求都 prefill 50 token 系统提示
→ 3 次重复计算
有前缀缓存:
系统提示的 KV 块只算一次
→ 请求 B/C 直接引用, 只 prefill 新增部分
→ TTFT 降低, 算力节省
常见误区
- 误区:前缀缓存就是缓存整个 prompt;正解:是按块共享,从第一个不同 token 开始就不共享了,不是整段缓存。
- 误区:前缀缓存只对系统提示有用;正解:任何相同前缀都能共享,包括 RAG 中的公共模板、few-shot 示例等。
追问
- Q:SGLang 的 RadixAttention 比普通前缀缓存好在哪里? A:基数树自动管理前缀匹配,不需要手动配置,能自动发现任意长度的公共前缀。
- Q:前缀缓存的块什么时候回收? A:引用计数为 0 时回收,但通常会保留一段时间(LRU),避免频繁重建。
10.8.2-004 KV Cache 的调度策略有哪些?
频率 ★★★ | 难度 高级
一句话结论
推理引擎的 KV 调度核心是:在保证延迟 SLA 的前提下,最大化吞吐;常见策略有 FCFS(先来先服务)、优先级调度、抢占式调度(高优先级请求抢占低优先级的 KV)、以及基于请求长度的调度。
概念解释
- FCFS:先到先服务,简单但可能被长请求阻塞。
- 优先级调度:重要请求优先,低优先级请求等待或被抢占。
- 抢占式:KV 不够时,把低优先级请求的 KV 换到 CPU,腾出 GPU 给高优先级请求。
- 长度感知:长请求和短请求分开调度,避免短请求被长请求拖慢。
原理流程
- 接收请求,放入队列。
- 调度器按策略选择当前批次的请求。
- 检查 KV 容量够不够。
- 不够时,按策略抢占或拒绝。
- 执行前向,生成 token。
代码 / 示例
调度策略对比:
策略 优点 缺点
---------------- ---------------- ----------------
FCFS 简单, 公平 长请求阻塞短请求
优先级调度 重要请求优先 低优先级可能饿死
抢占式调度 灵活, SLA 可控 实现复杂, 切换有开销
长度感知调度 短请求快 实现复杂
常见误区
- 误区:调度策略不影响性能;正解:调度策略直接决定 TTFT 和吞吐,是推理引擎的核心竞争力。
- 误区:高优先级请求越多越好;正解:优先级太多会导致低优先级请求饿死,需要严格控制比例。
追问
- Q:什么是 chunked prefill? A:把长 prefill 分成小块逐步执行,避免长 prefill 一次性占满 GPU 阻塞 decode,平衡 TTFT 和 TPOT。
- Q:prefill 和 decode 混排有什么讲究? A:prefill 是计算密集型,decode 是带宽密集型,混排可以提高 GPU 利用率,但需要调度平衡。
10.8.2-005 KV Cache 怎么回收?
频率 ★★★ | 难度 基础
一句话结论
请求结束后,其占用的 KV 块被标记为空闲,回收到块池,供新请求使用;前缀共享的块用引用计数管理,所有引用者都结束后才回收;回收是 O(1) 的,因为块是固定大小的。
概念解释
- 请求结束:生成 EOS 或达到 max_tokens。
- 块回收:把该请求的所有块标记为空闲,放回块池。
- 引用计数:共享块的引用数 -1,归零才回收。
- 回收效率:块大小固定,回收是常数时间。
原理流程
- 请求生成 EOS,标记为完成。
- 遍历该请求的块表,对每个块:
- 引用计数 -1
- 如果引用计数为 0,标记为空闲
- 空闲块加入可用块池。
- 新请求从块池分配块。
代码 / 示例
KV 回收流程:
请求 A 完成:
块 1 (引用 1 → 0): 标记空闲
块 2 (引用 2 → 1): 仍被请求 B 引用, 不回收
块 3 (引用 1 → 0): 标记空闲
块池: [块1, 块3, ...]
新请求 C: 从块池分配块
常见误区
- 误区:请求结束 KV 立即释放;正解:共享块有引用计数,可能被其他请求引用,不能立即释放。
- 误区:回收很慢;正解:块大小固定,回收是 O(1) 的常数时间操作。
追问
- Q:如果请求被中断(客户端断开)怎么办? A:推理引擎检测到连接断开,也会回收该请求的 KV 块,释放资源。
- Q:空闲块会一直保留吗? A:不会,显存紧张时会回收最久未使用的前缀块(LRU),保证新请求有空间。
10.8.2-006 块大小怎么影响性能?
频率 ★★★ | 难度 进阶
一句话结论
块大小影响内部碎片和元数据开销:块太小,块表元数据多、调度开销大;块太大,每个请求最多浪费一个块的内部碎片;块大小通常在 16~64 token 之间,由框架默认值决定。
概念解释
- 块太小:块数量多,块表大,调度时遍历块表开销大。
- 块太大:每个请求最多浪费一个块的空间(平均浪费半个块),内部碎片多。
- 平衡点:块大小在碎片开销和元数据开销之间取平衡。
- 框架默认:vLLM 默认块大小 16 token(可配置),具体以版本为准。
原理流程
- 块太小:每个 token 都要在块表中查找,元数据访问开销大。
- 块太大:每个请求末尾最多浪费一个块的空间。
- 优化:选一个中间值,使总开销(碎片 + 元数据)最小。
代码 / 示例
块大小影响分析:
块大小 内部碎片(每请求) 元数据开销
-------- ---------------- ----------------
8 token ~4 token 块数量多, 开销大
16 token ~8 token 平衡 (常用)
32 token ~16 token 块数量少, 开销小
64 token ~32 token 碎片偏大
经验: 16 token 是比较通用的选择
常见误区
- 误区:块越小越好;正解:块太小会增加调度和元数据开销,反而降低性能。
- 误区:块大小可以随便调;正解:块大小影响内部碎片,需要在框架支持的范围内调整,不是越小越好。
追问
- Q:怎么知道当前块大小是多少? A:查看推理引擎的启动参数和文档,vLLM 默认值以版本为准。
- Q:不同模型的块大小应该不同吗? A:块大小与模型无关,主要影响调度效率,通用默认值即可。
10.8.2-007 KV Cache 与并发的关系?
频率 ★★★★ | 难度 基础
一句话结论
并发上限主要由 KV Cache 显存决定:总可用 KV 显存 / 单请求平均 KV 占用 = 最大并发数;长上下文请求占用更多 KV,能跑的并发就少;KV 量化可以显著提升并发容量。
概念解释
- 并发上限:GPU 显存能容纳多少个同时进行的请求。
- 单请求 KV:随上下文长度线性增长。
- KV 量化:INT8 KV 减半,INT4 KV 减到 1/4,并发翻倍。
- 实际并发:还要考虑权重显存、激活值、框架开销,不能只看 KV。
原理流程
- 计算总显存:GPU 显存总量。
- 减去权重显存、激活值、框架开销,得到 KV 可用预算。
- 单请求 KV = f(上下文长度, 层数, KV头数, 精度)。
- 并发上限 = KV 预算 / 单请求 KV。
- 实际并发 = min(理论上限, GPU 计算能力限制)。
代码 / 示例
并发估算示例 (24 GB GPU, 7B 模型, 权重 fp16):
权重: 14 GB
KV 可用: 24 - 14 - 3 (激活+框架) = 7 GB
单请求 KV (2048 上下文, GQA):
≈ 0.27 GB
并发上限 = 7 / 0.27 ≈ 26 个请求
如果 KV 用 INT8:
单请求 KV ≈ 0.13 GB
并发上限 ≈ 53 个请求
常见误区
- 误区:并发数由 GPU 算力决定;正解:decode 阶段是带宽受限,并发主要受 KV 显存限制,不是算力。
- 误区:并发越多越好;正解:并发太多会导致 TPOT 上升(每步批次大,步延迟增加),需要在吞吐和延迟间平衡。
追问
- Q:怎么动态调整并发? A:推理引擎的调度器根据当前 KV 占用和队列长度动态决定批次大小,不是固定值。
- Q:长上下文请求怎么处理? A:长请求占用更多 KV,调度时可以给长请求单独的池子或降级策略,避免影响短请求。
10.8.2-008 什么是 KV Cache 卸载?
频率 ★★★ | 难度 进阶
一句话结论
KV Cache 卸载(offloading)是当 GPU 显存不够时,把不活跃请求的 KV 换到 CPU 内存,需要时再换回 GPU;这是用 CPU 内存换 GPU 显存,代价是切换时的 PCIe 带宽开销。
概念解释
- GPU 显存不够:并发太多,KV 放不下。
- 卸载到 CPU:不活跃的 KV 放到 CPU 内存。
- 换回 GPU:轮到该请求时,把 KV 从 CPU 拷回 GPU。
- 代价:PCIe 带宽有限,切换时有延迟。
原理流程
- GPU KV 显存接近满。
- 选择最不活跃的请求(如很久没生成 token 的)。
- 把其 KV 从 GPU 拷到 CPU 内存。
- 轮到该请求时,再拷回 GPU。
- 继续生成。
代码 / 示例
KV 卸载场景:
GPU 显存: 24 GB
权重: 14 GB
KV 可用: 7 GB
当前有 30 个请求, KV 占了 10 GB (超了)
→ 选择最不活跃的 5 个请求, 把 KV 换到 CPU 内存
→ GPU 上 KV 降到 6.7 GB
→ 轮到这 5 个请求时, 再从 CPU 拷回 GPU
代价: PCIe 传输延迟, 大约几 ms 到几十 ms
常见误区
- 误区:KV 卸载是免费的;正解:PCIe 传输有开销,频繁切换会增加延迟,只在显存不够时用。
- 误区:卸载到 CPU 就不能用了;正解:CPU 内存只是临时存储,需要时再换回 GPU。
追问
- Q:什么情况下需要 KV 卸载? A:当并发量超过 GPU KV 容量,但业务又不能限流时,用卸载撑住更多并发。
- Q:怎么优化卸载开销? A:尽量减少卸载频率(预测哪些请求快结束了)、用高速 PCIe 通道、减少卸载的数据量。
待整理清单
- [ ] PagedAttention 的具体实现细节
- [ ] 前缀缓存的命中率优化
- [ ] KV Cache 的分层存储(GPU/CPU/SSD)
- [ ] 多请求并发下的调度策略调优
- [ ] 投机解码与 KV Cache 的配合