罗罗编程学习记录
本页内容 展开查看

10.8 推理部署与本地化

所属:全栈开发面试题库 / 10 AI 应用开发:LLM 与 Agent

覆盖范围

  • 推理引擎(vLLM/SGLang/TensorRT-LLM/Ollama/llama.cpp)
  • KV Cache 与 PagedAttention(推理引擎调度视角)
  • 批处理、并发与吞吐/延迟权衡
  • GPU 选型与显存规划
  • 本地化部署与隐私合规

子主题

编号 主题 核心内容
10.8.1 推理引擎 vLLM/SGLang/TensorRT-LLM/Ollama/llama.cpp 对比、选型、部署方式
10.8.2 KV Cache 与 PagedAttention KV Cache 调度、PagedAttention 分页管理、显存碎片优化;与 10.1.1.3 交叉引用
10.8.3 批处理、并发与吞吐/延迟权衡 连续批处理、静态/动态批处理、吞吐与延迟权衡
10.8.4 GPU 选型与显存规划 GPU 型号对比、显存计算、多卡部署、成本估算
10.8.5 本地化部署与隐私合规 本地部署场景、数据隐私、合规要求、边缘部署

高频题索引

编号 题目 难度 频率 所在页面
10.8.1-001 vLLM 为什么比原生 transformers 快? 中 高 10.8.1
10.8.2-001 PagedAttention 解决了什么问题? 中高 高 10.8.2
10.8.3-001 吞吐和延迟怎么权衡? 中 高 10.8.3
10.8.4-001 部署一个 70B 模型需要多少显存? 中 高 10.8.4
10.8.5-001 什么场景需要本地化部署? 中 中 10.8.5

当前状态

  • 5 个主题页,每主题页 8 题,合计 40 题。
  • 推理引擎版本、GPU 型号、显存数字以官方文档为准,本章节不编造固定数值。
  • KV Cache 的基础原理见 10.1.1.3,本章从推理引擎调度角度写。