10.8 推理部署与本地化
所属:全栈开发面试题库 / 10 AI 应用开发:LLM 与 Agent
覆盖范围
- 推理引擎(vLLM/SGLang/TensorRT-LLM/Ollama/llama.cpp)
- KV Cache 与 PagedAttention(推理引擎调度视角)
- 批处理、并发与吞吐/延迟权衡
- GPU 选型与显存规划
- 本地化部署与隐私合规
子主题
高频题索引
| 编号 |
题目 |
难度 |
频率 |
所在页面 |
| 10.8.1-001 |
vLLM 为什么比原生 transformers 快? |
中 |
高 |
10.8.1 |
| 10.8.2-001 |
PagedAttention 解决了什么问题? |
中高 |
高 |
10.8.2 |
| 10.8.3-001 |
吞吐和延迟怎么权衡? |
中 |
高 |
10.8.3 |
| 10.8.4-001 |
部署一个 70B 模型需要多少显存? |
中 |
高 |
10.8.4 |
| 10.8.5-001 |
什么场景需要本地化部署? |
中 |
中 |
10.8.5 |
当前状态
- 5 个主题页,每主题页 8 题,合计 40 题。
- 推理引擎版本、GPU 型号、显存数字以官方文档为准,本章节不编造固定数值。
- KV Cache 的基础原理见 10.1.1.3,本章从推理引擎调度角度写。