10.8.1 推理引擎(vLLM/SGLang/TensorRT-LLM/Ollama/llama.cpp)
所属:全栈开发面试题库 / 10 AI 应用开发:LLM 与 Agent / 10.8 推理部署与本地化
覆盖范围
- 主流推理引擎的定位与适用场景
- vLLM 的 PagedAttention 与连续批处理
- SGLang 的 RadixAttention 与结构化输出
- TensorRT-LLM 的极致优化
- Ollama 与 llama.cpp 的本地部署
- 推理引擎选型决策
高频题速览
| 编号 | 题目 | 难度 | 频率 |
|---|---|---|---|
| 10.8.1-001 | vLLM 的核心优势是什么? | 基础 | ★★★★★ |
| 10.8.1-002 | SGLang 与 vLLM 的区别? | 进阶 | ★★★ |
| 10.8.1-003 | TensorRT-LLM 适合什么场景? | 进阶 | ★★★ |
| 10.8.1-004 | Ollama 解决什么问题? | 基础 | ★★★★ |
| 10.8.1-005 | llama.cpp 的设计哲学? | 基础 | ★★★ |
| 10.8.1-006 | 推理引擎怎么选? | 基础 | ★★★★ |
| 10.8.1-007 | 什么是连续批处理? | 基础 | ★★★★ |
| 10.8.1-008 | 推理引擎的 API 兼容性? | 基础 | ★★★ |
10.8.1-001 vLLM 的核心优势是什么?
频率 ★★★★★ | 难度 基础
一句话结论
vLLM 的核心优势是 PagedAttention(分页 KV Cache)+ 连续批处理,将 KV Cache 按块非连续存储,显存利用率大幅提升,同时步级动态批处理,在同等 GPU 上吞吐量提升数倍。
概念解释
- PagedAttention:KV Cache 按固定大小的块存储,像操作系统虚拟内存分页,减少碎片。
- 连续批处理:每步动态组装批次,完成的请求立即出批,新请求入批。
- 高吞吐:相比 HuggingFace Transformers,vLLM 吞吐量提升数倍(具体倍数以版本和硬件为准)。
- OpenAI 兼容 API:提供 OpenAI 格式的 HTTP 接口,方便接入。
原理流程
- 模型加载:权重以 fp16/AWQ/GPTQ 格式加载到 GPU。
- 请求接入:HTTP API 接收请求,放入等待队列。
- 调度器:按 KV Cache 可用容量,决定当前批次包含哪些请求。
- 每步前向:批次内所有请求一起做一次前向,生成一个 token。
- 请求结束:释放 KV Cache 块,新请求补入。
代码 / 示例
# vLLM 启动示例
python -m vllm.entrypoints.openai.api_server \
--model Qwen/Qwen2.5-7B-Instruct \
--tensor-parallel-size 1 \
--max-model-len 4096 \
--gpu-memory-utilization 0.9 \
--port 8000
# 然后用 OpenAI SDK 调用:
# from openai import OpenAI
# client = OpenAI(base_url="http://localhost:8000/v1")
常见误区
- 误区:vLLM 只支持 GPU;正解:vLLM 主要优化 GPU,也支持 CPU(性能差很多)。
- 误区:vLLM 自动优化所有模型;正解:vLLM 支持主流架构(LLaMA/Qwen/Mistral 等),小众架构可能不支持。
追问
- Q:vLLM 的前缀缓存是什么? A:相同系统提示或前缀的请求共享 KV Cache 块,避免重复 prefill,适合多轮对话场景。
- Q:vLLM 支持多 GPU 吗? A:支持张量并行(tensor parallel)和流水线并行,多卡部署大模型。
10.8.1-002 SGLang 与 vLLM 的区别?
频率 ★★★ | 难度 进阶
一句话结论
SGLang 是另一个高性能推理框架,核心创新是 RadixAttention(基数树前缀缓存)和结构化输出加速;在复杂 prompt 结构、多轮对话、JSON 输出场景下有额外优势;与 vLLM 定位类似但优化方向不同。
概念解释
- RadixAttention:用基数树管理所有请求的前缀缓存,自动共享公共前缀,比手动前缀缓存更高效。
- 结构化输出:加速 JSON/正则约束的输出,保证输出格式合法。
- 与 vLLM 对比:两者都有连续批处理和分页 KV,SGLang 在前缀共享和结构化输出上更优。
- 适用:多轮对话频繁、需要结构化输出、prompt 有大量公共前缀。
原理流程
- 所有请求的前缀按基数树组织。
- 新请求进来时,自动匹配已有的前缀缓存。
- 只计算新增部分的 KV。
- 结构化输出时,用约束解码器限制合法 token。
代码 / 示例
SGLang vs vLLM 对比:
特性 vLLM SGLang
---------------- ---------------- ----------------
分页 KV PagedAttention RadixAttention
前缀缓存 手动/前缀匹配 基数树自动共享
结构化输出 支持 加速优化
连续批处理 支持 支持
适用场景 通用 复杂 prompt/多轮对话
常见误区
- 误区:SGLang 是 vLLM 的替代品;正解:两者各有优势,vLLM 生态更成熟,SGLang 在特定场景更优。
- 误区:SGLang 只做推理不做训练;正解:SGLang 主要做推理优化,也支持 RLHF 的训练加速。
追问
- Q:基数树前缀缓存在什么场景收益最大? A:多轮对话(系统提示相同)、RAG(公共模板 + 不同检索片段)、批量生成(相同 prompt 模板)。
- Q:SGLang 生产可用性如何? A:SGLang 由 LMSYS 团队开发,有论文和实际部署验证,生产可用。
10.8.1-003 TensorRT-LLM 适合什么场景?
频率 ★★★ | 难度 进阶
一句话结论
TensorRT-LLM 是 NVIDIA 官方的推理优化库,针对 NVIDIA GPU 做深度优化(内核融合、量化、算子优化),在延迟和吞吐上达到极致,但需要编译优化模型,灵活性较低,适合大规模生产部署。
概念解释
- 深度优化:针对 NVIDIA GPU 架构做内核级优化,算子融合。
- 编译流程:需要将模型编译为 TensorRT engine,步骤较多。
- 极致性能:在相同硬件上,延迟和吞吐通常优于通用框架。
- 局限:只支持 NVIDIA GPU,模型编译需要时间,灵活性差。
原理流程
- 准备 HuggingFace 模型。
- 用 TensorRT-LLM 的编译工具将模型转为 engine。
- 启动 Triton Inference Server 或直接调用 engine。
- 推理时用优化后的内核执行。
代码 / 示例
TensorRT-LLM 特点:
优点:
- 极致性能 (延迟最低, 吞吐最高)
- 支持 FP8/INT4 等深度量化
- 多 GPU 张量并行优化
缺点:
- 只支持 NVIDIA GPU
- 编译流程复杂
- 新模型支持慢于 vLLM
- 调试困难
适用:
大规模生产部署, 对延迟敏感, 有专门运维团队
常见误区
- 误区:TensorRT-LLM 比 vLLM 快所以一定选它;正解:TensorRT-LLM 性能更好但维护成本高,中小团队用 vLLM 更实际。
- 误区:TensorRT-LLM 即开即用;正解:需要编译 engine,新模型或新量化格式需要重新编译。
追问
- Q:TensorRT-LLM 和 Triton 是什么关系? A:TensorRT-LLM 是优化引擎,Triton 是推理服务框架,两者配合使用。
- Q:什么时候选 TensorRT-LLM? A:当你有大规模生产流量、对 P99 延迟要求极高、且有 NVIDIA GPU 运维能力时。
10.8.1-004 Ollama 解决什么问题?
频率 ★★★★ | 难度 基础
一句话结论
Ollama 把 llama.cpp 包装成一键安装、一行命令启动的本地模型服务,自动处理模型下载、量化选择、API 暴露,让本地部署大模型变得极简;适合个人开发者、原型验证、本地开发测试。
概念解释
- 一键安装:一行命令安装 Ollama,自动配置环境。
- 模型库:内置常用模型(Llama/Qwen/Mistral 等),一行命令下载运行。
- OpenAI 兼容 API:启动后自动暴露 HTTP API,方便接入应用。
- 跨平台:支持 macOS、Linux、Windows。
原理流程
- 安装 Ollama(一键安装包)。
ollama run qwen2.5自动下载模型并启动。- 后台自动用 llama.cpp 加载模型,暴露 API。
- 应用通过 HTTP API 调用。
代码 / 示例
# 安装 Ollama 后, 一行命令运行模型
ollama run qwen2.5:7b
# 自动暴露 API: http://localhost:11434
# 也支持 OpenAI 兼容格式:
# curl http://localhost:11434/v1/chat/completions \
# -H "Content-Type: application/json" \
# -d '{"model": "qwen2.5", "messages": [{"role":"user","content":"你好"}]}'
# 列出本地模型
ollama list
# 拉取模型
ollama pull qwen2.5:7b
常见误区
- 误区:Ollama 是生产级推理框架;正解:Ollama 适合本地开发和原型验证,生产环境建议用 vLLM 等专业框架。
- 误区:Ollama 只能用 CPU;正解:Ollama 自动检测 GPU(Metal/CUDA),有 GPU 时自动用 GPU 加速。
追问
- Q:Ollama 怎么自定义模型? A:用 Modelfile 定义系统提示、参数、模型路径,类似 Dockerfile。
- Q:Ollama 支持并发吗? A:支持基本并发,但优化不如 vLLM,高并发场景性能有限。
10.8.1-005 llama.cpp 的设计哲学?
频率 ★★★ | 难度 基础
一句话结论
llama.cpp 是纯 C/C++ 实现的推理引擎,设计哲学是"在任何设备上跑大模型":CPU 优化、量化极致、依赖极少,支持从树莓派到服务器的各种硬件;是本地推理生态的基石。
概念解释
- 纯 C/C++:无 Python 依赖,编译后单文件运行。
- CPU 优化:针对 ARM/x86 指令集优化(NEON/AVX)。
- 极致量化:支持 GGUF 多种量化级别。
- 硬件支持:CPU、Metal、CUDA、Vulkan、ROCm 等。
- 生态基础:Ollama、LM Studio、Open WebUI 等都基于 llama.cpp。
原理流程
- 模型转为 GGUF 格式。
- llama.cpp 加载 GGUF 文件。
- 用 CPU 或 GPU 后端执行推理。
- 输出 token 流。
代码 / 示例
# llama.cpp 基本用法
# 编译后:
./main -m models/qwen2.5-7b-q4_k_m.gguf -p "你好" -n 128
# 常用参数:
# -m: 模型路径
# -p: 输入 prompt
# -n: 生成 token 数
# -ngl: 放到 GPU 的层数 (0=全 CPU, 99=全 GPU)
# -c: 上下文长度
常见误区
- 误区:llama.cpp 只能跑 CPU;正解:llama.cpp 支持多种 GPU 后端,只是最初为 CPU 设计。
- 误区:llama.cpp 性能很差;正解:在 CPU 上 llama.cpp 是性能最好的推理引擎之一,GPU 上不如 vLLM。
追问
- Q:llama.cpp 为什么用 C 写? A:减少依赖、跨平台、CPU 性能极致优化,适合嵌入式和边缘设备。
- Q:llama.cpp 支持 LoRA 吗? A:支持,可以在推理时加载 LoRA 适配器。
10.8.1-006 推理引擎怎么选?
频率 ★★★★ | 难度 基础
一句话结论
生产环境高并发选 vLLM;极致延迟选 TensorRT-LLM;复杂 prompt/多轮对话选 SGLang;本地开发选 Ollama;CPU/边缘设备选 llama.cpp;按场景和团队能力综合选择。
概念解释
- 生产高并发:vLLM,生态成熟、性能好、运维简单。
- 极致延迟:TensorRT-LLM,性能最优但维护成本高。
- 本地开发:Ollama,一键启动,快速验证。
- CPU/边缘:llama.cpp,资源占用最小。
原理流程
- 确定场景:生产还是开发,GPU 还是 CPU。
- 确定性能要求:吞吐优先还是延迟优先。
- 确定团队能力:有没有运维优化的人力。
- 选对应引擎。
代码 / 示例
推理引擎选型决策:
场景 推荐引擎
---------------------------- ----------------
生产部署, 高并发, 通用 vLLM
生产部署, 极致 P99 延迟 TensorRT-LLM
复杂 prompt/多轮对话/RAG SGLang
本地开发/原型验证 Ollama
CPU/边缘设备/低资源 llama.cpp
Mac M 系列本地 Ollama 或 llama.cpp
多 GPU 大模型部署 vLLM (张量并行)
常见误区
- 误区:选最快的引擎就行;正解:除了性能,还要考虑生态成熟度、调试难度、社区支持、团队熟悉度。
- 误区:一个引擎用到底;正解:不同场景可以用不同引擎,开发用 Ollama,生产用 vLLM。
追问
- Q:vLLM 和 SGLang 可以混用吗? A:可以,不同服务用不同引擎,通过统一 API 层接入。
- Q:怎么测试引擎性能? A:用压测工具(如 benchmark_serving.py)测 TTFT、TPOT、吞吐,对比不同引擎。
10.8.1-007 什么是连续批处理?
频率 ★★★★ | 难度 基础
一句话结论
连续批处理(continuous batching)在解码步级动态组装批次:每一步前向时,完成的请求立即出批,新请求补入,避免静态批处理中"快的等慢的"造成的 GPU 闲置。
概念解释
- 静态批处理:一批请求同时开始、同时结束,慢的请求拖住整批。
- 连续批处理:每步调度,完成即换入新请求,GPU 始终满载。
- 提升吞吐:GPU 利用率从静态批的 50%~70% 提升到 90%+。
- 代价:单请求延迟可能略升(因为批次更大),但总吞吐大幅提升。
原理流程
- 等待队列中有多个请求。
- 调度器按 KV 容量,选 N 个请求组成当前批次。
- 前向一步,生成一个 token。
- 检查哪些请求完成了,出批。
- 从等待队列补入新请求。
- 重复。
代码 / 示例
静态批处理:
时间 →
批次 A: [req1(短), req2(长), req3(中)]
req1 2 步就完成了, 但还要等 req2 跑完 10 步
GPU 后 8 步只有 2 个请求在跑, 利用率低
连续批处理:
每步调度:
步 1: [req1, req2, req3]
步 2: [req1完成, req2, req3] → 补入 req4
步 3: [req2, req3, req4] → req3 完成, 补入 req5
...
GPU 每步都满负荷, 利用率高
常见误区
- 误区:连续批处理会让单请求更快;正解:连续批处理提升总吞吐,单请求延迟可能因为批次更大而略增,需要权衡。
- 误区:连续批处理就是更大的 batch;正解:连续批处理是动态调度,batch size 随时间变化,不是固定大 batch。
追问
- Q:连续批处理和静态批处理的吞吐差多少? A:通常连续批处理吞吐是静态批的 2~4 倍,具体取决于请求长度分布。
- Q:prefill 和 decode 能混在一个批次吗? A:可以,但长 prefill 会阻塞 decode 步,框架通常做优先级调度或 chunked prefill 来平衡。
10.8.1-008 推理引擎的 API 兼容性?
频率 ★★★ | 难度 基础
一句话结论
主流推理引擎(vLLM、SGLang、Ollama、TensorRT-LLM)都提供 OpenAI 兼容的 HTTP API,应用层用 OpenAI SDK 即可无缝切换后端,不需要改业务代码。
概念解释
- OpenAI 兼容:
/v1/chat/completions、/v1/completions、/v1/embeddings等接口格式一致。 - 切换后端:改
base_url即可,业务代码不变。 - 差异点:流式输出、函数调用、JSON 模式等高级功能支持程度不同。
- 抽象层:可以用统一 SDK 封装,对上层提供统一接口。
原理流程
- 业务代码用 OpenAI SDK,
base_url指向推理引擎。 - 推理引擎实现 OpenAI 兼容 API。
- 切换引擎时只改
base_url。 - 高级功能(如结构化输出)需要额外验证兼容性。
代码 / 示例
# 统一接口示例
from openai import OpenAI
# 用 vLLM
client = OpenAI(base_url="http://vllm-host:8000/v1", api_key="not-needed")
# 用 Ollama
# client = OpenAI(base_url="http://localhost:11434/v1", api_key="not-needed")
# 用 SGLang
# client = OpenAI(base_url="http://sglang-host:30000/v1", api_key="not-needed")
# 业务代码完全不变:
response = client.chat.completions.create(
model="qwen2.5",
messages=[{"role": "user", "content": "你好"}]
)
常见误区
- 误区:所有引擎的 OpenAI 兼容都完全一致;正解:基本聊天接口兼容,但高级功能(function calling、vision、JSON schema)支持程度不同。
- 误区:换引擎要改所有业务代码;正解:通过 OpenAI 兼容 API 抽象,换引擎只改配置。
追问
- Q:怎么验证引擎的 API 兼容性? A:用相同的请求格式测一遍,对比响应格式和流式输出行为。
- Q:自建统一网关有必要吗? A:如果同时用多个引擎或需要路由、限流、日志,自建统一网关是有价值的。
待整理清单
- [ ] vLLM 的高级配置(前缀缓存、chunked prefill、投机解码)
- [ ] 多 GPU 张量并行的配置与调试
- [ ] 推理引擎的监控指标(GPU 利用率、KV 占用、队列长度)
- [ ] 模型热加载与不停机切换
- [ ] 推理引擎与 Kubernetes 的部署方案