罗罗编程学习记录
本页内容 展开查看

10.8.1 推理引擎(vLLM/SGLang/TensorRT-LLM/Ollama/llama.cpp)

所属:全栈开发面试题库 / 10 AI 应用开发:LLM 与 Agent / 10.8 推理部署与本地化

覆盖范围

  • 主流推理引擎的定位与适用场景
  • vLLM 的 PagedAttention 与连续批处理
  • SGLang 的 RadixAttention 与结构化输出
  • TensorRT-LLM 的极致优化
  • Ollama 与 llama.cpp 的本地部署
  • 推理引擎选型决策

高频题速览

编号 题目 难度 频率
10.8.1-001 vLLM 的核心优势是什么? 基础 ★★★★★
10.8.1-002 SGLang 与 vLLM 的区别? 进阶 ★★★
10.8.1-003 TensorRT-LLM 适合什么场景? 进阶 ★★★
10.8.1-004 Ollama 解决什么问题? 基础 ★★★★
10.8.1-005 llama.cpp 的设计哲学? 基础 ★★★
10.8.1-006 推理引擎怎么选? 基础 ★★★★
10.8.1-007 什么是连续批处理? 基础 ★★★★
10.8.1-008 推理引擎的 API 兼容性? 基础 ★★★

10.8.1-001 vLLM 的核心优势是什么?

频率 ★★★★★ | 难度 基础

一句话结论

vLLM 的核心优势是 PagedAttention(分页 KV Cache)+ 连续批处理,将 KV Cache 按块非连续存储,显存利用率大幅提升,同时步级动态批处理,在同等 GPU 上吞吐量提升数倍。

概念解释

  • PagedAttention:KV Cache 按固定大小的块存储,像操作系统虚拟内存分页,减少碎片。
  • 连续批处理:每步动态组装批次,完成的请求立即出批,新请求入批。
  • 高吞吐:相比 HuggingFace Transformers,vLLM 吞吐量提升数倍(具体倍数以版本和硬件为准)。
  • OpenAI 兼容 API:提供 OpenAI 格式的 HTTP 接口,方便接入。

原理流程

  1. 模型加载:权重以 fp16/AWQ/GPTQ 格式加载到 GPU。
  2. 请求接入:HTTP API 接收请求,放入等待队列。
  3. 调度器:按 KV Cache 可用容量,决定当前批次包含哪些请求。
  4. 每步前向:批次内所有请求一起做一次前向,生成一个 token。
  5. 请求结束:释放 KV Cache 块,新请求补入。

代码 / 示例

# vLLM 启动示例
python -m vllm.entrypoints.openai.api_server \
  --model Qwen/Qwen2.5-7B-Instruct \
  --tensor-parallel-size 1 \
  --max-model-len 4096 \
  --gpu-memory-utilization 0.9 \
  --port 8000

# 然后用 OpenAI SDK 调用:
# from openai import OpenAI
# client = OpenAI(base_url="http://localhost:8000/v1")

常见误区

  • 误区:vLLM 只支持 GPU;正解:vLLM 主要优化 GPU,也支持 CPU(性能差很多)。
  • 误区:vLLM 自动优化所有模型;正解:vLLM 支持主流架构(LLaMA/Qwen/Mistral 等),小众架构可能不支持。

追问

  • Q:vLLM 的前缀缓存是什么? A:相同系统提示或前缀的请求共享 KV Cache 块,避免重复 prefill,适合多轮对话场景。
  • Q:vLLM 支持多 GPU 吗? A:支持张量并行(tensor parallel)和流水线并行,多卡部署大模型。

10.8.1-002 SGLang 与 vLLM 的区别?

频率 ★★★ | 难度 进阶

一句话结论

SGLang 是另一个高性能推理框架,核心创新是 RadixAttention(基数树前缀缓存)和结构化输出加速;在复杂 prompt 结构、多轮对话、JSON 输出场景下有额外优势;与 vLLM 定位类似但优化方向不同。

概念解释

  • RadixAttention:用基数树管理所有请求的前缀缓存,自动共享公共前缀,比手动前缀缓存更高效。
  • 结构化输出:加速 JSON/正则约束的输出,保证输出格式合法。
  • 与 vLLM 对比:两者都有连续批处理和分页 KV,SGLang 在前缀共享和结构化输出上更优。
  • 适用:多轮对话频繁、需要结构化输出、prompt 有大量公共前缀。

原理流程

  1. 所有请求的前缀按基数树组织。
  2. 新请求进来时,自动匹配已有的前缀缓存。
  3. 只计算新增部分的 KV。
  4. 结构化输出时,用约束解码器限制合法 token。

代码 / 示例

SGLang vs vLLM 对比:

特性              vLLM              SGLang
----------------  ----------------  ----------------
分页 KV           PagedAttention    RadixAttention
前缀缓存          手动/前缀匹配     基数树自动共享
结构化输出        支持             加速优化
连续批处理        支持             支持
适用场景          通用             复杂 prompt/多轮对话

常见误区

  • 误区:SGLang 是 vLLM 的替代品;正解:两者各有优势,vLLM 生态更成熟,SGLang 在特定场景更优。
  • 误区:SGLang 只做推理不做训练;正解:SGLang 主要做推理优化,也支持 RLHF 的训练加速。

追问

  • Q:基数树前缀缓存在什么场景收益最大? A:多轮对话(系统提示相同)、RAG(公共模板 + 不同检索片段)、批量生成(相同 prompt 模板)。
  • Q:SGLang 生产可用性如何? A:SGLang 由 LMSYS 团队开发,有论文和实际部署验证,生产可用。

10.8.1-003 TensorRT-LLM 适合什么场景?

频率 ★★★ | 难度 进阶

一句话结论

TensorRT-LLM 是 NVIDIA 官方的推理优化库,针对 NVIDIA GPU 做深度优化(内核融合、量化、算子优化),在延迟和吞吐上达到极致,但需要编译优化模型,灵活性较低,适合大规模生产部署。

概念解释

  • 深度优化:针对 NVIDIA GPU 架构做内核级优化,算子融合。
  • 编译流程:需要将模型编译为 TensorRT engine,步骤较多。
  • 极致性能:在相同硬件上,延迟和吞吐通常优于通用框架。
  • 局限:只支持 NVIDIA GPU,模型编译需要时间,灵活性差。

原理流程

  1. 准备 HuggingFace 模型。
  2. 用 TensorRT-LLM 的编译工具将模型转为 engine。
  3. 启动 Triton Inference Server 或直接调用 engine。
  4. 推理时用优化后的内核执行。

代码 / 示例

TensorRT-LLM 特点:
  优点:
    - 极致性能 (延迟最低, 吞吐最高)
    - 支持 FP8/INT4 等深度量化
    - 多 GPU 张量并行优化
  缺点:
    - 只支持 NVIDIA GPU
    - 编译流程复杂
    - 新模型支持慢于 vLLM
    - 调试困难

适用:
  大规模生产部署, 对延迟敏感, 有专门运维团队

常见误区

  • 误区:TensorRT-LLM 比 vLLM 快所以一定选它;正解:TensorRT-LLM 性能更好但维护成本高,中小团队用 vLLM 更实际。
  • 误区:TensorRT-LLM 即开即用;正解:需要编译 engine,新模型或新量化格式需要重新编译。

追问

  • Q:TensorRT-LLM 和 Triton 是什么关系? A:TensorRT-LLM 是优化引擎,Triton 是推理服务框架,两者配合使用。
  • Q:什么时候选 TensorRT-LLM? A:当你有大规模生产流量、对 P99 延迟要求极高、且有 NVIDIA GPU 运维能力时。

10.8.1-004 Ollama 解决什么问题?

频率 ★★★★ | 难度 基础

一句话结论

Ollama 把 llama.cpp 包装成一键安装、一行命令启动的本地模型服务,自动处理模型下载、量化选择、API 暴露,让本地部署大模型变得极简;适合个人开发者、原型验证、本地开发测试。

概念解释

  • 一键安装:一行命令安装 Ollama,自动配置环境。
  • 模型库:内置常用模型(Llama/Qwen/Mistral 等),一行命令下载运行。
  • OpenAI 兼容 API:启动后自动暴露 HTTP API,方便接入应用。
  • 跨平台:支持 macOS、Linux、Windows。

原理流程

  1. 安装 Ollama(一键安装包)。
  2. ollama run qwen2.5 自动下载模型并启动。
  3. 后台自动用 llama.cpp 加载模型,暴露 API。
  4. 应用通过 HTTP API 调用。

代码 / 示例

# 安装 Ollama 后, 一行命令运行模型
ollama run qwen2.5:7b

# 自动暴露 API: http://localhost:11434
# 也支持 OpenAI 兼容格式:
# curl http://localhost:11434/v1/chat/completions \
#   -H "Content-Type: application/json" \
#   -d '{"model": "qwen2.5", "messages": [{"role":"user","content":"你好"}]}'

# 列出本地模型
ollama list

# 拉取模型
ollama pull qwen2.5:7b

常见误区

  • 误区:Ollama 是生产级推理框架;正解:Ollama 适合本地开发和原型验证,生产环境建议用 vLLM 等专业框架。
  • 误区:Ollama 只能用 CPU;正解:Ollama 自动检测 GPU(Metal/CUDA),有 GPU 时自动用 GPU 加速。

追问

  • Q:Ollama 怎么自定义模型? A:用 Modelfile 定义系统提示、参数、模型路径,类似 Dockerfile。
  • Q:Ollama 支持并发吗? A:支持基本并发,但优化不如 vLLM,高并发场景性能有限。

10.8.1-005 llama.cpp 的设计哲学?

频率 ★★★ | 难度 基础

一句话结论

llama.cpp 是纯 C/C++ 实现的推理引擎,设计哲学是"在任何设备上跑大模型":CPU 优化、量化极致、依赖极少,支持从树莓派到服务器的各种硬件;是本地推理生态的基石。

概念解释

  • 纯 C/C++:无 Python 依赖,编译后单文件运行。
  • CPU 优化:针对 ARM/x86 指令集优化(NEON/AVX)。
  • 极致量化:支持 GGUF 多种量化级别。
  • 硬件支持:CPU、Metal、CUDA、Vulkan、ROCm 等。
  • 生态基础:Ollama、LM Studio、Open WebUI 等都基于 llama.cpp。

原理流程

  1. 模型转为 GGUF 格式。
  2. llama.cpp 加载 GGUF 文件。
  3. 用 CPU 或 GPU 后端执行推理。
  4. 输出 token 流。

代码 / 示例

# llama.cpp 基本用法
# 编译后:
./main -m models/qwen2.5-7b-q4_k_m.gguf -p "你好" -n 128

# 常用参数:
# -m: 模型路径
# -p: 输入 prompt
# -n: 生成 token 数
# -ngl: 放到 GPU 的层数 (0=全 CPU, 99=全 GPU)
# -c: 上下文长度

常见误区

  • 误区:llama.cpp 只能跑 CPU;正解:llama.cpp 支持多种 GPU 后端,只是最初为 CPU 设计。
  • 误区:llama.cpp 性能很差;正解:在 CPU 上 llama.cpp 是性能最好的推理引擎之一,GPU 上不如 vLLM。

追问

  • Q:llama.cpp 为什么用 C 写? A:减少依赖、跨平台、CPU 性能极致优化,适合嵌入式和边缘设备。
  • Q:llama.cpp 支持 LoRA 吗? A:支持,可以在推理时加载 LoRA 适配器。

10.8.1-006 推理引擎怎么选?

频率 ★★★★ | 难度 基础

一句话结论

生产环境高并发选 vLLM;极致延迟选 TensorRT-LLM;复杂 prompt/多轮对话选 SGLang;本地开发选 Ollama;CPU/边缘设备选 llama.cpp;按场景和团队能力综合选择。

概念解释

  • 生产高并发:vLLM,生态成熟、性能好、运维简单。
  • 极致延迟:TensorRT-LLM,性能最优但维护成本高。
  • 本地开发:Ollama,一键启动,快速验证。
  • CPU/边缘:llama.cpp,资源占用最小。

原理流程

  1. 确定场景:生产还是开发,GPU 还是 CPU。
  2. 确定性能要求:吞吐优先还是延迟优先。
  3. 确定团队能力:有没有运维优化的人力。
  4. 选对应引擎。

代码 / 示例

推理引擎选型决策:

场景                          推荐引擎
----------------------------  ----------------
生产部署, 高并发, 通用         vLLM
生产部署, 极致 P99 延迟       TensorRT-LLM
复杂 prompt/多轮对话/RAG      SGLang
本地开发/原型验证             Ollama
CPU/边缘设备/低资源           llama.cpp
Mac M 系列本地                Ollama 或 llama.cpp
多 GPU 大模型部署             vLLM (张量并行)

常见误区

  • 误区:选最快的引擎就行;正解:除了性能,还要考虑生态成熟度、调试难度、社区支持、团队熟悉度。
  • 误区:一个引擎用到底;正解:不同场景可以用不同引擎,开发用 Ollama,生产用 vLLM。

追问

  • Q:vLLM 和 SGLang 可以混用吗? A:可以,不同服务用不同引擎,通过统一 API 层接入。
  • Q:怎么测试引擎性能? A:用压测工具(如 benchmark_serving.py)测 TTFT、TPOT、吞吐,对比不同引擎。

10.8.1-007 什么是连续批处理?

频率 ★★★★ | 难度 基础

一句话结论

连续批处理(continuous batching)在解码步级动态组装批次:每一步前向时,完成的请求立即出批,新请求补入,避免静态批处理中"快的等慢的"造成的 GPU 闲置。

概念解释

  • 静态批处理:一批请求同时开始、同时结束,慢的请求拖住整批。
  • 连续批处理:每步调度,完成即换入新请求,GPU 始终满载。
  • 提升吞吐:GPU 利用率从静态批的 50%~70% 提升到 90%+。
  • 代价:单请求延迟可能略升(因为批次更大),但总吞吐大幅提升。

原理流程

  1. 等待队列中有多个请求。
  2. 调度器按 KV 容量,选 N 个请求组成当前批次。
  3. 前向一步,生成一个 token。
  4. 检查哪些请求完成了,出批。
  5. 从等待队列补入新请求。
  6. 重复。

代码 / 示例

静态批处理:
  时间 →
  批次 A: [req1(短), req2(长), req3(中)]
  req1 2 步就完成了, 但还要等 req2 跑完 10 步
  GPU 后 8 步只有 2 个请求在跑, 利用率低

连续批处理:
  每步调度:
    步 1: [req1, req2, req3]
    步 2: [req1完成, req2, req3] → 补入 req4
    步 3: [req2, req3, req4] → req3 完成, 补入 req5
    ...
  GPU 每步都满负荷, 利用率高

常见误区

  • 误区:连续批处理会让单请求更快;正解:连续批处理提升总吞吐,单请求延迟可能因为批次更大而略增,需要权衡。
  • 误区:连续批处理就是更大的 batch;正解:连续批处理是动态调度,batch size 随时间变化,不是固定大 batch。

追问

  • Q:连续批处理和静态批处理的吞吐差多少? A:通常连续批处理吞吐是静态批的 2~4 倍,具体取决于请求长度分布。
  • Q:prefill 和 decode 能混在一个批次吗? A:可以,但长 prefill 会阻塞 decode 步,框架通常做优先级调度或 chunked prefill 来平衡。

10.8.1-008 推理引擎的 API 兼容性?

频率 ★★★ | 难度 基础

一句话结论

主流推理引擎(vLLM、SGLang、Ollama、TensorRT-LLM)都提供 OpenAI 兼容的 HTTP API,应用层用 OpenAI SDK 即可无缝切换后端,不需要改业务代码。

概念解释

  • OpenAI 兼容:/v1/chat/completions、/v1/completions、/v1/embeddings 等接口格式一致。
  • 切换后端:改 base_url 即可,业务代码不变。
  • 差异点:流式输出、函数调用、JSON 模式等高级功能支持程度不同。
  • 抽象层:可以用统一 SDK 封装,对上层提供统一接口。

原理流程

  1. 业务代码用 OpenAI SDK,base_url 指向推理引擎。
  2. 推理引擎实现 OpenAI 兼容 API。
  3. 切换引擎时只改 base_url。
  4. 高级功能(如结构化输出)需要额外验证兼容性。

代码 / 示例

# 统一接口示例
from openai import OpenAI

# 用 vLLM
client = OpenAI(base_url="http://vllm-host:8000/v1", api_key="not-needed")

# 用 Ollama
# client = OpenAI(base_url="http://localhost:11434/v1", api_key="not-needed")

# 用 SGLang
# client = OpenAI(base_url="http://sglang-host:30000/v1", api_key="not-needed")

# 业务代码完全不变:
response = client.chat.completions.create(
    model="qwen2.5",
    messages=[{"role": "user", "content": "你好"}]
)

常见误区

  • 误区:所有引擎的 OpenAI 兼容都完全一致;正解:基本聊天接口兼容,但高级功能(function calling、vision、JSON schema)支持程度不同。
  • 误区:换引擎要改所有业务代码;正解:通过 OpenAI 兼容 API 抽象,换引擎只改配置。

追问

  • Q:怎么验证引擎的 API 兼容性? A:用相同的请求格式测一遍,对比响应格式和流式输出行为。
  • Q:自建统一网关有必要吗? A:如果同时用多个引擎或需要路由、限流、日志,自建统一网关是有价值的。

待整理清单

  • [ ] vLLM 的高级配置(前缀缓存、chunked prefill、投机解码)
  • [ ] 多 GPU 张量并行的配置与调试
  • [ ] 推理引擎的监控指标(GPU 利用率、KV 占用、队列长度)
  • [ ] 模型热加载与不停机切换
  • [ ] 推理引擎与 Kubernetes 的部署方案