10.8.4 GPU 选型与显存规划
所属:全栈开发面试题库 / 10 AI 应用开发:LLM 与 Agent / 10.8 推理部署与本地化
覆盖范围
- 主流 GPU 型号与显存规格
- 显存规划公式(权重 + KV + 激活)
- 单卡 vs 多卡部署
- 推理 vs 训练的 GPU 选择差异
- 成本与性能权衡
- 云 GPU 选型建议
高频题速览
| 编号 | 题目 | 难度 | 频率 |
|---|---|---|---|
| 10.8.4-001 | 推理 GPU 怎么选? | 基础 | ★★★★★ |
| 10.8.4-002 | 显存怎么规划? | 进阶 | ★★★★★ |
| 10.8.4-003 | 单卡够还是需要多卡? | 基础 | ★★★★ |
| 10.8.4-004 | A100/H100/4090 怎么选? | 进阶 | ★★★ |
| 10.8.4-005 | 推理和训练选 GPU 有什么区别? | 基础 | ★★★ |
| 10.8.4-006 | 显存带宽为什么重要? | 进阶 | ★★★ |
| 10.8.4-007 | 云 GPU 怎么选? | 基础 | ★★★ |
| 10.8.4-008 | 多卡张量并行怎么配置? | 高级 | ★★★ |
10.8.4-001 推理 GPU 怎么选?
频率 ★★★★★ | 难度 基础
一句话结论
推理 GPU 选择的核心是:显存容量够装模型 + 足够的并发 KV,同时显存带宽高(decode 是带宽受限);消费级卡(4090)性价比高但显存小,数据中心卡(A100/H100)显存大带宽高但贵。
概念解释
- 显存容量:决定能装多大的模型、能跑多少并发。
- 显存带宽:decode 阶段每步都要读全部权重,带宽决定 TPOT。
- 算力(TFLOPS):prefill 阶段是计算密集型,算力决定 TTFT。
- 性价比:消费级卡每 GB 显存成本低,但显存总量小、无 ECC。
原理流程
- 确定模型大小和量化方案。
- 算出权重显存。
- 按目标并发算 KV 显存。
- 加上激活和框架开销。
- 选显存够的 GPU,再看带宽和算力。
代码 / 示例
推理 GPU 选型步骤:
1. 模型: 7B, AWQ 4bit → 权重 ~3.5 GB
2. 并发目标: 20, 上下文 2048 → KV ~5 GB
3. 激活 + 框架: ~3 GB
4. 总需求: ~11.5 GB
可选 GPU:
- RTX 4090 (24 GB): 够, 性价比高
- A10 (24 GB): 够, 低功耗
- A100 (40 GB): 够, 有余量, 贵
- RTX 3090 (24 GB): 够, 二手便宜
常见误区
- 误区:算力越强推理越快;正解:decode 阶段是带宽受限,不是算力受限,带宽比算力更重要。
- 误区:显存越大越好;正解:显存够用就行,多余的显存是浪费,预算要花在带宽和性价比上。
追问
- Q:怎么判断是算力瓶颈还是带宽瓶颈? A:看 GPU 利用率——SM 利用率低但 TPOT 高就是带宽瓶颈,SM 利用率高就是算力瓶颈。
- Q:消费级卡有什么问题? A:无 ECC 显存、驱动稳定性差、不适合 7x24 生产环境;开发测试用没问题。
10.8.4-002 显存怎么规划?
频率 ★★★★★ | 难度 进阶
一句话结论
显存总需求 = 模型权重 + KV Cache(并发数 × 单请求 KV)+ 激活值 + 框架开销;按这个公式算,留 20%~30% 余量,不要卡着上限配。
概念解释
- 模型权重:固定,与并发无关。
- KV Cache:随并发数和上下文长度线性增长。
- 激活值:随 batch size 和序列长度变化。
- 框架开销:CUDA context、临时缓冲区,约 1~2 GB。
- 余量:留 20% 余量应对波动和突发。
原理流程
- 算权重:参数量 × 每参数字节数。
- 算单请求 KV:公式见 10.7.5。
- 总 KV = 单请求 KV × 并发数。
- 激活值:经验值 2~5 GB,或按 batch × seq_len × d_model 粗算。
- 总显存 = 权重 + KV + 激活 + 框架开销 × 1.3(余量)。
代码 / 示例
显存规划公式:
总显存 = 权重 + 并发数 × 单请求 KV + 激活 + 框架开销
实际配置 = 总显存 × 1.3 (余量)
示例: 13B 模型, AWQ 4bit, 并发 16, 上下文 4096
权重: 13B × 0.5 = 6.5 GB
单请求 KV (GQA, 4096): ~0.5 GB
总 KV: 16 × 0.5 = 8 GB
激活: ~3 GB
框架: ~1.5 GB
合计: 6.5 + 8 + 3 + 1.5 = 19 GB
配 24 GB GPU (留 5 GB 余量)
常见误区
- 误区:权重显存算完就够了;正解:KV 和激活可能比权重还大,尤其是高并发长上下文。
- 误区:卡着显存上限配就好;正解:必须留余量,否则突发请求就 OOM。
追问
- Q:怎么知道实际用了多少? A:用
nvidia-smi或推理引擎的监控接口看实时显存占用,压测时观察峰值。 - Q:KV 量化能省多少显存? A:KV INT8 减半,INT4 减到 1/4,是提升并发最有效的手段之一。
10.8.4-003 单卡够还是需要多卡?
频率 ★★★★ | 难度 基础
一句话结论
模型大小决定是否需要多卡:模型权重 + 合理 KV 超过单卡显存就需要多卡;7B 以下单卡 24GB 够,13B 量化后单卡够,70B 通常需要 2~4 卡张量并行。
概念解释
- 单卡可跑:权重 + KV 不超过单卡显存。
- 张量并行:模型层切到多卡,每卡算一部分,需要 NVLink 高带宽。
- 流水线并行:不同层分到不同卡,通信少但有气泡。
- 选择:小模型单卡,大模型张量并行,超大模型三维并行。
原理流程
- 算总显存需求。
- 单卡显存够 → 单卡部署。
- 不够 → 看能否量化降显存。
- 量化后还不够 → 多卡张量并行。
代码 / 示例
模型大小与 GPU 配置参考:
模型大小 fp16 权重 AWQ 4bit 推荐 GPU
---------- ----------- ---------- ----------------
7B 14 GB 3.5 GB 单卡 24GB (4090/A10)
13B 26 GB 6.5 GB 单卡 24GB (量化) 或单卡 40GB
34B 68 GB 17 GB 单卡 48GB (量化) 或 2 卡
70B 140 GB 35 GB 2~4 卡 40/80GB
常见误区
- 误区:多卡一定比单卡快;正解:张量并行有通信开销,小模型多卡反而更慢,因为通信占比高。
- 误区:多卡随便插就行;正解:张量并行需要 NVLink,普通 PCIe 多卡通信慢,效果差。
追问
- Q:张量并行几卡合适? A:通常 2~8 卡,超过 8 卡通信开销太大;更多卡用流水线并行。
- Q:多卡部署复杂度高吗? A:vLLM 等框架已经封装好,指定
--tensor-parallel-size就行,但调试和监控复杂度增加。
10.8.4-004 A100/H100/4090 怎么选?
频率 ★★★ | 难度 进阶
一句话结论
4090(24GB,消费级)性价比最高,适合开发测试和小规模生产;A100(40/80GB)数据中心级,稳定可靠,适合中大规模生产;H100(80GB)性能最强但贵,适合极致性能场景。
概念解释
- RTX 4090:24GB GDDR6X,带宽 ~1000 GB/s,消费级,性价比高。
- A100:40/80GB HBM2e,带宽 ~2000 GB/s,数据中心,ECC。
- H100:80GB HBM3,带宽 ~3000 GB/s,支持 FP8,最新一代。
- L40S:48GB,推理优化,性价比介于 A100 和 H100 之间。
原理流程
- 开发测试:4090 性价比最高。
- 小规模生产:4090 × 2~4 或 A10。
- 中大规模生产:A100 80GB。
- 极致性能:H100。
代码 / 示例
GPU 对比 (示意):
型号 显存 带宽 功耗 相对性能 适用场景
---------- ----- -------- ----- --------- --------
RTX 4090 24GB ~1000GB/s 450W 1x 开发/小规模
A10 24GB 24GB ~600GB/s 150W 0.6x 低功耗推理
L40S 48GB 48GB ~860GB/s 350W 1.5x 中规模推理
A100 80GB 80GB ~2000GB/s 400W 2.5x 大规模生产
H100 80GB 80GB ~3000GB/s 700W 4x 极致性能
常见误区
- 误区:H100 一定比 A100 快 4 倍;正解:H100 在 FP8 和特定 workload 下快,bf16 推理提升约 1.5~2 倍,不是 4 倍。
- 误区:4090 不能生产用;正解:4090 可以跑生产,但无 ECC、驱动稳定性差,不适合对可靠性要求极高的场景。
追问
- Q:显存带宽怎么影响推理? A:decode 每步要读全部权重,带宽 = 权重大小 / TPOT,带宽越高 TPOT 越低。
- Q:为什么 H100 这么贵还有人买? A:大规模部署时,H100 单卡吞吐高,总体 TCO(每 token 成本)可能更低。
10.8.4-005 推理和训练选 GPU 有什么区别?
频率 ★★★ | 难度 基础
一句话结论
训练需要大显存(要存权重、梯度、优化器状态)和高算力(前向反向都是计算密集);推理更看重显存容量(装模型 + KV)和显存带宽(decode 带宽受限),算力要求相对低。
概念解释
- 训练显存:权重 + 梯度 + 优化器状态 + 激活,是推理的 5~10 倍。
- 训练算力:前向 + 反向,计算密集,需要高 TFLOPS。
- 推理带宽:decode 每步读全部权重,带宽决定 TPOT。
- 推理容量:显存决定能装多大模型、多少并发。
原理流程
- 训练:7B 模型需要 ~80 GB 显存(含梯度和优化器),选 A100 80GB。
- 推理:7B 量化后只需 ~10 GB,选 4090 24GB。
- 同一张卡,训练和推理能跑的模型大小差很多。
代码 / 示例
训练 vs 推理显存对比 (7B 模型):
训练 (Adam, bf16):
权重: 14 GB
梯度: 14 GB
优化器状态: 56 GB
激活: ~10-20 GB
合计: ~94-104 GB
→ 需要 A100 80GB × 2 或 多卡
推理 (AWQ 4bit):
权重: 3.5 GB
KV (并发 10): ~3 GB
激活: ~2 GB
合计: ~8.5 GB
→ 单卡 24GB 绰绰有余
常见误区
- 误区:能训练的卡推理一定好;正解:训练卡算力强但推理不一定最优,推理更看带宽和显存容量。
- 误区:推理和训练用一样的配置;正解:推理可以用便宜得多的卡,因为不需要梯度和优化器状态。
追问
- Q:LoRA 训练需要多少显存? A:LoRA 冻结主干,只训练少量参数,显存大幅减少,7B 模型 LoRA 训练约 20~30 GB,单卡可跑。
- Q:推理 GPU 可以拿来训练吗? A:可以,但效率低,因为训练需要高算力,推理卡算力通常不够。
10.8.4-006 显存带宽为什么重要?
频率 ★★★ | 难度 进阶
一句话结论
decode 阶段每步都要把全部模型权重从显存读到计算单元,权重大小 ÷ 显存带宽 = 理论最小 TPOT;因此带宽直接决定生成速度,是推理性能的关键指标。
概念解释
- 权重大小:7B fp16 = 14 GB。
- 带宽:A100 = 2000 GB/s,4090 = 1000 GB/s。
- 理论 TPOT:权重大小 / 带宽 = 14 / 2000 = 7 ms(A100)或 14 ms(4090)。
- 实际 TPOT:理论值 + KV 读取 + 计算开销,通常比理论值高 20%~50%。
原理流程
- decode 每步,需要读取全部权重。
- 带宽决定读取速度。
- 读取完才能做矩阵乘计算。
- 带宽是瓶颈时,算力利用率很低。
代码 / 示例
理论 decode 速度估算:
TPOT_min = 权重大小 / 带宽
7B fp16 (14 GB):
A100 (2000 GB/s): 14/2000 = 7 ms/token
4090 (1000 GB/s): 14/1000 = 14 ms/token
H100 (3000 GB/s): 14/3000 = 4.7 ms/token
7B AWQ 4bit (3.5 GB):
A100: 3.5/2000 = 1.75 ms/token
4090: 3.5/1000 = 3.5 ms/token
常见误区
- 误区:算力越高生成越快;正解:decode 是带宽受限,算力利用率通常只有 10%~30%,带宽才是瓶颈。
- 误区:量化不影响 decode 速度;正解:量化后权重变小,读取更快,decode 速度提升明显。
追问
- Q:prefill 阶段也是带宽受限吗? A:不是,prefill 是计算密集型,算力决定 TTFT。
- Q:怎么提高 decode 速度? A:减少权重大小(量化)、提高带宽(选高带宽 GPU)、增加 batch(摊薄权重读取开销)。
10.8.4-007 云 GPU 怎么选?
频率 ★★★ | 难度 基础
一句话结论
云 GPU 选择要平衡成本和性能:短期实验用按量付费(4090/A10),长期生产用包年包月(A100);注意云厂商的网络带宽和存储 IO,以及是否支持 NVLink。
概念解释
- 按量付费:灵活,适合实验和突发流量,单价高。
- 包年包月:单价低,适合长期稳定负载。
- 竞价实例:价格最低但可能被回收,适合离线任务。
- 注意:云 GPU 的实际带宽和性能可能比物理卡低(虚拟化开销)。
原理流程
- 短期实验:按量付费,4090 或 A10。
- 长期生产:包年包月 A100 或 L40S。
- 离线批处理:竞价实例,成本最低。
- 多卡训练:选支持 NVLink 的实例类型。
代码 / 示例
云 GPU 选择策略:
场景 推荐实例 付费方式
------------------ -------------- --------
开发/实验 A10/4090 按量
小规模生产 A10/L4 包月
中规模生产 A100 40GB 包月
大规模生产 A100 80GB 包月/包年
离线批处理 任意 竞价
多卡训练 8×A100 (NVLink) 包月
常见误区
- 误区:云 GPU 和物理卡性能一样;正解:虚拟化有开销,实际性能可能打 8~9 折。
- 误区:只看 GPU 价格;正解:还要考虑网络带宽、存储 IO、数据传输成本。
追问
- Q:云 GPU 数据怎么传? A:大模型文件通常存储在对象存储,启动时拉取到本地 SSD,避免每次从网络加载。
- Q:怎么降低云成本? A:用竞价实例跑离线任务、用更小的量化模型、自动扩缩容应对峰值。
10.8.4-008 多卡张量并行怎么配置?
频率 ★★★ | 难度 高级
一句话结论
张量并行把每层的权重矩阵切到多卡,前向时每卡算一部分,再 all-reduce 合并;需要高带宽互联(NVLink),配置时指定 tensor-parallel-size,vLLM 等框架自动处理。
概念解释
- 列并行:权重矩阵按列切,每卡算一部分输出,拼接。
- 行并行:权重矩阵按行切,每卡算一部分,all-reduce 合并。
- 通信:每层有两次 all-reduce,需要 NVLink 高带宽。
- 配置:vLLM
--tensor-parallel-size 2/4/8。
原理流程
- 模型加载时,按 TP 数切分每层权重。
- 前向:每卡算一部分 → all-reduce 合并 → 下一层。
- 通信开销:TP 越大,通信占比越高。
- 经验:TP ≤ 8,超过 8 卡用流水线并行。
代码 / 示例
# vLLM 张量并行启动示例
python -m vllm.entrypoints.openai.api_server \
--model Qwen/Qwen2.5-72B-Instruct \
--tensor-parallel-size 4 \
--max-model-len 4096 \
--gpu-memory-utilization 0.9
# 4 张 GPU 各加载 1/4 权重
# 层间 all-reduce 通过 NVLink 通信
# 总显存 = 模型权重 / TP 数
常见误区
- 误区:张量并行越多越好;正解:TP 超过 8 卡通信开销太大,效率下降,更多卡用流水线并行。
- 误区:普通 PCIe 多卡也能高效 TP;正解:TP 需要 NVLink,PCIe 带宽低,通信成为瓶颈。
追问
- Q:TP 和 PP 怎么组合? A:TP 切层内(节点内,NVLink),PP 切层间(节点间,网络),组合三维并行。
- Q:怎么判断 TP 是否有效? A:压测对比不同 TP 数的吞吐,TP=2 应该比单卡快接近 2 倍,如果只有 1.2 倍说明通信瓶颈。
待整理清单
- [ ] 显存监控与告警配置
- [ ] GPU 利用率分析工具
- [ ] 自动扩缩容策略
- [ ] 多机多卡部署
- [ ] 推理成本优化(每 token 成本)