罗罗编程学习记录
本页内容 展开查看

10.8.4 GPU 选型与显存规划

所属:全栈开发面试题库 / 10 AI 应用开发:LLM 与 Agent / 10.8 推理部署与本地化

覆盖范围

  • 主流 GPU 型号与显存规格
  • 显存规划公式(权重 + KV + 激活)
  • 单卡 vs 多卡部署
  • 推理 vs 训练的 GPU 选择差异
  • 成本与性能权衡
  • 云 GPU 选型建议

高频题速览

编号 题目 难度 频率
10.8.4-001 推理 GPU 怎么选? 基础 ★★★★★
10.8.4-002 显存怎么规划? 进阶 ★★★★★
10.8.4-003 单卡够还是需要多卡? 基础 ★★★★
10.8.4-004 A100/H100/4090 怎么选? 进阶 ★★★
10.8.4-005 推理和训练选 GPU 有什么区别? 基础 ★★★
10.8.4-006 显存带宽为什么重要? 进阶 ★★★
10.8.4-007 云 GPU 怎么选? 基础 ★★★
10.8.4-008 多卡张量并行怎么配置? 高级 ★★★

10.8.4-001 推理 GPU 怎么选?

频率 ★★★★★ | 难度 基础

一句话结论

推理 GPU 选择的核心是:显存容量够装模型 + 足够的并发 KV,同时显存带宽高(decode 是带宽受限);消费级卡(4090)性价比高但显存小,数据中心卡(A100/H100)显存大带宽高但贵。

概念解释

  • 显存容量:决定能装多大的模型、能跑多少并发。
  • 显存带宽:decode 阶段每步都要读全部权重,带宽决定 TPOT。
  • 算力(TFLOPS):prefill 阶段是计算密集型,算力决定 TTFT。
  • 性价比:消费级卡每 GB 显存成本低,但显存总量小、无 ECC。

原理流程

  1. 确定模型大小和量化方案。
  2. 算出权重显存。
  3. 按目标并发算 KV 显存。
  4. 加上激活和框架开销。
  5. 选显存够的 GPU,再看带宽和算力。

代码 / 示例

推理 GPU 选型步骤:
  1. 模型: 7B, AWQ 4bit → 权重 ~3.5 GB
  2. 并发目标: 20, 上下文 2048 → KV ~5 GB
  3. 激活 + 框架: ~3 GB
  4. 总需求: ~11.5 GB

  可选 GPU:
    - RTX 4090 (24 GB): 够, 性价比高
    - A10 (24 GB): 够, 低功耗
    - A100 (40 GB): 够, 有余量, 贵
    - RTX 3090 (24 GB): 够, 二手便宜

常见误区

  • 误区:算力越强推理越快;正解:decode 阶段是带宽受限,不是算力受限,带宽比算力更重要。
  • 误区:显存越大越好;正解:显存够用就行,多余的显存是浪费,预算要花在带宽和性价比上。

追问

  • Q:怎么判断是算力瓶颈还是带宽瓶颈? A:看 GPU 利用率——SM 利用率低但 TPOT 高就是带宽瓶颈,SM 利用率高就是算力瓶颈。
  • Q:消费级卡有什么问题? A:无 ECC 显存、驱动稳定性差、不适合 7x24 生产环境;开发测试用没问题。

10.8.4-002 显存怎么规划?

频率 ★★★★★ | 难度 进阶

一句话结论

显存总需求 = 模型权重 + KV Cache(并发数 × 单请求 KV)+ 激活值 + 框架开销;按这个公式算,留 20%~30% 余量,不要卡着上限配。

概念解释

  • 模型权重:固定,与并发无关。
  • KV Cache:随并发数和上下文长度线性增长。
  • 激活值:随 batch size 和序列长度变化。
  • 框架开销:CUDA context、临时缓冲区,约 1~2 GB。
  • 余量:留 20% 余量应对波动和突发。

原理流程

  1. 算权重:参数量 × 每参数字节数。
  2. 算单请求 KV:公式见 10.7.5。
  3. 总 KV = 单请求 KV × 并发数。
  4. 激活值:经验值 2~5 GB,或按 batch × seq_len × d_model 粗算。
  5. 总显存 = 权重 + KV + 激活 + 框架开销 × 1.3(余量)。

代码 / 示例

显存规划公式:
  总显存 = 权重 + 并发数 × 单请求 KV + 激活 + 框架开销
  实际配置 = 总显存 × 1.3 (余量)

示例: 13B 模型, AWQ 4bit, 并发 16, 上下文 4096
  权重: 13B × 0.5 = 6.5 GB
  单请求 KV (GQA, 4096): ~0.5 GB
  总 KV: 16 × 0.5 = 8 GB
  激活: ~3 GB
  框架: ~1.5 GB
  合计: 6.5 + 8 + 3 + 1.5 = 19 GB
  配 24 GB GPU (留 5 GB 余量)

常见误区

  • 误区:权重显存算完就够了;正解:KV 和激活可能比权重还大,尤其是高并发长上下文。
  • 误区:卡着显存上限配就好;正解:必须留余量,否则突发请求就 OOM。

追问

  • Q:怎么知道实际用了多少? A:用 nvidia-smi 或推理引擎的监控接口看实时显存占用,压测时观察峰值。
  • Q:KV 量化能省多少显存? A:KV INT8 减半,INT4 减到 1/4,是提升并发最有效的手段之一。

10.8.4-003 单卡够还是需要多卡?

频率 ★★★★ | 难度 基础

一句话结论

模型大小决定是否需要多卡:模型权重 + 合理 KV 超过单卡显存就需要多卡;7B 以下单卡 24GB 够,13B 量化后单卡够,70B 通常需要 2~4 卡张量并行。

概念解释

  • 单卡可跑:权重 + KV 不超过单卡显存。
  • 张量并行:模型层切到多卡,每卡算一部分,需要 NVLink 高带宽。
  • 流水线并行:不同层分到不同卡,通信少但有气泡。
  • 选择:小模型单卡,大模型张量并行,超大模型三维并行。

原理流程

  1. 算总显存需求。
  2. 单卡显存够 → 单卡部署。
  3. 不够 → 看能否量化降显存。
  4. 量化后还不够 → 多卡张量并行。

代码 / 示例

模型大小与 GPU 配置参考:

模型大小    fp16 权重    AWQ 4bit    推荐 GPU
----------  -----------  ----------  ----------------
7B          14 GB        3.5 GB      单卡 24GB (4090/A10)
13B         26 GB        6.5 GB      单卡 24GB (量化) 或单卡 40GB
34B         68 GB        17 GB       单卡 48GB (量化) 或 2 卡
70B         140 GB       35 GB       2~4 卡 40/80GB

常见误区

  • 误区:多卡一定比单卡快;正解:张量并行有通信开销,小模型多卡反而更慢,因为通信占比高。
  • 误区:多卡随便插就行;正解:张量并行需要 NVLink,普通 PCIe 多卡通信慢,效果差。

追问

  • Q:张量并行几卡合适? A:通常 2~8 卡,超过 8 卡通信开销太大;更多卡用流水线并行。
  • Q:多卡部署复杂度高吗? A:vLLM 等框架已经封装好,指定 --tensor-parallel-size 就行,但调试和监控复杂度增加。

10.8.4-004 A100/H100/4090 怎么选?

频率 ★★★ | 难度 进阶

一句话结论

4090(24GB,消费级)性价比最高,适合开发测试和小规模生产;A100(40/80GB)数据中心级,稳定可靠,适合中大规模生产;H100(80GB)性能最强但贵,适合极致性能场景。

概念解释

  • RTX 4090:24GB GDDR6X,带宽 ~1000 GB/s,消费级,性价比高。
  • A100:40/80GB HBM2e,带宽 ~2000 GB/s,数据中心,ECC。
  • H100:80GB HBM3,带宽 ~3000 GB/s,支持 FP8,最新一代。
  • L40S:48GB,推理优化,性价比介于 A100 和 H100 之间。

原理流程

  1. 开发测试:4090 性价比最高。
  2. 小规模生产:4090 × 2~4 或 A10。
  3. 中大规模生产:A100 80GB。
  4. 极致性能:H100。

代码 / 示例

GPU 对比 (示意):

型号        显存   带宽      功耗   相对性能   适用场景
----------  -----  --------  -----  ---------  --------
RTX 4090   24GB   ~1000GB/s 450W   1x         开发/小规模
A10 24GB    24GB   ~600GB/s  150W   0.6x       低功耗推理
L40S 48GB   48GB   ~860GB/s  350W   1.5x       中规模推理
A100 80GB   80GB   ~2000GB/s 400W   2.5x       大规模生产
H100 80GB   80GB   ~3000GB/s 700W   4x         极致性能

常见误区

  • 误区:H100 一定比 A100 快 4 倍;正解:H100 在 FP8 和特定 workload 下快,bf16 推理提升约 1.5~2 倍,不是 4 倍。
  • 误区:4090 不能生产用;正解:4090 可以跑生产,但无 ECC、驱动稳定性差,不适合对可靠性要求极高的场景。

追问

  • Q:显存带宽怎么影响推理? A:decode 每步要读全部权重,带宽 = 权重大小 / TPOT,带宽越高 TPOT 越低。
  • Q:为什么 H100 这么贵还有人买? A:大规模部署时,H100 单卡吞吐高,总体 TCO(每 token 成本)可能更低。

10.8.4-005 推理和训练选 GPU 有什么区别?

频率 ★★★ | 难度 基础

一句话结论

训练需要大显存(要存权重、梯度、优化器状态)和高算力(前向反向都是计算密集);推理更看重显存容量(装模型 + KV)和显存带宽(decode 带宽受限),算力要求相对低。

概念解释

  • 训练显存:权重 + 梯度 + 优化器状态 + 激活,是推理的 5~10 倍。
  • 训练算力:前向 + 反向,计算密集,需要高 TFLOPS。
  • 推理带宽:decode 每步读全部权重,带宽决定 TPOT。
  • 推理容量:显存决定能装多大模型、多少并发。

原理流程

  1. 训练:7B 模型需要 ~80 GB 显存(含梯度和优化器),选 A100 80GB。
  2. 推理:7B 量化后只需 ~10 GB,选 4090 24GB。
  3. 同一张卡,训练和推理能跑的模型大小差很多。

代码 / 示例

训练 vs 推理显存对比 (7B 模型):

训练 (Adam, bf16):
  权重: 14 GB
  梯度: 14 GB
  优化器状态: 56 GB
  激活: ~10-20 GB
  合计: ~94-104 GB
  → 需要 A100 80GB × 2 或 多卡

推理 (AWQ 4bit):
  权重: 3.5 GB
  KV (并发 10): ~3 GB
  激活: ~2 GB
  合计: ~8.5 GB
  → 单卡 24GB 绰绰有余

常见误区

  • 误区:能训练的卡推理一定好;正解:训练卡算力强但推理不一定最优,推理更看带宽和显存容量。
  • 误区:推理和训练用一样的配置;正解:推理可以用便宜得多的卡,因为不需要梯度和优化器状态。

追问

  • Q:LoRA 训练需要多少显存? A:LoRA 冻结主干,只训练少量参数,显存大幅减少,7B 模型 LoRA 训练约 20~30 GB,单卡可跑。
  • Q:推理 GPU 可以拿来训练吗? A:可以,但效率低,因为训练需要高算力,推理卡算力通常不够。

10.8.4-006 显存带宽为什么重要?

频率 ★★★ | 难度 进阶

一句话结论

decode 阶段每步都要把全部模型权重从显存读到计算单元,权重大小 ÷ 显存带宽 = 理论最小 TPOT;因此带宽直接决定生成速度,是推理性能的关键指标。

概念解释

  • 权重大小:7B fp16 = 14 GB。
  • 带宽:A100 = 2000 GB/s,4090 = 1000 GB/s。
  • 理论 TPOT:权重大小 / 带宽 = 14 / 2000 = 7 ms(A100)或 14 ms(4090)。
  • 实际 TPOT:理论值 + KV 读取 + 计算开销,通常比理论值高 20%~50%。

原理流程

  1. decode 每步,需要读取全部权重。
  2. 带宽决定读取速度。
  3. 读取完才能做矩阵乘计算。
  4. 带宽是瓶颈时,算力利用率很低。

代码 / 示例

理论 decode 速度估算:
  TPOT_min = 权重大小 / 带宽

  7B fp16 (14 GB):
    A100 (2000 GB/s): 14/2000 = 7 ms/token
    4090 (1000 GB/s): 14/1000 = 14 ms/token
    H100 (3000 GB/s): 14/3000 = 4.7 ms/token

  7B AWQ 4bit (3.5 GB):
    A100: 3.5/2000 = 1.75 ms/token
    4090: 3.5/1000 = 3.5 ms/token

常见误区

  • 误区:算力越高生成越快;正解:decode 是带宽受限,算力利用率通常只有 10%~30%,带宽才是瓶颈。
  • 误区:量化不影响 decode 速度;正解:量化后权重变小,读取更快,decode 速度提升明显。

追问

  • Q:prefill 阶段也是带宽受限吗? A:不是,prefill 是计算密集型,算力决定 TTFT。
  • Q:怎么提高 decode 速度? A:减少权重大小(量化)、提高带宽(选高带宽 GPU)、增加 batch(摊薄权重读取开销)。

10.8.4-007 云 GPU 怎么选?

频率 ★★★ | 难度 基础

一句话结论

云 GPU 选择要平衡成本和性能:短期实验用按量付费(4090/A10),长期生产用包年包月(A100);注意云厂商的网络带宽和存储 IO,以及是否支持 NVLink。

概念解释

  • 按量付费:灵活,适合实验和突发流量,单价高。
  • 包年包月:单价低,适合长期稳定负载。
  • 竞价实例:价格最低但可能被回收,适合离线任务。
  • 注意:云 GPU 的实际带宽和性能可能比物理卡低(虚拟化开销)。

原理流程

  1. 短期实验:按量付费,4090 或 A10。
  2. 长期生产:包年包月 A100 或 L40S。
  3. 离线批处理:竞价实例,成本最低。
  4. 多卡训练:选支持 NVLink 的实例类型。

代码 / 示例

云 GPU 选择策略:

  场景                推荐实例        付费方式
  ------------------  --------------  --------
  开发/实验           A10/4090       按量
  小规模生产          A10/L4         包月
  中规模生产          A100 40GB      包月
  大规模生产          A100 80GB      包月/包年
  离线批处理          任意           竞价
  多卡训练            8×A100 (NVLink) 包月

常见误区

  • 误区:云 GPU 和物理卡性能一样;正解:虚拟化有开销,实际性能可能打 8~9 折。
  • 误区:只看 GPU 价格;正解:还要考虑网络带宽、存储 IO、数据传输成本。

追问

  • Q:云 GPU 数据怎么传? A:大模型文件通常存储在对象存储,启动时拉取到本地 SSD,避免每次从网络加载。
  • Q:怎么降低云成本? A:用竞价实例跑离线任务、用更小的量化模型、自动扩缩容应对峰值。

10.8.4-008 多卡张量并行怎么配置?

频率 ★★★ | 难度 高级

一句话结论

张量并行把每层的权重矩阵切到多卡,前向时每卡算一部分,再 all-reduce 合并;需要高带宽互联(NVLink),配置时指定 tensor-parallel-size,vLLM 等框架自动处理。

概念解释

  • 列并行:权重矩阵按列切,每卡算一部分输出,拼接。
  • 行并行:权重矩阵按行切,每卡算一部分,all-reduce 合并。
  • 通信:每层有两次 all-reduce,需要 NVLink 高带宽。
  • 配置:vLLM --tensor-parallel-size 2/4/8。

原理流程

  1. 模型加载时,按 TP 数切分每层权重。
  2. 前向:每卡算一部分 → all-reduce 合并 → 下一层。
  3. 通信开销:TP 越大,通信占比越高。
  4. 经验:TP ≤ 8,超过 8 卡用流水线并行。

代码 / 示例

# vLLM 张量并行启动示例
python -m vllm.entrypoints.openai.api_server \
  --model Qwen/Qwen2.5-72B-Instruct \
  --tensor-parallel-size 4 \
  --max-model-len 4096 \
  --gpu-memory-utilization 0.9

# 4 张 GPU 各加载 1/4 权重
# 层间 all-reduce 通过 NVLink 通信
# 总显存 = 模型权重 / TP 数

常见误区

  • 误区:张量并行越多越好;正解:TP 超过 8 卡通信开销太大,效率下降,更多卡用流水线并行。
  • 误区:普通 PCIe 多卡也能高效 TP;正解:TP 需要 NVLink,PCIe 带宽低,通信成为瓶颈。

追问

  • Q:TP 和 PP 怎么组合? A:TP 切层内(节点内,NVLink),PP 切层间(节点间,网络),组合三维并行。
  • Q:怎么判断 TP 是否有效? A:压测对比不同 TP 数的吞吐,TP=2 应该比单卡快接近 2 倍,如果只有 1.2 倍说明通信瓶颈。

待整理清单

  • [ ] 显存监控与告警配置
  • [ ] GPU 利用率分析工具
  • [ ] 自动扩缩容策略
  • [ ] 多机多卡部署
  • [ ] 推理成本优化(每 token 成本)