10.7 模型训练与微调
所属:全栈开发面试题库 / 10 AI 应用开发:LLM 与 Agent
覆盖范围
- Transformer 结构与注意力机制(训练视角)
- 预训练、SFT 与指令微调
- LoRA/QLoRA 与参数高效微调
- 对齐(RLHF/DPO/PPO 概览与取舍)
- 量化与显存估算(GPTQ/AWQ/GGUF、INT8/INT4)
子主题
高频题索引
| 编号 |
题目 |
难度 |
频率 |
所在页面 |
| 10.7.1-001 |
Transformer 的注意力机制是怎么工作的? |
中 |
高 |
10.7.1 |
| 10.7.2-001 |
SFT 和预训练有什么区别? |
中 |
高 |
10.7.2 |
| 10.7.3-001 |
LoRA 为什么能省显存? |
中 |
高 |
10.7.3 |
| 10.7.4-001 |
RLHF 和 DPO 有什么区别? |
中高 |
高 |
10.7.4 |
| 10.7.5-001 |
怎么估算微调一个模型需要多少显存? |
中 |
高 |
10.7.5 |
当前状态
- 5 个主题页,每主题页 8 题,合计 40 题。
- 模型参数规模、显存数字、量化精度等以官方文档和实际硬件为准,本章节不编造固定数值。
- 推理视角的 Transformer 与 KV Cache 见 10.1.1.3,本章从训练视角写。