罗罗编程学习记录
本页内容 展开查看

10.7 模型训练与微调

所属:全栈开发面试题库 / 10 AI 应用开发:LLM 与 Agent

覆盖范围

  • Transformer 结构与注意力机制(训练视角)
  • 预训练、SFT 与指令微调
  • LoRA/QLoRA 与参数高效微调
  • 对齐(RLHF/DPO/PPO 概览与取舍)
  • 量化与显存估算(GPTQ/AWQ/GGUF、INT8/INT4)

子主题

编号 主题 核心内容
10.7.1 Transformer 结构与注意力机制 注意力机制、前向/反向传播、参数规模、并行策略;推理视角见 10.1.1.3
10.7.2 预训练、SFT 与指令微调 预训练语料、SFT 数据构造、指令微调、数据质量与配比
10.7.3 LoRA/QLoRA 与参数高效微调 LoRA 原理、QLoRA 量化微调、PEFT 方法对比、训练超参与显存
10.7.4 对齐(RLHF/DPO/PPO) RLHF 流程、PPO 算法、DPO 直接偏好优化、对齐方法取舍
10.7.5 量化与显存估算 GPTQ/AWQ/GGUF、INT8/INT4、显存计算公式、量化对效果影响

高频题索引

编号 题目 难度 频率 所在页面
10.7.1-001 Transformer 的注意力机制是怎么工作的? 中 高 10.7.1
10.7.2-001 SFT 和预训练有什么区别? 中 高 10.7.2
10.7.3-001 LoRA 为什么能省显存? 中 高 10.7.3
10.7.4-001 RLHF 和 DPO 有什么区别? 中高 高 10.7.4
10.7.5-001 怎么估算微调一个模型需要多少显存? 中 高 10.7.5

当前状态

  • 5 个主题页,每主题页 8 题,合计 40 题。
  • 模型参数规模、显存数字、量化精度等以官方文档和实际硬件为准,本章节不编造固定数值。
  • 推理视角的 Transformer 与 KV Cache 见 10.1.1.3,本章从训练视角写。