10.7.3 LoRA 与 QLoRA 参数高效微调
所属:全栈开发面试题库 / 10 AI 应用开发:LLM 与 Agent / 10.7 模型训练与微调
覆盖范围
- PEFT(参数高效微调)的核心思想
- LoRA 原理:低秩分解、旁路注入
- QLoRA:4bit 量化 + LoRA 的显存优化
- LoRA 超参数(rank、alpha、dropout、target modules)
- LoRA 与全量微调的效果对比
- LoRA 合并与多适配器切换
高频题速览
| 编号 | 题目 | 难度 | 频率 |
|---|---|---|---|
| 10.7.3-001 | LoRA 的核心原理是什么? | 基础 | ★★★★★ |
| 10.7.3-002 | QLoRA 如何进一步降低显存? | 进阶 | ★★★★★ |
| 10.7.3-003 | LoRA 的 rank 和 alpha 怎么选? | 进阶 | ★★★★ |
| 10.7.3-004 | LoRA 应该注入哪些模块? | 进阶 | ★★★★ |
| 10.7.3-005 | LoRA 与全量微调效果差距大吗? | 基础 | ★★★★ |
| 10.7.3-006 | LoRA 适配器如何合并和切换? | 基础 | ★★★ |
| 10.7.3-007 | QLoRA 的 4bit 量化是什么精度? | 进阶 | ★★★ |
| 10.7.3-008 | LoRA 为什么能减少灾难性遗忘? | 基础 | ★★★ |
10.7.3-001 LoRA 的核心原理是什么?
频率 ★★★★★ | 难度 基础
一句话结论
LoRA(Low-Rank Adaptation)冻结预训练权重,在旁路注入两个低秩矩阵 A 和 B,只训练 A 和 B;前向时输出 = 原权重输出 + B·A·x,由于 A·B 是低秩矩阵,参数量极少,大幅降低训练显存。
概念解释
- 低秩假设:微调的权重更新矩阵 ΔW 是低秩的,可以分解为两个小矩阵的乘积。
- 旁路注入:h = W₀x + ΔW·x = W₀x + BA·x,W₀ 冻结,只训练 A(r×d)和 B(d×r)。
- 参数量:以 d=4096, r=8 为例,原矩阵 16.8M 参数,LoRA 只有 65K 参数(约 0.4%)。
- 训练时:只更新 A 和 B 的梯度,W₀ 不参与反向传播。
原理流程
- 冻结预训练模型所有权重。
- 对目标矩阵(如 attention 的 Q/V 投影)注入 LoRA 旁路。
- 前向:h = W₀x + (α/r)·BAx。
- 反向:只计算 A 和 B 的梯度,W₀ 不更新。
- 训练完成后,可选择将 BA 合并回 W₀,推理时无额外开销。
代码 / 示例
# LoRA 层伪代码
import torch.nn as nn
class LoRALinear(nn.Module):
def __init__(self, original_layer, rank=8, alpha=16):
super().__init__()
self.original = original_layer # 冻结
self.original.weight.requires_grad = False
d = original_layer.out_features
d_in = original_layer.in_features
self.lora_A = nn.Parameter(torch.randn(rank, d_in))
self.lora_B = nn.Parameter(torch.zeros(d, rank))
self.scaling = alpha / rank
def forward(self, x):
return self.original(x) + (self.lora_B @ self.lora_A @ x.T).T * self.scaling
常见误区
- 误区:LoRA 就是把模型压缩了;正解:LoRA 不压缩模型,原权重完全保留,只是新增少量可训练参数。
- 误区:LoRA 只能用在 attention 层;正解:LoRA 可以注入任何线性层,实践中 attention 的 Q/V 效果最好。
追问
- Q:为什么 B 初始化为零? A:训练开始时 LoRA 输出为零,模型行为与原模型一致,训练更稳定。
- Q:LoRA 推理时额外开销大吗? A:如果合并了适配器,零额外开销;如果不合并,每次前向多一次小矩阵乘,开销可忽略。
10.7.3-002 QLoRA 如何进一步降低显存?
频率 ★★★★★ | 难度 进阶
一句话结论
QLoRA 把冻结的预训练权重量化到 4bit(NF4)存储,同时只对 LoRA 旁路参数用 fp16 训练;这样模型权重占 4bit 显存,优化器状态只跟踪 LoRA 参数,实现单卡微调 65B 级模型。
概念解释
- 4bit 量化:冻结的权重以 NF4(Normal Float 4)格式存储,计算时反量化到 bf16。
- 双重量化:量化常数也做量化,进一步节省显存。
- 分页优化器:GPU 显存不足时,优化器状态自动分页到 CPU 内存。
- LoRA 部分:A、B 矩阵用 fp16/bf16 训练,梯度和优化器状态都在 bf16。
原理流程
- 预训练权重以 4bit 加载到 GPU 显存。
- 前向计算时,将权重块反量化为 bf16 做矩阵乘。
- LoRA 旁路参数以 bf16 存在显存中,正常前向反向。
- 优化器只更新 LoRA 参数,状态量极小。
- 激活值随 batch size 和序列长度变化,是另一部分显存。
代码 / 示例
QLoRA 显存估算(以 7B 模型为例):
模型权重(4bit): ~3.5 GB (7B × 0.5 bytes)
LoRA 参数(bf16): ~0.02 GB (约 0.5% 参数)
LoRA 梯度+优化器: ~0.08 GB (Adam: 2 bytes grad + 8 bytes optimizer)
激活值(随 batch): ~3-8 GB
合计: ~7-12 GB
对比全量微调 7B:
模型权重(bf16): ~14 GB
梯度(bf16): ~14 GB
优化器状态(fp32): ~56 GB
合计: ~84 GB + 激活
常见误区
- 误区:QLoRA 的 4bit 精度很低,效果很差;正解:NF4 是专门为神经网络权重设计的 4bit 格式,效果接近 fp16,在大多数任务上差距可接受。
- 误区:QLoRA 训练时也是 4bit 计算;正解:权重存储是 4bit,但前向计算时反量化为 bf16,计算精度不受影响。
追问
- Q:NF4 是什么? A:Normal Float 4,一种基于正态分布的 4bit 量化格式,适合神经网络权重的分布特征,由 QLoRA 论文提出。
- Q:QLoRA 支持多大模型? A:论文报告在单张 48GB GPU 上微调 65B 模型,实际可用性取决于 batch size 和序列长度。
10.7.3-003 LoRA 的 rank 和 alpha 怎么选?
频率 ★★★★ | 难度 进阶
一句话结论
rank(r)控制 LoRA 旁路的表达能力,常用 8~64;alpha 是缩放系数,实际缩放为 α/r,通常设为 r 的 1~2 倍;小 rank 适合简单任务,大 rank 适合复杂领域,但收益递减。
概念解释
- rank r:低秩矩阵的秩,决定旁路参数量和表达能力。
- alpha α:缩放系数,实际作用是 α/r。
- 常见设置:r=8, α=16(缩放 2.0);r=64, α=128(缩放 2.0)。
- 经验法则:从 r=8 开始试,效果不够再加到 r=16、r=32。
原理流程
- 简单分类/风格调整:r=4~8 足够。
- 领域知识注入(医学/法律):r=16~64。
- 复杂多任务:r=64~128。
- alpha 保持为 r 的 2 倍,使缩放比例约为 2。
代码 / 示例
LoRA 超参数选择参考:
任务类型 rank alpha 说明
---------------- ---- ----- ------------------------
简单风格迁移 4-8 8-16 只调整输出风格
通用指令微调 8-16 16-32 大多数 SFT 任务
领域知识注入 16-64 32-128 需要学习新领域知识
复杂多任务 32-64 64-128 多领域混合
注意: rank 超过 64 后收益通常递减, 不建议盲目加大
常见误区
- 误区:rank 越大效果越好;正解:rank 过大可能过拟合,且收益递减,需要在验证集上选最优。
- 误区:alpha 和 rank 是独立的两个超参数;正解:实际缩放是 α/r,通常保持 α=2r 使缩放比例恒定。
追问
- Q:LoRA dropout 是什么? A:在 LoRA 旁路上加 dropout 防止过拟合,常用 0.05~0.1,简单任务可以不设。
- Q:不同任务用不同 rank 有什么讲究? A:任务越复杂、领域差异越大,rank 越大;但 rank 大也意味着更多可训练参数,更易过拟合。
10.7.3-004 LoRA 应该注入哪些模块?
频率 ★★★★ | 难度 进阶
一句话结论
实践中最常用的是注入 attention 的 Q 和 V 投影矩阵(原始 LoRA 论文建议);也有研究表明注入所有线性层(Q/K/V/O + FFN)效果更好;具体选择取决于任务和显存预算。
概念解释
- Q/V 投影:原始 LoRA 方案,效果好且参数少。
- 所有 attention 投影(Q/K/V/O):覆盖更全,参数量适中。
- 所有线性层(含 FFN):覆盖最全,但参数量增大。
- 选择依据:任务复杂度、显存预算、效果验证。
原理流程
- 简单任务:只注入 Q/V,参数量最小。
- 通用微调:注入所有 attention 投影。
- 领域适应:注入所有线性层,包括 FFN。
- 在验证集上对比不同注入策略的效果。
代码 / 示例
不同 target_modules 策略对比:
策略 A (原始 LoRA):
target_modules: ["q_proj", "v_proj"]
参数量占比: ~0.5%
适用: 通用 SFT, 快速实验
策略 B (全 attention):
target_modules: ["q_proj", "k_proj", "v_proj", "o_proj"]
参数量占比: ~1%
适用: 大多数任务
策略 C (全线性层):
target_modules: ["q_proj","k_proj","v_proj","o_proj",
"gate_proj","up_proj","down_proj"]
参数量占比: ~3-5%
适用: 领域微调, 复杂任务
常见误区
- 误区:注入越多越好;正解:注入更多层增加参数量和过拟合风险,不一定提升效果,需要实验验证。
- 误区:FFN 层不需要 LoRA;正解:FFN 是前馈变换,对领域知识学习有作用,注入 FFN 在领域微调中效果更好。
追问
- Q:怎么知道模型有哪些线性层? A:打印模型结构,找到所有
nn.Linear层的名字,根据命名规则选择(如 LLaMA 的 q_proj/v_proj/gate_proj 等)。 - Q:embedding 和输出层要不要加 LoRA? A:通常不加,因为参数量太大且效果不好;如果要调整词表相关能力,直接训练 embedding 更直接。
10.7.3-005 LoRA 与全量微调效果差距大吗?
频率 ★★★★ | 难度 基础
一句话结论
在大多数通用指令微调任务上,LoRA 与全量微调的效果差距很小(通常 <2%),但 LoRA 显存消耗小一个数量级;在需要大量新知识注入的领域任务上,全量微调可能略好,但 QLoRA 已经能达到接近全量的效果。
概念解释
- 效果差距:LoRA 限制了可训练参数空间,理论上表达能力弱于全量微调。
- 实际差距:在多数任务上,LoRA 足以捕捉微调所需的信息,差距很小。
- 显存效率:LoRA 训练时不需要保存全部参数的梯度和优化器状态,显存大幅降低。
- 可插拔性:LoRA 适配器是独立小文件,可以在不同任务间切换。
原理流程
- 在同一任务上分别跑全量微调、LoRA、QLoRA。
- 在验证集和人工评测上对比。
- 如果差距在可接受范围,选 LoRA。
- 如果差距明显,再考虑全量微调。
代码 / 示例
效果对比(经验范围,以实验为准):
任务类型 全量 vs LoRA 差距
---------------- ------------------
通用指令 SFT ~1-2%
风格/格式调整 ~0-1%
领域知识注入 ~2-5%
复杂推理任务 ~1-3%
显存对比(7B 模型):
全量微调: ~80-100 GB
LoRA: ~20-30 GB
QLoRA: ~8-12 GB
常见误区
- 误区:LoRA 效果一定不如全量微调;正解:在很多任务上两者相当,LoRA 是性价比极高的选择。
- 误区:LoRA 训练快所以效果差;正解:训练速度快是因为参数量少,不代表效果差,LoRA 的收敛点接近全量微调。
追问
- Q:什么时候必须用全量微调? A:当需要大规模注入新知识、或 LoRA 验证效果明显不够时,才考虑全量微调。
- Q:LoRA 训练后能达到全量微调的效果吗? A:在大多数应用场景下可以,但理论上全量微调有更高上限;实际选择以评测为准。
10.7.3-006 LoRA 适配器如何合并和切换?
频率 ★★★ | 难度 基础
一句话结论
训练好的 LoRA 适配器是一个几十 MB 的小文件(含 A、B 矩阵),可以合并回原权重(W = W₀ + α/r · BA)实现零开销推理;也可以不合并,在推理时动态加载不同适配器,实现单模型多风格切换。
概念解释
- 合并:将 LoRA 权重加到原模型权重上,得到一个完整模型,推理时无额外计算。
- 切换:保持原模型不变,加载不同 LoRA 适配器到内存,推理时按请求选择适配器。
- 适配器大小:以 r=8、Q/V 注入为例,约 10~50 MB,远小于模型本身。
- 多任务部署:一个基座模型 + 多个 LoRA 适配器,服务不同场景。
原理流程
- 训练完成,保存 LoRA 权重(A、B 矩阵)。
- 合并模式:W_merged = W₀ + scaling · BA,保存为新模型文件。
- 切换模式:W₀ 常驻显存,不同适配器按需加载。
- 推理时选择当前适配器,前向计算 h = W₀x + scaling·BAx。
代码 / 示例
# 合并 LoRA 到原权重(概念示意)
# for each lora layer:
# W_merged = W_original + (alpha / rank) * (B @ A)
#
# 切换 LoRA 适配器(vLLM / peft 等框架支持):
# model.load_adapter("adapter_style_A", adapter_name="A")
# model.set_adapter("A")
# output_A = model.generate(prompt)
#
# model.set_adapter("B")
# output_B = model.generate(prompt)
常见误区
- 误区:LoRA 适配器和模型一样大;正解:适配器通常只有几 MB 到几十 MB,非常小。
- 误区:合并后就不能再切换了;正解:合并是一次性操作,合并后得到独立模型;不合并则可以动态切换。
追问
- Q:合并后精度有损失吗? A:合并是精确的矩阵加法(bf16 精度下),不会引入额外损失。
- Q:一个模型能同时挂多少个 LoRA? A:取决于显存,每个适配器几 MB,理论上可以挂很多个;但同时激活的通常只有一个。
10.7.3-007 QLoRA 的 4bit 量化是什么精度?
频率 ★★★ | 难度 进阶
一句话结论
QLoRA 使用 NF4(Normal Float 4)格式存储冻结权重,这是一种基于正态分布的 4bit 量化格式,将权重分布映射到 16 个量化级别;计算时反量化为 bf16,训练精度不受影响。
概念解释
- NF4:4bit 浮点数,16 个量化值,均匀分布在 [-1, 1] 区间,适合神经网络权重的正态分布特征。
- 双重量化:对量化常数本身再做一次量化,进一步节省显存。
- 分页优化器:优化器状态在 CPU 内存和 GPU 显存之间自动分页。
- 计算精度:权重存储是 4bit,矩阵乘计算时反量化为 bf16。
原理流程
- 加载模型时,将 fp16 权重量化为 NF4 存储。
- 前向计算:权重块从 NF4 反量化为 bf16 → 矩阵乘。
- LoRA 旁路始终是 bf16,正常计算。
- 梯度只回传到 LoRA 参数。
代码 / 示例
NF4 vs INT4 对比:
NF4:
- 16 个量化级别, 基于正态分布
- 适合神经网络权重(通常正态分布)
- 精度损失更小
INT4:
- 16 个均匀分布的整数级别
- 适合激活值分布
- 对权重的量化误差可能更大
QLoRA 的三个核心技术:
1. 4bit NF4 量化
2. 双重量化 (double quantization)
3. 分页优化器 (paged optimizer)
常见误区
- 误区:4bit 量化就是简单地截断小数位;正解:NF4 是精心设计的量化格式,考虑了权重分布特征。
- 误区:QLoRA 训练出来的模型只能用 4bit 推理;正解:QLoRA 训练的 LoRA 适配器可以合并到任意精度的原模型上,推理精度由部署时的模型精度决定。
追问
- Q:GPTQ 量化和 QLoRA 的 4bit 有什么区别? A:GPTQ 是训练后量化(PTQ),用校准数据优化量化误差;QLoRA 的 4bit 是训练时冻结的,用于减少训练显存,不是推理优化。
- Q:4bit 量化对效果影响多大? A:QLoRA 论文报告在大多数任务上效果接近全量 bf16 微调,具体以实测为准。
10.7.3-008 LoRA 为什么能减少灾难性遗忘?
频率 ★★★ | 难度 基础
一句话结论
LoRA 冻结了预训练权重,只在旁路做小幅度调整,主干知识完全保留;即使旁路学到了新任务,原模型的能力也不会被覆盖,因此灾难性遗忘程度远小于全量微调。
概念解释
- 全量微调:所有参数都被更新,预训练知识被部分覆盖。
- LoRA:主干参数冻结,旁路只做增量调整,原知识不丢失。
- 遗忘程度:LoRA 的遗忘通常是轻微的,主要在与新任务冲突的领域。
- 可恢复性:删除 LoRA 适配器即可完全恢复原模型行为。
原理流程
- 冻结 W₀,预训练知识完全保留。
- 旁路 BA 学习新任务的增量。
- 模型输出 = 原输出 + 增量调整,原能力不受破坏。
- 卸载适配器 = 完全恢复原模型。
代码 / 示例
遗忘对比:
全量微调:
W_new = W₀ + ΔW (ΔW 可能很大, 覆盖原知识)
→ 通用能力可能下降 5-15%
LoRA:
W_new = W₀ + (α/r)·BA (BA 很小, 增量调整)
→ 通用能力通常下降 <3%
QLoRA:
同 LoRA, 但权重存储是 4bit
→ 遗忘程度与 LoRA 相当
常见误区
- 误区:LoRA 完全不会遗忘;正解:LoRA 大幅减少遗忘,但不是零遗忘,旁路的增量仍可能影响某些任务。
- 误区:LoRA 不能用来学习新知识;正解:LoRA 可以学习领域知识,只是表达能力有上限,简单任务足够,复杂任务可能需要更大 rank 或全量微调。
追问
- Q:怎么验证 LoRA 的遗忘程度? A:微调前后在通用评测集(如 MMLU、GSM8K)上对比分数,观察下降幅度。
- Q:LoRA 训练后能再训练一个新的 LoRA 吗? A:可以,冻结主干不变,用新数据训练新的 LoRA 旁路,互不影响。
待整理清单
- [ ] LoRA 系列变体(AdaLoRA、LoRA+、PiSSA 等)
- [ ] 多 LoRA 并发推理的工程方案
- [ ] LoRA 与全量微调的效果对比实验设计
- [ ] 量化对 LoRA 训练效果的影响边界
- [ ] PEFT 框架(peft、llama.cpp LoRA)的实操差异