罗罗编程学习记录
本页内容 展开查看

10.7.3 LoRA 与 QLoRA 参数高效微调

所属:全栈开发面试题库 / 10 AI 应用开发:LLM 与 Agent / 10.7 模型训练与微调

覆盖范围

  • PEFT(参数高效微调)的核心思想
  • LoRA 原理:低秩分解、旁路注入
  • QLoRA:4bit 量化 + LoRA 的显存优化
  • LoRA 超参数(rank、alpha、dropout、target modules)
  • LoRA 与全量微调的效果对比
  • LoRA 合并与多适配器切换

高频题速览

编号 题目 难度 频率
10.7.3-001 LoRA 的核心原理是什么? 基础 ★★★★★
10.7.3-002 QLoRA 如何进一步降低显存? 进阶 ★★★★★
10.7.3-003 LoRA 的 rank 和 alpha 怎么选? 进阶 ★★★★
10.7.3-004 LoRA 应该注入哪些模块? 进阶 ★★★★
10.7.3-005 LoRA 与全量微调效果差距大吗? 基础 ★★★★
10.7.3-006 LoRA 适配器如何合并和切换? 基础 ★★★
10.7.3-007 QLoRA 的 4bit 量化是什么精度? 进阶 ★★★
10.7.3-008 LoRA 为什么能减少灾难性遗忘? 基础 ★★★

10.7.3-001 LoRA 的核心原理是什么?

频率 ★★★★★ | 难度 基础

一句话结论

LoRA(Low-Rank Adaptation)冻结预训练权重,在旁路注入两个低秩矩阵 A 和 B,只训练 A 和 B;前向时输出 = 原权重输出 + B·A·x,由于 A·B 是低秩矩阵,参数量极少,大幅降低训练显存。

概念解释

  • 低秩假设:微调的权重更新矩阵 ΔW 是低秩的,可以分解为两个小矩阵的乘积。
  • 旁路注入:h = W₀x + ΔW·x = W₀x + BA·x,W₀ 冻结,只训练 A(r×d)和 B(d×r)。
  • 参数量:以 d=4096, r=8 为例,原矩阵 16.8M 参数,LoRA 只有 65K 参数(约 0.4%)。
  • 训练时:只更新 A 和 B 的梯度,W₀ 不参与反向传播。

原理流程

  1. 冻结预训练模型所有权重。
  2. 对目标矩阵(如 attention 的 Q/V 投影)注入 LoRA 旁路。
  3. 前向:h = W₀x + (α/r)·BAx。
  4. 反向:只计算 A 和 B 的梯度,W₀ 不更新。
  5. 训练完成后,可选择将 BA 合并回 W₀,推理时无额外开销。

代码 / 示例

# LoRA 层伪代码
import torch.nn as nn

class LoRALinear(nn.Module):
    def __init__(self, original_layer, rank=8, alpha=16):
        super().__init__()
        self.original = original_layer  # 冻结
        self.original.weight.requires_grad = False
        d = original_layer.out_features
        d_in = original_layer.in_features
        self.lora_A = nn.Parameter(torch.randn(rank, d_in))
        self.lora_B = nn.Parameter(torch.zeros(d, rank))
        self.scaling = alpha / rank

    def forward(self, x):
        return self.original(x) + (self.lora_B @ self.lora_A @ x.T).T * self.scaling

常见误区

  • 误区:LoRA 就是把模型压缩了;正解:LoRA 不压缩模型,原权重完全保留,只是新增少量可训练参数。
  • 误区:LoRA 只能用在 attention 层;正解:LoRA 可以注入任何线性层,实践中 attention 的 Q/V 效果最好。

追问

  • Q:为什么 B 初始化为零? A:训练开始时 LoRA 输出为零,模型行为与原模型一致,训练更稳定。
  • Q:LoRA 推理时额外开销大吗? A:如果合并了适配器,零额外开销;如果不合并,每次前向多一次小矩阵乘,开销可忽略。

10.7.3-002 QLoRA 如何进一步降低显存?

频率 ★★★★★ | 难度 进阶

一句话结论

QLoRA 把冻结的预训练权重量化到 4bit(NF4)存储,同时只对 LoRA 旁路参数用 fp16 训练;这样模型权重占 4bit 显存,优化器状态只跟踪 LoRA 参数,实现单卡微调 65B 级模型。

概念解释

  • 4bit 量化:冻结的权重以 NF4(Normal Float 4)格式存储,计算时反量化到 bf16。
  • 双重量化:量化常数也做量化,进一步节省显存。
  • 分页优化器:GPU 显存不足时,优化器状态自动分页到 CPU 内存。
  • LoRA 部分:A、B 矩阵用 fp16/bf16 训练,梯度和优化器状态都在 bf16。

原理流程

  1. 预训练权重以 4bit 加载到 GPU 显存。
  2. 前向计算时,将权重块反量化为 bf16 做矩阵乘。
  3. LoRA 旁路参数以 bf16 存在显存中,正常前向反向。
  4. 优化器只更新 LoRA 参数,状态量极小。
  5. 激活值随 batch size 和序列长度变化,是另一部分显存。

代码 / 示例

QLoRA 显存估算(以 7B 模型为例):
  模型权重(4bit):  ~3.5 GB (7B × 0.5 bytes)
  LoRA 参数(bf16): ~0.02 GB (约 0.5% 参数)
  LoRA 梯度+优化器: ~0.08 GB (Adam: 2 bytes grad + 8 bytes optimizer)
  激活值(随 batch): ~3-8 GB
  合计:            ~7-12 GB

对比全量微调 7B:
  模型权重(bf16):  ~14 GB
  梯度(bf16):      ~14 GB
  优化器状态(fp32): ~56 GB
  合计:            ~84 GB + 激活

常见误区

  • 误区:QLoRA 的 4bit 精度很低,效果很差;正解:NF4 是专门为神经网络权重设计的 4bit 格式,效果接近 fp16,在大多数任务上差距可接受。
  • 误区:QLoRA 训练时也是 4bit 计算;正解:权重存储是 4bit,但前向计算时反量化为 bf16,计算精度不受影响。

追问

  • Q:NF4 是什么? A:Normal Float 4,一种基于正态分布的 4bit 量化格式,适合神经网络权重的分布特征,由 QLoRA 论文提出。
  • Q:QLoRA 支持多大模型? A:论文报告在单张 48GB GPU 上微调 65B 模型,实际可用性取决于 batch size 和序列长度。

10.7.3-003 LoRA 的 rank 和 alpha 怎么选?

频率 ★★★★ | 难度 进阶

一句话结论

rank(r)控制 LoRA 旁路的表达能力,常用 8~64;alpha 是缩放系数,实际缩放为 α/r,通常设为 r 的 1~2 倍;小 rank 适合简单任务,大 rank 适合复杂领域,但收益递减。

概念解释

  • rank r:低秩矩阵的秩,决定旁路参数量和表达能力。
  • alpha α:缩放系数,实际作用是 α/r。
  • 常见设置:r=8, α=16(缩放 2.0);r=64, α=128(缩放 2.0)。
  • 经验法则:从 r=8 开始试,效果不够再加到 r=16、r=32。

原理流程

  1. 简单分类/风格调整:r=4~8 足够。
  2. 领域知识注入(医学/法律):r=16~64。
  3. 复杂多任务:r=64~128。
  4. alpha 保持为 r 的 2 倍,使缩放比例约为 2。

代码 / 示例

LoRA 超参数选择参考:
  任务类型          rank  alpha  说明
  ----------------  ----  -----  ------------------------
  简单风格迁移      4-8   8-16   只调整输出风格
  通用指令微调      8-16  16-32  大多数 SFT 任务
  领域知识注入      16-64 32-128 需要学习新领域知识
  复杂多任务        32-64 64-128 多领域混合

注意: rank 超过 64 后收益通常递减, 不建议盲目加大

常见误区

  • 误区:rank 越大效果越好;正解:rank 过大可能过拟合,且收益递减,需要在验证集上选最优。
  • 误区:alpha 和 rank 是独立的两个超参数;正解:实际缩放是 α/r,通常保持 α=2r 使缩放比例恒定。

追问

  • Q:LoRA dropout 是什么? A:在 LoRA 旁路上加 dropout 防止过拟合,常用 0.05~0.1,简单任务可以不设。
  • Q:不同任务用不同 rank 有什么讲究? A:任务越复杂、领域差异越大,rank 越大;但 rank 大也意味着更多可训练参数,更易过拟合。

10.7.3-004 LoRA 应该注入哪些模块?

频率 ★★★★ | 难度 进阶

一句话结论

实践中最常用的是注入 attention 的 Q 和 V 投影矩阵(原始 LoRA 论文建议);也有研究表明注入所有线性层(Q/K/V/O + FFN)效果更好;具体选择取决于任务和显存预算。

概念解释

  • Q/V 投影:原始 LoRA 方案,效果好且参数少。
  • 所有 attention 投影(Q/K/V/O):覆盖更全,参数量适中。
  • 所有线性层(含 FFN):覆盖最全,但参数量增大。
  • 选择依据:任务复杂度、显存预算、效果验证。

原理流程

  1. 简单任务:只注入 Q/V,参数量最小。
  2. 通用微调:注入所有 attention 投影。
  3. 领域适应:注入所有线性层,包括 FFN。
  4. 在验证集上对比不同注入策略的效果。

代码 / 示例

不同 target_modules 策略对比:

策略 A (原始 LoRA):
  target_modules: ["q_proj", "v_proj"]
  参数量占比: ~0.5%
  适用: 通用 SFT, 快速实验

策略 B (全 attention):
  target_modules: ["q_proj", "k_proj", "v_proj", "o_proj"]
  参数量占比: ~1%
  适用: 大多数任务

策略 C (全线性层):
  target_modules: ["q_proj","k_proj","v_proj","o_proj",
                   "gate_proj","up_proj","down_proj"]
  参数量占比: ~3-5%
  适用: 领域微调, 复杂任务

常见误区

  • 误区:注入越多越好;正解:注入更多层增加参数量和过拟合风险,不一定提升效果,需要实验验证。
  • 误区:FFN 层不需要 LoRA;正解:FFN 是前馈变换,对领域知识学习有作用,注入 FFN 在领域微调中效果更好。

追问

  • Q:怎么知道模型有哪些线性层? A:打印模型结构,找到所有 nn.Linear 层的名字,根据命名规则选择(如 LLaMA 的 q_proj/v_proj/gate_proj 等)。
  • Q:embedding 和输出层要不要加 LoRA? A:通常不加,因为参数量太大且效果不好;如果要调整词表相关能力,直接训练 embedding 更直接。

10.7.3-005 LoRA 与全量微调效果差距大吗?

频率 ★★★★ | 难度 基础

一句话结论

在大多数通用指令微调任务上,LoRA 与全量微调的效果差距很小(通常 <2%),但 LoRA 显存消耗小一个数量级;在需要大量新知识注入的领域任务上,全量微调可能略好,但 QLoRA 已经能达到接近全量的效果。

概念解释

  • 效果差距:LoRA 限制了可训练参数空间,理论上表达能力弱于全量微调。
  • 实际差距:在多数任务上,LoRA 足以捕捉微调所需的信息,差距很小。
  • 显存效率:LoRA 训练时不需要保存全部参数的梯度和优化器状态,显存大幅降低。
  • 可插拔性:LoRA 适配器是独立小文件,可以在不同任务间切换。

原理流程

  1. 在同一任务上分别跑全量微调、LoRA、QLoRA。
  2. 在验证集和人工评测上对比。
  3. 如果差距在可接受范围,选 LoRA。
  4. 如果差距明显,再考虑全量微调。

代码 / 示例

效果对比(经验范围,以实验为准):
  任务类型          全量 vs LoRA 差距
  ----------------  ------------------
  通用指令 SFT      ~1-2%
  风格/格式调整     ~0-1%
  领域知识注入      ~2-5%
  复杂推理任务      ~1-3%

显存对比(7B 模型):
  全量微调:  ~80-100 GB
  LoRA:      ~20-30 GB
  QLoRA:     ~8-12 GB

常见误区

  • 误区:LoRA 效果一定不如全量微调;正解:在很多任务上两者相当,LoRA 是性价比极高的选择。
  • 误区:LoRA 训练快所以效果差;正解:训练速度快是因为参数量少,不代表效果差,LoRA 的收敛点接近全量微调。

追问

  • Q:什么时候必须用全量微调? A:当需要大规模注入新知识、或 LoRA 验证效果明显不够时,才考虑全量微调。
  • Q:LoRA 训练后能达到全量微调的效果吗? A:在大多数应用场景下可以,但理论上全量微调有更高上限;实际选择以评测为准。

10.7.3-006 LoRA 适配器如何合并和切换?

频率 ★★★ | 难度 基础

一句话结论

训练好的 LoRA 适配器是一个几十 MB 的小文件(含 A、B 矩阵),可以合并回原权重(W = W₀ + α/r · BA)实现零开销推理;也可以不合并,在推理时动态加载不同适配器,实现单模型多风格切换。

概念解释

  • 合并:将 LoRA 权重加到原模型权重上,得到一个完整模型,推理时无额外计算。
  • 切换:保持原模型不变,加载不同 LoRA 适配器到内存,推理时按请求选择适配器。
  • 适配器大小:以 r=8、Q/V 注入为例,约 10~50 MB,远小于模型本身。
  • 多任务部署:一个基座模型 + 多个 LoRA 适配器,服务不同场景。

原理流程

  1. 训练完成,保存 LoRA 权重(A、B 矩阵)。
  2. 合并模式:W_merged = W₀ + scaling · BA,保存为新模型文件。
  3. 切换模式:W₀ 常驻显存,不同适配器按需加载。
  4. 推理时选择当前适配器,前向计算 h = W₀x + scaling·BAx。

代码 / 示例

# 合并 LoRA 到原权重(概念示意)
# for each lora layer:
#   W_merged = W_original + (alpha / rank) * (B @ A)
#
# 切换 LoRA 适配器(vLLM / peft 等框架支持):
#   model.load_adapter("adapter_style_A", adapter_name="A")
#   model.set_adapter("A")
#   output_A = model.generate(prompt)
#
#   model.set_adapter("B")
#   output_B = model.generate(prompt)

常见误区

  • 误区:LoRA 适配器和模型一样大;正解:适配器通常只有几 MB 到几十 MB,非常小。
  • 误区:合并后就不能再切换了;正解:合并是一次性操作,合并后得到独立模型;不合并则可以动态切换。

追问

  • Q:合并后精度有损失吗? A:合并是精确的矩阵加法(bf16 精度下),不会引入额外损失。
  • Q:一个模型能同时挂多少个 LoRA? A:取决于显存,每个适配器几 MB,理论上可以挂很多个;但同时激活的通常只有一个。

10.7.3-007 QLoRA 的 4bit 量化是什么精度?

频率 ★★★ | 难度 进阶

一句话结论

QLoRA 使用 NF4(Normal Float 4)格式存储冻结权重,这是一种基于正态分布的 4bit 量化格式,将权重分布映射到 16 个量化级别;计算时反量化为 bf16,训练精度不受影响。

概念解释

  • NF4:4bit 浮点数,16 个量化值,均匀分布在 [-1, 1] 区间,适合神经网络权重的正态分布特征。
  • 双重量化:对量化常数本身再做一次量化,进一步节省显存。
  • 分页优化器:优化器状态在 CPU 内存和 GPU 显存之间自动分页。
  • 计算精度:权重存储是 4bit,矩阵乘计算时反量化为 bf16。

原理流程

  1. 加载模型时,将 fp16 权重量化为 NF4 存储。
  2. 前向计算:权重块从 NF4 反量化为 bf16 → 矩阵乘。
  3. LoRA 旁路始终是 bf16,正常计算。
  4. 梯度只回传到 LoRA 参数。

代码 / 示例

NF4 vs INT4 对比:
  NF4:
    - 16 个量化级别, 基于正态分布
    - 适合神经网络权重(通常正态分布)
    - 精度损失更小

  INT4:
    - 16 个均匀分布的整数级别
    - 适合激活值分布
    - 对权重的量化误差可能更大

QLoRA 的三个核心技术:
  1. 4bit NF4 量化
  2. 双重量化 (double quantization)
  3. 分页优化器 (paged optimizer)

常见误区

  • 误区:4bit 量化就是简单地截断小数位;正解:NF4 是精心设计的量化格式,考虑了权重分布特征。
  • 误区:QLoRA 训练出来的模型只能用 4bit 推理;正解:QLoRA 训练的 LoRA 适配器可以合并到任意精度的原模型上,推理精度由部署时的模型精度决定。

追问

  • Q:GPTQ 量化和 QLoRA 的 4bit 有什么区别? A:GPTQ 是训练后量化(PTQ),用校准数据优化量化误差;QLoRA 的 4bit 是训练时冻结的,用于减少训练显存,不是推理优化。
  • Q:4bit 量化对效果影响多大? A:QLoRA 论文报告在大多数任务上效果接近全量 bf16 微调,具体以实测为准。

10.7.3-008 LoRA 为什么能减少灾难性遗忘?

频率 ★★★ | 难度 基础

一句话结论

LoRA 冻结了预训练权重,只在旁路做小幅度调整,主干知识完全保留;即使旁路学到了新任务,原模型的能力也不会被覆盖,因此灾难性遗忘程度远小于全量微调。

概念解释

  • 全量微调:所有参数都被更新,预训练知识被部分覆盖。
  • LoRA:主干参数冻结,旁路只做增量调整,原知识不丢失。
  • 遗忘程度:LoRA 的遗忘通常是轻微的,主要在与新任务冲突的领域。
  • 可恢复性:删除 LoRA 适配器即可完全恢复原模型行为。

原理流程

  1. 冻结 W₀,预训练知识完全保留。
  2. 旁路 BA 学习新任务的增量。
  3. 模型输出 = 原输出 + 增量调整,原能力不受破坏。
  4. 卸载适配器 = 完全恢复原模型。

代码 / 示例

遗忘对比:
  全量微调:
    W_new = W₀ + ΔW (ΔW 可能很大, 覆盖原知识)
    → 通用能力可能下降 5-15%

  LoRA:
    W_new = W₀ + (α/r)·BA (BA 很小, 增量调整)
    → 通用能力通常下降 <3%

  QLoRA:
    同 LoRA, 但权重存储是 4bit
    → 遗忘程度与 LoRA 相当

常见误区

  • 误区:LoRA 完全不会遗忘;正解:LoRA 大幅减少遗忘,但不是零遗忘,旁路的增量仍可能影响某些任务。
  • 误区:LoRA 不能用来学习新知识;正解:LoRA 可以学习领域知识,只是表达能力有上限,简单任务足够,复杂任务可能需要更大 rank 或全量微调。

追问

  • Q:怎么验证 LoRA 的遗忘程度? A:微调前后在通用评测集(如 MMLU、GSM8K)上对比分数,观察下降幅度。
  • Q:LoRA 训练后能再训练一个新的 LoRA 吗? A:可以,冻结主干不变,用新数据训练新的 LoRA 旁路,互不影响。

待整理清单

  • [ ] LoRA 系列变体(AdaLoRA、LoRA+、PiSSA 等)
  • [ ] 多 LoRA 并发推理的工程方案
  • [ ] LoRA 与全量微调的效果对比实验设计
  • [ ] 量化对 LoRA 训练效果的影响边界
  • [ ] PEFT 框架(peft、llama.cpp LoRA)的实操差异