罗罗编程学习记录
本页内容 展开查看

10.7.4 对齐(RLHF/DPO/PPO 概览与取舍)

所属:全栈开发面试题库 / 10 AI 应用开发:LLM 与 Agent / 10.7 模型训练与微调

覆盖范围

  • 对齐的目标与为什么需要对齐
  • RLHF 三阶段流程(SFT → 奖励模型 → PPO)
  • PPO 算法在 LLM 中的应用与局限
  • DPO(直接偏好优化)原理与优势
  • RLHF 与 DPO 的取舍
  • 奖励模型训练与偏好数据

高频题速览

编号 题目 难度 频率
10.7.4-001 什么是对齐,为什么需要对齐? 基础 ★★★★★
10.7.4-002 RLHF 的完整流程是什么? 进阶 ★★★★★
10.7.4-003 PPO 在 LLM 训练中如何工作? 高级 ★★★★
10.7.4-004 DPO 相比 RLHF 有什么优势? 进阶 ★★★★
10.7.4-005 奖励模型如何训练? 进阶 ★★★
10.7.4-006 RLHF 和 DPO 怎么选? 基础 ★★★★
10.7.4-007 什么是对齐税? 基础 ★★★
10.7.4-008 偏好数据如何构造? 进阶 ★★★

10.7.4-001 什么是对齐,为什么需要对齐?

频率 ★★★★★ | 难度 基础

一句话结论

对齐(Alignment)是让模型行为符合人类偏好和价值观的过程;预训练模型只学会了预测下一个 token,可能输出有害、虚假、格式不对的内容,需要通过 SFT + 偏好优化(RLHF/DPO)让模型变得有用、诚实、无害。

概念解释

  • 预训练模型:擅长语言建模,但不知道该怎么回答用户。
  • SFT:教会模型按指令格式回答,是对齐的第一步。
  • 偏好优化:在 SFT 基础上,让模型输出人类更喜欢的回答(更长更详细、更准确、更安全)。
  • 对齐目标:有用(Helpful)、诚实(Honest)、无害(Harmless),即 3H 原则。

原理流程

  1. 预训练:通用语言能力。
  2. SFT:指令格式对齐。
  3. 偏好优化:人类偏好对齐(RLHF 或 DPO)。
  4. 评估:对齐后的模型在安全性、有用性评测上提升。

代码 / 示例

对齐流程:
  预训练底座模型
    → SFT (指令格式)
    → 偏好优化 (RLHF / DPO)
    → 对齐后模型

不对齐的表现:
  - 输出有害内容
  - 不按格式回答
  - 过于简短或冗长
  - 编造事实

常见误区

  • 误区:SFT 就是对齐;正解:SFT 只是对齐的第一步,解决格式问题;偏好优化解决质量和偏好问题。
  • 误区:对齐就是让模型变得更安全;正解:对齐同时包括有用性和诚实性,不只是安全。

追问

  • Q:为什么预训练模型不能直接用? A:预训练目标是预测下一个 token,不是回答问题;它可能续写用户输入而不是回答,格式也不对。
  • Q:对齐有什么风险? A:过度对齐可能导致模型不敢回答(sycophancy、refusal overkill),需要在有用性和安全性之间平衡。

10.7.4-002 RLHF 的完整流程是什么?

频率 ★★★★★ | 难度 进阶

一句话结论

RLHF 分三阶段:第一阶段 SFT 训练指令遵循模型;第二阶段收集人类偏好数据训练奖励模型(RM);第三阶段用 PPO 算法以 RM 的得分为奖励信号优化 LLM,使模型输出人类更喜欢的回答。

概念解释

  • 阶段一 SFT:监督微调,得到初步对话模型。
  • 阶段二 RM:对同一 prompt 生成多个回答,人类排序,训练奖励模型预测回答质量。
  • 阶段三 PPO:用 RM 给模型生成的回答打分,以打分为奖励信号,用强化学习(PPO)更新 LLM。
  • KL 约束:PPO 中加入与 SFT 模型的 KL 散度惩罚,防止模型跑偏。

原理流程

  1. SFT:在指令数据上微调,得到 policy 模型。
  2. 收集偏好数据:对每个 prompt 采样多个回答,人类排序偏好。
  3. 训练 RM:输入 (prompt, response),输出标量分数,使偏好的回答得分更高。
  4. PPO 优化:LLM 生成回答 → RM 打分 → 计算策略梯度 → 更新 LLM。
  5. 加入 KL 惩罚:确保 LLM 不偏离 SFT 模型太远。

代码 / 示例

RLHF 三阶段:

阶段 1: SFT
  数据: 指令-回答对
  输出: SFT 模型

阶段 2: 奖励模型训练
  数据: (prompt, 回答 A, 回答 B, 偏好: A>B)
  损失: 成对损失 -log(sigmoid(R(A) - R(B)))
  输出: RM 模型

阶段 3: PPO 优化
  对每个 prompt:
    1. SFT 模型生成多个回答
    2. RM 给每个回答打分
    3. PPO 更新 LLM, 使高分回答概率增加
    4. 加 KL 惩罚: reward = RM_score - β * KL(LLM || SFT)

常见误区

  • 误区:RLHF 就是让模型模仿人类回答;正解:RLHF 用奖励信号做强化学习,不是直接模仿。
  • 误区:奖励模型是完美的;正解:RM 本身有偏差和局限,可能被模型"欺骗"(reward hacking)。

追问

  • Q:什么是 reward hacking? A:模型学会输出 RM 喜欢的回答(如过度冗长、套路化),但不一定是人类真正喜欢的,RM 被"钻空子"。
  • Q:PPO 训练稳定吗? A:PPO 超参数敏感,容易训练不稳定,需要仔细调参,这也是 DPO 流行的原因之一。

10.7.4-003 PPO 在 LLM 训练中如何工作?

频率 ★★★★ | 难度 高级

一句话结论

PPO(Proximal Policy Optimization)是一种策略梯度强化学习算法:LLM 作为策略网络,生成回答;RM 给回答打分作为奖励;PPO 限制每次更新的步长,使新策略不偏离旧策略太远;同时加 KL 惩罚防止模型跑偏。

概念解释

  • 策略网络:LLM 本身,输出 token 概率分布。
  • 奖励:RM 对生成回答的打分。
  • KL 惩罚:与参考模型(SFT 模型)的 KL 散度,防止策略更新过大。
  • PPO 裁剪:限制概率更新比例,避免一步走太远。
  • 价值函数:critic 网络估计状态价值,减少方差。

原理流程

  1. LLM(policy)对 prompt 生成回答(多个 token)。
  2. RM 对整个回答打分,作为每个 token 的奖励。
  3. 计算 advantage(优势):实际奖励 - 基线价值。
  4. PPO 更新:新策略概率 × advantage,裁剪更新比例。
  5. 加 KL 惩罚:log(π_new / π_ref) 作为额外奖励项。
  6. 重复多个 epoch。

代码 / 示例

PPO 损失函数(简化):

L = E[ min( ratio * A,
            clip(ratio, 1-ε, 1+ε) * A ) ]
    - β * KL(π_θ || π_ref)

其中:
  ratio = π_θ(new|s) / π_θ_old(new|s)  # 新旧策略概率比
  A = advantage  # 优势函数
  ε = 0.1~0.2    # PPO 裁剪范围
  β = 0.01~0.5   # KL 惩罚系数

组件:
  π_θ:    当前训练的 LLM (policy)
  π_ref:  冻结的 SFT 模型 (reference)
  RM:     奖励模型 (frozen)
  Critic: 价值网络 (估计 baseline)

常见误区

  • 误区:PPO 就是直接最大化 RM 分数;正解:PPO 加了 KL 约束和步长限制,不是无脑最大化奖励。
  • 误区:PPO 训练一次就够了;正解:PPO 通常需要多轮迭代,每轮重新生成数据并更新。

追问

  • Q:PPO 为什么需要 critic 网络? A:critic 估计状态价值作为基线,减少策略梯度的方差,让训练更稳定。
  • Q:PPO 的显存开销大吗? A:很大,需要同时加载 policy、reference、RM、critic 四个模型,7B 模型 PPO 训练需要上百 GB 显存。

10.7.4-004 DPO 相比 RLHF 有什么优势?

频率 ★★★★ | 难度 进阶

一句话结论

DPO(Direct Preference Optimization)跳过奖励模型和 PPO,直接用偏好数据优化 LLM:通过数学推导证明,偏好优化可以转化为一个简单的二分类损失,不需要强化学习,训练更稳定、更简单、显存更低。

概念解释

  • DPO 核心思想:偏好优化等价于直接最大化 (chosen 回答概率 - rejected 回答概率)。
  • 不需要 RM:不训练奖励模型,直接用偏好数据。
  • 不需要 PPO:不需要强化学习,就是标准的监督学习。
  • 数学推导:从 RLHF 的目标函数出发,推导出一个闭式解。

原理流程

  1. 准备偏好数据:(prompt, chosen_response, rejected_response)。
  2. 对 chosen 和 rejected 分别计算 log 概率。
  3. 损失:-log(sigmoid(β · (log π(chosen)/π_ref(chosen) - log π(rejected)/π_ref(rejected))))
  4. 反向传播更新 LLM 参数。
  5. 训练完成,直接得到对齐后的模型。

代码 / 示例

# DPO 损失(概念示意)
#
# 输入:
#   prompt, chosen, rejected
#   π_ref: 冻结的参考模型(SFT 模型)
#   π:     当前训练的模型
#   β:     温度系数 (通常 0.1~0.5)
#
# 损失:
#   loss = -log_sigmoid(
#     β * ( log π(chosen|prompt) - log π_ref(chosen|prompt)
#         - log π(rejected|prompt) + log π_ref(rejected|prompt) )
#   )
#
# 直觉: 让 chosen 相对于参考模型的概率增加, rejected 相对于参考模型的概率减少

常见误区

  • 误区:DPO 效果不如 RLHF;正解:在很多任务上 DPO 效果与 RLHF 相当甚至更好,且更简单稳定。
  • 误区:DPO 不需要参考模型;正解:DPO 需要一个冻结的参考模型(通常是 SFT 模型),用于计算 baseline。

追问

  • Q:DPO 相比 PPO 省多少显存? A:DPO 只需要两个模型(policy + reference),不需要 RM 和 critic,显存大约是 PPO 的一半。
  • Q:DPO 有什么局限性? A:DPO 只能做成对偏好优化,不能做在线探索(PPO 可以生成新数据再优化);DPO 对数据质量更敏感。

10.7.4-005 奖励模型如何训练?

频率 ★★★ | 难度 进阶

一句话结论

奖励模型通常以 SFT 模型为底座,去掉输出头,加一个标量输出头;用成对偏好数据训练:给定 (prompt, 回答 A, 回答 B),让模型预测哪个回答更好,损失为成对排序损失。

概念解释

  • 模型结构:与 LLM 相同的主干,最后一个 token 的隐藏状态接一个线性层输出标量分数。
  • 训练数据:人类对同一 prompt 的多个回答排序。
  • 损失:成对损失,使 chosen 回答得分高于 rejected 回答。
  • 评估:在 held-out 偏好对上测试 RM 的排序准确率。

原理流程

  1. 以 SFT 模型初始化 RM。
  2. 收集偏好数据:对每个 prompt 采样多个回答,人类排序。
  3. 训练 RM:对 chosen 和 rejected 分别计算分数,用成对损失优化。
  4. 评估 RM:在测试集上看 RM 判断与人类判断的一致性。
  5. RM 冻结,用于 PPO 阶段。

代码 / 示例

RM 训练损失:
  对 (prompt, y_w, y_l):
    r_w = RM(prompt, y_w)  # 更好回答的分数
    r_l = RM(prompt, y_l)  # 更差回答的分数
    loss = -log(sigmoid(r_w - r_l))

直觉: 让 chosen 分数 > rejected 分数

常见误区

  • 误区:奖励模型越大越好;正解:RM 只需要学会排序,通常 7B 级别的 RM 就足够引导 70B 级别的 LLM。
  • 误区:RM 训练数据越多越好;正解:RM 数据质量比数量重要,噪声标签会让 RM 学偏。

追问

  • Q:RM 的分数绝对数值有意义吗? A:RM 的分数主要用于排序,绝对数值没有绝对意义,不同 prompt 的分数不可直接比较。
  • Q:怎么评估 RM 好不好? A:看 RM 在 held-out 偏好对上的排序准确率,通常 60%~70% 以上就算可用。

10.7.4-006 RLHF 和 DPO 怎么选?

频率 ★★★★ | 难度 基础

一句话结论

如果追求简单稳定、显存有限、只有离线偏好数据,选 DPO;如果需要在线探索、复杂偏好场景、有足够算力,选 PPO;实践中 DPO 已经成为很多团队的默认选择。

概念解释

  • DPO 优势:简单、稳定、显存低、不需要 RM。
  • DPO 局限:只能离线优化,不能在线探索新策略。
  • PPO 优势:可以在线迭代,理论上更灵活。
  • PPO 局限:复杂、不稳定、显存大、需要调参。

原理流程

  1. 有离线偏好数据、算力有限 → 选 DPO。
  2. 需要在线探索、有大算力团队 → 选 PPO。
  3. 先试 DPO,效果不够再考虑 PPO。

代码 / 示例

选择参考:

场景                        推荐方案
--------------------------  --------
  个人开发者/小团队           DPO
  快速实验/验证想法           DPO
  只有离线偏好数据            DPO
  显存有限(<48GB)            DPO
  大公司/有算力团队           PPO 或 DPO
  需要在线探索/迭代           PPO
  复杂多维度偏好              PPO + 多 RM

常见误区

  • 误区:PPO 一定比 DPO 好;正解:DPO 在很多任务上效果与 PPO 相当,且更简单,是工程上的首选。
  • 误区:DPO 是 RLHF 的替代品;正解:DPO 是一种不同的偏好优化方法,不是 RLHF 的简化版,而是从数学上推导出的等价方案。

追问

  • Q:DPO 有哪些变体? A:IPO、KTO、ORPO 等,都是在 DPO 基础上改进损失函数或训练方式,效果各有差异。
  • Q:如果没有偏好数据怎么办? A:可以用强模型(如 GPT-4)生成 chosen 回答,用弱模型或随机采样生成 rejected 回答,做合成偏好数据。

10.7.4-007 什么是对齐税?

频率 ★★★ | 难度 基础

一句话结论

对齐税指模型经过对齐(SFT + RLHF/DPO)后,在某些纯知识或推理任务上的表现比未对齐的底座模型略差;这是因为对齐过程中模型的行为被调整为人类偏好,可能牺牲了部分原始能力。

概念解释

  • 现象:对齐后的模型在 MMLU、GSM8K 等基准上分数略低于底座模型。
  • 原因:对齐优化的是人类偏好,不是基准分数;模型变得更安全、更礼貌,但可能在某些推理任务上略保守。
  • 缓解:在偏好数据中加入高质量推理数据,减少对齐税。
  • 程度:通常对齐税在 1%~5% 范围内,是可接受的代价。

原理流程

  1. 底座模型在知识基准上测基线。
  2. SFT + 对齐后再测。
  3. 观察分数下降幅度。
  4. 如果下降过多,调整偏好数据配比。

代码 / 示例

对齐税示例(示意,具体数字以实验为准):
  任务          底座模型   对齐后    变化
  ------------  --------  --------  ------
  MMLU          65%       63%       -2%
  GSM8K         70%       68%       -2%
  人类偏好评分   3.0/5     4.5/5     +50%

常见误区

  • 误区:对齐税是不可接受的;正解:对齐带来的有用性和安全性提升远大于知识任务上的轻微下降。
  • 误区:对齐税越大说明对齐做得不好;正解:对齐税与对齐目标有关,有些对齐策略会刻意保持知识能力。

追问

  • Q:怎么减少对齐税? A:在偏好数据中保留高质量推理样本,控制 KL 惩罚系数不要太大,让模型不要偏离 SFT 太远。
  • Q:为什么对话能力提升了知识能力反而下降? A:因为对齐数据主要是对话格式的,模型可能学会了"更礼貌"而不是"更准确",需要平衡。

10.7.4-008 偏好数据如何构造?

频率 ★★★ | 难度 进阶

一句话结论

偏好数据的核心是 (prompt, chosen, rejected) 三元组;来源包括:人工标注(贵但质量高)、强模型生成 chosen + 弱模型生成 rejected(性价比高)、同一模型不同采样参数生成对比(低成本)。

概念解释

  • chosen:人类更喜欢的回答。
  • rejected:人类不那么喜欢的回答。
  • 来源一:人工标注员对模型回答排序。
  • 来源二:用 GPT-4 生成 chosen,用小模型生成 rejected。
  • 来源三:同一模型用不同温度/采样生成多个回答,人工排序。

原理流程

  1. 收集 prompt:覆盖各种任务类型和难度。
  2. 生成多个回答:不同模型、不同采样参数。
  3. 人工或自动判断偏好:哪个回答更好。
  4. 构造 (prompt, chosen, rejected) 对。
  5. 质量检查:去重、去噪、多样性检查。

代码 / 示例

偏好数据构造策略:

策略 1: 人工标注
  优点: 质量最高
  缺点: 贵, 慢
  适用: 高价值场景

策略 2: 强模型蒸馏
  chosen: GPT-4 / Claude 生成
  rejected: 待训练模型生成
  优点: 性价比高
  缺点: 有模型偏见
  适用: 大多数场景

策略 3: 同一模型对比
  chosen: 低温度采样 (更确定)
  rejected: 高温度采样 (更随机)
  优点: 成本最低
  缺点: 质量差异小
  适用: 快速实验

常见误区

  • 误区:偏好数据越多越好;正解:偏好数据质量比数量重要,噪声标签会让 DPO/RM 学偏。
  • 误区:chosen 必须是完美回答;正解:chosen 只需要比 rejected 更好,不需要完美。

追问

  • Q:偏好数据需要覆盖哪些任务类型? A:要与目标场景匹配,如果是客服场景,偏好数据就要以客服对话为主。
  • Q:怎么检测偏好数据中的偏见? A:用不同人口统计学特征的 prompt 测试,看模型是否对某些群体有系统性偏差。

待整理清单

  • [ ] PPO 训练的具体超参数调优经验
  • [ ] DPO 变体(IPO/KTO/ORPO)对比
  • [ ] 奖励模型的偏差与校准
  • [ ] 在线 RLHF(如 RLHF 迭代)的工程实现
  • [ ] 安全对齐与红队测试