10.7.4 对齐(RLHF/DPO/PPO 概览与取舍)
所属:全栈开发面试题库 / 10 AI 应用开发:LLM 与 Agent / 10.7 模型训练与微调
覆盖范围
- 对齐的目标与为什么需要对齐
- RLHF 三阶段流程(SFT → 奖励模型 → PPO)
- PPO 算法在 LLM 中的应用与局限
- DPO(直接偏好优化)原理与优势
- RLHF 与 DPO 的取舍
- 奖励模型训练与偏好数据
高频题速览
| 编号 | 题目 | 难度 | 频率 |
|---|---|---|---|
| 10.7.4-001 | 什么是对齐,为什么需要对齐? | 基础 | ★★★★★ |
| 10.7.4-002 | RLHF 的完整流程是什么? | 进阶 | ★★★★★ |
| 10.7.4-003 | PPO 在 LLM 训练中如何工作? | 高级 | ★★★★ |
| 10.7.4-004 | DPO 相比 RLHF 有什么优势? | 进阶 | ★★★★ |
| 10.7.4-005 | 奖励模型如何训练? | 进阶 | ★★★ |
| 10.7.4-006 | RLHF 和 DPO 怎么选? | 基础 | ★★★★ |
| 10.7.4-007 | 什么是对齐税? | 基础 | ★★★ |
| 10.7.4-008 | 偏好数据如何构造? | 进阶 | ★★★ |
10.7.4-001 什么是对齐,为什么需要对齐?
频率 ★★★★★ | 难度 基础
一句话结论
对齐(Alignment)是让模型行为符合人类偏好和价值观的过程;预训练模型只学会了预测下一个 token,可能输出有害、虚假、格式不对的内容,需要通过 SFT + 偏好优化(RLHF/DPO)让模型变得有用、诚实、无害。
概念解释
- 预训练模型:擅长语言建模,但不知道该怎么回答用户。
- SFT:教会模型按指令格式回答,是对齐的第一步。
- 偏好优化:在 SFT 基础上,让模型输出人类更喜欢的回答(更长更详细、更准确、更安全)。
- 对齐目标:有用(Helpful)、诚实(Honest)、无害(Harmless),即 3H 原则。
原理流程
- 预训练:通用语言能力。
- SFT:指令格式对齐。
- 偏好优化:人类偏好对齐(RLHF 或 DPO)。
- 评估:对齐后的模型在安全性、有用性评测上提升。
代码 / 示例
对齐流程:
预训练底座模型
→ SFT (指令格式)
→ 偏好优化 (RLHF / DPO)
→ 对齐后模型
不对齐的表现:
- 输出有害内容
- 不按格式回答
- 过于简短或冗长
- 编造事实
常见误区
- 误区:SFT 就是对齐;正解:SFT 只是对齐的第一步,解决格式问题;偏好优化解决质量和偏好问题。
- 误区:对齐就是让模型变得更安全;正解:对齐同时包括有用性和诚实性,不只是安全。
追问
- Q:为什么预训练模型不能直接用? A:预训练目标是预测下一个 token,不是回答问题;它可能续写用户输入而不是回答,格式也不对。
- Q:对齐有什么风险? A:过度对齐可能导致模型不敢回答(sycophancy、refusal overkill),需要在有用性和安全性之间平衡。
10.7.4-002 RLHF 的完整流程是什么?
频率 ★★★★★ | 难度 进阶
一句话结论
RLHF 分三阶段:第一阶段 SFT 训练指令遵循模型;第二阶段收集人类偏好数据训练奖励模型(RM);第三阶段用 PPO 算法以 RM 的得分为奖励信号优化 LLM,使模型输出人类更喜欢的回答。
概念解释
- 阶段一 SFT:监督微调,得到初步对话模型。
- 阶段二 RM:对同一 prompt 生成多个回答,人类排序,训练奖励模型预测回答质量。
- 阶段三 PPO:用 RM 给模型生成的回答打分,以打分为奖励信号,用强化学习(PPO)更新 LLM。
- KL 约束:PPO 中加入与 SFT 模型的 KL 散度惩罚,防止模型跑偏。
原理流程
- SFT:在指令数据上微调,得到 policy 模型。
- 收集偏好数据:对每个 prompt 采样多个回答,人类排序偏好。
- 训练 RM:输入 (prompt, response),输出标量分数,使偏好的回答得分更高。
- PPO 优化:LLM 生成回答 → RM 打分 → 计算策略梯度 → 更新 LLM。
- 加入 KL 惩罚:确保 LLM 不偏离 SFT 模型太远。
代码 / 示例
RLHF 三阶段:
阶段 1: SFT
数据: 指令-回答对
输出: SFT 模型
阶段 2: 奖励模型训练
数据: (prompt, 回答 A, 回答 B, 偏好: A>B)
损失: 成对损失 -log(sigmoid(R(A) - R(B)))
输出: RM 模型
阶段 3: PPO 优化
对每个 prompt:
1. SFT 模型生成多个回答
2. RM 给每个回答打分
3. PPO 更新 LLM, 使高分回答概率增加
4. 加 KL 惩罚: reward = RM_score - β * KL(LLM || SFT)
常见误区
- 误区:RLHF 就是让模型模仿人类回答;正解:RLHF 用奖励信号做强化学习,不是直接模仿。
- 误区:奖励模型是完美的;正解:RM 本身有偏差和局限,可能被模型"欺骗"(reward hacking)。
追问
- Q:什么是 reward hacking? A:模型学会输出 RM 喜欢的回答(如过度冗长、套路化),但不一定是人类真正喜欢的,RM 被"钻空子"。
- Q:PPO 训练稳定吗? A:PPO 超参数敏感,容易训练不稳定,需要仔细调参,这也是 DPO 流行的原因之一。
10.7.4-003 PPO 在 LLM 训练中如何工作?
频率 ★★★★ | 难度 高级
一句话结论
PPO(Proximal Policy Optimization)是一种策略梯度强化学习算法:LLM 作为策略网络,生成回答;RM 给回答打分作为奖励;PPO 限制每次更新的步长,使新策略不偏离旧策略太远;同时加 KL 惩罚防止模型跑偏。
概念解释
- 策略网络:LLM 本身,输出 token 概率分布。
- 奖励:RM 对生成回答的打分。
- KL 惩罚:与参考模型(SFT 模型)的 KL 散度,防止策略更新过大。
- PPO 裁剪:限制概率更新比例,避免一步走太远。
- 价值函数:critic 网络估计状态价值,减少方差。
原理流程
- LLM(policy)对 prompt 生成回答(多个 token)。
- RM 对整个回答打分,作为每个 token 的奖励。
- 计算 advantage(优势):实际奖励 - 基线价值。
- PPO 更新:新策略概率 × advantage,裁剪更新比例。
- 加 KL 惩罚:log(π_new / π_ref) 作为额外奖励项。
- 重复多个 epoch。
代码 / 示例
PPO 损失函数(简化):
L = E[ min( ratio * A,
clip(ratio, 1-ε, 1+ε) * A ) ]
- β * KL(π_θ || π_ref)
其中:
ratio = π_θ(new|s) / π_θ_old(new|s) # 新旧策略概率比
A = advantage # 优势函数
ε = 0.1~0.2 # PPO 裁剪范围
β = 0.01~0.5 # KL 惩罚系数
组件:
π_θ: 当前训练的 LLM (policy)
π_ref: 冻结的 SFT 模型 (reference)
RM: 奖励模型 (frozen)
Critic: 价值网络 (估计 baseline)
常见误区
- 误区:PPO 就是直接最大化 RM 分数;正解:PPO 加了 KL 约束和步长限制,不是无脑最大化奖励。
- 误区:PPO 训练一次就够了;正解:PPO 通常需要多轮迭代,每轮重新生成数据并更新。
追问
- Q:PPO 为什么需要 critic 网络? A:critic 估计状态价值作为基线,减少策略梯度的方差,让训练更稳定。
- Q:PPO 的显存开销大吗? A:很大,需要同时加载 policy、reference、RM、critic 四个模型,7B 模型 PPO 训练需要上百 GB 显存。
10.7.4-004 DPO 相比 RLHF 有什么优势?
频率 ★★★★ | 难度 进阶
一句话结论
DPO(Direct Preference Optimization)跳过奖励模型和 PPO,直接用偏好数据优化 LLM:通过数学推导证明,偏好优化可以转化为一个简单的二分类损失,不需要强化学习,训练更稳定、更简单、显存更低。
概念解释
- DPO 核心思想:偏好优化等价于直接最大化 (chosen 回答概率 - rejected 回答概率)。
- 不需要 RM:不训练奖励模型,直接用偏好数据。
- 不需要 PPO:不需要强化学习,就是标准的监督学习。
- 数学推导:从 RLHF 的目标函数出发,推导出一个闭式解。
原理流程
- 准备偏好数据:(prompt, chosen_response, rejected_response)。
- 对 chosen 和 rejected 分别计算 log 概率。
- 损失:-log(sigmoid(β · (log π(chosen)/π_ref(chosen) - log π(rejected)/π_ref(rejected))))
- 反向传播更新 LLM 参数。
- 训练完成,直接得到对齐后的模型。
代码 / 示例
# DPO 损失(概念示意)
#
# 输入:
# prompt, chosen, rejected
# π_ref: 冻结的参考模型(SFT 模型)
# π: 当前训练的模型
# β: 温度系数 (通常 0.1~0.5)
#
# 损失:
# loss = -log_sigmoid(
# β * ( log π(chosen|prompt) - log π_ref(chosen|prompt)
# - log π(rejected|prompt) + log π_ref(rejected|prompt) )
# )
#
# 直觉: 让 chosen 相对于参考模型的概率增加, rejected 相对于参考模型的概率减少
常见误区
- 误区:DPO 效果不如 RLHF;正解:在很多任务上 DPO 效果与 RLHF 相当甚至更好,且更简单稳定。
- 误区:DPO 不需要参考模型;正解:DPO 需要一个冻结的参考模型(通常是 SFT 模型),用于计算 baseline。
追问
- Q:DPO 相比 PPO 省多少显存? A:DPO 只需要两个模型(policy + reference),不需要 RM 和 critic,显存大约是 PPO 的一半。
- Q:DPO 有什么局限性? A:DPO 只能做成对偏好优化,不能做在线探索(PPO 可以生成新数据再优化);DPO 对数据质量更敏感。
10.7.4-005 奖励模型如何训练?
频率 ★★★ | 难度 进阶
一句话结论
奖励模型通常以 SFT 模型为底座,去掉输出头,加一个标量输出头;用成对偏好数据训练:给定 (prompt, 回答 A, 回答 B),让模型预测哪个回答更好,损失为成对排序损失。
概念解释
- 模型结构:与 LLM 相同的主干,最后一个 token 的隐藏状态接一个线性层输出标量分数。
- 训练数据:人类对同一 prompt 的多个回答排序。
- 损失:成对损失,使 chosen 回答得分高于 rejected 回答。
- 评估:在 held-out 偏好对上测试 RM 的排序准确率。
原理流程
- 以 SFT 模型初始化 RM。
- 收集偏好数据:对每个 prompt 采样多个回答,人类排序。
- 训练 RM:对 chosen 和 rejected 分别计算分数,用成对损失优化。
- 评估 RM:在测试集上看 RM 判断与人类判断的一致性。
- RM 冻结,用于 PPO 阶段。
代码 / 示例
RM 训练损失:
对 (prompt, y_w, y_l):
r_w = RM(prompt, y_w) # 更好回答的分数
r_l = RM(prompt, y_l) # 更差回答的分数
loss = -log(sigmoid(r_w - r_l))
直觉: 让 chosen 分数 > rejected 分数
常见误区
- 误区:奖励模型越大越好;正解:RM 只需要学会排序,通常 7B 级别的 RM 就足够引导 70B 级别的 LLM。
- 误区:RM 训练数据越多越好;正解:RM 数据质量比数量重要,噪声标签会让 RM 学偏。
追问
- Q:RM 的分数绝对数值有意义吗? A:RM 的分数主要用于排序,绝对数值没有绝对意义,不同 prompt 的分数不可直接比较。
- Q:怎么评估 RM 好不好? A:看 RM 在 held-out 偏好对上的排序准确率,通常 60%~70% 以上就算可用。
10.7.4-006 RLHF 和 DPO 怎么选?
频率 ★★★★ | 难度 基础
一句话结论
如果追求简单稳定、显存有限、只有离线偏好数据,选 DPO;如果需要在线探索、复杂偏好场景、有足够算力,选 PPO;实践中 DPO 已经成为很多团队的默认选择。
概念解释
- DPO 优势:简单、稳定、显存低、不需要 RM。
- DPO 局限:只能离线优化,不能在线探索新策略。
- PPO 优势:可以在线迭代,理论上更灵活。
- PPO 局限:复杂、不稳定、显存大、需要调参。
原理流程
- 有离线偏好数据、算力有限 → 选 DPO。
- 需要在线探索、有大算力团队 → 选 PPO。
- 先试 DPO,效果不够再考虑 PPO。
代码 / 示例
选择参考:
场景 推荐方案
-------------------------- --------
个人开发者/小团队 DPO
快速实验/验证想法 DPO
只有离线偏好数据 DPO
显存有限(<48GB) DPO
大公司/有算力团队 PPO 或 DPO
需要在线探索/迭代 PPO
复杂多维度偏好 PPO + 多 RM
常见误区
- 误区:PPO 一定比 DPO 好;正解:DPO 在很多任务上效果与 PPO 相当,且更简单,是工程上的首选。
- 误区:DPO 是 RLHF 的替代品;正解:DPO 是一种不同的偏好优化方法,不是 RLHF 的简化版,而是从数学上推导出的等价方案。
追问
- Q:DPO 有哪些变体? A:IPO、KTO、ORPO 等,都是在 DPO 基础上改进损失函数或训练方式,效果各有差异。
- Q:如果没有偏好数据怎么办? A:可以用强模型(如 GPT-4)生成 chosen 回答,用弱模型或随机采样生成 rejected 回答,做合成偏好数据。
10.7.4-007 什么是对齐税?
频率 ★★★ | 难度 基础
一句话结论
对齐税指模型经过对齐(SFT + RLHF/DPO)后,在某些纯知识或推理任务上的表现比未对齐的底座模型略差;这是因为对齐过程中模型的行为被调整为人类偏好,可能牺牲了部分原始能力。
概念解释
- 现象:对齐后的模型在 MMLU、GSM8K 等基准上分数略低于底座模型。
- 原因:对齐优化的是人类偏好,不是基准分数;模型变得更安全、更礼貌,但可能在某些推理任务上略保守。
- 缓解:在偏好数据中加入高质量推理数据,减少对齐税。
- 程度:通常对齐税在 1%~5% 范围内,是可接受的代价。
原理流程
- 底座模型在知识基准上测基线。
- SFT + 对齐后再测。
- 观察分数下降幅度。
- 如果下降过多,调整偏好数据配比。
代码 / 示例
对齐税示例(示意,具体数字以实验为准):
任务 底座模型 对齐后 变化
------------ -------- -------- ------
MMLU 65% 63% -2%
GSM8K 70% 68% -2%
人类偏好评分 3.0/5 4.5/5 +50%
常见误区
- 误区:对齐税是不可接受的;正解:对齐带来的有用性和安全性提升远大于知识任务上的轻微下降。
- 误区:对齐税越大说明对齐做得不好;正解:对齐税与对齐目标有关,有些对齐策略会刻意保持知识能力。
追问
- Q:怎么减少对齐税? A:在偏好数据中保留高质量推理样本,控制 KL 惩罚系数不要太大,让模型不要偏离 SFT 太远。
- Q:为什么对话能力提升了知识能力反而下降? A:因为对齐数据主要是对话格式的,模型可能学会了"更礼貌"而不是"更准确",需要平衡。
10.7.4-008 偏好数据如何构造?
频率 ★★★ | 难度 进阶
一句话结论
偏好数据的核心是 (prompt, chosen, rejected) 三元组;来源包括:人工标注(贵但质量高)、强模型生成 chosen + 弱模型生成 rejected(性价比高)、同一模型不同采样参数生成对比(低成本)。
概念解释
- chosen:人类更喜欢的回答。
- rejected:人类不那么喜欢的回答。
- 来源一:人工标注员对模型回答排序。
- 来源二:用 GPT-4 生成 chosen,用小模型生成 rejected。
- 来源三:同一模型用不同温度/采样生成多个回答,人工排序。
原理流程
- 收集 prompt:覆盖各种任务类型和难度。
- 生成多个回答:不同模型、不同采样参数。
- 人工或自动判断偏好:哪个回答更好。
- 构造 (prompt, chosen, rejected) 对。
- 质量检查:去重、去噪、多样性检查。
代码 / 示例
偏好数据构造策略:
策略 1: 人工标注
优点: 质量最高
缺点: 贵, 慢
适用: 高价值场景
策略 2: 强模型蒸馏
chosen: GPT-4 / Claude 生成
rejected: 待训练模型生成
优点: 性价比高
缺点: 有模型偏见
适用: 大多数场景
策略 3: 同一模型对比
chosen: 低温度采样 (更确定)
rejected: 高温度采样 (更随机)
优点: 成本最低
缺点: 质量差异小
适用: 快速实验
常见误区
- 误区:偏好数据越多越好;正解:偏好数据质量比数量重要,噪声标签会让 DPO/RM 学偏。
- 误区:chosen 必须是完美回答;正解:chosen 只需要比 rejected 更好,不需要完美。
追问
- Q:偏好数据需要覆盖哪些任务类型? A:要与目标场景匹配,如果是客服场景,偏好数据就要以客服对话为主。
- Q:怎么检测偏好数据中的偏见? A:用不同人口统计学特征的 prompt 测试,看模型是否对某些群体有系统性偏差。
待整理清单
- [ ] PPO 训练的具体超参数调优经验
- [ ] DPO 变体(IPO/KTO/ORPO)对比
- [ ] 奖励模型的偏差与校准
- [ ] 在线 RLHF(如 RLHF 迭代)的工程实现
- [ ] 安全对齐与红队测试