10.5.1.1 微调与对齐
所属:全栈开发面试题库 / 10 AI 应用开发:LLM 与 Agent / 10.5 LLM 工程化 / 10.5.1 LLM 工程化
10.5.1.1-001 什么时候该微调,什么时候用 RAG 或 Prompt 就够了?
一句话结论
事实知识频繁更新、需要引用来源的问题优先 RAG;行为风格、输出格式、固定任务模式适合微调;先穷尽 Prompt 与 RAG,微调成本更高周期更长;两者可组合:微调固化行为,RAG 供给事实。
概念解释
- Prompt:不改权重,零样本/少样本调整行为。
- RAG:外部检索注入知识,可更新可引用。
- 微调:把行为模式固化进权重,需要数据与训练成本。
原理流程
- 归类缺口:是知识缺失还是行为不符。
- 先试 Prompt 工程与 RAG。
- 行为固定且提示成本高时再评估微调。
代码 / 图示
知识更新/引用 → RAG
风格/格式/固定行为 → 微调
组合: 微调行为 + RAG 供事实
常见误区
- 误区:微调用来灌新知识;正解:参数化记忆不稳定且易幻觉,事实知识应走 RAG。
- 误区:微调一次替代全部提示工作;正解:系统提示与工具约束仍需保留。
追问
- Q:微调能让模型学会新领域术语吗? 答:可改善表达模式,事实准确性仍需语料与检索支撑。
- Q:判断微调必要性看什么? 答:任务频次、提示长度、行为一致性要求与可获得的数据量。
10.5.1.1-002 SFT(监督微调)在做什么?
一句话结论
SFT 用「指令-回答」样本继续训练模型,使其按目标任务的格式与行为输出;训练目标是拟合样本回答分布,属于行为对齐第一步,不解决知识注入与偏好排序问题。
概念解释
- 指令样本:输入任务与上下文。
- 回答样本:期望输出。
- 拟合目标:学习目标任务输出模式。
原理流程
- 收集构造指令-回答对。
- 格式化后继续训练。
- 在留出集上验证行为与格式。
代码 / 图示
{ instruction, context?, response } → 训练响应 token 分布
常见误区
- 误区:SFT 后模型就掌握偏好排序;正解:SFT 只教怎么做,优劣比较需要对齐阶段。
- 误区:样本越多越好;正解:质量与覆盖优先于数量,噪声样本拉低一致性。
追问
- Q:SFT 样本回答由谁写? 答:人工编写、高质量示例或经校验的历史真实记录。
- Q:SFT 改变模型能力边界吗? 答:主要改变行为与格式表达,不显著扩展底层知识。
10.5.1.1-003 一条合格的 SFT 样本包含哪些要素?
一句话结论
包含清晰指令、必要上下文、合格回答与一致格式;指令覆盖真实任务场景,回答可复核、无臆造;样本之间行为口径统一,避免同一指令出现互相矛盾的多种答法。
概念解释
- 指令:任务目标与约束。
- 上下文:背景材料与槽位信息。
- 合格回答:事实正确、格式合规。
原理流程
- 按真实任务拆解样本场景。
- 编写或抽取回答并校验。
- 统一格式口径后入库。
代码 / 图示
{
"instruction": "根据订单号查询状态并按模板回复",
"context": "订单 A20260101001,状态已支付",
"response": "订单 A20260101001 当前状态:已支付。"
}
常见误区
- 误区:回答写得越长越全越好;正解:样本应体现期望的简洁与结构,长度口径一致。
- 误区:指令模糊靠模型自由发挥;正解:样本指令要明确约束与输出要求。
追问
- Q:样本上下文从哪来? 答:脱敏后的真实会话与业务材料,保留必要槽位。
- Q:涉及事实的回答需要附依据吗? 答:需要体现引用或核验习惯。
10.5.1.1-004 SFT 数据如何覆盖任务类型与边界情况?
一句话结论
样本按任务类型、难度与边界场景配比:典型正例、格式变体、澄清场景、证据不足的拒答样例;覆盖高频意图与已知失败模式,避免只收顺利正例;配比随错题回流持续扩充。
概念解释
- 类型覆盖:意图与动作分类。
- 边界覆盖:缺信息、拒答、异常输入。
- 配比平衡:不被单一大类主导。
原理流程
- 按任务清单列样本类型。
- 补充边界与失败场景。
- 错题回流扩充覆盖盲区。
代码 / 图示
典型正例 + 格式变体 + 澄清 + 证据不足拒答 + 异常输入
常见误区
- 误区:全量收集问答正例即可;正解:拒答与纠错样本同样决定行为边界。
- 误区:某类意图样本过多压制其他类型;正解:按业务权重配比并监控分布。
追问
- Q:边界样本怎么找? 答:线上错题、人工评审案例与红队构造样本。
- Q:覆盖率怎么度量? 答:按意图与场景分类统计样本分布,对照任务清单查缺口。
10.5.1.1-005 指令数据如何清洗去重?
一句话结论
去除重复与近重复指令、错误与低质回答、互相矛盾样本;统一格式与措辞口径;清洗后抽样人工复核;重复样本会让模型偏向某些表达,噪声回答直接污染行为。
概念解释
- 去重:相同/近似样本合并。
- 质检:错误回答剔除或重写。
- 口径统一:格式与风格一致。
原理流程
- 文本去重与相似度聚类。
- 校验回答正确性与格式。
- 抽样复核后形成训练集。
代码 / 图示
原始样本 → 去重/聚类 → 质检剔除 → 格式统一 → 复核入库
常见误区
- 误区:历史对话直接当训练数据;正解:其中含错误、闲聊与未确认结论,必须清洗。
- 误区:清洗只看文本重复;正解:回答事实错误与矛盾样本同样要处理。
追问
- Q:近重复怎么识别? 答:文本相似度或嵌入聚类,阈值按任务经验标定并人工抽查。
- Q:清洗后样本量下降怎么办? 答:优先保证质量,缺口定向补充而非回灌噪声。
10.5.1.1-006 微调数据量一般需要多少?
一句话结论
没有固定门槛,任务复杂度与数据质量决定所需规模;格式模仿类任务少量高质量样本即可见效,复杂行为与领域模式需要更多覆盖;以留出集行为达标为准,不追求堆砌样本数量,具体规模按任务实测。
概念解释
- 任务复杂度:行为变化幅度。
- 质量优先:样本可复核、口径一致。
- 达标口径:留出集指标合格。
原理流程
- 小批量试点验证方向。
- 按留出集表现扩充覆盖。
- 指标达标即止,避免无限加量。
代码 / 图示
少量高质量试点 → 留出集评估 → 按需补充覆盖盲区
常见误区
- 误区:公开数据量承诺的条数可直接套用;正解:不同任务差异极大,以自有评测集为准。
- 误区:数据少就不能微调;正解:目标明确、质量高的小样本在窄任务上也有效。
追问
- Q:数据不足时先做什么? 答:先优化 Prompt 与 RAG,或扩充高质量样本,不硬上训练。
- Q:如何判断样本够了? 答:留出集行为与格式稳定达标,新增样本不再改善指标。
10.5.1.1-007 什么是灾难性遗忘,如何缓解?
一句话结论
微调后模型在通用能力或原有任务上表现下降即为灾难性遗忘;缓解方式:混合通用与领域样本、控制学习率与训练轮数、保留通用能力评测集、优先参数高效微调;上线前回归通用基线。
概念解释
- 遗忘:原有能力回退。
- 缓解手段:数据混合、训练约束、评测守护。
- 基线回归:通用能力对照测试。
原理流程
- 准备通用能力回归集。
- 训练时混合样本、控制轮数与学习率。
- 对比微调前后基线,退化超阈值回退方案。
代码 / 图示
领域样本 + 少量通用样本; 低学习率/少轮次
微调前后: 通用基线对比
常见误区
- 误区:只评目标任务不看通用能力;正解:目标任务提升但通用退化仍可能不可用。
- 误区:训练轮数越多越好;正解:过多轮次加剧过拟合与遗忘。
追问
- Q:遗忘最容易出现在哪类微调? 答:全参微调在窄数据上长轮次训练风险更高。
- Q:发现通用退化怎么办? 答:回退到适配层方案或混合更多通用样本重训。
10.5.1.1-008 全参微调、LoRA、QLoRA 如何取舍?
一句话结论
全参微调更新全部权重,适配最深但显存与成本最高;LoRA 冻结原权重只训练低秩适配矩阵,显存低、可插拔切换;QLoRA 在量化基础上做 LoRA 进一步压缩显存,精度与适用范围以实测为准;按适配深度、预算与部署形态选择。
概念解释
- 全参:所有权重更新。
- LoRA:低秩旁路矩阵,原权重冻结。
- QLoRA:基座量化 + 低秩适配训练。
原理流程
- 评估任务需要的适配深度。
- 结合显存与成本约束选方式。
- 留出集对比效果后定方案。
代码 / 图示
全参: ΔW = 全量更新
LoRA: ΔW = B·A (低秩), 冻结 W0
QLoRA: W0 量化 + 训练低秩旁路
常见误区
- 误区:LoRA 适合所有深度改造;正解:需要改变底层能力时全参可能更充分,但成本显著更高。
- 误区:QLoRA 无损;正解:量化训练存在精度折损,关键任务需实测对比。
追问
- Q:LoRA 产物如何部署? 答:适配权重独立存放,可挂到同一基座上切换不同任务。
- Q:基座更换后 LoRA 还能用吗? 答:适配与基座绑定,换基座需重新训练。
10.5.1.1-009 LoRA 的 rank、alpha、target modules 如何理解?
一句话结论
rank 是低秩维度,决定旁路拟合容量;alpha 是缩放系数,控制旁路更新幅度;target modules 是挂载旁路的权重模块;三者按任务复杂度与显存配置,效果需在留出集对比,没有通用固定最优值。
概念解释
- rank:低秩矩阵维度。
- alpha:缩放比例。
- target modules:挂载位置。
原理流程
- 按模块类型选择挂载位置。
- 设定 rank 与缩放初值。
- 验证集对比后调整。
代码 / 图示
旁路输出缩放 = alpha / rank · B·A·x
常见误区
- 误区:alpha 与 rank 含义相同;正解:rank 定容量,alpha 定更新幅度,两者配合。
- 误区:所有模块都挂旁路;正解:挂载范围影响效果与显存,按框架建议试点。
追问
- Q:参数不确定先看什么? 答:从保守配置起步,观察留出集效果与训练稳定性。
- Q:多任务能共用一个 LoRA 吗? 答:可尝试组合适配器,任务差异大时分别训练更稳。
10.5.1.1-010 什么是偏好对齐,SFT 之后为什么还需要对齐?
一句话结论
偏好对齐让模型在多个合格回答中选择更符合人类偏好的输出(有用、无害、格式合规);SFT 只教做什么,不比较回答优劣;对齐阶段处理排序、风格与安全偏好,通常在 SFT 基础上进行。
概念解释
- 偏好比较:回答排序而非单点拟合。
- 对齐目标:有用、无害、诚实。
- 阶段关系:SFT 打底,对齐优化选择。
原理流程
- SFT 建立基本行为。
- 收集偏好对或评分信号。
- 对齐训练优化回答排序。
代码 / 图示
SFT: 学会回答 → 对齐: 偏好回答 A 优于 B
常见误区
- 误区:对齐可以替代 SFT;正解:没有基本行为,偏好排序缺少可比较的回答空间。
- 误区:对齐后自动更安全;正解:偏好数据与评测仍需覆盖安全场景。
追问
- Q:偏好从哪里来? 答:人工标注排序、规则评分或合格历史反馈,质量决定对齐效果。
- Q:对齐关注哪些维度? 答:正确性、相关性、格式、安全合规与表达风格。
10.5.1.1-011 RLHF 的基本流程是什么?
一句话结论
RLHF 先 SFT,再训练奖励模型学习人类偏好评分,最后用强化学习优化策略模型使回答获得高奖励;流程链路长,需要奖励模型与稳定训练环境,适合对偏好与安全要求高的场景,细节实现以所选框架为准。
概念解释
- 奖励模型:给回答打偏好分。
- 策略优化:强化学习调整生成策略。
- 三阶段:SFT → 奖励建模 → 策略优化。
原理流程
- SFT 得到初始策略。
- 偏好对训练奖励模型。
- 奖励信号驱动策略优化。
代码 / 图示
SFT 模型 → 奖励模型(偏好评分) → RL 策略优化
常见误区
- 误区:奖励模型完美反映真实偏好;正解:奖励会被策略钻空子,需要持续评测与约束。
- 误区:RLHF 一定优于直接偏好方法;正解:流程复杂成本高,简单任务可用更轻方案。
追问
- Q:RLHF 主要风险? 答:奖励过优化、输出风格偏移与通用能力退化,需回归守护。
- Q:奖励数据怎么构造? 答:同一提示下成对回答,标注哪个更优及原因。
10.5.1.1-012 DPO 是什么,与 RLHF 相比有什么特点?
一句话结论
DPO(直接偏好优化)跳过奖励模型与强化学习,直接用偏好对计算损失更新策略模型;流程更轻、训练更稳定,对偏好数据质量敏感;效果与适用场景需按任务实测,不是 RLHF 的无条件替代。
概念解释
- 直接优化:偏好对直接进损失。
- 无奖励模型:省略显式奖励建模。
- 数据敏感:偏好标注质量影响大。
原理流程
- 准备 chosen/rejected 偏好对。
- DPO 损失拉大偏好差距。
- 留出集评测对齐效果。
代码 / 图示
偏好对: chosen 回答, rejected 回答
损失: 提升 chosen 相对 rejected 的概率
常见误区
- 误区:DPO 不需要参考模型约束;正解:DPO 通常以参考模型约束偏移幅度,具体实现按框架。
- 误区:偏好对可以随意配对;正解:chosen 与 rejected 需有真实、明确的优劣差异。
追问
- Q:DPO 适合什么团队? 答:偏好数据齐备、希望轻量化对齐流程的场景。
- Q:DPO 常见缺陷? 答:对噪声偏好与边界样本敏感,可能放大标注偏差。
10.5.1.1-013 偏好数据(chosen/rejected)如何构造?
一句话结论
同一提示下成对构造更好与更差回答,差异体现在正确性、格式、安全或相关性;rejected 不是乱码,而是真实可能出现的缺陷回答;成对标注需口径一致,并覆盖安全与边界场景。
概念解释
- 成对样本:同输入两回答。
- 差异维度:正确/格式/安全/相关。
- 真实缺陷:贴近实际错误类型。
原理流程
- 同一提示生成多个候选。
- 按偏好标准排序配对。
- 标注差异原因并入数据集。
代码 / 图示
prompt → chosen(合格) / rejected(有缺陷)
标注: 优劣维度与原因
常见误区
- 误区:rejected 写成明显错误方便训练;正解:过于悬殊的对面对真实缺陷区分度不足。
- 误区:偏好只看语气好坏;正解:正确性与合规是优先偏好维度。
追问
- Q:偏好对从哪来? 答:人工编写、模型候选评审或用户反馈回流。
- Q:一对多回答怎么配对? 答:按最优与典型缺陷组成对,避免中间态模糊标注。
10.5.1.1-014 对齐训练如何防止模型退化与风格偏移?
一句话结论
保留通用能力与目标任务回归集,训练前后对比;控制优化幅度与数据比例;监控输出多样性、格式稳定与事实正确率;退化超阈值回退适配方案,不只用偏好评分判断。
概念解释
- 回归守护:通用与任务基线。
- 幅度控制:约束策略偏移。
- 多维监控:多样/格式/事实。
原理流程
- 建立守护评测集。
- 训练中对比基线指标。
- 退化时调整数据或回退方案。
代码 / 图示
对齐后: 偏好分上升 同时 通用/事实/格式 不退化
常见误区
- 误区:偏好分上升就是成功;正解:可能以事实正确率或多样性为代价。
- 误区:对齐数据越多越好;正解:比例失衡会过度偏向标注风格。
追问
- Q:风格偏移怎么发现? 答:对比回答长度、用词分布与格式通过率。
- Q:发现退化怎么办? 答:降低对齐强度、补充通用样本或回退到上一版本。
10.5.1.1-015 适配器(LoRA 权重)如何管理与部署?
一句话结论
适配权重独立于基座存放,记录基座版本、训练数据版本与评测结果;不同任务适配器可挂载切换;部署时加载基座加对应适配器,或合并权重;切换与回滚记录可追溯,适配器与基座版本绑定。
概念解释
- 独立产物:适配权重文件。
- 版本绑定:基座 + 数据 + 评测。
- 挂载切换:按任务加载。
原理流程
- 训练产物登记元信息。
- 推理服务按任务加载适配器。
- 异常时回滚到上一适配器。
代码 / 图示
基座 W0 + LoRA adapter(任务A)
元信息: 基座版本/数据版本/评测结果/上线时间
常见误区
- 误区:适配器可任意跨基座使用;正解:与基座结构和版本绑定,不兼容需重训。
- 误区:多个适配器随意叠加;正解:组合效果需验证,避免行为冲突。
追问
- Q:适配器更新怎么发布? 答:新版本评测通过后灰度挂载,保留旧版回滚。
- Q:适配器文件大小? 答:远小于全参权重,具体尺寸随 rank 与模块数变化,以实际产物为准。
10.5.1.1-016 训练前如何划分训练集、验证集与留出测试集?
一句话结论
按会话/文档实体隔离划分,避免同主题样本跨集泄露;验证集调参观察,留出测试集只在最终评估使用;划分后检查分布一致,测试集不参与数据筛选与提示调整。
概念解释
- 隔离划分:实体级避免泄露。
- 验证集:训练过程调参。
- 留出集:最终独立评估。
原理流程
- 按实体/会话分组切分。
- 训练与验证参与迭代。
- 留出集定期回归,不参与调优。
代码 / 图示
训练集(拟合) / 验证集(调参) / 留出集(最终评估)
常见误区
- 误区:随机打乱逐条切分;正解:同一文档/会话样本拆开会造成评估虚高。
- 误区:测试集反复用来挑样本;正解:泄漏后指标不能反映泛化。
追问
- Q:数据集多小怎么切? 答:窄任务可按比例,但仍保证留出集覆盖关键场景。
- Q:验证集指标用于什么? 答:观察轮次与超参,不替代最终评测。
10.5.1.1-017 什么时候不需要对齐训练,只用规则与提示约束?
一句话结论
偏好要求可由格式校验、话术约束与提示规则明确表达时,优先工程约束;数据量不足、偏好标准不稳定时不仓促上对齐训练;对齐投入需要可持续的偏好数据与评测体系支撑。
概念解释
- 规则可表达:格式、枚举、禁用词。
- 数据前提:偏好样本与评测。
- 轻量优先:工程约束先行。
原理流程
- 梳理可用规则约束的偏好。
- 评估数据与评测是否齐备。
- 不足时保留提示与规则方案。
代码 / 图示
格式/枚举/禁用 → 规则校验
复杂风格与质量偏好 + 数据齐备 → 对齐训练
常见误区
- 误区:所有任务都要走对齐流程;正解:简单明确的约束用工程手段更可控。
- 误区:先对齐再补评测;正解:没有回归集无法判断对齐是否有效。
追问
- Q:规则约束覆盖不了什么? 答:开放回答的自然度、相关性与综合质量判断。
- Q:何时再启动对齐? 答:偏好要求稳定且积累了合格偏好对与评测集。
10.5.1.1-018 微调与 SFT 落地清单是什么?
一句话结论
清单:微调必要性论证、缺口归类(知识/行为)、样本构造与覆盖、清洗去重与质检、术语与格式口径、数据集划分与版本、通用基线守护、留出集效果评估、与 Prompt/RAG 分工边界、适配器版本管理。
概念解释
- 决策先行:必要性与分工。
- 数据工程:构造、清洗、版本。
- 效果守护:基线与留出评估。
原理流程
- 论证是否需要微调及边界。
- 建设并校验数据集。
- 训练后回归目标任务与通用基线。
代码 / 图示
□ 必要性论证 □ 缺口归类 □ 样本覆盖 □ 清洗质检
□ 口径统一 □ 划分版本 □ 遗忘守护 □ 留出评估
□ 与 RAG/Prompt 分工 □ 适配器版本
常见误区
- 误区:把微调当作解决一切模型问题的手段;正解:知识走 RAG,行为模式才考虑微调。
- 误区:上线后不跟踪数据版本;正解:问题复盘需要回溯到具体数据集版本。
追问
- Q:适配方式选型对比? 答:全参与参数高效方法按适配深度与预算取舍,见 10.5.1.1-008。
- Q:训练后部署优化? 答:见 10.5.1.2 推理优化与部署。