10.7.2 预训练、SFT 与指令微调
所属:全栈开发面试题库 / 10 AI 应用开发:LLM 与 Agent / 10.7 模型训练与微调
覆盖范围
- 预训练语料构成与训练目标(next-token prediction)
- 预训练阶段划分与数据混合策略
- SFT(监督微调)的数据构造与训练方式
- 指令微调与对话格式(chat template)
- SFT 与继续预训练的区别
- 灾难性遗忘与缓解策略
高频题速览
| 编号 | 题目 | 难度 | 频率 |
|---|---|---|---|
| 10.7.2-001 | 预训练的训练目标是什么? | 基础 | ★★★★★ |
| 10.7.2-002 | 预训练语料由哪些类型组成? | 基础 | ★★★★ |
| 10.7.2-003 | SFT 与预训练有什么本质区别? | 进阶 | ★★★★★ |
| 10.7.2-004 | 如何构造高质量的 SFT 数据? | 进阶 | ★★★★ |
| 10.7.2-005 | 什么是 chat template,为什么重要? | 基础 | ★★★★ |
| 10.7.2-006 | 灾难性遗忘是什么,如何缓解? | 进阶 | ★★★★ |
| 10.7.2-007 | 继续预训练与领域微调的区别? | 进阶 | ★★★ |
| 10.7.2-008 | SFT 的学习率和训练轮次如何选择? | 基础 | ★★★ |
10.7.2-001 预训练的训练目标是什么?
频率 ★★★★★ | 难度 基础
一句话结论
预训练的训练目标是下一个 token 预测(自回归语言建模):给定前文 token 序列,预测下一个 token 的概率分布,损失为交叉熵;这个目标驱动模型学习语言规律、知识和推理能力。
概念解释
- 自回归:从左到右逐 token 预测,因果掩码保证看不到未来。
- 交叉熵损失:对每个位置预测的 token 与真实 token 计算负对数似然,所有位置平均。
- 训练信号:海量文本(数万亿 token)中每个 token 都是监督信号,无需人工标注。
- 涌现能力:参数规模和数据量达到一定阈值后,模型展现出训练时未显式训练的能力。
原理流程
- 文本语料分词 → token id 序列。
- 输入左移一位,目标右移一位。
- 前向传播得到所有位置的 logits。
- 计算每个位置的交叉熵损失,求和取平均。
- 反向传播更新全部参数。
代码 / 示例
# 预训练损失计算(概念示意)
# input_ids: [t1, t2, t3, ..., t_n]
# labels: [t2, t3, t4, ..., t_{n+1}]
#
# logits = model(input_ids) # shape: [batch, seq_len, vocab]
# loss = CrossEntropyLoss(logits.view(-1, vocab), labels.view(-1))
#
# 注意: 只对非 padding 位置计算损失
常见误区
- 误区:预训练就是让模型记住文本;正解:模型学习的是 token 间的统计规律和世界知识,不是逐字背诵。
- 误区:预训练损失降为 0 才算好;正解:自然语言有随机性,损失收敛到合理水平即可,过拟合反而有害。
追问
- Q:预训练损失和下游能力的关系? A:预训练损失越低通常表示语言建模能力越强,但与具体下游任务表现不是线性对应,需要评测。
- Q:预训练用什么精度? A:通常用 bf16 混合精度,前向反向 bf16,梯度累加 fp32,兼顾稳定性和效率。
10.7.2-002 预训练语料由哪些类型组成?
频率 ★★★★ | 难度 基础
一句话结论
预训练语料通常混合多种来源:网页文本(Common Crawl 等)、书籍、学术论文、代码、百科、新闻、对话数据等;不同来源按比例混合,控制质量和领域覆盖,代码和数学语料对推理能力有显著贡献。
概念解释
- 网页文本:量最大,质量参差,需要去重、过滤、分类。
- 书籍与论文:长文本、知识密度高,量有限。
- 代码:赋予模型代码生成和逻辑推理能力,对复杂推理有帮助。
- 高质量过滤:用分类器、困惑度、语言识别等手段过滤低质量内容。
- 数据配比:不同领域比例影响模型能力侧重,是训练配方的核心机密。
原理流程
- 采集原始数据(网页爬取、公开数据集、书籍扫描等)。
- 清洗:去重、去广告、去低质、语言识别。
- 质量过滤:分类器打分、规则过滤。
- 按配方混合,按采样比例分配到训练 batch。
代码 / 示例
典型开源模型预训练数据配比(示意,以各模型公开报告为准):
网页 Common Crawl: ~50-60%
书籍/论文/百科: ~15-20%
代码: ~10-15%
对话/指令数据: ~5-10%
其他(新闻/社区等): ~5-10%
常见误区
- 误区:数据越多越好,质量不重要;正解:低质量数据会损害模型表现,去重和过滤至关重要。
- 误区:代码数据只对写代码有用;正解:代码训练增强了模型的逻辑推理和结构化思维,对数学推理和复杂指令遵循也有迁移效果。
追问
- Q:数据重复率有什么影响? A:重复数据会导致模型过拟合到特定文本,降低泛化能力;去重是数据处理的关键步骤。
- Q:什么是数据相位(data phase)? A:训练过程中分阶段切换数据配比,如前期以通用网页为主,后期增加高质量和领域数据,是常见训练策略。
10.7.2-003 SFT 与预训练有什么本质区别?
频率 ★★★★★ | 难度 进阶
一句话结论
预训练学习通用语言知识和世界模型,数据是海量无标注文本;SFT(监督微调)用小规模高质量指令-回答对训练模型遵循指令格式和对话风格,数据量小但质量高,是对齐的第一步。
概念解释
- 预训练:通用能力,数据量万亿 token,训练周期数周数月。
- SFT:格式对齐,数据量万到百万条指令对,训练周期数小时到数天。
- 学习率:SFT 用远小于预训练的学习率(通常 1e-5 ~ 2e-5),避免破坏预训练知识。
- 训练目标:SFT 仍用 next-token prediction,但只在回答部分计算损失(prompt 部分 mask 掉)。
原理流程
- 预训练完成,得到底座模型。
- 准备指令数据:输入指令 + 期望回答。
- 按 chat template 格式化。
- 训练时 prompt 部分不计算损失,只对回答部分计算。
- 少量 epoch(通常 1~3 轮)即可收敛。
代码 / 示例
# SFT 损失计算示意
# 一条数据: {"instruction": "解释什么是闭包", "output": "闭包是..."}
#
# 格式化后:
# <|user|>解释什么是闭包<|assistant|>闭包是...<|end|>
#
# 损失 mask:
# prompt 部分 (<|user|>...<|assistant|>): label = -100 (不计算)
# 回答部分 (闭包是...<|end|>): label = 实际 token id
#
# 这样模型只学习如何生成回答, 不学习复述 prompt
常见误区
- 误区:SFT 就是重新训练模型;正解:SFT 是在预训练底座上做小步调整,学习率和数据量都小得多。
- 误区:SFT 数据越多越好;正解:SFT 数据质量比数量重要,一万条高质量数据可能胜过一百万条低质数据。
追问
- Q:为什么只在回答部分算损失? A:因为目标是让模型学会按指令生成回答,而不是学习如何复述指令;对 prompt 部分算损失会浪费容量且可能学到不必要的模式。
- Q:SFT 后模型能力会下降吗? A:在某些纯知识任务上可能轻微下降(对齐税),但在指令遵循和对话能力上显著提升,总体实用性更高。
10.7.2-004 如何构造高质量的 SFT 数据?
频率 ★★★★ | 难度 进阶
一句话结论
高质量 SFT 数据的核心是:指令多样、回答准确、格式规范、覆盖目标场景;来源包括人工编写、强模型蒸馏、公开数据集筛选,需要经过去重、去毒、审核等多轮清洗。
概念解释
- 指令多样性:覆盖不同任务类型(问答、翻译、摘要、代码、推理)和难度。
- 回答质量:事实准确、逻辑清晰、格式规范、无有害内容。
- 数据来源:人工标注(贵但质量高)、GPT-4 蒸馏(性价比高)、公开数据集(开源可用)。
- 去污染:确保评测集不出现在训练数据中,避免虚高评测分数。
- 比例平衡:不同任务类型比例要合理,避免模型偏科。
原理流程
- 明确目标场景:模型要服务什么任务、什么风格。
- 收集或生成指令-回答对。
- 清洗去重:语义去重、长度过滤、质量打分。
- 人工抽检:抽样审核质量,淘汰不合格样本。
- 按配比混合,准备训练。
代码 / 示例
SFT 数据质量检查清单:
[ ] 指令是否清晰无歧义
[ ] 回答是否事实正确
[ ] 回答长度是否合理(不过短也不过长)
[ ] 是否包含有害/歧视/违法内容
[ ] 是否与评测集重复
[ ] 格式是否统一(按 chat template)
[ ] 多轮对话的上下文是否连贯
常见误区
- 误区:SFT 数据越多越好,直接用网上的数据集;正解:网上数据集质量参差,可能包含错误、偏见、有害内容,必须清洗审核。
- 误区:蒸馏数据就是让 GPT-4 生成什么就用什么;正解:蒸馏数据需要筛选,GPT-4 也会出错,需要人工或规则过滤。
追问
- Q:什么是自我指令(self-instruct)? A:让模型自己生成指令和回答,过滤后再用于训练,减少人工标注量,但需要保证质量。
- Q:多轮对话数据怎么构造? A:模拟真实用户多轮交互,每轮都有 user 和 assistant 交替,训练时对所有 assistant 回答部分计算损失。
10.7.2-005 什么是 chat template,为什么重要?
频率 ★★★★ | 难度 基础
一句话结论
chat template 是把对话历史格式化为模型可理解的字符串的模板,定义了特殊标记(如 <|user|>、<|assistant|>)的位置和格式;训练和推理必须使用完全一致的模板,否则模型行为异常。
概念解释
- 特殊标记:区分用户消息和助手消息的控制 token,如
<|im_start|>user、<|im_end|>。 - 训练时使用:SFT 数据按模板格式化后训练,模型学到标记与角色的对应关系。
- 推理时使用:用户输入必须按同样模板拼接,否则模型不理解当前对话结构。
- 模板不一致的后果:模型可能输出乱码、不回答、或把用户输入当生成继续。
原理流程
- 训练数据按模板格式化:
<|im_start|>system 你是助手<|im_end|> <|im_start|>user 你好<|im_end|> <|im_start|>assistant 你好!有什么可以帮你<|im_end|> - 推理时按同样格式拼接对话历史。
- 模型生成直到遇到
<|im_end|>停止。
代码 / 示例
# 不同模型的 chat template 差异很大
# ChatML (Qwen 等):
# <|im_start|>system\n{system}<|im_end|>\n<|im_start|>user\n{user}<|im_end|>\n<|im_start|>assistant\n
#
# LLaMA-2:
# [INST] <<SYS>>{system}<</SYS>> {user} [/INST]
#
# 用法: tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
常见误区
- 误区:chat template 只是格式问题,不影响效果;正解:模板不对会导致模型输出质量大幅下降,甚至不工作。
- 误区:所有模型都用同一个模板;正解:每个模型有自己的模板,必须按模型文档使用对应模板。
追问
- Q:为什么要用特殊 token 而不是普通文本? A:特殊 token 是词表中的独立 token,模型可以精确区分角色边界;普通文本(如 "User:")可能被模型当作内容生成。
- Q:多轮对话时 template 怎么拼? A:每轮 user 和 assistant 交替拼接,最后一个 assistant 后面加生成提示,模型从那里开始输出。
10.7.2-006 灾难性遗忘是什么,如何缓解?
频率 ★★★★ | 难度 进阶
一句话结论
灾难性遗忘指在微调(尤其是领域微调)后,模型在预训练阶段学到的通用能力下降甚至丧失;缓解方法包括:降低学习率、混入通用数据、使用参数高效微调(只训练少量参数)、正则化约束等。
概念解释
- 遗忘原因:微调更新了全部参数,覆盖了预训练时学到的通用表示。
- 表现:微调后模型在通用对话、知识问答上变差,在目标领域变好。
- 缓解思路:限制参数更新范围、保留通用数据、正则化约束。
- 评估:微调前后在通用基准上评测,监控能力下降幅度。
原理流程
- 微调前:在通用评测集上测基线。
- 微调过程中:定期在通用评测集上验证。
- 如果通用能力下降过多:降低学习率、混入通用数据、或改用 LoRA 等 PEFT 方法。
- 微调后:通用 + 领域双重评测。
代码 / 示例
缓解灾难性遗忘的常用手段:
1. 学习率: SFT 用 1e-5~2e-5, 远小于预训练的 3e-4
2. 混入通用数据: 微调数据中混入 10-30% 通用对话
3. LoRA: 只训练旁路低秩矩阵, 主干参数冻结
4. EMA: 维护参数滑动平均, 微调后接近原模型
5. 正则化: L2-SP 等约束新参数不偏离预训练初始值
常见误区
- 误区:LoRA 完全不会遗忘;正解:LoRA 只训练少量参数,遗忘程度远小于全量微调,但不是零遗忘。
- 误区:微调轮次越多越好;正解:过多轮次会加剧过拟合和遗忘,通常 1~3 轮即可。
追问
- Q:什么是对齐税? A:模型经过对齐(SFT + RLHF)后,在某些纯知识任务上表现比未对齐的底座模型略差,这是对齐带来的代价。
- Q:怎么判断是遗忘还是过拟合? A:遗忘是在未训练过的通用任务上下降;过拟合是在训练集上表现好但在同分布测试集上差,两者不同。
10.7.2-007 继续预训练与领域微调的区别?
频率 ★★★ | 难度 进阶
一句话结论
继续预训练是在领域语料上继续做 next-token 预训练(学习率中等,数据是领域文本),领域微调通常指在领域指令数据上做 SFT(学习率低,数据是指令-回答对);前者注入领域知识,后者学习领域格式。
概念解释
- 继续预训练(Continued Pre-training):用领域纯文本继续预训练,让模型学习领域词汇、概念、知识。
- 领域 SFT:用领域指令数据做监督微调,让模型学会按领域格式回答问题。
- 典型流程:先继续预训练注入领域知识 → 再 SFT 对齐格式。
- 学习率:继续预训练用中等学习率(如 1e-4 ~ 5e-5),SFT 用小学习率(如 2e-5)。
原理流程
- 收集领域文本(如医疗论文、法律文书、金融报告)。
- 继续预训练:用领域语料继续训练,注入领域知识。
- 构造领域指令数据:领域问题 + 领域专家回答。
- SFT:在领域指令数据上微调,对齐格式和风格。
代码 / 示例
领域模型训练典型流程:
通用底座模型
→ 继续预训练(领域语料, 学习率 ~5e-5, 数 B token)
→ 领域 SFT(领域指令对, 学习率 ~2e-5, 数万条)
→ 对齐(可选, DPO 或 RLHF)
→ 领域专用模型
注意: 继续预训练学习率不能太大, 否则会严重遗忘通用能力
常见误区
- 误区:领域模型只需要 SFT 就够了;正解:如果领域术语和知识超出通用模型范围,需要继续预训练注入知识,SFT 只能调整格式。
- 误区:继续预训练用 SFT 的学习率就行;正解:继续预训练的学习率通常比 SFT 大,因为要学习新知识而不只是调整格式。
追问
- Q:领域继续预训练需要多少数据? A:取决于领域和目标,通常数十亿到数百亿 token 才能看到明显效果,具体以实验为准。
- Q:如果领域数据很少怎么办? A:可以只用 SFT 加上 RAG(检索增强),把领域知识放在外部知识库,不训练进模型。
10.7.2-008 SFT 的学习率和训练轮次如何选择?
频率 ★★★ | 难度 基础
一句话结论
SFT 常用学习率为 1e-5 ~ 2e-5(全量微调),LoRA 可以用稍高的 1e-4 ~ 5e-4;训练轮次通常 1~3 轮,过多会过拟合;具体值需要在验证集上调参,观察损失曲线和评测分数。
概念解释
- 全量 SFT 学习率:小学习率,避免破坏预训练知识。
- LoRA 学习率:因为只训练少量参数,可以用更高学习率。
- 轮次:数据量小(万级)通常 2~3 轮,数据量大(十万级以上)通常 1 轮。
- warmup:前 3%~10% 步数线性升学习率,避免初期不稳定。
- 学习率调度:cosine 衰减到最小值。
原理流程
- 先选一个保守的学习率(如 1e-5)跑实验。
- 观察训练损失和验证损失。
- 如果验证损失不降:提高学习率或增加轮次。
- 如果验证损失开始上升(过拟合):降低轮次或加正则。
- 选验证集上表现最好的 checkpoint。
代码 / 示例
SFT 超参数经验范围:
全量微调:
learning_rate: 1e-5 ~ 2e-5
epochs: 1 ~ 3
warmup_ratio: 0.03
lr_scheduler: cosine
LoRA:
learning_rate: 1e-4 ~ 5e-4
epochs: 1 ~ 3
lora_rank: 8 ~ 64
lora_alpha: 16 ~ 128
这些是经验值, 具体需在验证集上调优
常见误区
- 误区:学习率越大收敛越快;正解:学习率过大会导致训练不稳定或遗忘预训练知识,SFT 必须小步走。
- 误区:loss 越低模型越好;正解:训练 loss 低但验证 loss 高是过拟合,要看验证集和实际评测。
追问
- Q:怎么判断 SFT 收敛了? A:验证集损失不再下降,或在评测集上分数不再提升,继续训练反而下降。
- Q:不同大小的模型学习率有区别吗? A:通常更大的模型用更小的学习率,因为参数更多,对更新更敏感;具体以实验为准。
待整理清单
- [ ] 数据配比实验方法论
- [ ] SFT 评测集设计(如何评估指令遵循能力)
- [ ] 多轮对话 SFT 的数据构造细节
- [ ] 模型蒸馏的具体流程
- [ ] 训练 loss 异常诊断(NaN/发散/不下降)