罗罗编程学习记录
本页内容 展开查看

10.7.2 预训练、SFT 与指令微调

所属:全栈开发面试题库 / 10 AI 应用开发:LLM 与 Agent / 10.7 模型训练与微调

覆盖范围

  • 预训练语料构成与训练目标(next-token prediction)
  • 预训练阶段划分与数据混合策略
  • SFT(监督微调)的数据构造与训练方式
  • 指令微调与对话格式(chat template)
  • SFT 与继续预训练的区别
  • 灾难性遗忘与缓解策略

高频题速览

编号 题目 难度 频率
10.7.2-001 预训练的训练目标是什么? 基础 ★★★★★
10.7.2-002 预训练语料由哪些类型组成? 基础 ★★★★
10.7.2-003 SFT 与预训练有什么本质区别? 进阶 ★★★★★
10.7.2-004 如何构造高质量的 SFT 数据? 进阶 ★★★★
10.7.2-005 什么是 chat template,为什么重要? 基础 ★★★★
10.7.2-006 灾难性遗忘是什么,如何缓解? 进阶 ★★★★
10.7.2-007 继续预训练与领域微调的区别? 进阶 ★★★
10.7.2-008 SFT 的学习率和训练轮次如何选择? 基础 ★★★

10.7.2-001 预训练的训练目标是什么?

频率 ★★★★★ | 难度 基础

一句话结论

预训练的训练目标是下一个 token 预测(自回归语言建模):给定前文 token 序列,预测下一个 token 的概率分布,损失为交叉熵;这个目标驱动模型学习语言规律、知识和推理能力。

概念解释

  • 自回归:从左到右逐 token 预测,因果掩码保证看不到未来。
  • 交叉熵损失:对每个位置预测的 token 与真实 token 计算负对数似然,所有位置平均。
  • 训练信号:海量文本(数万亿 token)中每个 token 都是监督信号,无需人工标注。
  • 涌现能力:参数规模和数据量达到一定阈值后,模型展现出训练时未显式训练的能力。

原理流程

  1. 文本语料分词 → token id 序列。
  2. 输入左移一位,目标右移一位。
  3. 前向传播得到所有位置的 logits。
  4. 计算每个位置的交叉熵损失,求和取平均。
  5. 反向传播更新全部参数。

代码 / 示例

# 预训练损失计算(概念示意)
# input_ids: [t1, t2, t3, ..., t_n]
# labels:    [t2, t3, t4, ..., t_{n+1}]
#
# logits = model(input_ids)  # shape: [batch, seq_len, vocab]
# loss = CrossEntropyLoss(logits.view(-1, vocab), labels.view(-1))
#
# 注意: 只对非 padding 位置计算损失

常见误区

  • 误区:预训练就是让模型记住文本;正解:模型学习的是 token 间的统计规律和世界知识,不是逐字背诵。
  • 误区:预训练损失降为 0 才算好;正解:自然语言有随机性,损失收敛到合理水平即可,过拟合反而有害。

追问

  • Q:预训练损失和下游能力的关系? A:预训练损失越低通常表示语言建模能力越强,但与具体下游任务表现不是线性对应,需要评测。
  • Q:预训练用什么精度? A:通常用 bf16 混合精度,前向反向 bf16,梯度累加 fp32,兼顾稳定性和效率。

10.7.2-002 预训练语料由哪些类型组成?

频率 ★★★★ | 难度 基础

一句话结论

预训练语料通常混合多种来源:网页文本(Common Crawl 等)、书籍、学术论文、代码、百科、新闻、对话数据等;不同来源按比例混合,控制质量和领域覆盖,代码和数学语料对推理能力有显著贡献。

概念解释

  • 网页文本:量最大,质量参差,需要去重、过滤、分类。
  • 书籍与论文:长文本、知识密度高,量有限。
  • 代码:赋予模型代码生成和逻辑推理能力,对复杂推理有帮助。
  • 高质量过滤:用分类器、困惑度、语言识别等手段过滤低质量内容。
  • 数据配比:不同领域比例影响模型能力侧重,是训练配方的核心机密。

原理流程

  1. 采集原始数据(网页爬取、公开数据集、书籍扫描等)。
  2. 清洗:去重、去广告、去低质、语言识别。
  3. 质量过滤:分类器打分、规则过滤。
  4. 按配方混合,按采样比例分配到训练 batch。

代码 / 示例

典型开源模型预训练数据配比(示意,以各模型公开报告为准):
  网页 Common Crawl:  ~50-60%
  书籍/论文/百科:     ~15-20%
  代码:               ~10-15%
  对话/指令数据:      ~5-10%
  其他(新闻/社区等):   ~5-10%

常见误区

  • 误区:数据越多越好,质量不重要;正解:低质量数据会损害模型表现,去重和过滤至关重要。
  • 误区:代码数据只对写代码有用;正解:代码训练增强了模型的逻辑推理和结构化思维,对数学推理和复杂指令遵循也有迁移效果。

追问

  • Q:数据重复率有什么影响? A:重复数据会导致模型过拟合到特定文本,降低泛化能力;去重是数据处理的关键步骤。
  • Q:什么是数据相位(data phase)? A:训练过程中分阶段切换数据配比,如前期以通用网页为主,后期增加高质量和领域数据,是常见训练策略。

10.7.2-003 SFT 与预训练有什么本质区别?

频率 ★★★★★ | 难度 进阶

一句话结论

预训练学习通用语言知识和世界模型,数据是海量无标注文本;SFT(监督微调)用小规模高质量指令-回答对训练模型遵循指令格式和对话风格,数据量小但质量高,是对齐的第一步。

概念解释

  • 预训练:通用能力,数据量万亿 token,训练周期数周数月。
  • SFT:格式对齐,数据量万到百万条指令对,训练周期数小时到数天。
  • 学习率:SFT 用远小于预训练的学习率(通常 1e-5 ~ 2e-5),避免破坏预训练知识。
  • 训练目标:SFT 仍用 next-token prediction,但只在回答部分计算损失(prompt 部分 mask 掉)。

原理流程

  1. 预训练完成,得到底座模型。
  2. 准备指令数据:输入指令 + 期望回答。
  3. 按 chat template 格式化。
  4. 训练时 prompt 部分不计算损失,只对回答部分计算。
  5. 少量 epoch(通常 1~3 轮)即可收敛。

代码 / 示例

# SFT 损失计算示意
# 一条数据: {"instruction": "解释什么是闭包", "output": "闭包是..."}
#
# 格式化后:
#   <|user|>解释什么是闭包<|assistant|>闭包是...<|end|>
#
# 损失 mask:
#   prompt 部分 (<|user|>...<|assistant|>): label = -100 (不计算)
#   回答部分 (闭包是...<|end|>): label = 实际 token id
#
# 这样模型只学习如何生成回答, 不学习复述 prompt

常见误区

  • 误区:SFT 就是重新训练模型;正解:SFT 是在预训练底座上做小步调整,学习率和数据量都小得多。
  • 误区:SFT 数据越多越好;正解:SFT 数据质量比数量重要,一万条高质量数据可能胜过一百万条低质数据。

追问

  • Q:为什么只在回答部分算损失? A:因为目标是让模型学会按指令生成回答,而不是学习如何复述指令;对 prompt 部分算损失会浪费容量且可能学到不必要的模式。
  • Q:SFT 后模型能力会下降吗? A:在某些纯知识任务上可能轻微下降(对齐税),但在指令遵循和对话能力上显著提升,总体实用性更高。

10.7.2-004 如何构造高质量的 SFT 数据?

频率 ★★★★ | 难度 进阶

一句话结论

高质量 SFT 数据的核心是:指令多样、回答准确、格式规范、覆盖目标场景;来源包括人工编写、强模型蒸馏、公开数据集筛选,需要经过去重、去毒、审核等多轮清洗。

概念解释

  • 指令多样性:覆盖不同任务类型(问答、翻译、摘要、代码、推理)和难度。
  • 回答质量:事实准确、逻辑清晰、格式规范、无有害内容。
  • 数据来源:人工标注(贵但质量高)、GPT-4 蒸馏(性价比高)、公开数据集(开源可用)。
  • 去污染:确保评测集不出现在训练数据中,避免虚高评测分数。
  • 比例平衡:不同任务类型比例要合理,避免模型偏科。

原理流程

  1. 明确目标场景:模型要服务什么任务、什么风格。
  2. 收集或生成指令-回答对。
  3. 清洗去重:语义去重、长度过滤、质量打分。
  4. 人工抽检:抽样审核质量,淘汰不合格样本。
  5. 按配比混合,准备训练。

代码 / 示例

SFT 数据质量检查清单:
  [ ] 指令是否清晰无歧义
  [ ] 回答是否事实正确
  [ ] 回答长度是否合理(不过短也不过长)
  [ ] 是否包含有害/歧视/违法内容
  [ ] 是否与评测集重复
  [ ] 格式是否统一(按 chat template)
  [ ] 多轮对话的上下文是否连贯

常见误区

  • 误区:SFT 数据越多越好,直接用网上的数据集;正解:网上数据集质量参差,可能包含错误、偏见、有害内容,必须清洗审核。
  • 误区:蒸馏数据就是让 GPT-4 生成什么就用什么;正解:蒸馏数据需要筛选,GPT-4 也会出错,需要人工或规则过滤。

追问

  • Q:什么是自我指令(self-instruct)? A:让模型自己生成指令和回答,过滤后再用于训练,减少人工标注量,但需要保证质量。
  • Q:多轮对话数据怎么构造? A:模拟真实用户多轮交互,每轮都有 user 和 assistant 交替,训练时对所有 assistant 回答部分计算损失。

10.7.2-005 什么是 chat template,为什么重要?

频率 ★★★★ | 难度 基础

一句话结论

chat template 是把对话历史格式化为模型可理解的字符串的模板,定义了特殊标记(如 <|user|>、<|assistant|>)的位置和格式;训练和推理必须使用完全一致的模板,否则模型行为异常。

概念解释

  • 特殊标记:区分用户消息和助手消息的控制 token,如 <|im_start|>user、<|im_end|>。
  • 训练时使用:SFT 数据按模板格式化后训练,模型学到标记与角色的对应关系。
  • 推理时使用:用户输入必须按同样模板拼接,否则模型不理解当前对话结构。
  • 模板不一致的后果:模型可能输出乱码、不回答、或把用户输入当生成继续。

原理流程

  1. 训练数据按模板格式化:
    <|im_start|>system
    你是助手<|im_end|>
    <|im_start|>user
    你好<|im_end|>
    <|im_start|>assistant
    你好!有什么可以帮你<|im_end|>
    
  2. 推理时按同样格式拼接对话历史。
  3. 模型生成直到遇到 <|im_end|> 停止。

代码 / 示例

# 不同模型的 chat template 差异很大
# ChatML (Qwen 等):
#   <|im_start|>system\n{system}<|im_end|>\n<|im_start|>user\n{user}<|im_end|>\n<|im_start|>assistant\n
#
# LLaMA-2:
#   [INST] <<SYS>>{system}<</SYS>> {user} [/INST]
#
# 用法: tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)

常见误区

  • 误区:chat template 只是格式问题,不影响效果;正解:模板不对会导致模型输出质量大幅下降,甚至不工作。
  • 误区:所有模型都用同一个模板;正解:每个模型有自己的模板,必须按模型文档使用对应模板。

追问

  • Q:为什么要用特殊 token 而不是普通文本? A:特殊 token 是词表中的独立 token,模型可以精确区分角色边界;普通文本(如 "User:")可能被模型当作内容生成。
  • Q:多轮对话时 template 怎么拼? A:每轮 user 和 assistant 交替拼接,最后一个 assistant 后面加生成提示,模型从那里开始输出。

10.7.2-006 灾难性遗忘是什么,如何缓解?

频率 ★★★★ | 难度 进阶

一句话结论

灾难性遗忘指在微调(尤其是领域微调)后,模型在预训练阶段学到的通用能力下降甚至丧失;缓解方法包括:降低学习率、混入通用数据、使用参数高效微调(只训练少量参数)、正则化约束等。

概念解释

  • 遗忘原因:微调更新了全部参数,覆盖了预训练时学到的通用表示。
  • 表现:微调后模型在通用对话、知识问答上变差,在目标领域变好。
  • 缓解思路:限制参数更新范围、保留通用数据、正则化约束。
  • 评估:微调前后在通用基准上评测,监控能力下降幅度。

原理流程

  1. 微调前:在通用评测集上测基线。
  2. 微调过程中:定期在通用评测集上验证。
  3. 如果通用能力下降过多:降低学习率、混入通用数据、或改用 LoRA 等 PEFT 方法。
  4. 微调后:通用 + 领域双重评测。

代码 / 示例

缓解灾难性遗忘的常用手段:
  1. 学习率: SFT 用 1e-5~2e-5, 远小于预训练的 3e-4
  2. 混入通用数据: 微调数据中混入 10-30% 通用对话
  3. LoRA: 只训练旁路低秩矩阵, 主干参数冻结
  4. EMA: 维护参数滑动平均, 微调后接近原模型
  5. 正则化: L2-SP 等约束新参数不偏离预训练初始值

常见误区

  • 误区:LoRA 完全不会遗忘;正解:LoRA 只训练少量参数,遗忘程度远小于全量微调,但不是零遗忘。
  • 误区:微调轮次越多越好;正解:过多轮次会加剧过拟合和遗忘,通常 1~3 轮即可。

追问

  • Q:什么是对齐税? A:模型经过对齐(SFT + RLHF)后,在某些纯知识任务上表现比未对齐的底座模型略差,这是对齐带来的代价。
  • Q:怎么判断是遗忘还是过拟合? A:遗忘是在未训练过的通用任务上下降;过拟合是在训练集上表现好但在同分布测试集上差,两者不同。

10.7.2-007 继续预训练与领域微调的区别?

频率 ★★★ | 难度 进阶

一句话结论

继续预训练是在领域语料上继续做 next-token 预训练(学习率中等,数据是领域文本),领域微调通常指在领域指令数据上做 SFT(学习率低,数据是指令-回答对);前者注入领域知识,后者学习领域格式。

概念解释

  • 继续预训练(Continued Pre-training):用领域纯文本继续预训练,让模型学习领域词汇、概念、知识。
  • 领域 SFT:用领域指令数据做监督微调,让模型学会按领域格式回答问题。
  • 典型流程:先继续预训练注入领域知识 → 再 SFT 对齐格式。
  • 学习率:继续预训练用中等学习率(如 1e-4 ~ 5e-5),SFT 用小学习率(如 2e-5)。

原理流程

  1. 收集领域文本(如医疗论文、法律文书、金融报告)。
  2. 继续预训练:用领域语料继续训练,注入领域知识。
  3. 构造领域指令数据:领域问题 + 领域专家回答。
  4. SFT:在领域指令数据上微调,对齐格式和风格。

代码 / 示例

领域模型训练典型流程:
  通用底座模型
    → 继续预训练(领域语料, 学习率 ~5e-5, 数 B token)
    → 领域 SFT(领域指令对, 学习率 ~2e-5, 数万条)
    → 对齐(可选, DPO 或 RLHF)
    → 领域专用模型

注意: 继续预训练学习率不能太大, 否则会严重遗忘通用能力

常见误区

  • 误区:领域模型只需要 SFT 就够了;正解:如果领域术语和知识超出通用模型范围,需要继续预训练注入知识,SFT 只能调整格式。
  • 误区:继续预训练用 SFT 的学习率就行;正解:继续预训练的学习率通常比 SFT 大,因为要学习新知识而不只是调整格式。

追问

  • Q:领域继续预训练需要多少数据? A:取决于领域和目标,通常数十亿到数百亿 token 才能看到明显效果,具体以实验为准。
  • Q:如果领域数据很少怎么办? A:可以只用 SFT 加上 RAG(检索增强),把领域知识放在外部知识库,不训练进模型。

10.7.2-008 SFT 的学习率和训练轮次如何选择?

频率 ★★★ | 难度 基础

一句话结论

SFT 常用学习率为 1e-5 ~ 2e-5(全量微调),LoRA 可以用稍高的 1e-4 ~ 5e-4;训练轮次通常 1~3 轮,过多会过拟合;具体值需要在验证集上调参,观察损失曲线和评测分数。

概念解释

  • 全量 SFT 学习率:小学习率,避免破坏预训练知识。
  • LoRA 学习率:因为只训练少量参数,可以用更高学习率。
  • 轮次:数据量小(万级)通常 2~3 轮,数据量大(十万级以上)通常 1 轮。
  • warmup:前 3%~10% 步数线性升学习率,避免初期不稳定。
  • 学习率调度:cosine 衰减到最小值。

原理流程

  1. 先选一个保守的学习率(如 1e-5)跑实验。
  2. 观察训练损失和验证损失。
  3. 如果验证损失不降:提高学习率或增加轮次。
  4. 如果验证损失开始上升(过拟合):降低轮次或加正则。
  5. 选验证集上表现最好的 checkpoint。

代码 / 示例

SFT 超参数经验范围:
  全量微调:
    learning_rate: 1e-5 ~ 2e-5
    epochs: 1 ~ 3
    warmup_ratio: 0.03
    lr_scheduler: cosine

  LoRA:
    learning_rate: 1e-4 ~ 5e-4
    epochs: 1 ~ 3
    lora_rank: 8 ~ 64
    lora_alpha: 16 ~ 128

这些是经验值, 具体需在验证集上调优

常见误区

  • 误区:学习率越大收敛越快;正解:学习率过大会导致训练不稳定或遗忘预训练知识,SFT 必须小步走。
  • 误区:loss 越低模型越好;正解:训练 loss 低但验证 loss 高是过拟合,要看验证集和实际评测。

追问

  • Q:怎么判断 SFT 收敛了? A:验证集损失不再下降,或在评测集上分数不再提升,继续训练反而下降。
  • Q:不同大小的模型学习率有区别吗? A:通常更大的模型用更小的学习率,因为参数更多,对更新更敏感;具体以实验为准。

待整理清单

  • [ ] 数据配比实验方法论
  • [ ] SFT 评测集设计(如何评估指令遵循能力)
  • [ ] 多轮对话 SFT 的数据构造细节
  • [ ] 模型蒸馏的具体流程
  • [ ] 训练 loss 异常诊断(NaN/发散/不下降)