10.7.1 Transformer 结构与注意力机制
所属:全栈开发面试题库 / 10 AI 应用开发:LLM 与 Agent / 10.7 模型训练与微调
覆盖范围
- Transformer 整体结构(Encoder-Decoder 与 Decoder-only 差异)
- 自注意力、多头注意力、位置编码的训练视角
- 前馈网络、残差连接、LayerNorm 的作用
- 反向传播流程与参数梯度
- 训练并行策略(数据并行、张量并行、流水线并行)
- 模型规模与参数量估算
高频题速览
| 编号 | 题目 | 难度 | 频率 |
|---|---|---|---|
| 10.7.1-001 | Transformer 的整体结构由哪些模块组成? | 基础 | ★★★★★ |
| 10.7.1-002 | Decoder-only 架构为什么成为 LLM 主流? | 进阶 | ★★★★ |
| 10.7.1-003 | 多头注意力在训练时如何计算梯度? | 进阶 | ★★★ |
| 10.7.1-004 | 位置编码有哪些方案,训练时如何注入? | 基础 | ★★★★ |
| 10.7.1-005 | 残差连接和 LayerNorm 在训练中起什么作用? | 进阶 | ★★★★ |
| 10.7.1-006 | 训练时的三种并行策略如何分工? | 高级 | ★★★★ |
| 10.7.1-007 | 如何估算一个 Transformer 模型的参数量? | 进阶 | ★★★★ |
| 10.7.1-008 | 反向传播在 Transformer 中如何流动? | 高级 | ★★★ |
10.7.1-001 Transformer 的整体结构由哪些模块组成?
频率 ★★★★★ | 难度 基础
一句话结论
Transformer 由输入嵌入与位置编码、N 层堆叠的编码器/解码器(每层含多头自注意力、前馈网络、残差连接与 LayerNorm)、以及最终输出投影层组成;训练视角下,每一层都是可微的,前向传播后通过反向传播逐层计算梯度。
概念解释
- 输入嵌入:token id 映射为稠密向量,与位置编码相加。
- 多头自注意力:在多个子空间并行计算 token 间关联。
- 前馈网络(FFN):两层线性变换加激活,对每个位置独立做非线性变换。
- 残差连接 + LayerNorm:稳定梯度、允许深层网络训练。
- 输出投影:隐藏状态映射到词表维度的 logits。
原理流程
- 输入 token id → embedding 矩阵查表 → 加位置编码。
- 重复 N 层:注意力子层 → 残差 + LN → FFN 子层 → 残差 + LN。
- 最终隐藏状态经线性层投影到词表维度,得到 logits。
- 与标签计算交叉熵损失,反向传播更新全部参数。
代码 / 示例
# 伪代码:单层 Transformer Block
class TransformerBlock(nn.Module):
def __init__(self, d_model, n_heads, d_ff):
self.attn = MultiHeadAttention(d_model, n_heads)
self.ffn = FeedForward(d_model, d_ff)
self.norm1 = LayerNorm(d_model)
self.norm2 = LayerNorm(d_model)
def forward(self, x):
# Pre-LN 风格:先归一化再进入子层
h = x + self.attn(self.norm1(x))
out = h + self.ffn(self.norm2(h))
return out
常见误区
- 误区:Encoder 和 Decoder 结构完全一样;正解:Encoder 用双向自注意力,Decoder 用带因果掩码的自注意力 + 交叉注意力。
- 误区:LayerNorm 在残差之后;正解:Post-LN 是先子层后残差再归一,Pre-LN 是先归一再子层再残差,现代 LLM 多采用 Pre-LN。
追问
- Q:Pre-LN 与 Post-LN 的训练稳定性差异? A:Pre-LN 让梯度更直接流经残差通路,深层训练更稳定,是 GPT/LLaMA 等现代模型的默认选择。
- Q:FFN 的中间维度通常设多少? A:常见为 d_model 的 4 倍(如 d_model=4096,d_ff=11000~14336),具体以模型配置为准。
10.7.1-002 Decoder-only 架构为什么成为 LLM 主流?
频率 ★★★★ | 难度 进阶
一句话结论
Decoder-only 架构(GPT 系列)只保留因果掩码的自解码器层,结构简单、训练目标统一(下一个 token 预测),并且天然适配自回归生成;在大规模语料上扩展后表现出强大的涌现能力,成为主流选择。
概念解释
- Decoder-only:每一层只做因果自注意力(当前位置只能看左边),无交叉注意力。
- 训练目标:给定前文预测下一个 token,即语言建模损失。
- 对比 Encoder-Decoder(T5/BART):训练目标更复杂,需要平行语料。
- 对比 Encoder-only(BERT):只能做理解,不能生成。
原理流程
- 输入序列左移一位,模型预测下一个 token。
- 因果掩码保证位置 i 只能关注 j ≤ i。
- 损失对所有位置求和取平均。
- 训练完成后直接自回归生成,无需结构改动。
代码 / 示例
Decoder-only 结构(每层):
x → LN → CausalSelfAttention → +残差 → LN → FFN → +残差
因果掩码: 位置 i 对 j > i 的注意力权重置 -inf,softmax 后为 0
常见误区
- 误区:Decoder-only 模型不能做理解任务;正解:通过 prompt 设计和指令微调,Decoder-only 在分类、抽取、问答等理解任务上同样表现良好。
- 误区:Encoder-only 模型也能生成;正解:BERT 类模型没有因果掩码和自回归能力,不能直接做生成。
追问
- Q:为什么 Encoder-Decoder 没有成为主流? A:它需要平行语料(翻译对、摘要对),大规模预训练数据不如纯文本通用,且结构复杂度更高。
- Q:Vision Transformer 用哪种? A:ViT 用 Encoder-only 结构做图像分类,因为图像不需要自回归生成。
10.7.1-003 多头注意力在训练时如何计算梯度?
频率 ★★★ | 难度 进阶
一句话结论
多头注意力的前向计算是可微的:Q/K/V 投影矩阵、输出投影矩阵都通过标准反向传播计算梯度;softmax 与缩放操作的梯度由链式法则逐层回传,多头之间并行计算梯度。
概念解释
- Q/K/V 线性投影:权重矩阵 Wq/Wk/Wv 的梯度来自输出对其的偏导。
- softmax 梯度:利用 softmax 输出向量自身计算,公式为 ∂L/∂softmax = softmax ⊙ (grad - sum(grad ⊙ softmax))。
- 缩放因子 1/√dₖ:常数,不影响梯度计算逻辑。
- 多头拼接:每个头独立计算梯度,输出投影 Wo 接收拼接后的梯度。
原理流程
- 前向:Q/K/V 投影 → 分头 → 注意力分数 → softmax → 加权 V → 拼接 → Wo 投影。
- 反向:从 Wo 接收梯度 → 反向分头 → 加权 V 对 V 的梯度 → softmax 梯度 → 注意力分数梯度 → Q/K 投影梯度。
- 所有投影矩阵梯度累加,由优化器更新。
代码 / 示例
# 注意力分数梯度的关键步骤(概念示意)
# scores = Q @ K.T / sqrt(d_k)
# attn = softmax(scores, mask)
# out = attn @ V
#
# 反向:
# grad_out = upstream_grad
# grad_attn = grad_out @ V.T
# grad_V = attn.T @ grad_out
# grad_scores = softmax_backward(attn, grad_attn)
# grad_Q = grad_scores @ K / sqrt(d_k)
# grad_K = grad_scores.T @ Q / sqrt(d_k)
常见误区
- 误区:注意力权重 softmax 不可微;正解:softmax 处处可微,是注意力可训练的基础。
- 误区:多头注意力的梯度需要在头之间共享;正解:每个头有独立的 Q/K/V 投影,梯度独立计算。
追问
- Q:注意力分数的 n² 矩阵在反向传播中也是 n² 复杂度吗? A:是的,反向传播同样涉及 n² 矩阵乘,这是长序列训练的主要显存和算力瓶颈之一。
- Q:FlashAttention 对梯度有什么影响? A:FlashAttention 通过分块计算减少中间矩阵的显存占用,梯度计算数学上等价,只是重新组织了计算顺序。
10.7.1-004 位置编码有哪些方案,训练时如何注入?
频率 ★★★★ | 难度 基础
一句话结论
位置编码为模型注入序列顺序信息:绝对位置编码(正弦/可学习)直接加到 token embedding 上;旋转位置编码(RoPE)通过旋转矩阵作用于 Q/K,在注意力计算中隐式编码相对位置;ALiBi 等方案直接在注意力分数上加位置偏置。
概念解释
- 正弦位置编码(Transformer 原始方案):固定函数,不加训练参数。
- 可学习位置嵌入(GPT-2/BERT):每层位置有可训练向量,加到 embedding。
- RoPE(旋转位置编码,LLaMA/PaLM 使用):对 Q/K 做旋转变换,编码相对距离。
- ALiBi:在注意力分数上直接加 -m·|i-j| 偏置,无额外参数。
- 训练外推性:不同方案对训练长度之外的泛化能力不同。
原理流程
- 绝对方案:embedding + 位置向量 → 后续层正常计算。
- RoPE:在注意力计算前,对 Q 和 K 的每对维度做旋转变换,旋转角度由位置决定。
- ALiBi:softmax 之前,在注意力分数矩阵上按位置距离加偏置。
- 位置编码的梯度由损失回传,可学习方案中位置向量本身被更新。
代码 / 示例
# RoPE 核心示意
# 对 Q 的每对维度 (q_2i, q_2i+1) 做旋转:
# q'_2i = q_2i * cos(theta_i * pos) - q_2i+1 * sin(theta_i * pos)
# q'_2i+1 = q_2i * sin(theta_i * pos) + q_2i+1 * cos(theta_i * pos)
#
# 这样 Q_pos · K_pos' 的内积只依赖相对距离 |pos - pos'|
常见误区
- 误区:位置编码在推理时也需要训练更新;正解:推理时位置编码是固定的计算规则(RoPE)或已训练好的向量(可学习方案),不参与梯度更新。
- 误区:RoPE 和 ALiBi 完全等价;正解:RoPE 作用于 Q/K 向量,ALiBi 作用于注意力分数,数学形式不同。
追问
- Q:RoPE 为什么能外推到更长序列? A:通过缩放因子(NTK-aware、YaRN 等)调整频率基,使旋转角度在超长位置仍保持合理分布,具体效果以实验为准。
- Q:训练时位置编码的显存占用大吗? A:相比激活值和注意力矩阵,位置编码本身的显存可以忽略;真正的成本是注意力的 n²。
10.7.1-005 残差连接和 LayerNorm 在训练中起什么作用?
频率 ★★★★ | 难度 进阶
一句话结论
残差连接让梯度可以直接跨层回传,缓解深层网络的梯度消失;LayerNorm 将每一层的激活归一化到均值 0、方差 1,稳定训练动态;二者配合使数十甚至上百层的 Transformer 能够有效训练。
概念解释
- 残差连接:output = x + sublayer(x),梯度直接通过 x 通路回传。
- LayerNorm:对每个样本的所有特征维度做归一化,参数为可学习的 gamma 和 beta。
- Pre-LN:LN 在子层之前(x → LN → sublayer → +残差),梯度通路更平滑。
- Post-LN:LN 在残差之后(x → sublayer → +残差 → LN),原始 Transformer 方案。
原理流程
- 残差通路:梯度 ∂L/∂x = ∂L/∂output + ∂L/∂sublayer(x),第一项直接流过。
- LayerNorm 内部:减均值、除标准差、乘 gamma 加 beta,全程可微。
- Pre-LN 使梯度不需要穿过 LN 就能到达底层,深层训练更稳定。
代码 / 示例
# Pre-LN 残差块(LLaMA 风格)
h = x + attn(rms_norm(x)) # RMSNorm 是 LayerNorm 的简化变体
out = h + ffn(rms_norm(h))
#
# RMSNorm: 只除以均方根,不减均值,计算更简单
# y = x / sqrt(mean(x^2) + eps) * gamma
常见误区
- 误区:残差连接只是跳过连接,没有数学作用;正解:它改变了梯度传播路径,是深层网络可训练的关键。
- 误区:LayerNorm 和 BatchNorm 一样;正解:LayerNorm 对特征维度归一化,不依赖 batch 大小;BatchNorm 对 batch 维度归一化,在序列模型中不稳定。
追问
- Q:RMSNorm 相比 LayerNorm 少了什么? A:少了减均值操作,只做均方根归一化,计算更省,效果接近。
- Q:为什么大模型都用 Pre-LN? A:Post-LN 在深层时需要非常小心学习率预热,Pre-LN 让训练更鲁棒,是现代 LLM 的事实标准。
10.7.1-006 训练时的三种并行策略如何分工?
频率 ★★★★ | 难度 高级
一句话结论
数据并行(DP)复制完整模型到多卡,每卡处理不同数据分片;张量并行(TP)将单层矩阵乘法拆分到多卡,层内通信;流水线并行(PP)将不同层分配到不同卡,层间通信;三者组合使用,解决单卡显存装不下大模型的问题。
概念解释
- 数据并行:每张卡有完整模型副本,前向计算不同数据,反向同步梯度。
- 张量并行:单层的权重矩阵按列或按行拆分,前向需要 all-reduce 通信。
- 流水线并行:模型层按顺序分到不同设备,micro-batch 流水填充。
- 三维并行:DP + TP + PP 组合,是 GPT-3 等大模型训练的标准方案。
原理流程
- 模型规模估算:参数量 × 字节数 + 优化器状态 × 字节数 → 判断单卡显存是否够。
- 不够 → 张量并行切分层内计算 → 仍不够 → 流水线并行切分层间。
- 数据并行负责吞吐扩展。
- 通信量:TP 通信最频繁(每层),PP 通信较少(层间),DP 通信最慢步(梯度同步)。
代码 / 示例
典型 70B 模型训练并行配置示意:
节点数: 16 (每节点 8 卡)
TP = 8 (节点内切分)
PP = 4 (跨节点切分层)
DP = 其余 (数据分片)
显存粗算 (训练态, Adam 优化器):
参数量 P, 每参数占用:
模型权重: 2 bytes (bf16)
梯度: 2 bytes (bf16)
优化器状态: 8 bytes (fp32 momentum + variance)
合计 ≈ 16 bytes / 参数
70B 参数 → 约 1.1 TB 训练态显存 (不含激活)
常见误区
- 误区:数据并行就能训练任意大模型;正解:DP 要求每卡都有完整模型,单卡显存装不下时必须用 TP 或 PP。
- 误区:张量并行通信量很小;正解:TP 每层都需要 all-reduce,通信密集,通常只在节点内(NVLink 高带宽)使用。
追问
- Q:ZeRO 优化器是什么? A:DeepSpeed ZeRO 将优化器状态、梯度、模型参数分片到不同卡,减少 DP 的显存冗余,是数据并行的进阶版本。
- Q:激活重计算(activation checkpointing)是什么? A:前向时不保存全部中间激活,反向时重新计算,用算力换显存,是长序列和大模型训练的常用手段。
10.7.1-007 如何估算一个 Transformer 模型的参数量?
频率 ★★★★ | 难度 进阶
一句话结论
参数量由四部分组成:token embedding(词表大小 × d_model)、注意力层(Q/K/V/O 四个投影矩阵,各 d_model × d_model)、FFN 层(两个矩阵,d_model × d_ff 和 d_ff × d_model)、以及输出投影(通常与 embedding 共享或独立);逐层累加再乘以层数。
概念解释
- 注意力参数:4 × d_model × d_model(Q/K/V/O 投影)+ LayerNorm 参数。
- FFN 参数:d_model × d_ff + d_ff × d_model,通常 d_ff ≈ 4 × d_model。
- 词表 embedding:vocab_size × d_model,是参数量的大头之一。
- 输出头:若与 embedding 共享权重则不额外增加;若独立则再加 vocab_size × d_model。
原理流程
- 取模型配置:层数 L、d_model、注意力头数、d_ff、词表大小 V。
- 每层注意力参数 ≈ 4 × d_model²。
- 每层 FFN 参数 ≈ 2 × d_model × d_ff。
- 总参数 = L × (注意力 + FFN + LN) + 词表 embedding + 输出头。
代码 / 示例
以 d_model=4096, L=32, d_ff=11008, V=32000 为例:
每层注意力: 4 × 4096 × 4096 ≈ 67.1M
每层 FFN: 4096 × 11008 + 11008 × 4096 ≈ 90.2M
每层 LN: 2 × 4096 ≈ 8K (可忽略)
单层合计: ≈ 157.3M
32 层合计: ≈ 5.03B
词表 embedding: 32000 × 4096 ≈ 131M
输出头(共享): 0
总参数量: ≈ 5.16B (即 ~5B 模型)
注意: 若使用 GQA, K/V 投影维度会缩小, 参数量相应减少
常见误区
- 误区:参数量就是模型文件大小;正解:模型文件大小 = 参数量 × 每参数字节数(fp16 为 2 字节,int8 为 1 字节)。
- 误区:embedding 参数量可以忽略;正解:大词表模型中 embedding 可能占总参数的 5%~15%。
追问
- Q:GQA 如何减少参数量? A:K/V 投影按组数而非头数计算,例如 8 组 KV 头而非 32 个 Q 头,K/V 参数量减少为原来的 1/4。
- Q:SwiGLU 激活的 FFN 参数有什么不同? A:LLaMA 用 SwiGLU,FFN 变成三个矩阵(gate/up/down),中间维度通常调整为 2/3 × 4 × d_model,参数量需按实际配置算。
10.7.1-008 反向传播在 Transformer 中如何流动?
频率 ★★★ | 难度 高级
一句话结论
反向传播从输出层开始,沿计算图反向逐层计算梯度:输出投影 → 最后一层 FFN → 残差通路 → 最后一层注意力 → 依次向前穿过每一层 → 到达 embedding;每个矩阵乘法、softmax、归一化都有对应的局部梯度公式。
概念解释
- 计算图:前向传播的每一步都记录为计算图节点,反向时按拓扑逆序遍历。
- 梯度累加:多头注意力的输出梯度先按拼接处拆分,再分别传给每个头。
- 残差梯度:同时回传给子层和残差通路。
- 序列梯度:每个位置的损失独立回传,但注意力层中位置间通过 K/V 关联。
原理流程
- 计算损失:交叉熵损失对每个位置的 logits 求梯度。
- 输出投影:梯度回传到最后一层隐藏状态。
- 逐层反向:FFN 梯度 → 残差拆分 → 注意力梯度 → Q/K/V/O 投影梯度 → 残差拆分 → 前一层。
- 到达 embedding:梯度回传到 token id 查表操作,embedding 矩阵的对应行接收梯度。
代码 / 示例
反向传播顺序(从后往前):
loss → logits_grad
→ lm_head.weight.grad
→ h_final_grad
→ [Layer L]
ffn_backward → residual_grad_1
attn_backward → residual_grad_2
(residual_grad = residual_grad_1 + residual_grad_2)
→ [Layer L-1]
... (重复)
→ embedding.grad
常见误区
- 误区:反向传播时每个位置完全独立;正解:注意力层中位置 i 的梯度依赖所有位置的 K/V,位置间有耦合。
- 误区:LayerNorm 没有可训练参数;正解:LayerNorm 有 gamma 和 beta 两个可学习参数,需要梯度更新。
追问
- Q:梯度检查点如何影响反向传播? A:前向时丢弃中间激活,反向时重新前向计算,减少显存但增加约 33% 计算量。
- Q:混合精度训练对反向传播有什么影响? A:前向和反向用 bf16 计算,但梯度累加和优化器更新用 fp32,防止精度损失累积。
待整理清单
- [ ] 分布式训练框架(Megatron-LM/DeepSpeed)的具体配置
- [ ] 训练损失曲线分析与发散诊断
- [ ] 学习率调度策略(warmup/cosine/衰减)
- [ ] Gradient Clipping 的作用与阈值选择
- [ ] 数据混合与训练阶段划分