罗罗编程学习记录
本页内容 展开查看

10.7.1 Transformer 结构与注意力机制

所属:全栈开发面试题库 / 10 AI 应用开发:LLM 与 Agent / 10.7 模型训练与微调

覆盖范围

  • Transformer 整体结构(Encoder-Decoder 与 Decoder-only 差异)
  • 自注意力、多头注意力、位置编码的训练视角
  • 前馈网络、残差连接、LayerNorm 的作用
  • 反向传播流程与参数梯度
  • 训练并行策略(数据并行、张量并行、流水线并行)
  • 模型规模与参数量估算

高频题速览

编号 题目 难度 频率
10.7.1-001 Transformer 的整体结构由哪些模块组成? 基础 ★★★★★
10.7.1-002 Decoder-only 架构为什么成为 LLM 主流? 进阶 ★★★★
10.7.1-003 多头注意力在训练时如何计算梯度? 进阶 ★★★
10.7.1-004 位置编码有哪些方案,训练时如何注入? 基础 ★★★★
10.7.1-005 残差连接和 LayerNorm 在训练中起什么作用? 进阶 ★★★★
10.7.1-006 训练时的三种并行策略如何分工? 高级 ★★★★
10.7.1-007 如何估算一个 Transformer 模型的参数量? 进阶 ★★★★
10.7.1-008 反向传播在 Transformer 中如何流动? 高级 ★★★

10.7.1-001 Transformer 的整体结构由哪些模块组成?

频率 ★★★★★ | 难度 基础

一句话结论

Transformer 由输入嵌入与位置编码、N 层堆叠的编码器/解码器(每层含多头自注意力、前馈网络、残差连接与 LayerNorm)、以及最终输出投影层组成;训练视角下,每一层都是可微的,前向传播后通过反向传播逐层计算梯度。

概念解释

  • 输入嵌入:token id 映射为稠密向量,与位置编码相加。
  • 多头自注意力:在多个子空间并行计算 token 间关联。
  • 前馈网络(FFN):两层线性变换加激活,对每个位置独立做非线性变换。
  • 残差连接 + LayerNorm:稳定梯度、允许深层网络训练。
  • 输出投影:隐藏状态映射到词表维度的 logits。

原理流程

  1. 输入 token id → embedding 矩阵查表 → 加位置编码。
  2. 重复 N 层:注意力子层 → 残差 + LN → FFN 子层 → 残差 + LN。
  3. 最终隐藏状态经线性层投影到词表维度,得到 logits。
  4. 与标签计算交叉熵损失,反向传播更新全部参数。

代码 / 示例

# 伪代码:单层 Transformer Block
class TransformerBlock(nn.Module):
    def __init__(self, d_model, n_heads, d_ff):
        self.attn = MultiHeadAttention(d_model, n_heads)
        self.ffn = FeedForward(d_model, d_ff)
        self.norm1 = LayerNorm(d_model)
        self.norm2 = LayerNorm(d_model)

    def forward(self, x):
        # Pre-LN 风格:先归一化再进入子层
        h = x + self.attn(self.norm1(x))
        out = h + self.ffn(self.norm2(h))
        return out

常见误区

  • 误区:Encoder 和 Decoder 结构完全一样;正解:Encoder 用双向自注意力,Decoder 用带因果掩码的自注意力 + 交叉注意力。
  • 误区:LayerNorm 在残差之后;正解:Post-LN 是先子层后残差再归一,Pre-LN 是先归一再子层再残差,现代 LLM 多采用 Pre-LN。

追问

  • Q:Pre-LN 与 Post-LN 的训练稳定性差异? A:Pre-LN 让梯度更直接流经残差通路,深层训练更稳定,是 GPT/LLaMA 等现代模型的默认选择。
  • Q:FFN 的中间维度通常设多少? A:常见为 d_model 的 4 倍(如 d_model=4096,d_ff=11000~14336),具体以模型配置为准。

10.7.1-002 Decoder-only 架构为什么成为 LLM 主流?

频率 ★★★★ | 难度 进阶

一句话结论

Decoder-only 架构(GPT 系列)只保留因果掩码的自解码器层,结构简单、训练目标统一(下一个 token 预测),并且天然适配自回归生成;在大规模语料上扩展后表现出强大的涌现能力,成为主流选择。

概念解释

  • Decoder-only:每一层只做因果自注意力(当前位置只能看左边),无交叉注意力。
  • 训练目标:给定前文预测下一个 token,即语言建模损失。
  • 对比 Encoder-Decoder(T5/BART):训练目标更复杂,需要平行语料。
  • 对比 Encoder-only(BERT):只能做理解,不能生成。

原理流程

  1. 输入序列左移一位,模型预测下一个 token。
  2. 因果掩码保证位置 i 只能关注 j ≤ i。
  3. 损失对所有位置求和取平均。
  4. 训练完成后直接自回归生成,无需结构改动。

代码 / 示例

Decoder-only 结构(每层):
  x → LN → CausalSelfAttention → +残差 → LN → FFN → +残差

因果掩码: 位置 i 对 j > i 的注意力权重置 -inf,softmax 后为 0

常见误区

  • 误区:Decoder-only 模型不能做理解任务;正解:通过 prompt 设计和指令微调,Decoder-only 在分类、抽取、问答等理解任务上同样表现良好。
  • 误区:Encoder-only 模型也能生成;正解:BERT 类模型没有因果掩码和自回归能力,不能直接做生成。

追问

  • Q:为什么 Encoder-Decoder 没有成为主流? A:它需要平行语料(翻译对、摘要对),大规模预训练数据不如纯文本通用,且结构复杂度更高。
  • Q:Vision Transformer 用哪种? A:ViT 用 Encoder-only 结构做图像分类,因为图像不需要自回归生成。

10.7.1-003 多头注意力在训练时如何计算梯度?

频率 ★★★ | 难度 进阶

一句话结论

多头注意力的前向计算是可微的:Q/K/V 投影矩阵、输出投影矩阵都通过标准反向传播计算梯度;softmax 与缩放操作的梯度由链式法则逐层回传,多头之间并行计算梯度。

概念解释

  • Q/K/V 线性投影:权重矩阵 Wq/Wk/Wv 的梯度来自输出对其的偏导。
  • softmax 梯度:利用 softmax 输出向量自身计算,公式为 ∂L/∂softmax = softmax ⊙ (grad - sum(grad ⊙ softmax))。
  • 缩放因子 1/√dₖ:常数,不影响梯度计算逻辑。
  • 多头拼接:每个头独立计算梯度,输出投影 Wo 接收拼接后的梯度。

原理流程

  1. 前向:Q/K/V 投影 → 分头 → 注意力分数 → softmax → 加权 V → 拼接 → Wo 投影。
  2. 反向:从 Wo 接收梯度 → 反向分头 → 加权 V 对 V 的梯度 → softmax 梯度 → 注意力分数梯度 → Q/K 投影梯度。
  3. 所有投影矩阵梯度累加,由优化器更新。

代码 / 示例

# 注意力分数梯度的关键步骤(概念示意)
# scores = Q @ K.T / sqrt(d_k)
# attn = softmax(scores, mask)
# out = attn @ V
#
# 反向:
# grad_out = upstream_grad
# grad_attn = grad_out @ V.T
# grad_V = attn.T @ grad_out
# grad_scores = softmax_backward(attn, grad_attn)
# grad_Q = grad_scores @ K / sqrt(d_k)
# grad_K = grad_scores.T @ Q / sqrt(d_k)

常见误区

  • 误区:注意力权重 softmax 不可微;正解:softmax 处处可微,是注意力可训练的基础。
  • 误区:多头注意力的梯度需要在头之间共享;正解:每个头有独立的 Q/K/V 投影,梯度独立计算。

追问

  • Q:注意力分数的 n² 矩阵在反向传播中也是 n² 复杂度吗? A:是的,反向传播同样涉及 n² 矩阵乘,这是长序列训练的主要显存和算力瓶颈之一。
  • Q:FlashAttention 对梯度有什么影响? A:FlashAttention 通过分块计算减少中间矩阵的显存占用,梯度计算数学上等价,只是重新组织了计算顺序。

10.7.1-004 位置编码有哪些方案,训练时如何注入?

频率 ★★★★ | 难度 基础

一句话结论

位置编码为模型注入序列顺序信息:绝对位置编码(正弦/可学习)直接加到 token embedding 上;旋转位置编码(RoPE)通过旋转矩阵作用于 Q/K,在注意力计算中隐式编码相对位置;ALiBi 等方案直接在注意力分数上加位置偏置。

概念解释

  • 正弦位置编码(Transformer 原始方案):固定函数,不加训练参数。
  • 可学习位置嵌入(GPT-2/BERT):每层位置有可训练向量,加到 embedding。
  • RoPE(旋转位置编码,LLaMA/PaLM 使用):对 Q/K 做旋转变换,编码相对距离。
  • ALiBi:在注意力分数上直接加 -m·|i-j| 偏置,无额外参数。
  • 训练外推性:不同方案对训练长度之外的泛化能力不同。

原理流程

  1. 绝对方案:embedding + 位置向量 → 后续层正常计算。
  2. RoPE:在注意力计算前,对 Q 和 K 的每对维度做旋转变换,旋转角度由位置决定。
  3. ALiBi:softmax 之前,在注意力分数矩阵上按位置距离加偏置。
  4. 位置编码的梯度由损失回传,可学习方案中位置向量本身被更新。

代码 / 示例

# RoPE 核心示意
# 对 Q 的每对维度 (q_2i, q_2i+1) 做旋转:
# q'_2i   = q_2i * cos(theta_i * pos) - q_2i+1 * sin(theta_i * pos)
# q'_2i+1 = q_2i * sin(theta_i * pos) + q_2i+1 * cos(theta_i * pos)
#
# 这样 Q_pos · K_pos' 的内积只依赖相对距离 |pos - pos'|

常见误区

  • 误区:位置编码在推理时也需要训练更新;正解:推理时位置编码是固定的计算规则(RoPE)或已训练好的向量(可学习方案),不参与梯度更新。
  • 误区:RoPE 和 ALiBi 完全等价;正解:RoPE 作用于 Q/K 向量,ALiBi 作用于注意力分数,数学形式不同。

追问

  • Q:RoPE 为什么能外推到更长序列? A:通过缩放因子(NTK-aware、YaRN 等)调整频率基,使旋转角度在超长位置仍保持合理分布,具体效果以实验为准。
  • Q:训练时位置编码的显存占用大吗? A:相比激活值和注意力矩阵,位置编码本身的显存可以忽略;真正的成本是注意力的 n²。

10.7.1-005 残差连接和 LayerNorm 在训练中起什么作用?

频率 ★★★★ | 难度 进阶

一句话结论

残差连接让梯度可以直接跨层回传,缓解深层网络的梯度消失;LayerNorm 将每一层的激活归一化到均值 0、方差 1,稳定训练动态;二者配合使数十甚至上百层的 Transformer 能够有效训练。

概念解释

  • 残差连接:output = x + sublayer(x),梯度直接通过 x 通路回传。
  • LayerNorm:对每个样本的所有特征维度做归一化,参数为可学习的 gamma 和 beta。
  • Pre-LN:LN 在子层之前(x → LN → sublayer → +残差),梯度通路更平滑。
  • Post-LN:LN 在残差之后(x → sublayer → +残差 → LN),原始 Transformer 方案。

原理流程

  1. 残差通路:梯度 ∂L/∂x = ∂L/∂output + ∂L/∂sublayer(x),第一项直接流过。
  2. LayerNorm 内部:减均值、除标准差、乘 gamma 加 beta,全程可微。
  3. Pre-LN 使梯度不需要穿过 LN 就能到达底层,深层训练更稳定。

代码 / 示例

# Pre-LN 残差块(LLaMA 风格)
h = x + attn(rms_norm(x))       # RMSNorm 是 LayerNorm 的简化变体
out = h + ffn(rms_norm(h))
#
# RMSNorm: 只除以均方根,不减均值,计算更简单
# y = x / sqrt(mean(x^2) + eps) * gamma

常见误区

  • 误区:残差连接只是跳过连接,没有数学作用;正解:它改变了梯度传播路径,是深层网络可训练的关键。
  • 误区:LayerNorm 和 BatchNorm 一样;正解:LayerNorm 对特征维度归一化,不依赖 batch 大小;BatchNorm 对 batch 维度归一化,在序列模型中不稳定。

追问

  • Q:RMSNorm 相比 LayerNorm 少了什么? A:少了减均值操作,只做均方根归一化,计算更省,效果接近。
  • Q:为什么大模型都用 Pre-LN? A:Post-LN 在深层时需要非常小心学习率预热,Pre-LN 让训练更鲁棒,是现代 LLM 的事实标准。

10.7.1-006 训练时的三种并行策略如何分工?

频率 ★★★★ | 难度 高级

一句话结论

数据并行(DP)复制完整模型到多卡,每卡处理不同数据分片;张量并行(TP)将单层矩阵乘法拆分到多卡,层内通信;流水线并行(PP)将不同层分配到不同卡,层间通信;三者组合使用,解决单卡显存装不下大模型的问题。

概念解释

  • 数据并行:每张卡有完整模型副本,前向计算不同数据,反向同步梯度。
  • 张量并行:单层的权重矩阵按列或按行拆分,前向需要 all-reduce 通信。
  • 流水线并行:模型层按顺序分到不同设备,micro-batch 流水填充。
  • 三维并行:DP + TP + PP 组合,是 GPT-3 等大模型训练的标准方案。

原理流程

  1. 模型规模估算:参数量 × 字节数 + 优化器状态 × 字节数 → 判断单卡显存是否够。
  2. 不够 → 张量并行切分层内计算 → 仍不够 → 流水线并行切分层间。
  3. 数据并行负责吞吐扩展。
  4. 通信量:TP 通信最频繁(每层),PP 通信较少(层间),DP 通信最慢步(梯度同步)。

代码 / 示例

典型 70B 模型训练并行配置示意:
  节点数: 16 (每节点 8 卡)
  TP = 8 (节点内切分)
  PP = 4 (跨节点切分层)
  DP = 其余 (数据分片)

显存粗算 (训练态, Adam 优化器):
  参数量 P, 每参数占用:
    模型权重: 2 bytes (bf16)
    梯度: 2 bytes (bf16)
    优化器状态: 8 bytes (fp32 momentum + variance)
  合计 ≈ 16 bytes / 参数
  70B 参数 → 约 1.1 TB 训练态显存 (不含激活)

常见误区

  • 误区:数据并行就能训练任意大模型;正解:DP 要求每卡都有完整模型,单卡显存装不下时必须用 TP 或 PP。
  • 误区:张量并行通信量很小;正解:TP 每层都需要 all-reduce,通信密集,通常只在节点内(NVLink 高带宽)使用。

追问

  • Q:ZeRO 优化器是什么? A:DeepSpeed ZeRO 将优化器状态、梯度、模型参数分片到不同卡,减少 DP 的显存冗余,是数据并行的进阶版本。
  • Q:激活重计算(activation checkpointing)是什么? A:前向时不保存全部中间激活,反向时重新计算,用算力换显存,是长序列和大模型训练的常用手段。

10.7.1-007 如何估算一个 Transformer 模型的参数量?

频率 ★★★★ | 难度 进阶

一句话结论

参数量由四部分组成:token embedding(词表大小 × d_model)、注意力层(Q/K/V/O 四个投影矩阵,各 d_model × d_model)、FFN 层(两个矩阵,d_model × d_ff 和 d_ff × d_model)、以及输出投影(通常与 embedding 共享或独立);逐层累加再乘以层数。

概念解释

  • 注意力参数:4 × d_model × d_model(Q/K/V/O 投影)+ LayerNorm 参数。
  • FFN 参数:d_model × d_ff + d_ff × d_model,通常 d_ff ≈ 4 × d_model。
  • 词表 embedding:vocab_size × d_model,是参数量的大头之一。
  • 输出头:若与 embedding 共享权重则不额外增加;若独立则再加 vocab_size × d_model。

原理流程

  1. 取模型配置:层数 L、d_model、注意力头数、d_ff、词表大小 V。
  2. 每层注意力参数 ≈ 4 × d_model²。
  3. 每层 FFN 参数 ≈ 2 × d_model × d_ff。
  4. 总参数 = L × (注意力 + FFN + LN) + 词表 embedding + 输出头。

代码 / 示例

以 d_model=4096, L=32, d_ff=11008, V=32000 为例:

每层注意力: 4 × 4096 × 4096 ≈ 67.1M
每层 FFN:   4096 × 11008 + 11008 × 4096 ≈ 90.2M
每层 LN:    2 × 4096 ≈ 8K (可忽略)
单层合计:   ≈ 157.3M
32 层合计:  ≈ 5.03B

词表 embedding: 32000 × 4096 ≈ 131M
输出头(共享):  0

总参数量: ≈ 5.16B (即 ~5B 模型)

注意: 若使用 GQA, K/V 投影维度会缩小, 参数量相应减少

常见误区

  • 误区:参数量就是模型文件大小;正解:模型文件大小 = 参数量 × 每参数字节数(fp16 为 2 字节,int8 为 1 字节)。
  • 误区:embedding 参数量可以忽略;正解:大词表模型中 embedding 可能占总参数的 5%~15%。

追问

  • Q:GQA 如何减少参数量? A:K/V 投影按组数而非头数计算,例如 8 组 KV 头而非 32 个 Q 头,K/V 参数量减少为原来的 1/4。
  • Q:SwiGLU 激活的 FFN 参数有什么不同? A:LLaMA 用 SwiGLU,FFN 变成三个矩阵(gate/up/down),中间维度通常调整为 2/3 × 4 × d_model,参数量需按实际配置算。

10.7.1-008 反向传播在 Transformer 中如何流动?

频率 ★★★ | 难度 高级

一句话结论

反向传播从输出层开始,沿计算图反向逐层计算梯度:输出投影 → 最后一层 FFN → 残差通路 → 最后一层注意力 → 依次向前穿过每一层 → 到达 embedding;每个矩阵乘法、softmax、归一化都有对应的局部梯度公式。

概念解释

  • 计算图:前向传播的每一步都记录为计算图节点,反向时按拓扑逆序遍历。
  • 梯度累加:多头注意力的输出梯度先按拼接处拆分,再分别传给每个头。
  • 残差梯度:同时回传给子层和残差通路。
  • 序列梯度:每个位置的损失独立回传,但注意力层中位置间通过 K/V 关联。

原理流程

  1. 计算损失:交叉熵损失对每个位置的 logits 求梯度。
  2. 输出投影:梯度回传到最后一层隐藏状态。
  3. 逐层反向:FFN 梯度 → 残差拆分 → 注意力梯度 → Q/K/V/O 投影梯度 → 残差拆分 → 前一层。
  4. 到达 embedding:梯度回传到 token id 查表操作,embedding 矩阵的对应行接收梯度。

代码 / 示例

反向传播顺序(从后往前):

loss → logits_grad
     → lm_head.weight.grad
     → h_final_grad
     → [Layer L]
         ffn_backward → residual_grad_1
         attn_backward → residual_grad_2
         (residual_grad = residual_grad_1 + residual_grad_2)
     → [Layer L-1]
         ... (重复)
     → embedding.grad

常见误区

  • 误区:反向传播时每个位置完全独立;正解:注意力层中位置 i 的梯度依赖所有位置的 K/V,位置间有耦合。
  • 误区:LayerNorm 没有可训练参数;正解:LayerNorm 有 gamma 和 beta 两个可学习参数,需要梯度更新。

追问

  • Q:梯度检查点如何影响反向传播? A:前向时丢弃中间激活,反向时重新前向计算,减少显存但增加约 33% 计算量。
  • Q:混合精度训练对反向传播有什么影响? A:前向和反向用 bf16 计算,但梯度累加和优化器更新用 fp32,防止精度损失累积。

待整理清单

  • [ ] 分布式训练框架(Megatron-LM/DeepSpeed)的具体配置
  • [ ] 训练损失曲线分析与发散诊断
  • [ ] 学习率调度策略(warmup/cosine/衰减)
  • [ ] Gradient Clipping 的作用与阈值选择
  • [ ] 数据混合与训练阶段划分