Transformer架构图解

Transformer 是现代大语言模型的核心架构。它最重要的贡献是自注意力机制，让模型在处理一个 token 时，可以同时关注输入序列中其他相关 token。

为什么需要 Transformer

在 Transformer 之前，处理文本序列常用 RNN、LSTM 等结构。它们按顺序读取文本，前面的信息要一步步传到后面，长文本容易丢失重要信息，训练也不够高效。

Transformer 改变了这个思路。它不再严格按顺序一个词一个词传递信息，而是让每个位置都可以直接“看见”其他位置，并学习该关注谁。

从一句话开始看

比如句子：

小明把书放进书包，因为它很重。

这里“它”指什么？人会根据上下文判断可能是“书”。Transformer 的自注意力机制会让“它”这个位置关注“小明”“书”“书包”等相关词，并通过训练学习哪个关系更重要。

Transformer的主要组件

组件	作用
Tokenizer	把文本切成 token
Embedding	把 token 变成向量
位置编码	告诉模型 token 的顺序
自注意力	计算每个 token 应该关注哪些 token
多头注意力	从多个角度学习关系
前馈网络	对每个位置的表示做进一步变换
残差连接和归一化	让深层网络更稳定

Q、K、V怎么理解

自注意力里常见 Query、Key、Value，简称 Q、K、V。

可以用查资料来理解：

• Query：我现在想找什么信息；
• Key：每段信息的索引或特征；
• Value：真正要取出来的内容。

模型会用 Query 和 Key 计算相关性，再根据相关性加权 Value。这样每个 token 都能汇总它需要的上下文信息。

多头注意力为什么有用

一句话里可能同时存在多种关系：主谓关系、指代关系、时间关系、修饰关系。一个注意力头可能关注主语，另一个关注指代，另一个关注语义相似词。

多头注意力让模型从不同角度观察同一段文本，因此表达能力更强。

编码器和解码器

原始 Transformer 包含 Encoder 和 Decoder。Encoder 适合理解输入，Decoder 适合生成输出。

后来很多模型采用不同变体：

• BERT 主要使用 Encoder，擅长理解类任务；
• GPT 类模型主要使用 Decoder，擅长生成；
• T5 等模型使用 Encoder-Decoder，适合文本到文本转换。

常见误区

• 注意力权重不等于完整解释，不能简单说“模型关注哪里就一定为什么”。
• Transformer 强大但计算成本高，长上下文尤其昂贵。
• 位置编码很重要，否则模型不知道词序。

小结

Transformer 的核心是让每个 token 根据上下文动态更新表示。理解 Token、Embedding、位置编码、Q/K/V、多头注意力，你就能看懂大多数大模型架构图。