Transformer术语速查

Transformer 是现代大语言模型、机器翻译和多模态模型的重要基础。它的核心是注意力机制，让模型根据上下文动态关注重要信息。

基础结构

Token Embedding：把 token 转换成向量，作为模型输入。

Positional Encoding / Position Embedding：向模型提供位置信息。因为 Transformer 本身不像 RNN 那样天然按顺序处理文本。

Layer，层：Transformer 由多层堆叠组成，每层通常包含注意力、前馈网络、归一化和残差连接。

注意力相关

Attention，注意力：计算输入中不同 token 之间的相关程度，让模型知道当前 token 应该参考哪些上下文。

Self-Attention，自注意力：同一段输入内部相互关注。例如一句话中的代词关注前面的名词。

Multi-Head Attention，多头注意力：多个注意力头并行学习不同关系，例如语法、指代、位置或语义。

Q/K/V：Query、Key、Value。可以简单理解为“我要找什么、每个位置有什么标签、实际取回什么内容”。

网络组件

Feed Forward Network，前馈网络：每层中的非线性变换部分，用于处理注意力后的表示。

LayerNorm，层归一化：帮助训练稳定。

Residual Connection，残差连接：让信息跨层传递，缓解深层网络训练困难。

模型形态

Encoder：擅长理解输入，BERT 类模型常用。

Decoder：擅长自回归生成，GPT 类模型常用。

Encoder-Decoder：输入理解和输出生成分开，机器翻译中常见。

易混淆点

注意力不是人类意义上的“理解”，而是一种加权计算机制。Transformer 也不只用于文本，图像、音频和视频都可以转成 token 或 patch 后处理。

学习建议

先抓住一条线：文本变 token，token 变向量，注意力建立上下文关系，多层处理后预测下一个 token。理解这条线，比死记公式更重要。