Transformer 注意力机制：从点积到多头计算

厨子2026/10/5大约 8 分钟人工智能AIAI 基础AITransformer注意力机制缩放点积注意力多头注意力

解密 Transformer 的核心——注意力机制

🏂

如果你想真正搞懂 Transformer 是怎么工作的，那就必须越过一座大山：注意力机制（Attention）。可以说，理解了 Attention，就懂了 Transformer 的灵魂。
今天这份讲义，我们就把这个看似高深的概念，从最基础的数学运算，一直推导到最终的“多头注意力”（Multi-Head Attention）。为了不讲空话，我们将贯穿一个具体的例子：“我喜欢程序喵”🤣，带着具体的数字，手把手推演一遍公式是怎么生效的。

第一部分：用最简单的数学，搭起大厦的基石

在正式聊 Attention 之前，我们得先统一下“语言”。在深度学习里，一切皆为数字。

向量：简单来说，向量就是一行数字，没啥特别的，高中咱们也学过。在AI infra的语境中，你可以把它想象成描述一个词语特征的“数值档案”。所谓的“维度”，其实就是这个档案里有几个指标。3 维向量就是 3 个数，64 维就是 64 个数：
在实际的大模型里，往往会用几百上千维的向量来精准刻画一个词的多种含义。在今天的讲义里，为了方便大家手算，我们主要会用 3 维和 4 维的短向量来演示：
点积：如果给你两个向量，让你衡量它们到底有多相似，最直接的办法就是算点积（对应位置相乘再相加）。点积结果越大，说明这两个向量在方向上越一致，越“相关”。
转置 (Transpose)：把矩阵的行变成列。这往往是为了让矩阵乘法在维度上能顺利“咬合”。

好，基础有了哈。现在我们进入正题！

第二部分：缩放点积注意力（Scaled Dot-Product Attention）

这就是大名鼎鼎的单头注意力（来自 Attention is all you need这篇论文），它的完整公式只有这一行：

\operatorname{Attention}(Q, K, V) = \operatorname{softmax}\!\left(\frac{Q K^\mathsf{T}}{\sqrt{d_k}}\right) V

Wtf man...看起来有点吓人？别怕，我们拿“我喜欢程序喵”这三个词，分四步把它拆开看。

在 Attention 的世界里，每个词都会分身出三个身份：

Q (Query)：这是查询条件——“我想找什么信息？”
K (Key)：这是自我介绍——“我能提供什么特征？”
V (Value)：这是核心底牌——“我实际携带的内容是什么？”
假设这三个词原本有自己的词向量，经过与模型里的权重矩阵（ $W_Q, W_K, W_V$ ）相乘后，变成了维度 $d_k=3$ 的 $Q、K、V $矩阵（矩阵里的每一行代表一个词）：

现在，见证奇迹的时刻开始了。

步骤 1：找相关性

我们让所有词的 Query，去跟句子里所有词的 Key 进行“匹配”。匹配的方式就是矩阵相乘。

为了能乘起来，我们先做个转置：
K^T（转置后）示意图
然后计算 $Q \times K^T$ 相当于两两计算点积）：
Q × K^T的结果计算过程示意图

敲黑板：看结果矩阵的第一行 [2, 0, 1]。这代表从“我”的视角出发：
“我” 匹配 “我”（[1,0,1] · [1,0,1]），得分是：1×1 + 0×0 + 1×1 = 2
“我” 匹配 “喜欢”（[1,0,1] · [0,1,0]），得分是：1×0 + 0×1 + 1×0 = 0
“我” 匹配 “程序喵”（[1,0,1] · [1,1,0]），得分是：1×1 + 0×1 + 1×0 = 1
这就是“注意力”的雏形：“我”最关注自己(2分)，其次是“程序喵”(1分)，对“喜欢”毫无兴趣(0分)。