注意力计算：三步搞懂Query-Key-Value

可视化演示

展示Query-Key-Value注意力计算三步骤：打分函数计算相似度、softmax归一化得权重、Value加权聚合输出，切换模式理解Transformer核心运算。

认识三元组：读者、标签与书

图书馆里的“查书”看似简单，背后却藏着三个完全不同的角色。你是那个提出问题的读者，手里拿着一张写满需求的纸条——这就是 Query。它不是模糊的想法，而是一个具体的向量，在模型里就是一串数字，刻画了“我在找什么”。书脊上的分类标签是 Key，书里的正文是 Value。没有这三个角色，任何查书流程都无法运转。

当模型处理一个句子时，每个词都会同时扮演读者、标签和书三种角色。比如“猫坐在垫子上”这句话，“猫”作为 Query 时，会对“垫子”发起查询——因为“坐”这个动作需要知道“在哪里”。这里的 Key 是每个词的“身份标识”，Value 是每个词携带的“内容信息”。三者各司其职，缺一不可。

在实际模型中，这三个角色并非天然存在，而是通过线性变换从原始词向量中投影出来的。对于长度为 n 的输入序列，把每个词的向量拼成矩阵 \(X\)，然后乘上三个可学习的权重矩阵：

回到图书馆：读者手里的需求纸条不是凭空产生的，而是从“你已有的知识”中提炼出来的；书脊上的标签是图书管理员统一贴好的；书的内容是作者写就的。三者的“翻译方式”（三个 W 矩阵）随着训练不断被优化，最终学会如何从同一个输入中抽出最合适的需求、标签和内容。

打分函数：标签与需求有多匹配

你拿着需求纸条走到书架前，眼睛快速扫过一排书脊。你不需要打开每一本书，只凭标签就能判断“这本讲深度学习的，很相关”“这本讲历史的，不相关”。这个“只看标签就能估算匹配度”的动作，在数学上叫打分函数（scoring function）。

打分函数的作用是计算一个 Query 向量与每个 Key 向量的相似度。最常用的打分方式是点积（dot product）：把两个向量的对应位置相乘再求和。两个向量方向越一致，点积越大，说明越匹配。就像需求里“深度学习”这个词和标签“机器学习”方向一致，分数就高。

给定 Query 向量 \(q\) 和 Key 向量 \(k_i\)，点积打分的定义如下。为了稳定训练，Transformer 使用缩放点积注意力，将点积结果除以 \(\sqrt{d_k}\)：

你看书脊时，脑子里其实在飞速做“点积”：需求里“深度学习”这个分量和标签“机器学习”对应分量方向一致，分数就高。而 \(\sqrt{d_k}\) 这个缩放，就像提醒自己“别太激动”，避免对某个标签过度反应、把其他书全忽略掉。

Softmax归一化：把分数变成优先级

你扫完一排书架，心里冒出一串零散分数：“这本 9 分，这本 3 分，这本 -2 分”。但分数本身没有意义——你需要的是“先看哪本、后看哪本”的优先级。Softmax 就是那位把分数翻译成概率的“排序员”。

Softmax 把一组任意实数映射成一组介于 0 和 1 之间、总和为 1 的权重。它先对每个分数做指数运算，把负数变成正数、分数差距拉大，然后除以所有指数的和完成归一化：

其中 n 是序列长度。\(\alpha_i\) 就是第 i 个 Key 对应的注意力权重，表示“有多少注意力应该分配给位置 i 的 Value”。

Softmax 就像你在心里把“9 分、3 分、-2 分”换算成“60% 概率先看这本，30% 扫一眼那本，10% 顺手翻翻另一本”。哪怕那本 -2 分的历史书，也保留了 10% 的被关注可能——因为也许里面有你需要的一个冷门知识点。

加权聚合：按权重翻阅内容

现在你有了优先级：重点读那本 9 分的书，快速浏览 3 分的书，随手翻一翻 -2 分的书。最终你从这几本书里综合出答案。注意，你不是只听那本最高分的，而是“按权重混合”。这个混合动作就是注意力计算的最后一步：加权聚合。

加权聚合就是把每个 Value 向量乘上对应的注意力权重，然后全部加在一起，得到输出向量。这个输出向量融合了所有位置的信息，但权重大的 Value 在结果中占主导地位：

输出向量的维度与 \(v_i\) 相同，可以直接传给下一层网络。

你在笔记本上写下最终答案，这个答案不是任何一本书的原文，而是几本书的“加权摘要”：重点书贡献了大部分内容，次要书补充了边角信息。这正是注意力的妙处——让模型“带着重点、不遗漏地”聚合上下文，而不是死板地只看一个词。

完整流程：从矩阵视角看全局

前面三步已经分别讲完了。现在退后一步，看整座图书馆是怎么运转的：你一次不是只查一本书，而是同时扫过整个书架。在矩阵运算中，模型会对 Query 矩阵中的每一行，同时与所有 Key 行计算匹配，一步到位得到所有位置的权重和输出。

将单向量运算推广到矩阵，就是 Transformer 原论文中的核心公式。它把“打分 → 归一化 → 聚合”合并成一个优雅的矩阵表达式：

其中 \(QK^\top\) 计算每对 (Query, Key) 的点积，softmax 沿最后一维归一化，最后乘 \(V\) 完成加权聚合。

整个图书馆的查书流程被压缩成一张矩阵乘法的“流水线”：\(QK^\top\) 生成需求匹配表，softmax 把表折算成权重，最后 \(AV\) 按权重加权汇总。模型每次读一个词，相当于在一张巨型“查书表”上完成了一趟完整的注意力之旅。

多头注意力：多支探索队并行查书

一个人查书难免片面——只看书名，可能错过内容精彩但标题平平的书。于是你带了三个朋友分头行动：一个看主题，一个看作者国籍，一个看出版年份。最后你们聚在一起，把三份意见拼成一份综合报告。这就是多头注意力（Multi-Head Attention）。

单头注意力只用一套 Q/K/V 投影，模型只能从一种视角看序列。多头机制把维度切成 h 份，每份用独立的三套投影矩阵并行计算注意力，最后拼接各头输出并线性融合，让模型同时捕捉多种关系模式：

多头注意力让模型不再“一根筋”。多支探索队并行查书，每队有自己关注的“标签维度”，最后汇合时取长补短。这也是为什么 Transformer 能同时捕捉“小猫坐在垫子上”中“坐”与“垫子上”的位置关系，以及“小猫”与“猫”的指代关系——不同的头各司其职。

模型应用：从图书馆到真实模型

图书馆的故事终于要搬进现实了。在大模型里，“图书馆”就是输入序列本身——每个词既是读者也是书。自注意力（Self-Attention）让每个词和句子中所有词互相查书，理解整个上下文。

Transformer 的编码器使用双向自注意力，每个词能看到左右两侧的所有词；解码器则用带掩码的自注意力，生成第 t 个词时只能看到前 t-1 个词，防止“偷看未来”。掩码通过在打分矩阵上加一个巨大的负数来实现：

其中 \(M\) 是掩码矩阵，被掩码的位置取一个极大的负数，softmax 后这些位置的注意力权重退化为 0。

自注意力让大模型拥有了“全局查书”的能力，掩码则让它在写作文时“向后翻页被禁止”。从 BERT 的双向理解到 GPT 的自回归生成，所有差异都浓缩在这一个掩码矩阵的使用上。至此，Query、Key、Value 的三步之旅，已经成为整个深度学习时代最坚固的地基。

AI 应用场景

Python 演示

import numpy as np  def softmax(x):    """数值稳定的softmax：先减最大值，防止指数溢出"""    x_max = np.max(x, axis=-1, keepdims=True)    e = np.exp(x - x_max)    return e / np.sum(e, axis=-1, keepdims=True)  def attention(q, k, v):    """三步注意力：打分 -> softmax归一化 -> 加权聚合"""    d_k = k.shape[-1]    scores = np.matmul(q, k.T) / np.sqrt(d_k)  # 第1步：缩放点积打分    weights = softmax(scores)                  # 第2步：归一化成权重    output = np.matmul(weights, v)             # 第3步：对Value加权求和    return output, weights  def multi_head_attention(q, k, v, h=2):    """多头注意力：将特征维切成h份，各算各的注意力，最后拼接"""    d = q.shape[-1]    d_h = d // h    heads = []    for i in range(h):        q_i = q[:, i * d_h:(i + 1) * d_h]        k_i = k[:, i * d_h:(i + 1) * d_h]        v_i = v[:, i * d_h:(i + 1) * d_h]        out, _ = attention(q_i, k_i, v_i)        heads.append(out)    return np.concatenate(heads, axis=-1)  if __name__ == "__main__":    # 模拟一个3个词的句子，每个词向量维度为4    X = np.array([        [0.8, 0.1, 0.2, 0.5],   # "猫"        [0.3, 0.9, 0.1, 0.4],   # "坐"        [0.2, 0.4, 0.7, 0.1],   # "垫子上"    ])     # 简化演示：用自身作为Q、K、V（真实场景会先做线性投影）    out, W = attention(X, X, X)     print("注意力权重矩阵（第i行表示第i个词对全句的注意力）：")    print(np.round(W, 3))    print("\n输出向量（每行是该词融合全句后的上下文表示）：")    print(np.round(out, 3))

1. x_max = np.max(x, axis=-1, keepdims=True)对每行取最大值，用于 softmax 数值稳定平移
2. e = np.exp(x - x_max)减去最大值再做指数，防止 exp 溢出成无穷大
3. scores = np.matmul(q, k.T) / np.sqrt(d_k)矩阵乘法一次性算出所有 Query 与 Key 的缩放点积分数
4. weights = softmax(scores)把原始分数归一化成和为 1 的注意力权重
5. output = np.matmul(weights, v)按权重对所有 Value 加权求和，得到上下文向量
6. q_i = q[:, i * d_h:(i + 1) * d_h]按特征维度切片，分出第 i 个头的 Query
7. np.concatenate(heads, axis=-1)把多个头的输出沿特征维拼接，完成多头融合

常见误区

面试题