Transformer自注意力中QKV矩阵怎么算

可视化演示

步进式对比四种稀疏注意力模式：局部窗口、步幅、块状、全局+局部，展示注意力矩阵的稀疏结构与复杂度差异。

认识QKV：任务单、标签与正文

故事从档案室开始。你手上拿着老板的任务单（Query, Q），上面写着“找值得推广的销冠经验”；档案室里每份资料盒都有封面标签（Key, K），写着“营销策略”“客户留存”“成本控制”；而盒子里的正文（Value, V）才是你真正要读的内容。注意一个关键点：任务单、标签、正文是三种不同的东西——任务单决定你要找什么，标签决定这份档案能否回答你，正文决定你最终摘到什么。三者缺一不可。

翻译成 Transformer 的语言：一段文本有 n 个词，每个词被表示成一个 d 维向量，所有词拼成输入矩阵 X。自注意力要做的事情，就是让每个词“向其他词提问、其他词回应、再把回应内容按相关度汇总”。于是每个词都要生成自己的 Q（提问向量）、K（回应标签向量）、V（回答内容向量），这就是 QKV 三个矩阵的来历。

“注意力本质是加权求和”这句话，是理解一切的总纲。假设“销冠”这个词的 Q 与“经验”这个词的 K 高度匹配，那么在最终汇总时，“经验”的 V 就会被赋予更大的权重。加权求和意味着输出不是简单复制某个词，而是把上下文里所有相关信息按比例糅合到一起——就像你把三份档案的精华段落按 0.11、0.64、0.26 的比例剪贴成一份新汇报。这个比例，就是注意力权重。

回到故事里，你之所以能高效完成汇报，正是因为脑子里有一套清晰的流程：拿任务单、对标签、翻正文、按重要性拼装。Transformer 把这套流程压缩成几个矩阵运算，而 QKV 正是流程的起点——没有这三个角色，后面的所有计算都无从谈起。

线性变换：如何从X得到QKV

档案室有条铁律：员工不能拿着原始任务单直接进档案库，必须先去“文印室”把任务单、标签、正文各自印成标准格式的卡片。Transformer 也一样：输入 X 不能直接被拿去打分，它要先经过三个不同的线性变换——分别乘以三个权重矩阵 W_Q、W_K、W_V，才能变成 Q、K、V。打个比方，W_Q 是“任务单打印机”，W_K 是“标签打印机”，W_V 是“正文复印机”。

为什么非要变换，直接用 X 不行吗？因为 X 携带的信息是“混合杂糅”的，同一个向量既要当提问者又要当回答者，角色会打架。线性变换的本质是把每个词的原始向量投影到三个不同的“语义空间”里：Q 空间专门存放“我在找什么”，K 空间专门存放“我能回答什么”，V 空间专门存放“我实际提供什么”。这样角色分离后，点积打分才有意义。

公式非常简洁，就是三个矩阵乘法：

文印室的比喻还能帮你理解“学习”：刚入职时打印机是初始随机设置的，打出来的任务单、标签、正文都一塌糊涂；但经过上万份档案的练习（训练），打印机逐渐调校到最佳状态——知道任务单该侧重哪些关键词、标签该怎么概括内容、正文该保留哪些细节。训练结束后，这三台打印机就是训练好的 W_Q、W_K、W_V。

缩放点积：打分、归一化与加权求和

现在你手上有三套卡片：任务单 Q、标签 K、正文 V。接下来是核心动作——为每份档案打分。你会把任务单上的每一个需求点和档案标签的每一个描述点“逐项比对”，累加出一个总契合度。在数学上，这个逐项比对累加叫点积（内积）：两个向量对应位置相乘再求和，数值越大代表方向越一致、越相关。

不过你不是只查一份档案，而是要把任务单和整排档案的标签都比对一遍。把所有 Q 和所有 K 两两打分，就得到一张“Q 对 K 的契合度矩阵”。在 Transformer 中，一次矩阵乘法 QKᵀ 就能完成全部两两比对。得到分数后还不能直接用——分数有高有低、可能为负，需要先经过 softmax 归一化，把每一行的分数变成“和为 1、且都是正数”的权重，再拿着这些权重去翻阅正文 V。最终每个词的输出，就是所有 V 的加权求和。

完整公式如下：

回到找资料的故事：softmax 就是把“粗分数”换算成“优先级百分比”。三份档案原始得分是 1.2、3.0、2.1，听起来差距不大；但经过指数放大和归一化，实际提取比例变成大约 0.11、0.64、0.26——第二份档案成了绝对主角。这就是注意力“聚焦”的威力：它能让模型在长文本里果断地重点看某几个词。

缩放因子：为什么除以根号dk

细心的人会问：QKᵀ 算完分数直接 softmax 不行吗？为什么要多此一举除以 √d_k？这要从 softmax 的“脾气”说起。softmax 里有指数运算，如果输入分数太大或太小，指数会迅速推向极端——比如分数是 10，e¹⁰ 已经超过两万；如果一堆分数都很大，softmax 输出的分布会变得非常尖锐：最大值接近 1，其余接近 0。这种状态叫“softmax 饱和”，它的梯度趋近于零，模型几乎学不动。

什么情况下分数会变得很大？点积是 d_k 个乘积项相加。假设每个乘积项正负波动，但 d_k 越大，累加结果的浮动范围就越大——就像音响的音量旋钮，旋钮刻度（维度）越多，音量能飙到的峰值越高。这会导致分数方差随 d_k 线性增长。为了让分数回到“舒适音区”，我们需要除以 √d_k 来做音量校正。

为什么是 √d_k 而不是 d_k？因为点积的方差恰好等于 d_k，而标准差是 √d_k——除以标准差，才能把方差拉回 1 左右。数学上可以这样看：

用音量旋钮来理解：假设每个频道的音量在 -1 到 1 之间抖动，30 个频道叠加，峰值音量可能窜到 5；300 个频道叠加，峰值可能到 15。如果你不调音量，softmax 直接过载。除以 √d_k 就是“按频道数的平方根调音”，让 30 个频道和 300 个频道的系统听起来音量差不多。这样无论维度多大，softmax 都工作在敏感区间，梯度信号才能顺畅回传。

多头注意力：八位专家并行协作

单人格找资料有个致命弱点：视角单一。老板只让你找“值得推广的经验”，你可能满脑子都是营销方案，忽略了财务风险。公司于是改派一个八人专家团：营销专家拿“营销”任务单、财务专家拿“风险”任务单、HR 专家拿“团队”任务单……大家并行进入档案室，各找各的，最后把八份子汇报拼成一份总汇报。这就是多头注意力：与其用一个 Q 空间，不如拆成 h 个低维子空间并行处理。

Transformer 的具体做法是：把 d 维的 Q/K/V 各切成 h 份，每份维度 d_h = d/h，对应一个“头”。每个头拥有自己独立的小权重矩阵 W_i^Q、W_i^K、W_i^V，在自己的低维空间里做一次完整的缩放点积注意力。因为维度变低了，每个头只能“看到”输入的一部分特征——这反而逼着不同的头去学习不同的关注模式：有的头专门关注代词指代，有的头关注语法依赖，有的头关注词义相关性。

计算完 h 个头的输出后，需要把它们合成一份总汇报。做法是把所有头的输出在特征维度上拼接（Concat）起来，然后再乘一个输出投影矩阵 W^O 做融合。

专家团的妙处在于“分而治之，合而用之”。每个头只负责一个侧面，训练时梯度会自然引导各头分化；拼接融合又保证最终输出仍然携带完整信息。想象一下，如果八位专家的结论直接用简单平均，那“财务风险”的声音会被“营销方案”稀释掉；而拼接+投影的方式，相当于在汇总会上给每位专家一个独立席位，再由一位总编决定每个观点占多少版面——信息保留度远高于平均。

权重可视化：查看注意力热度排行榜

档案室工作结束后，你手头有一张“档案引用热度排行榜”：每份档案被引用了百分之多少，一目了然。Transformer 里这张排行榜就是注意力权重矩阵——前面算出来的 softmax 结果，就是 n×n 的矩阵 A，A[i][j] 表示词 i 在生成自己的表示时，给了词 j 多少注意力。把矩阵画成热力图，深色代表高权重，浅色代表低权重，模型“在看什么”立刻无所遁形。

为什么这对从业者特别有用？因为神经网络通常是个黑盒，但注意力权重是少有的、可以“直接读出来”的内部信号。训练一个翻译模型时，你可以画“英文词对中文词”的注意力热力图，如果绝大多数对齐都落在对角线上，说明模型学得很正；如果某个词疯狂关注句号、逗号或填充符（padding token），说明注意力可能被噪声污染了。

几种常见的可视化模式值得记住：对角线型——每个词主要关注自己，常见于浅层网络，表示模型还在“做局部加工”；带状对角线型——关注相邻词，说明模型在学局部语法依赖；远端聚集型——某个词跨越大段距离去关注另一个词，这往往是长程依赖的关键信号。如果你发现模型在关键代词的权重乱成一团，就可以怀疑是位置编码或训练数据出了问题。

调试时，你可以把注意力头逐个画出来对比：8 个头里，哪几个头语法性强、哪几个头语义性强、哪几个头几乎退化成均匀分布（所有词权重一样）——后者意味着该头没学到东西，可以考虑剪枝或加大正则。热力图还能帮你验证缩放因子有没有生效：如果所有分数都集中在 0.99 以上，说明 softmax 已经饱和，可能是缩放不够，需要检查实现里的 √d_k 是否写对了。

回到档案室的比喻：老板看完你的“引用排行榜”，一眼就能发现你过度依赖某一档案、忽视了另一份同等重要的资料。注意力可视化就是给 AI 从业者一面“照妖镜”——模型有没有偷懒、有没有走偏、有没有学到反直觉的关联，画一张热力图，心里就有底了。

计算优化：档案馆的提速之道

随着业务扩张，档案室从几百份变成了几百万份。这时你发现一个可怕的问题：每次拿新任务单查资料，都要和所有档案的标签比对一遍，哪怕你上一分钟刚查过同一个档案室。自注意力也有同样的困境：对于长度为 n 的序列，QKᵀ 矩阵是 n×n 的——这意味着要算 n² 个点积，计算量和内存开销都随序列长度平方级增长。这也是为什么 Transformer 处理长文档时又慢又费显存。

复杂度可以这样估算：QKᵀ 需要 n² 次点积，每次点积要 d 次乘法，所以主要计算量是 O(n²·d)。再加上 softmax 后的 attention 矩阵与 V 的乘法同样是 n²·d，整个自注意力的乘法运算量大约在 O(n²·d) 量级。当 n 从 512 涨到 4096，计算量涨了近 64 倍——这就是为什么各大模型都在想方设法优化注意力。

两种最实用的优化手段，正好呼应你查资料的痛点。第一是因果掩码：生成文本时，每个词只能看它左边的词、不能看右边的词（否则就作弊了）。实现方式很简单，把矩阵右上角的所有分数设成 -∞，softmax 后这些位置的权重自动变成 0。就像档案室的规矩：只能引用已经归档的早期档案，未来的档案还没归档，不许偷看。第二是KV 缓存：推理时每次只生成一个新词，但新词要和历史上所有词的 K、V 做注意力计算。与其每次把历史 K/V 重新算一遍，不如存到缓存里直接复用——这就是 KV Cache，能让长文本生成提速数倍。

其实这两种优化都可以在档案室故事里找到影子：因果掩码是“不能看未来”的制度约束，KV 缓存是“把看过的标签和正文装进口袋”的聪明做法。理解 QKV 矩阵计算，不只是为了看懂公式，更是为了在实际工程里知道瓶颈在哪、优化从何入手——当你看到推理服务显存告急时，脑子里应该立刻浮现出“n² 的内存占用”和“KV Cache 命中率”这两件事。

AI 应用场景

Python 演示

"""迷你自注意力:演示 QKV 矩阵计算与缩放点积"""import numpy as np  def softmax(x, axis=-1):    # 数值稳定的 softmax:先减最大值再算指数    e = np.exp(x - x.max(axis=axis, keepdims=True))    return e / e.sum(axis=axis, keepdims=True)  def linear_transform(X, W):    # 线性变换:输入矩阵乘权重矩阵,得到 Q/K/V    return X @ W  def scaled_dot_product_attention(Q, K, V):    # 缩放点积注意力:打分、缩放、归一化、加权求和    d_k = Q.shape[-1]    scores = Q @ K.T    scaled = scores / np.sqrt(d_k)    weights = softmax(scaled)    out = weights @ V    return out, weights  def main():    np.random.seed(42)    n, d = 4, 8  # 4 个 token,每个 8 维    X = np.random.randn(n, d)    W_Q = np.random.randn(d, d)    W_K = np.random.randn(d, d)    W_V = np.random.randn(d, d)     Q = linear_transform(X, W_Q)    K = linear_transform(X, W_K)    V = linear_transform(X, W_V)    print("Q shape:", Q.shape, "K shape:", K.shape, "V shape:", V.shape)     out, attn = scaled_dot_product_attention(Q, K, V)    print("attention weights:\n", np.round(attn, 3))    print("每行权重之和:", np.round(attn.sum(axis=-1), 3))    print("output shape:", out.shape)  if __name__ == "__main__":    main()

1. X @ W矩阵乘法实现线性变换，X 的每一行都乘同一个权重矩阵，得到 Q/K/V 中的一员。
2. scores = Q @ K.TQ 和 K 的转置相乘，得到 n×n 的原始相关度分数矩阵。
3. scaled = scores / np.sqrt(d_k)除以缩放的维度平方根，防止分数随维度增大而虚高。
4. softmax(scaled)对每一行做指数归一化，得到和为 1 的注意力权重。
5. weights @ V用归一化权重对 V 做加权求和，得到最终输出。
6. attn.sum(axis=-1)每行权重之和应该全为 1，用来验证 softmax 的正确性。

常见误区

面试题