多头注意力机制原理与实现

可视化演示

动态演示多头注意力机制原理与实现的核心机制，通过架构/数据/状态/性能四种模式展示关键概念与交互流程。

注意力概述

侦探组长派侦探去查案，第一件事是明确“疑问”和“关键词”。在注意力机制里，这些角色都有名字：Q（Query，提问）是当前词发出的疑问，K（Key，索引）是档案柜上贴的标签，V（Value，内容）是档案正文。当“坐”想要理解自己在这个句子中应该和谁关联时，它会生成一个 Query，拿去和句子中所有词的 Key 匹配，匹配度高的词（“猫”、“垫子”）就会被取出 Value，参与“坐”的语义更新。

这个“匹配度”被称为注意力分数。它的核心操作是点积：把 Q 和 K 两个向量逐位相乘再相加，得到一个标量分数。分数越高，说明这个档案和当前疑问越相关。为了让分数不受向量维度影响，我们会在点积后除以一个缩放因子 √d_k——维度越大，点积数值会越大，容易让后续的 softmax 陷入“过度自信”的饱和区。

回到侦探社：Q 是侦探脑中随时准备问出口的问题，K 是卷宗封面的标签，V 是卷宗里的详细记录。先看标签是否匹配问题，匹配了才翻阅正文，这样检索效率高又抓得住重点。

QKV 生成过程

侦探不会凭空提问，他需要先把案件材料整理成“问题清单”。类似地，模型需要把原始的词向量变成 Q、K、V 三种向量。原始词向量组成的矩阵记为 X，它来自嵌入层，每个词对应一行向量。为了让同一个词能扮演“提问者”“标签”“内容”三种角色，我们需要三个不同的权重矩阵：W_Q、W_K、W_V。它们都是可以学习的参数，相当于“角色转换手册”。

将 X 分别与这三个矩阵做矩阵乘法，就得到了 Q、K、V。这个过程叫线性变换，本质是对原始向量做一次加权组合和空间变换。之所以不直接复用 X，是因为“提问”和“被检索”需要不同的表达空间：Query 要突出当前词的语义需求，Key 要突出词条本身的可匹配属性，Value 则要保留内容的详细信息。如果不做区分，检索就会变成“自己与自己比对”，失去灵活性。

这就像同一份案件卷宗被复印三份：一份做成“问题手册”（Q），一份做成“标签目录”（K），一份保留“正文原件”（V）。侦探带着问题手册去翻标签目录，找到对应页码后回到正文原件里抄取信息，三者分工明确，缺一不可。

缩放点积机制

现在侦探拿到了问题清单和标签目录，开始逐一比对。把所有 Q 和所有 K 做矩阵乘法，就得到一张“匹配分数表”QK^T——每行是一个 Query，每列是一个 Key，交叉点是它们的点积。这个分数表经过缩放后，还要过一层 softmax，把每一行变成“对整句话中所有词的注意力权重”，这组权重和为 1，表示当前词应该如何分配注意力。

最后，用这组权重对 V 做加权求和：权重越大的词，它的内容对当前词的贡献越多。这步操作就是“按重要程度提取档案内容”。整个过程合起来，就是著名的缩放点积注意力公式。注意这里 V 的每一行对应一个词的内容向量，加权求和后得到的行向量，就是当前词融合了整个上下文后的新表示。

在侦探社里，这一步相当于：组长把所有侦探的问题和所有卷宗标签摆在一张大桌上，逐对打分；然后按照“相关程度”决定每位侦探应该重点阅读哪些卷宗。注意力权重越高，翻阅得越仔细；权重趋近于 0 的卷宗，扫一眼略过即可。

多头分解并行

如果只做一次缩放点积注意力，好比只派一位侦探去查案，他只能带着固定视角看问题。为了多角度侦查，Transformer 提出多头方案：把 d_model 维的 Q、K、V 向量均匀切成 h 份，每份称为一个“头”，维度为 d_k = d_model / h。每个头独立执行一次缩放点积注意力，并与自己的 W_Q、W_K、W_V 对应。

这样做的意义在于子空间特征：每个头在低维子空间里学习不同的匹配模式。实验和直觉都表明，某些头可能倾向于关注语法邻近关系，另一些头可能关注长距离指代，还有一些头关注语义相似性。它们并行计算、互不干扰，仿佛是四位侦探各执一词、分头行动——一位查人物关系、一位查时间线、一位查地点、一位查证物。

常见的头数 h 取 8 或 16。若 d_model = 512，h = 8，则每个头的维度是 64。所以每个头并不是“看整个句子 8 次”，而是“从 64 维的切片视角看句子 8 次”，就像 8 位侦探各自戴着“窄带滤镜”去观察现场——视角不同，发现自然不同。

拼接与输出

四位侦探各自查完，回到会议室。他们的笔记分别记在不同颜色的本子上，篇幅、格式各不相同。组长要做两件事：第一，把所有笔记拼接成一份完整报告；第二，把这份报告投影成统一的格式，方便后续部门使用。

对应到模型里：首先把 h 个头的输出按特征维度方向拼接起来，得到维度为 d_model 的向量。但这时的向量只是“各头独立结论的物理堆叠”，头与头之间还没有信息交互。于是乘以一个可学习的输出投影矩阵 W_O，将拼接向量混合映射回原始维度。这一步相当于组长把四份独立笔记打散重排，去粗取精，最终形成一份协调一致的总结报告。

随后，Transformer 还会在这个输出上加上残差连接（把最初的输入 X 加回来）和层归一化（对激活值做标准化），帮助深层网络稳定训练。这些操作让信息在网络多层传递中不退化，也避免累计方差越来越大导致训练崩溃。

这也解释了为什么多头没有“增加参数爆炸”：每个头的投影矩阵把维度缩小到原来的 1/h，总参数量和单头大投影基本持平，但表达能力却大幅提升——正如侦探社虽然没有增加总人数，但让每个人分工细分，效率与覆盖度反而更高。

整体公式复杂度

把前面所有环节串联起来，就得到多头注意力的完整公式：先对输入 X 分别用三套权重生成 Q、K、V，再把 Q、K、V 切成 h 份分别做缩放点积注意力，拼接后乘以 W_O 映射回原空间。整个过程里，最“贵”的操作是 QK^T 这一步——它要为句子中任意两个词之间都计算一个匹配分数。

假设句子长度为 n，嵌入维度为 d，那么注意力分数矩阵的大小是 n × n，所以计算复杂度为 O(n²·d)。这正是 Transformer 对长文本处理成本高的原因：序列长度翻倍，注意力计算量翻四倍。多头注意力并不会改变这个复杂度，因为 h 个头拼起来的计算总量仍是单个大注意力的量级，只是在组织方式上从“一个高维注意力”变成了“多个低维注意力的总和”。

侦探社的比喻到这里就完整了：组长发出任务，侦探们分头形成问题、匹配标签、提取内容、汇总结论。整个过程虽然“出场人物”很多，但每个人都只在自己的低维小岗位上工作，总人力成本没有增加，却带来了更丰富的信息视角。这就是多头注意力既高效又强大的根本原因。

AI 应用场景

Python 演示

import numpy as np def softmax(x):    x = x - np.max(x, axis=-1, keepdims=True)    return np.exp(x) / np.sum(np.exp(x), axis=-1, keepdims=True) def scaled_dot_product_attention(Q, K, V):    # Q, K, V shape: (batch, h, seq_len, d_k)    d_k = Q.shape[-1]    scores = np.matmul(Q, K.transpose(0, 1, 3, 2)) / np.sqrt(d_k)    weights = softmax(scores)    return np.matmul(weights, V), weights def split_heads(x, h):    # x shape: (batch, seq_len, d_model)    batch, seq_len, d_model = x.shape    d_k = d_model // h    x = x.reshape(batch, seq_len, h, d_k)    return x.transpose(0, 2, 1, 3) def combine_heads(x, h):    # x shape: (batch, h, seq_len, d_k)    batch, h_count, seq_len, d_k = x.shape    d_model = h_count * d_k    x = x.transpose(0, 2, 1, 3)    return x.reshape(batch, seq_len, d_model) def multi_head_attention(x, h):    batch, seq_len, d_model = x.shape    rng = np.random.default_rng(0)    W_Q = rng.normal(size=(d_model, d_model)) * 0.1    W_K = rng.normal(size=(d_model, d_model)) * 0.1    W_V = rng.normal(size=(d_model, d_model)) * 0.1    W_O = rng.normal(size=(d_model, d_model)) * 0.1     Q = split_heads(np.matmul(x, W_Q), h)    K = split_heads(np.matmul(x, W_K), h)    V = split_heads(np.matmul(x, W_V), h)     out, weights = scaled_dot_product_attention(Q, K, V)    out = np.matmul(combine_heads(out, h), W_O)    return out, weights if __name__ == "__main__":    batch, seq_len, d_model = 2, 4, 8    x = np.random.rand(batch, seq_len, d_model)    out, weights = multi_head_attention(x, h=2)    print("Multi-head output shape:", out.shape)    print("Attention weights shape:", weights.shape)    print("Weights for head 0, token 0:")    print(weights[0, 0])

1. Q = split_heads(np.matmul(x, W_Q), h)先做线性投影生成 Q，再把 d_model 维切分成 h 个低维头。
2. scores = np.matmul(Q, K.transpose(0, 1, 3, 2)) / np.sqrt(d_k)每个头内部做“查询×键”的点积并除以 √d_k，防止 softmax 饱和。
3. weights = softmax(scores)沿最后一个维度归一化，得到和为 1 的注意力权重。
4. np.matmul(weights, V)按权重对值向量加权求和，实现“按相关性提取内容”。
5. out = np.matmul(combine_heads(out, h), W_O)拼接各头输出后乘输出投影矩阵，完成跨头信息融合。

常见误区

面试题