Multi-Head多头注意力机制入门

可视化演示

动态演示Multi-Head多头注意的核心机制，通过全局/局部/动态/静态四种模式展示关键概念与交互流程。

注意力回顾

在认识多组侦探之前，先看一位侦探怎么独立查案。假设现在要弄清“猫追老鼠”里“追”的主语是谁。这位侦探手里有三样东西：Q（案件问题）——“谁是'追'这个动作的发出者？”；K（线索标签）——每个词贴着的姓名牌，写着“我是猫”“我是追”“我是老鼠”；V（线索内容）——每个词承载的实际信息。侦探的做法是：拿着问题 Q，依次和所有线索标签 K 比对，看谁最匹配，然后按匹配程度从对应的线索内容 V 里提取答案。

这正是缩放点积注意力的工作方式。输入序列的每个词都生成 Query、Key、Value 三个向量，注意力层用 Q 与所有 K 做点积打分，经过缩放和 softmax 后得到权重，最后对 V 做加权求和。整个过程像侦探在一次侦查中把全部线索过了一遍。

问题在于：这位侦探只有一种“查案习惯”。他拿“谁是主语”这个问题也许能答对，但让他同时关注“猫和老鼠谁先招惹谁”“句子里还有没有第三只动物”就力不从心了。单头注意力一次只产生一种注意力分布——这正是要引出多头的理由。

多头核心思想

于是局长决定派八组侦探同时查案：一组专攻语法结构，一组专盯动作指向，一组只看语义关系……每组侦探都领到一本“专属查案手册”，手册上规定了他们侧重把线索往哪个方向解读。八组互不干扰、并行办案。

多头注意力的“头”，其实就是一组独立运行的注意力子模块。每个头拥有自己的一套 Q/K/V 投影矩阵，把原始输入映射到不同的子空间。注意：这里不是把句子复制八份，而是用八个不同的线性变换去“变换视角”——同一句话，在不同子空间里被看到的结构完全不同。

你可以把 W_i^Q 想成第 i 组侦探戴的“眼镜”——戴上它，同一句话在他们眼里呈现出不同的重点。八组侦探各看一遍，看到的侧面完全不同，信息自然互补，这正是“多头”的核心价值。

头的拆分与并行

一组侦探一本手册，八组就是八本不同的手册。侦探们领到的任务书里最关键的一条规则是：把整块“线索板”按人数切成均匀的小块，每人负责一块区域，互不越界。

在实现层面，多头拆分发生在维度上。设模型维度为 d_model，输入矩阵 Q 的形状是（序列长度，d_model）。要拆成 h 个头，就准备 h 个形状为（d_model, d_k）的投影矩阵，其中 d_k = d_model / h。每个头只在自己的 d_k 维子空间里做注意力计算，因此天然可以并行。

就像八组侦探每人只负责自己的责任区，头多了单头维度会变窄，但这正是“分而治之”的代价与妙处——每个头在低维空间里计算，速度更快，组合起来又能覆盖全部信息。

拼接与融合

各组侦查报告写完后，总部会议室坐满八组侦探。他们不会各自向局长汇报，而是先由秘书把所有报告按顺序钉成一本厚册子，再交给局长做最终批示——这个“汇总再批示”的动作，就是多头注意力的最后两步。

对应到公式：先把 h 个头的输出按特征维度拼接（Concat），得到宽度为 h×d_k 的向量；再乘一个输出投影矩阵 W^O，把宽度压回 d_model。这样输出形状与输入一致，方便接残差连接和后续的层堆叠。

拼接让八个侧面的信息完整保留，W^O 则像局长“综合批示”，把各组线索揉成一份能直接用的行动方案。到此，一次多头注意力的前向计算就完成了。

头数与维度选择

局长现在面临一个现实问题：到底派几组侦探？派少了，角度不够；派多了，每组只剩巴掌大的责任区，谁都查不细，会议室也坐不下。

h 的选择不是越多越好。d_model 是固定的总预算，头数越多，每个头的维度 d_k = d_model / h 越小，单头的表达能力会下降。标准 Transformer 在 d_model=512 时取 h=8，即 d_k=64；更大的模型常用 h=16；也有实验用 h=12。头数必须能整除模型维度，否则切分不均匀。

经验法则：先保证 d_model 能被 h 整除，再在 8~16 之间试验。就像侦查组规模——人手充足（模型大）可以多派几组，人手紧张（模型小）就专注一组，避免每个头都“营养不良”。

单头对比分析

有人问：派一位全能侦探，一个人把所有角度都看一遍，不行吗？理论上有这种可能，但实际上一位侦探的思维方式是线性的，一次只能抓一条主线；八组侦探却可以同时追踪八条线索，互不干扰。

数学上，单头注意力的一步只能产生一种注意力分布，即每个位置对其它位置的一组分派权重；多头则产生 h 种分布，模型能同时建模多种关系——语法、指代、语义可以各用一个头去捕捉。而参数量上，标准实现把多头所需的投影矩阵合并成一个大矩阵，总参数与单头基本持平。

所以多头的优势不是“更多人”，而是“更多并行视角”：用几乎相同的参数成本，换来 h 倍的关系建模宽度。这就是 Transformer 选择多头、而不是堆叠多个单头层的深层原因。

可视化与调参

案件结束后，局长翻开八组侦探的报告。报告上每句话旁边都标着醒目色块：深色表示这组侦探重点关注的词，浅色表示顺带扫过。八份报告的标色方式完全不同——这就是注意力热力图的故事。

把第 h 个头中第 i 个词对第 j 个词的注意力权重画成矩阵，颜色越深代表权重越大。研究者在 BERT 上做过大量可视化，发现底层头偏向局部语法关系（相邻词、修饰关系），高层头偏向长程语义关系（指代、共指）。同一个词在不同头眼中，受关注的对象可以截然不同。

这也给调参提供了方向：如果发现某些头的热力图几乎一模一样，说明头间冗余，可以适当减少头数；如果某层全靠一个头，其他头成了“摆设”，就要检查初始化或训练稳定性。可视化让多头这头“大象”不再黑箱——打开报告，每个头干了什么一目了然。

AI 应用场景

Python 演示

import numpy as np  def softmax(x):    # 数值稳定版softmax, 先减去每行最大值防止指数溢出    e_x = np.exp(x - np.max(x, axis=-1, keepdims=True))    return e_x / np.sum(e_x, axis=-1, keepdims=True)  def scaled_dot_product_attention(Q, K, V):    # 缩放点积注意力, scores = Q*K^T / sqrt(d_k)    d_k = Q.shape[-1]    # transpose(0,1,3,2) 交换K最后两维, 实现批量矩阵转置    scores = np.matmul(Q, K.transpose(0, 1, 3, 2)) / np.sqrt(d_k)    weights = softmax(scores)    out = np.matmul(weights, V)    return out, weights  class MultiHeadAttention:    def __init__(self, d_model=8, num_heads=2):        # 保证 d_model 能被 num_heads 整除        assert d_model % num_heads == 0        self.d_model = d_model        self.num_heads = num_heads        self.d_k = d_model // num_heads        # 四组可学习投影矩阵, 参数量与单头基本一致        self.W_Q = np.random.randn(d_model, d_model) * 0.1        self.W_K = np.random.randn(d_model, d_model) * 0.1        self.W_V = np.random.randn(d_model, d_model) * 0.1        self.W_O = np.random.randn(d_model, d_model) * 0.1     def split_heads(self, x):        # 将 (batch, seq, d_model) 拆成 (batch, heads, seq, d_k)        batch, seq, _ = x.shape        x = x.reshape(batch, seq, self.num_heads, self.d_k)        return x.transpose(0, 2, 1, 3)     def combine_heads(self, x):        # 把 (batch, heads, seq, d_k) 重新拼回 (batch, seq, d_model)        batch, heads, seq, d_k = x.shape        x = x.transpose(0, 2, 1, 3)        return x.reshape(batch, seq, heads * d_k)     def forward(self, Q, K, V, return_weights=False):        # 1. 线性投影, 把输入映射到各头子空间        Q = np.matmul(Q, self.W_Q)        K = np.matmul(K, self.W_K)        V = np.matmul(V, self.W_V)        # 2. 拆分成 h 个头        Q, K, V = self.split_heads(Q), self.split_heads(K), self.split_heads(V)        # 3. 每个头独立做缩放点积注意力        attn, weights = scaled_dot_product_attention(Q, K, V)        # 4. 拼接所有头的结果        attn = self.combine_heads(attn)        # 5. 输出融合回模型维度        out = np.matmul(attn, self.W_O)        if return_weights:            return out, weights        return out  if __name__ == "__main__":    np.random.seed(42)    batch, seq_len, d_model = 1, 4, 8    x = np.random.randn(batch, seq_len, d_model)    mha = MultiHeadAttention(d_model=8, num_heads=2)    out, weights = mha.forward(x, x, x, return_weights=True)    print("输入形状:", x.shape)    print("输出形状:", out.shape)    print("各头注意力权重(行=查询词, 列=被关注词):")    for h in range(mha.num_heads):        print("头%d:\n" % h, np.round(weights[0, h], 2))

1. e_x = np.exp(x - np.max(x, axis=-1, keepdims=True))先减去最大值再算指数，防止大数溢出，是 softmax 的数值稳定写法
2. scores = np.matmul(Q, K.transpose(0, 1, 3, 2)) / np.sqrt(d_k)批量做 Q 和 K 的点积并除以根号维度，完成缩放打分
3. self.d_k = d_model // num_heads每个头分到的维度，整数除法保证 d_model 被 h 整除
4. x = x.reshape(batch, seq, self.num_heads, self.d_k)把模型维度切分成 h 块，是“拆头”的关键一步
5. x = x.transpose(0, 2, 1, 3)把头维度挪到第二维，让所有头可以批量并行计算
6. Q = np.matmul(Q, self.W_Q)先把输入投影到子空间，相当于每队侦探戴上“专属眼镜”
7. out = np.matmul(weights, V)按注意力权重对线索内容加权求和，得到该头输出
8. attn = self.combine_heads(attn)把 h 个头的输出拼接回 d_model 维，完成“汇总报告”

常见误区

面试题