Transformer多头自注意力原理

可视化演示

展示多层神经网络前向传播过程，数据从输入层经隐藏层传递到输出层，实时显示各层神经元激活值变化。

自注意力总览

侦探团队刚到案发现场，队长说：“先别下结论，每个人都把整本卷宗从头到尾翻一遍，看看谁和谁之间存在关联。”于是每位侦探拿着自己的笔记本，在卷宗里划出重点。这就是自注意力的开始——每个词不再是孤立的信息点，而是与句子里的每一个词交换情报。

在Transformer中，输入是一串词向量。自注意力让每个词向量通过计算与其他所有词向量的关联，更新自身为包含上下文信息的表示。这种关联用三个角色描述：Query（查询）、Key（键）、Value（值）。一段话里，Query问“我在找什么”，Key回答“我身上有什么标签”，Value给出“我实际的内容”。输出是Value按关联度加权汇总的结果。

就像侦探们最终会根据某个线索与本案的匹配程度来分配注意力，自注意力的输出就是每个词在全文语境下的“案情摘要”。

QKV矩阵变换

每位侦探都有特殊的笔记本：红色侦探的本子只记时间，蓝色侦探只记人物关系。他们拿着同一份案件材料，但记录的格式不同。同样地，输入词向量本身并不天然区分Q、K、V，需要通过三个可学习的权重矩阵，把同一个输入投影到三种“笔记本格式”里去。

具体来说，输入矩阵$X$的每一行是一个词的嵌入向量。分别乘以$W_Q$、$W_K$、$W_V$三个权重矩阵后，就得到了Q、K、V。这三个矩阵是模型训练中逐渐学出来的，相当于侦探们自己调整记录方式。

这就像给每位侦探分发不同颜色的笔记本——同样的证词，不同的关注点，最终让模型在后续计算中“各取所需”。

注意力分数计算

侦探如何判断一条线索是否重要？他会把自己关心的点（Q）与证据上贴着的标签（K）做匹配，匹配度就是分数。最常见的匹配方式就是点积：两个向量方向越一致，点积越大。但点积的数值会随着向量维度$d_k$增大而变大，就像多人同时说话时音量会失控，所以需要除以$\sqrt{d_k}$来“压音量”。

缩放之后的分数矩阵再进入Softmax，把每一行变成和为1的注意力权重。这一步让权重既能保留相对强弱，又不会因为个别极大值抢走全部注意力。

缩放因子就像音响系统的音量限制器——如果某个线索音量过大，就会掩盖其他线索，所以要把音量调回舒适区。合理缩放之后，Softmax才能给出既锐利又稳定的注意力分布。

多头机制原理

一个侦探可能很擅长时间线，但让他同时关注人物关系就会漏掉重要线索。所以队长安排多位侦探，每人专攻一个方向，最后把报告拼在一起。多头注意力正是这样：不再只做一次注意力，而是把Q、K、V分别投影到h组较低维的子空间，在每组里独立计算注意力，最后把所有头的结果拼接起来，再经过一个输出投影矩阵$W_O$。

每个头都有自己独立的$W_i^Q$、$W_i^K$、$W_i^V$，因此可以学到不同的注意力模式。比如一个头关注语法依赖，另一个头关注指代关系，第三个头关注词义相似性。这正是“多头”比单头强大的根本原因：不同子空间中的模式可以互补。

不同侦探的独立报告最后拼成完整案情，Transformer也因此能同时捕捉语法、指代、语义等多维信息。这就是多头自注意力的核心魅力。

长距离依赖优势

如果只有一个侦探，他必须从头到尾逐一念证词，念到第100句时早就忘了第1句说了什么。而多侦探团队直接把整本案卷摊开在桌上，第1句和第100句都能直接建立连线。RNN处理长文本时，信息沿时间步传递，遇到长距离就容易被遗忘；而自注意力让任意两个token一步直达，天然适合长距离依赖。

当然，这种“全摊开”的代价是计算量。每个位置都要和所有位置做注意力，所以复杂度随序列长度n呈平方增长。理解这个代价，你就明白为什么实际应用中会在长文本上做窗口化或稀疏化优化。

摊开卷宗虽然有成本，但换来的是任何线索都能一眼看到。正是这种“全局视野”，让大模型在长文中依然能抓住关键信息。

实际应用场景

如今这支“侦探团队”已经被各大机构收编，成了处理语言的标配。从翻译到写作文，从问答到图文检索，背后都有多头自注意力在同时关注不同线索。

在机器翻译中，多头注意力让源语言和目标语言的词对齐更准确；在BERT预训练中，模型用多头注意力预测被掩码的词，同时参考左右两侧的上下文；在GPT系列模型中，多头注意力逐词预测下一个token，支撑起强大的文本生成能力；在多模态模型中，不同头还能分别对齐图像中的物体、颜色和文本中的名词、形容词。多头机制让“多视角协作”成为通用方案，任何需要关联两处信息的任务都能受益。

无论案件是翻译、写作还是看图说话，这支多头侦探团队都能靠多视角协作，拼出全局真相。这也解释了为什么Transformer能统一NLP、CV、语音等多种模态的建模方式。

AI 应用场景

Python 演示

import numpy as np  def softmax(x, axis=-1):    x = x - np.max(x, axis=axis, keepdims=True)    e = np.exp(x)    return e / np.sum(e, axis=axis, keepdims=True)  class MultiHeadAttention:    def __init__(self, d_model, h, d_k=None, d_v=None):        self.h = h        self.d_model = d_model        self.d_k = d_k or d_model // h        self.d_v = d_v or d_model // h        self.W_Q = np.random.randn(d_model, h, self.d_k) * 0.01        self.W_K = np.random.randn(d_model, h, self.d_k) * 0.01        self.W_V = np.random.randn(d_model, h, self.d_v) * 0.01        self.W_O = np.random.randn(h * self.d_v, d_model) * 0.01     def forward(self, X, mask=None):        n, d = X.shape        Q = np.einsum('nd, dhk -> nhk', X, self.W_Q)        K = np.einsum('nd, dhk -> nhk', X, self.W_K)        V = np.einsum('nd, dhv -> nhv', X, self.W_V)        scores = np.einsum('nhk, mhk -> nhm', Q, K) / np.sqrt(self.d_k)        if mask is not None:            scores = scores + mask        attn = softmax(scores)        ctx = np.einsum('nhm, mhv -> nhv', attn, V)        ctx_flat = ctx.reshape(n, -1)        out = ctx_flat @ self.W_O        return out  if __name__ == '__main__':    np.random.seed(0)    d_model, h, n = 16, 4, 6    X = np.random.randn(n, d_model)    mha = MultiHeadAttention(d_model, h)    out = mha.forward(X)    print('输出shape:', out.shape)

1. self.W_Q = np.random.randn(d_model, h, self.d_k) * 0.01初始化每个头的Query投影矩阵，小随机值保证初始输出平稳。
2. Q = np.einsum('nd, dhk -> nhk', X, self.W_Q)用爱因斯坦求和将输入X投影成h个头各自的Q。
3. K = np.einsum('nd, dhk -> nhk', X, self.W_K)同理得到K，K只负责被查询匹配。
4. V = np.einsum('nd, dhv -> nhv', X, self.W_V)得到V，V是最终被加权汇总的内容。
5. scores = np.einsum('nhk, mhk -> nhm', Q, K) / np.sqrt(self.d_k)在每个头内计算所有位置对的相似度，并除以缩放因子。
6. attn = softmax(scores)将相似度归一化为注意力权重，每行和为1。
7. ctx = np.einsum('nhm, mhv -> nhv', attn, V)用注意力权重对V加权求和，得到每个头的上下文表示。
8. ctx_flat = ctx.reshape(n, -1)把多个头的输出拼接成一个大向量。
9. out = ctx_flat @ self.W_O输出投影，将拼接结果映射回模型维度。

常见误区

面试题