注意力机制：让Seq2Seq学会聚焦关键信息

可视化演示

展示注意力机制如何让解码器动态聚焦编码器不同位置，交互切换软/硬注意力模式观察权重分布差异。

注意力动机——信息瓶颈之痛

有个学徒第一次进后厨，主厨递给他一张写满 50 行配料的菜单，让他准备一整桌宴席。学徒想了半天，把所有食材都丢进一个大锅里，熬成一桶“万能浓汤”。之后每做一道菜，他都从桶里舀一勺“精华”。前五道菜还算有模有样，到了十几道菜之后，汤里的味道早已搅成一团——鱼味和葱味混在一起，谁都说不清底料是什么。

在深度学习中，这个“学徒”就是传统的 Seq2Seq 模型。编码器读完整个输入序列，把全部信息压缩进一个固定长度的向量，也就是上下文向量；解码器在生成每一个输出词时，都只能从这一个向量里“舀汤”。问题很明显：句子越长、信息越多，这个向量的容量越不够用，远处位置的信息被不断稀释、覆盖——这就是信息瓶颈，也是注意力机制出现前，机器翻译在长句上表现糟糕的根本原因。

注意力机制的解法，是不再要求“一锅汤装下所有菜”。Bahdanau 等人在 2015 年的机器翻译论文中提出：编码器把每个输入位置的状态都留下来，解码器每走一步，自行决定去看哪些状态、每种状态各看几眼。如果把传统方案写成公式，就是：

注意力机制的第一步，就是把那口碍事的“大锅”扔掉，把所有食材放回各自的小碗里。想明白“为什么要扔锅”，你就理解了注意力的全部动机：不是故弄玄虚，而是信息容量不够用。

编码器状态——备菜台上的小碗

扔了锅，就要摆碗。主厨让学徒把每样食材单独处理好，装进各自的小碗并编号：1 号碗放葱、2 号碗放姜、3 号碗放鱼……碗与碗互不掺和，但每一碗都保留了食材原本的形状和位置感。

在 Seq2Seq 中，这些小碗就是编码器的隐藏状态 \(h_j\)。它们本来就在编码过程中逐位置产生，只是传统方案只用最后一个状态。注意力机制要求把它们全部“端上桌”，作为解码器随时可查的原料池。

为了让每个“碗”都含有前后语境的完整信息，工程上常用双向 RNN / GRU：一个方向从左往右读，另一个方向从右往左读，然后把同一位置两个方向的状态拼起来，得到最终的输入状态：

每个小碗里的食材，都被“正反各看一遍”后再装好。这样主厨在做菜时随便拿起一碗，都能知道它在整桌宴席中的来龙去脉——这正是注意力查询的原料基础。

对齐模型——嗅觉判断匹配

主厨站在出菜口，手里刚摆好上一道菜。他要在几十个碗中快速判断：当前这道菜最缺什么？他靠的是嗅觉与经验的匹配——闻到鱼肉味，就知道该往鱼碗那边看。

模型同样需要一个“嗅觉”，也就是打分函数。解码器用一个状态 \(s_{i-1}\) 代表“我已经做到哪一步了”，编码器每个位置有状态 \(h_j\)。把二者交给一个对齐模型，就能算出当前解码位置与输入位置之间的匹配分数 \(e_{ij}\)。

最经典的加性对齐模型（Bahdanau, 2015）是：把 \(s_{i-1}\) 与 \(h_j\) 拼接起来，过一次线性变换，再用 \(\tanh\) 激活，最后乘上打分向量 \(v_a\)，得到一个标量：

分数越高，说明“这道菜与那只碗越搭”。但主厨不会只凭一股味道就定全部心思——他还得把几十个碗的“气味浓度”放在一起比较，按比例分配眼神。这就引出了归一化。

权重归一化——把眼神化为份额

主厨闻了一圈，心里有了排名：鱼味最冲，姜次之，葱再次之。但他看每个碗的时间总和必须恰好是一餐饭的时长——不可能因为鱼味重就永远只看鱼。于是他给自己定了一张“眼神份额表”：每只碗分到一定的“眼神百分比”。

模型的“眼神百分比”就是注意力权重。要做到这一点，需要把上一步算出的 \(e_{ij}\) 转成正数，且总和等于 1。Softmax 是最标准的工具：它把任意一组实数分数平滑地映射成一个概率分布。对于位置 \(j\)，它得到的权重为：

有了份额表，主厨的动作变得有章可循：看鱼碗 60%，看姜碗 25%，看葱碗 10%…… 最后还剩下 5% 扫一眼蒜碗。这些份额下一步就会被用来“取料”。

上下文向量——按需取料

份额表定好了，主厨开始取料：从鱼碗里舀 60% 的鱼肉量，从姜碗取 25% 的量，从葱碗取 10%……最后拌成一碗“应景混合精华”。这道菜需要什么，这碗精华就是什么；下一道菜变了，比例与精华也会整体改变。

对应到模型，这碗“混合精华”就是上下文向量 \(c_i\)。它不再是编码器最后那个固定状态，而是当前解码步根据注意力权重，对所有编码器状态做加权求和得到的动态向量。每生成一个词，都会重新计算一次：

把这份“应景精华”交给解码器，它就能自信地落笔生成当前词——因为它既知道自己已经写了什么，也清楚原文里此刻哪一部分最该被用到。

软硬注意力——两种派菜方式

主厨有两种派菜哲学：一种是“博采众长”，把五个碗按比例各取一些，混成一道风味复杂的新菜；另一种是“孤注一掷”，只认准最对味的那一个碗，整碗端走。菜单上的每道菜，都可以由其中一种策略来派。

这两种策略对应注意力的两个变体。软注意力对所有编码器状态做加权平均，每一步都用到全部输入位置的信息；硬注意力则先选出一个最相关的输入位置，再直接取用该位置的状态，相当于做了一次离散选择。

软注意力：

硬注意力：

在真实落地时，绝大多数系统选择软注意力，因为它可以被反向传播直接训练；而硬注意力由于离散决策带来的训练难度，通常需要配合采样或强化学习，往往得不偿失，其效果也未必超过软注意力。

应用实战——翻译、摘要与可视化

开饭馆的日子久了，主厨发现自己的“眼神分配法”不只可以用于做菜，还可以用在采购、摆盘、库存管理上——只要任务需要“在一堆选项里挑重点”，这套方法就成立。注意力机制也是这样：只要任务本质是“从输入序列到输出序列的生成”，注意力就能大幅提升效果。

在机器翻译中，编码器读入输入句，解码器逐词生成译文，注意力让每个译文词都能返回原文找到对应区域。在文本摘要中，输入是长文档，输出是简短的摘要，注意力在摘要生成的每一步决定“这段该看正文的哪几句话”。在视觉语言任务中，把图片的区域特征当成编码器状态，注意力就能在画面上移动“眼神”，完成看图说话或视觉问答。下图是注意力参与解码输出预测的常用方式——把解码器状态与动态上下文一起拼起来，映射到词表空间：

更让工程师兴奋的是，注意力权重 \(\alpha_{ij}\) 可以被直接可视化成“对齐热力图”：哪一格最亮，就代表哪两个语言片段在翻译时相互对应。这就像主厨在每个菜品旁贴一张便签——“这道菜的关键食材是鱼”，让决策过程既高效又透明。

AI 应用场景

Python 演示

import numpy as np def softmax(x):    """把打分向量变成概率分布, 总和为 1."""    x = x - np.max(x)    e = np.exp(x)    return e / e.sum() def attention(query, keys, values):    """完整注意力层: 打分 -> softmax -> 加权求和."""    scores = np.dot(keys, query)    weights = softmax(scores)    context = np.dot(weights, values)    return context, weights if __name__ == "__main__":    # 模拟句子"猫 喜欢 鱼"的三个编码器状态    keys = np.array([        [0.8, 0.1, 0.0],        [0.2, 0.9, 0.1],        [0.1, 0.2, 0.8],    ])    values = keys.copy()    # 解码器第一步状态偏向"猫"    query = np.array([0.9, 0.2, 0.0])    context, weights = attention(query, keys, values)     print("注意力权重:", np.round(weights, 3))    print("权重之和:", round(float(weights.sum()), 6))    print("上下文向量:", np.round(context, 3))    print("最关注位置:", int(np.argmax(weights)) + 1)

1. x = x - np.max(x)先减去最大值，防止指数运算数值溢出，结果不变。
2. scores = np.dot(keys, query)点积对齐模型：衡量每个编码器状态与当前解码器状态的匹配程度。
3. weights = softmax(scores)把分数归一化成总和为 1 的注意力分布。
4. context = np.dot(weights, values)按权重对 values 加权求和，得到当前步的上下文向量。
5. values = keys.copy()在标准注意力中，values 通常就是编码器状态本身。
6. query = np.array([0.9, 0.2, 0.0])模拟解码器当前状态：它更“想看”猫，因此权重应偏向第一行。
7. print("权重之和:", ...)验证 softmax 输出满足概率分布性质。

常见误区

面试题