机器翻译：注意力机制在翻译中

可视化演示

展示系统处理流水线、实时性能指标曲线及多方案对比分析，包含数据流转、吞吐延迟监控与方案评估。

翻译困境：背下整段话的传译员

小林是刚入职的同声传译员。第一次进同传箱，她给自己定了个规矩：先把发言人说的话完整记下来，再开口翻译。结果一句话超过十个词，她就记不住开头了；等她终于把整段话“背”完，发言人已经讲到下一句。会后师父说：“你这不是同传，是听写。”

小林的方法在早期的神经机器翻译里叫编码器-解码器架构。编码器是负责“读书”的角色，把整个源句读完后浓缩成一个固定长度的向量 c，解码器是负责“复述”的角色，只能从这个向量里回忆出目标句。这就像小林必须把整段话都记在脑子里再翻译，记忆里没存进去的细节自然就丢了。

这个固定向量就是著名的“信息瓶颈”。句子越长，压缩率越高，开头的词在压缩过程中被越冲越淡，翻译质量急剧下降。2014 年前后的 Seq2Seq 模型对长句翻译经常出现“头重脚轻”的毛病——开头对得上，后面完全跑偏。原因就是解码器生成每个词时，看的都是同一个“记忆摘要”c，没有机会回头查阅原文。

小林的“背下再译”就像固定编码：短期记忆再强也有上限。要想突破瓶颈，必须换一种思路——不要背，要边听边看。

思想突破：目光跟着笔尖走

师父把小林拉到观察窗前：“你看老陈。”老陈是同传箱里最稳的翻译，他的眼睛始终盯着稿纸上的源文本，翻译到哪个词，目光就落在哪个词附近；遇到长从句，还会回扫到句子开头重新确认主语。“他不是在背句子，是在'看'句子。”师父说。

2015 年，Bahdanau 等人提出注意力机制，思路和老陈一模一样：解码器生成第 i 个目标词时，不再依赖那个唯一的固定向量 c，而是回头查阅编码器保存下来的每一个源词状态 h_j，从中选出当前最相关的信息。这就是“动态关注”——翻译到哪，就看到哪，而不是把整句话先背下来。

编码器不再只输出一个最终状态，而是把每个时间步的隐状态 h_1,……,h_S 全部保留下来，相当于把源句每个词都做成一张“单词卡片”。解码器在第 i 步时，为每张卡片算一个权重 α_ij，再把这些卡片加权混合成一张“当下最需要的汇总卡”c_i。这个 c_i 不再是固定的，而是随着目标词的位置 i 动态变化——这就是“注意力”三个字的由来，也是“保留状态”+“对齐思想”的完整结合。

小林学着老陈的样子，翻译到 “I“ 时目光扫向源句的 ”Je“，翻译到 ”happy“ 时目光落在 ”content“ 上。每个译文词都有了自己”看原文”的焦点，长句也不再可怕。

注意力原理：图书馆检索三要素

小林发现这套“边看边译”的方法，本质上和图书馆查书一模一样。她手里攥着一张写着疑问的小纸条：“这里的主语是谁？”；书架上每本书的书脊都贴着标签；抽出书后，她飞快地扫过正文，找到自己需要的段落。纸条、标签、正文，三样东西缺一不可。

三样东西对应注意力机制的三个基本角色：Query（查询）、Key（键）、Value（值）。解码器当前的翻译需求就是 Query；源句中每个词的位置信息就是 Key；而每个源词真正承载的语义内容就是 Value。先拿 Query 跟每个 Key 比一比“有多匹配”，再用匹配程度去加权对应的 Value。

具体分三步。第一步打分：用一个打分函数 a() 计算 Query 与每个 Key 的匹配度 e_ij；第二步归一化：用 softmax 把一批分数转成总和为 1 的权重 α_ij，让最匹配的源词拿到最大权重；第三步加权求和：把 Value 按权重混合，得到上下文向量 c_i。“查询-键-值”这套框架，后来成为整个注意力家族的统一视角。

小林手里的纸条、书架上的标签、书里的正文，组合成一套高效的“按需取用”系统。现在问题只剩下一个：怎么设计那个打分函数 a()，让“匹配”量得又快又准？

加性打分：Bahdanau 的便签技巧

最开始，小林靠“感觉”判断目光该落向哪里。但她发现感觉不靠谱——遇到生僻搭配就会看错行。于是她给自己做了一张“重要度便签”，正面写着当前翻译的要点，背面是几个评价维度：词性是否对得上、语义是否接近、语法角色是否一致。每扫过一个源词，她就在便签上快速打个分。

Bahdanau 等人设计的加性注意力（additive attention）就是这张“便签打分表”。它不再依赖人为规则，而是用一个小型神经网络自动学出“该看哪里”。打分函数把解码器状态 s_{i-1} 和编码器状态 h_j 拼在一起，喂给一个带 tanh 激活的单隐层网络，最终输出一个标量分数。

具体地，设 W_a 把拼接后的长度为 2d 的向量映射到长度为 d_a 的中间空间，v_a 再把中间向量压缩成标量。这个“拼接-线性变换-tanh-线性变换”的组合，叫作加性打分函数。它能建模解码器状态与源词状态之间复杂的非线性关系，而整个编码器、解码器、打分网络通过反向传播端到端联合训练——注意力权重不需要任何人工标注，完全由翻译目标隐式驱动。

小林的“便签打分法”虽然比凭感觉可靠，但每次都要把源词挨个比对，翻来翻去很费时。有没有更省事的打分方式？

点积打分：缩放点积的快捷尺子

后来，小林换了一件新装备：一把“相似度尺子”。她不需要再逐项填写便签上的维度了，只需把手中纸条上的关键词与书脊标签“对齐一量”——越相似，尺子上的刻度就越高。这把尺子就是点积。

缩放点积注意力（scaled dot-product attention）把打分的任务从“训练一个神经网络”简化成“两个向量做点积”。在具体实现里，解码器状态被投影为查询向量 q，源词状态被投影为键向量 k 和值向量 v。匹配度直接由 q 和 k 的内积给出——内积越大，两个向量在方向上越发一致。

Q、K、V 分别是以查询向量、键向量、值向量为行的矩阵。QK^T 一次算出所有位置两两之间的匹配分数；除以 √d_k 是为了防止向量维度过高时点积的方差过大，导致 softmax 落到饱和区、梯度消失；softmax 把分数归一化为权重，再对 V 加权求和。相比加性打分，点积打分没有可学习的附加参数，矩阵乘法在 GPU 上高度优化，计算更快、内存更省，因而成为 Transformer 的首选。

尺子一量果然比填便签快多了。小林只要一秒就能扫完一整句。不过她很快有了新烦恼：一句话里同时有好几处想看的重点，一把尺子忙不过来。

多头架构：多光标眼镜

师父递给小林一副“多光标眼镜”：戴上后，视野里同时出现好几个高亮光标。翻译 “Today I am very happy“ 时，一个光标正对准主语 ”I“，另一个光标落在时间状语 ”Today“ 上，还有一个在检查修饰词 ”very”。它们互不干扰，各管一摊，最后被大脑整合成完整的理解。

这就是多头注意力（multi-head attention）。Transformer 不只用一组 Q、K、V 投影，而是把整个注意力过程重复 h 次，每次都使用不同的线性投影——相当于把语义空间切分成 h 个“表示子空间”，让不同头各司其职：有的头擅长捕捉语法关系，有的头关注指代消解，有的头负责长距离依赖。

其中每个头独立完成一次缩放点积注意力，然后拼接、经过输出投影 W^O 整合。为了保证多个头能并行计算，各头的维度通常取原始维度除以 h，使计算总量与单头时持平。把这样的多头注意力层一层层堆叠起来，就构成了 Transformer 的编码器和解码器。多头注意力配合位置编码，让模型在翻译每个词时都能同时“看见”整个源句，摆脱了 RNN 逐步传递的串行依赖，成为现代机器翻译乃至大语言模型的基础组件。

小林戴上多光标眼镜，目光在同一句话里四处游走，每个光标各看一处，译得又准又快。她终于明白：好的翻译不是把整句话背下来，而是知道在每一个瞬间，自己的目光应该落在哪里。

AI 应用场景

Python 演示

import numpy as np def softmax(x):    e_x = np.exp(x - np.max(x))    return e_x / np.sum(e_x) def bahdanau_score(query, keys, W_a, v_a):    T, D = keys.shape    concat = np.concatenate([np.tile(query, (T, 1)), keys], axis=1)    return v_a @ np.tanh(concat @ W_a.T) def dot_score(query, keys, d_k):    return (keys @ query) / np.sqrt(d_k) def attend(query, keys, values, scorer):    if scorer is None:        scores = dot_score(query, keys, keys.shape[1])    else:        scores = scorer(query, keys)    weights = softmax(scores)    return weights @ values, weights # 模拟法译英: 源词状态与解码器上一状态src = ["je", "suis", "content"]np.random.seed(42)D = 8emb = {w: np.random.randn(D) for w in src}H = np.stack([emb[w] for w in src])          # 编码器隐状态 (3, D)s_prev = H.mean(axis=0)                       # 解码器上一状态 # Bahdanau 打分网络参数d_a = 4W_a = np.random.randn(d_a, 2 * D) * 0.1v_a = np.random.randn(d_a) * 0.1 ctx_add, w_add = attend(s_prev, H, H, lambda q, k: bahdanau_score(q, k, W_a, v_a))ctx_dot, w_dot = attend(s_prev, H, H, None) print("加性注意力权重:    ", np.round(w_add, 3))print("缩放点积注意力权重:", np.round(w_dot, 3))print("加性上下文向量:    ", np.round(ctx_add, 3))print("点积上下文向量:    ", np.round(ctx_dot, 3))

1. def softmax(x):把任意实数向量转成总和为 1 的概率分布，是注意力权重归一化的核心工具。
2. np.tile(query, (T, 1))把解码器查询状态复制成与源词一样多的行，方便逐词拼接打分。
3. v_a @ np.tanh(concat @ W_a.T)加性打分的三步曲：线性变换、tanh 激活、标量压缩。
4. (keys @ query) / np.sqrt(d_k)点积加缩放：一次内积算匹配度，再除以维度平方根防止分数爆炸。
5. attend(...)统一的注意力流程：打分、softmax、加权求和，两种打分方式可随意切换。

常见误区

面试题