Bahdanau注意力：开创性的对齐机制

可视化演示

背景与动机：一张写满的便利贴

老张最开始做同声传译，靠的是一张便利贴。对方说一句英文，他飞快地把要点记在黄纸上，翻译时照“贴”宣科。短语和短句很轻松：一句 "I love the sky"，六个词，便利贴绰绰有余。可一旦遇到从句套从句的长句，便利贴就遭殃了——字越写越小、越写越乱，写到后面，贴纸顶端那几行最早的信息早就被挤得看不清。老张心里清楚：不是自己记性差，是这张纸的容量根本不够。

这种“一张便利贴传到底”的做法，正是早期神经机器翻译的标准姿势。系统由两个 RNN 组成：编码器把源句从头读一遍，把全部信息压缩成一个固定长度的向量——相当于那张便利贴；解码器从这张“便利贴”出发，一个词一个词地生成译文。这个结构有一个广为人知的名字：Seq2Seq（序列到序列）。它本身很优雅，但内置了一个隐患：无论句子多长，最终都要挤进同一个向量里。

编码器每读进一个词，就更新一次自己的记忆状态，直到句末得到最终状态 \(h_T\)，模型就把这个状态当作“整句话的摘要”交给解码器。这个逐词迭代的过程，可以写成熟悉的递推式：

后来的实验揭开了残酷的事实：句子一长，这种固定向量系统的翻译质量就断崖式下滑。LSTM 缓解了梯度消失，却治不好“便签容量不够”的根本毛病。老张捂着一叠写得密密麻麻的便利贴，知道自己必须换个思路了。

核心思想：扔掉便利贴，换上词卡

老张的新方法听起来简单：既然一张便利贴记不下，那就干脆不记了。他把听到的每个词都写成一张独立的词卡，整整齐齐地贴在面前的白板上。翻译到“我”的时候，他快速扫一眼所有词卡，用荧光笔把 “I“ 标得最亮；翻到”爱“的时候，最亮的位置移到了 ”love“ 上；翻到”天空“时，他发现 ”the“ 和 ”sky“ 两张卡都值得标亮——虽然 ”sky“ 更亮，但 ”the” 也没被完全忽略。重要的是，那些没被标亮的词并没有被撕掉，它们还静静待在余光里。

把场景换回神经网络，这套动作对应一个关键转变：编码器不再只交出最后一个隐藏状态，而是把每一步的隐藏状态 \(h_1, h_2, \dots, h_T\) 全部保存下来。这些状态就像贴在白板上的所有词卡，一张都不丢。解码器生成第 \(i\) 个译文词时，不必再对着唯一一张“便利贴”苦思冥想，而是可以随时回头翻看任何一张词卡。

这个“随时翻看”的动作，学术上叫软对齐。它有两个鲜明的特点：第一，每个源词都会参与“目前该看谁”的决策，只是权重有大有小，没人会被完全抛弃；第二，权重是连续数值，所有词卡的权重加起来恰好等于 1——就像一整杯荧光粉，按照重要程度分给各张词卡，分得干干净净。因为是连续分配而不是非此即彼，所以叫“软”对齐，与之相对的“硬”对齐则只准挑一张卡。

这个转变把翻译从“背课文”变成了“看稿翻译”：字典里不再有窒息感，长句的信息不再被压扁，而是分散在一张张词卡上，随取随用。老张长舒一口气——便利贴终于可以扔了。

编码器设计：词卡要做成双面

词卡贴上了墙，老张又发现一个新麻烦：单面词卡记不住“语境”。比如英文 “I saw the bank“，这里的 ”bank“ 到底是”河岸“还是”银行“，单看这个词本身猜不出来，得看它后面跟着什么。如果词卡只有正面，写着 ”bank” 的字典释义，翻译时照样会翻错。老张的办法是把每张词卡做成双面的：正面记录从左往右读时积累的信息，背面记录从右往左读时积累的信息。

在模型里，这个“双面卡”由双向 RNN（BiRNN）实现。编码器运行两个方向的循环网络：前向 RNN 从句子开头读到结尾，得到的第 \(j\) 个隐藏状态 \(\overrightarrow{h}_j\) 只携带“左边”的语境；后向 RNN 从结尾读到开头，得到 \(\overleftarrow{h}_j\) 携带“右边”的语境。两个方向的信息最终拼接到一起，成为一张完整的双面词卡：

这样一来，每个源词都同时携带了它“前前后后”的语境信息。翻译 “bank“ 时，模型不仅看到这个词本身的卡，还能看到它左边的 ”the“ 和右边的 ”river”，河岸的意思就呼之欲出了。双面词卡，是老张的荧光笔能打得准的前提。

对齐模型：一支会算亮度的荧光笔

荧光笔不是乱画的，亮度背后有一把“打分尺子”。老张的心里养成了一个习惯：每要翻一个词，他先低头看看自己刚才译到哪了——也就是脑海里的“译词草稿” \(s_{i-1}\)——再把草稿跟白板上的每一张词卡 \(h_j\) 放到尺子上比一比，越匹配的得分越高。这个打分过程，Bahdanau 用一个小型神经网络实现，叫对齐模型：

有了得分还不够，荧光笔的亮度必须满足“总量恰好为 100%”这个规矩。模型用 softmax 把一串原始得分变成一组非负且和为 1 的权重：

拿到了亮度比例，最后一步就是“按亮度收菜”：把每张词卡的内容 \(h_j\) 乘上它的亮度 \(\alpha_{ij}\)，再全部加起来，得到这一个译词专用的上下文向量：

至此，那支会算亮度的荧光笔就完整了：打分、归一化、加权汇总，三步走完，老张眼前的总览图就自动浮现出来。最亮的那张卡，往往就是此刻最该翻译的词。

解码器集成：三样信息齐了才落笔

老张落笔写出一个译词之前，脑子里其实在同时处理三样东西：上一句刚说出口的译文词 \(y_{i-1}\)、自己当前的翻译记忆 \(s_{i-1}\)、以及荧光笔扫完所有词卡后提炼出的汇总 \(c_i\)。三个信息缺一不可——单看记忆会跑偏，只看词卡会忘掉已翻的内容，不参照译文又会断档。

解码器这步更新，把三者一起喂给一个门控循环单元（GRU），让它更新内部状态：

之后，输出层 \(g\) 把状态映射成词表上的概率分布，决定到底说出哪个词：

注意这里的 \(c_i\) 是逐词变化的：翻“爱”时看到的是以 “love“ 为主的汇总，翻”天空“时看到的是以 ”sky“ 为主、顺带 ”the“ 的汇总。每个译文词都有自己的”专属上下文“，这就是 Bahdanau 与旧方案最本质的分水岭。老张把这套流程练熟之后，译文便一个词一个词地流畅涌出，不再有那种”憋了半天才憋出一句”的卡顿感。

性能与影响：长句翻译不再翻车

新方法试运行了一周，老张的客户反馈最明显的一点是：长句终于不翻车了。以前句子一超过三十个词，翻译就开始颠三倒四；现在哪怕是四五十词的长难句，译文也基本维持在正常水准。更妙的是，老张根本不需要别人告诉他哪张词卡重要——他在实践中自己摸索出了打光的规律，越练越准。

论文实验确实如此。在 WMT'14 英法翻译测试集上，不使用注意力的 RNNencdec 模型 BLEU 约为 13.9，而使用 Bahdanau 注意力的 RNNsearch-50 提升到约 23.1。更关键的是性能曲线：旧模型的翻译质量随句子长度增加急剧下滑，新模型的曲线却几乎是平的——“长句退化”这个老大难问题被大大缓解。此外，训练时整个系统（编码器、解码器、对齐模型）端到端联合优化，荧光笔的打光规律完全是从平行语料里自己学出来的。训练目标是最大化正确译文的条件概率，等价于最小化交叉熵损失：

这段工作的影响远不止翻译本身。研究者把学到的注意力权重画成热力图，发现它竟然呈现出类似“词对齐”的对角线结构——模型可解释性第一次变得如此直观。之后，Luong 提出了更简洁的注意力变体，Transformer 则把它推向极致（自注意力）。老张的荧光笔，就这样点亮了整个深度学习时代。

AI 应用场景

Python 演示

import torchimport torch.nn as nnimport torch.nn.functional as F  class BahdanauAttention(nn.Module):    """Bahdanau 对齐模型: e_ij = va^T tanh(Wa h_j + Ua s_{i-1})"""    def __init__(self, enc_dim, dec_dim):        super().__init__()        self.Wa = nn.Linear(enc_dim, dec_dim)        self.Ua = nn.Linear(dec_dim, dec_dim)        self.va = nn.Linear(dec_dim, 1)     def forward(self, query, keys):        # query: (B, 1, dec_dim) 解码器上一步隐藏态 s_{i-1}        # keys:  (B, T, enc_dim) 编码器全部源词隐藏态 h_1..h_T        e = self.va(torch.tanh(self.Wa(keys) + self.Ua(query)))  # (B, T, 1)        alpha = F.softmax(e.squeeze(-1), dim=-1)                 # (B, T)        context = (alpha.unsqueeze(-1) * keys).sum(dim=1)        # (B, enc_dim)        return context, alpha  def main():    torch.manual_seed(42)    batch, T = 1, 4    enc_dim = dec_dim = 8    keys = torch.randn(batch, T, enc_dim)      # 编码器输出的 4 张词卡    query = torch.randn(batch, 1, dec_dim)     # 解码器草稿 s_{i-1}    attn = BahdanauAttention(enc_dim, dec_dim)    context, alpha = attn(query, keys)    print("注意力权重 alpha:", [round(x, 3) for x in alpha[0].tolist()])    print("权重之和:", round(alpha.sum().item(), 3))    print("上下文向量维度:", tuple(context.shape))  if __name__ == "__main__":    main()

1. self.va = nn.Linear(dec_dim, 1)打分向量 \(v_a\)，把融合后的特征压成一个标量得分。
2. e = self.va(torch.tanh(self.Wa(keys) + self.Ua(query)))一次完成 \(W_a h_j + U_a s_{i-1}\)、tanh 激活和标量打分。
3. alpha = F.softmax(e.squeeze(-1), dim=-1)沿着源词维度做 softmax，让权重总和为 1。
4. context = (alpha.unsqueeze(-1) * keys).sum(dim=1)按权重对词卡加权求和，得到动态上下文。
5. query = torch.randn(batch, 1, dec_dim)模拟解码器上一步隐藏状态 \(s_{i-1}\)。
6. print("权重之和:", round(alpha.sum().item(), 3))验证 softmax 性质，输出应接近 1。

常见误区

面试题