Coverage机制：终结Seq2Seq的重复生成

可视化演示

展示覆盖率向量累积、重复抑制效果对比、Coverage与注意力协同工作。切换模式理解Seq2Seq重复生成问题的解决方案。

问题缘起：没有勾选表的会议纪要

小林第一次写纪要时，注意力完全是“跟着感觉走”。哪个话题在脑子里印象深，他就多写几句；结果“预算”被反复展开，最后连他自己都忘了“预算”已经写过两遍。这种“注意力偏航”的毛病，本质上是因为他手里没有任何记录——每写一笔，都不知道自己已经写过什么。

在 Seq2Seq 模型里，这个“感觉”就是注意力机制。解码器生成每一个词之前，都会打出一束“探照灯”，在源句的各个词上分配一个注意力权重，然后按照权重抓取信息。可惜这束探照灯只看“现在”，它不记得上一束光打在了哪里。只要解码器当前的状态与上一步相差不大，注意力分布就会几乎原样重演——于是同一个词被反复照到，输出里就出现了“车轱辘话”。

普通注意力打分公式长这样：它把源词表示 $h_i$ 和解码状态 $s_t$ 拼接打分，再经过 softmax 归一化成权重。仔细看，公式里既没有“历史注意力”，也没有“已翻译标记”，这就是重复生成的病根。

小林后来想通了：要治本，先得让“探照灯”记得自己刚才照过谁。于是，一张“勾选表”诞生了——这正是 Coverage 机制的起点。

覆盖率向量：给每个要点记一笔

领导给了小林一张会议要点清单，上面列着“预算、进度、风险、人员、结论”五个词。小林每写到一个要点，就在它旁边画一道“正”字。写第二遍时，看到“预算”后面已经有两个“正”字，他立刻意识到：这笔写过了，该去看看还没动过的“人员”了。这张清单，就是解决问题的那支“荧光笔”。

在神经网络里，“正”字清单有一个正式的名字：覆盖率向量（coverage vector）。它是一个与源句等长的向量，记作 $c^t$，其中每个分量 $c_i^t$ 表示“源句第 $i$ 个词到第 $t$ 步为止被覆盖了多少”。初始时刻，所有分量都是 0，代表“什么都没写”；每走一步解码，就把这一步的注意力权重加到对应分量上——就像小林每写一个要点就画一道“正”字。

覆盖率向量的维护极其轻量，本质上就是一次向量加法：把上一步的覆盖率向量累加上本步的注意力分布。

有了这张“正”字清单，小林第一次清楚地知道：哪些要点还没写，哪些要点已经写得够多了。下一步，就是把这份清单交到“探照灯”手里。

注意力改造：把勾选表交给解码器

以前小林写下一句时，是凭印象在几个要点里“挑一个最熟的”；现在他改成了先扫一眼清单——“正”字少的优先展开。这个小小的动作改变，就是 Coverage 机制的核心改造：把覆盖率向量喂进注意力打分函数，让模型在决定“下一句看哪里”时，先参考“哪里已经看过了”。

技术上，只需在原来的打分公式里多加一项 $w_c c_i^{t-1}$。其中 $w_c$ 是一个可学习的标量权重，模型在训练中会自动学会它的方向：通常它会被学成“负向”，也就是对已覆盖词的分值进行抑制。于是，已经写过两遍的“预算”分数变低，“正”字几乎是空白的“人员”分数相对变高，探照灯自然就被吸引过去。

改造完成之后，注意力变得“喜新厌旧”：总是偏向还没涂色的词。但光改打分还不够，模型在训练时还需要一条明确的“纪律”来约束自己——这就是覆盖率损失。

覆盖率损失：重复劳动要扣钱

领导又加了一条新规矩：同一个要点，展开的篇幅明显超出必要，就要扣绩效。“预算”你要是敢写第三遍，这一遍直接算无效劳动。这条“罚款条款”让小林的注意力在训练中不断被纠正：重复，是要付出代价的。

在模型训练里，这条“罚款条款”叫做覆盖率损失（coverage loss）。它衡量的是：本步注意力 $a^t$ 与历史覆盖率 $c^{t-1}$ 之间的重叠程度。重叠越大，说明模型又在“吃回头草”，罚款就越重。

为什么要用 min 而不是乘法？因为乘法会对所有词都产生惩罚，哪怕这个词是第一次被关注；而 min 只在“注意力超过已有覆盖程度”时才产生惩罚——对还没被覆盖的词，min 的结果是 0，完全不罚。这正是“只罚重复、不罚新词”的精确表达。

有了这条“罚款条款”，模型在训练时被反复提醒：别回头。但罚款的力度不能拍脑袋定，太小了没感觉，太大了又不敢写新东西——这就要说到超参数 λ 的调优。

超参数调优：扣多扣少有讲究

小林的部门后来把“罚款条款”制度化，但很快就发现一个问题：罚款比例定多少？定得太轻，“预算”还是忍不住多写；定得太重，小林变得畏手畏脚，连第一次应该写的“人员”都不敢展开，纪要反而更空洞。领导只能拍板：先定个中间值，跑一个月看看数据。

在模型中，这个“罚款比例”就是超参数 λ。总损失由两部分构成：常规的最大似然损失（负责让模型“翻得对”）加上覆盖率损失乘以 λ（负责让模型“不重复”）。λ 越大，模型越不敢重复，但也越容易“过度覆盖”——明明该回头确认某个词，却因为回头会被罚而强行跳过去，导致漏译。

调参技巧是“先小后大”：先用小 λ 让模型稳定收敛，再逐步加大到目标值，观察验证集上重复率下降与 BLEU 不再下滑的那个拐点。罚款力度刚刚好时，小林既不重复，也不漏项——领导终于点头了。

效果评估：重复率与BLEU

一个月后，领导用三张“成绩单”检验小林的改进：重复率（同一要点被写了多少遍）、完整率（有没有遗漏）、读者可读性评分。以前小林的重复率那栏红得刺眼，现在终于成了绿色。这三张成绩单，对应到模型评估里就是：n-gram 重复率、BLEU 分数、以及长句专项测试。

重复率是最直观的指标。它统计生成结果里“重复的 n-gram 占总 n-gram 的比例”，本质上是衡量“车轱辘话”有多少。Coverage 机制的核心收益就在这里：它从源头掐断了重复，所以重复率会大幅下降。相比之下，BLEU 的提升往往是“小幅”的——因为 BLEU 衡量的是整体翻译质量，覆盖率损失只是众多改进之一。

值得注意的是，覆盖机制的收益在长句上最明显——生成越长，注意力越容易“走回头路”，而没有 Coverage 的模型重复概率会随长度指数上升。实验里常见的结果是：重复率大幅下降，BLEU 小幅提升 0.2~0.5 分。所以评估时要重点盯着重复率这张“成绩单”，不要只盯着 BLEU。

应用场景：先划勾再下笔

小林的“荧光笔法”被写进了公司《纪要写作手册》，各部门很快发展出自己的花样：翻译组用它防止同一个词被翻译两遍；摘要组用它保证新闻要点一条不落；文案组用它治理长文里的“车轱辘话”。核心纪律始终只有一条：先划勾，再下笔。

技术上的“花样”主要有三种。第一种是软覆盖，也就是前面讲的把覆盖率向量注入注意力打分，让模型“倾向于”不看已覆盖词；第二种是硬覆盖，直接禁止模型再关注覆盖率超过阈值的词，把“倾向”变成“强制”；第三种是与指针生成网络（Pointer-Generator）结合，在文本摘要中同时抑制重复和遗漏。

但也要记得 Coverage 的适用边界：创意写作、诗歌、修辞性重复等“需要重复”的场景，不要盲目套用。手册首页那句话始终是对的——先划勾，再下笔，它救的是“该说没说、不该说反复说”的机器翻译和摘要系统。

AI 应用场景

Python 演示

import numpy as np # 四个源词（会议要点），用 8 维向量表示source = np.array([    [1, 0, 1, 0, 0, 0, 1, 0],   # 要点0：预算    [0, 1, 0, 1, 0, 0, 0, 1],   # 要点1：进度    [0, 0, 0, 0, 1, 1, 1, 0],   # 要点2：风险    [1, 0, 0, 1, 0, 1, 0, 1],   # 要点3：人员], dtype=float)  class CoverageDecoder:    """极简 Coverage 机制演示：注意力打分 + 覆盖率累积"""     def __init__(self, use_coverage=True, penalty=5.0):        self.use_coverage = use_coverage        self.penalty = penalty        self.coverage = np.zeros(len(source))     def attention(self, query):        scores = source @ query                    # 原始注意力打分        if self.use_coverage:                      # Coverage 改造：            scores = scores - self.penalty * self.coverage   # 已覆盖词降权        probs = np.exp(scores - scores.max())      # 数值稳定的 softmax        return probs / probs.sum()     def step(self, query):        att = self.attention(query)        self.coverage = self.coverage + att        # 累积覆盖率向量        return int(np.argmax(att))     def decode(self, queries):        self.coverage = np.zeros(len(source))        return [self.step(q) for q in queries]  def coverage_loss(attention, coverage):    """covloss = sum(min(a_i, c_i))：重复部分越大，惩罚越大"""    return float(np.sum(np.minimum(attention, coverage)))  queries = np.array([    [1, 0, 1, 0, 0, 0, 1, 0],   # 解码第 1 步：状态偏向要点0    [1, 0, 1, 0, 0, 0, 1, 0],   # 第 2 步：解码状态几乎没变（重复高发）    [1, 0, 1, 0, 0, 0, 1, 0],   # 第 3 步：依然没变    [0, 1, 0, 1, 0, 0, 0, 1],   # 第 4 步：状态转向要点1    [0, 0, 0, 0, 1, 1, 1, 0],   # 第 5 步：转向要点2    [1, 0, 0, 1, 0, 1, 0, 1],   # 第 6 步：转向要点3]) plain = CoverageDecoder(use_coverage=False).decode(queries)covered = CoverageDecoder(use_coverage=True).decode(queries)print("无覆盖机制:", plain)print("带覆盖机制:", covered)print("前3步重复聚焦要点0的次数:", plain[:3].count(0), "vs", covered[:3].count(0)) att1 = CoverageDecoder(use_coverage=False).attention(queries[0])print("完全重复上一轮注意力时的覆盖率损失:", round(coverage_loss(att1, att1), 3))

1. scores = source @ query计算解码状态与各源要点的相似度，相当于“探照灯”的原始打分。
2. scores = scores - self.penalty * self.coverageCoverage 改造：已覆盖词被打分降权，对应公式中的 $w_c c_i^{t-1}$。
3. self.coverage = self.coverage + att更新覆盖率向量，等价于公式 $c^t = c^{t-1} + a^t$。
4. np.sum(np.minimum(attention, coverage))覆盖率损失：min 只计算注意力与覆盖率的重叠部分，重复越多惩罚越大。

常见误区

面试题