Repetition Penalty 重复惩罚：终结大模型复读机的单曲循环

可视化演示

展示重复惩罚如何降低已出现token的采样概率、Temperature与TopP协同过滤、不同惩罚值的输出效果对比，切换模式掌握解码参数调优核心。

复读机从何而来

小林的产品上线前夜，AI 作词机交出的 demo 歌词是“爱你爱你爱你爱不完”，整个会议室笑成一片。这个现象像极了 KTV 里的“单曲循环”——点歌台主持人小美有个死板的原则：每次都从热歌榜挑热度最高的歌接着唱。上一首是《爱你》，下一首大概率还是《爱你》，因为“人气第一”的设定永远不会变。

大模型的“点歌”过程在技术上叫自回归生成（autoregressive generation）：预测下一个词（token，可以粗略理解为“词”）时，模型把整个词表里的候选词都打一个热度分（logits，分数越高越可能被选中），然后从中挑一个。问题在于，刚生成的词进入上下文之后，模型看它的眼神反而更“亲切”——上下文里刚出现过“爱”，模型就倾向继续预测与它接近的“爱”，热度不降反升。

如果再叠加贪心解码（每次都选分数最高的词），正反馈会被无限放大：“爱”的分数本来就高，出现后语境更偏向它，于是它被选中，再出现，语境更偏向……最终形成复读回路。这不是模型“笨”，而是概率自举的必然结果。长文本生成时，回路的惯性还会累积，导致后半段越来越像复读机。

小美很快意识到，光靠“挑榜一”的规则，再好的歌单也会被循环到天荒地老。要破局，得在规则里加一条：唱过的歌，音量该调小一点。

惩罚机制内幕

小美的新规则很简单：每首被唱过的歌，话筒音量调低一档——除以惩罚值 θ。注意，不是把《爱你》从歌单里删掉，万一观众就是想听呢？只是它再想被选中，得靠比别的歌更响亮的声音。θ 越大，音量调得越低。

技术上的对应物叫 logits 处理器（LogitsProcessor）。在采样之前，模型会先检查“已唱清单”——上下文中出现过的所有 token。凡是清单里的候选词，原始分数统一除以惩罚值 θ；没出现过的词分数不动。之后 softmax 把分数换算成概率，此消彼长：已现词的概率下降了多少，未现词的概率就上升多少。

为什么要用除法而不是减法？除法是“按比例”衰减——分数越高的词被压掉的量越大，能快速打破“人气王越唱越热”的回路；而减法对高低分一视同仁，热门词依然可能霸榜。小美把规则写进操作手册：“唱过的歌，音量自动衰减。舞台留给还没唱过的歌。”复读机的第一道锁，就这样挂上了。

调优黄金区间

音量该调低多少？小美做了三次实验。调 1.0（等于没调），《爱你》依旧无限循环；调 2.0，歌手被迫唱出一堆生僻词，歌词变成“爱汝之瞳影映月”，观众直呼听不懂；调到 1.1～1.3，循环被打破，歌词依然顺口——这就是经验里的黄金区间。

为什么区间这么窄？因为 softmax 里概率和分数的关系是非线性的。分数除以 θ 之后，所有候选词的概率分布会朝“均匀”方向摊平：热门词的占比被削薄，冷门词的机会被放大。θ 越大，摊平越狠。超过 1.5 后，原本合理的常用搭配（“因为……所以……”）也会被拆散，文本生硬、逻辑断裂。

不同任务的甜点位不同：歌词、小说追求文风多样，可以用 1.2～1.3；客服问答、代码生成追求稳定准确，1.05～1.15 就够；上下文很长时建议更保守。小美在手册上画了一条刻度：“旋钮拧到 1.1～1.3，既打散循环，又不吓跑观众。”这半格的差别，就是产品体验的分水岭。

采样参数共舞

光有惩罚还不够。小美发现，即使音量调低了，主持人如果还是死守“榜一”，偶尔还是会回到《爱你》——因为唱过的歌只是变弱了，没有消失。她决定给点歌流程加两个旋钮：temperature 和 top_p。

temperature 管“观众冒险程度”：数值越高，冷门歌被点中的概率越大；top_p 管“候选池规模”：只留下累计得票率达到 p 的那批歌，垫底的直接出局；top_k 则限制候选数量，让主持人不必在几千首歌里大海捞针。三者搭配，热歌榜既不会卡在一首，也不会乱跳到离谱。

三者的分工很清晰：重复惩罚管“别再说旧词”，temperature 管“整体有多随机”，top_p 管“在多大的池子里抽签”。常见组合是 repetition_penalty=1.1～1.15、temperature=0.7、top_p=0.9。注意不要和另一种参数 frequency penalty 混淆——后者用减法按出现次数扣分，前者用除法按是否出现打折。小美的点歌台终于凑齐了三件套：音量旋钮、冒险旋钮、聚焦灯。单曲循环被拆散，冷门好歌有了出头之日，整个包间都活跃起来。

工程化落地实践

小美把三件套写进《点歌台操作手册》，希望每个分店都能一键使用。好消息是，主流框架早已内置：在 transformers 的 generate 里传一个 repetition_penalty 参数即可，比如 model.generate(input_ids, repetition_penalty=1.15, temperature=0.7, top_p=0.9)。

如果默认行为不够用，还可以注册自定义 logits 处理器，在采样前直接修改分数。适合“对某些词额外惩罚”的场景，比如屏蔽敏感词、禁止特定句式、对固定开场白单独扣分。原理和正文公式完全一致：维护已生成序列，对其中每个 token 的分数执行除法。

实际调参建议走评测流程：先设一个保守值（1.1），再逐步加大，在评测集上对比不同 θ 下的重复率（如 n-gram 重复占比）与人工流畅度评分，找到“重复明显下降、流畅度还没受损”的拐点。上线后也要持续监控，因为提示词模板一变，最优惩罚值可能漂移。

手册的最后一页写着：“旋钮很小，效果很大——一行参数，治好了全公司的复读机。”但小美心里清楚，这套规则还不是终点。

边界与失效场景

小美以为问题解决了，直到收到两个投诉：AI 写“活动流程”时，“第一步……第二步……第三步……”照旧重复；写数学证明时，循环论证又回来了。

结构化的重复（列表序号、固定开场白、模板句式）往往来自训练数据的强烈先验，单一的分数惩罚压不动它们；数学推导的重复步骤同理。更长的生成里，惩罚效果会随长度衰减——“已现词”越来越多，分母越来越大，惩罚被摊薄，高频词仍可能回潮。换句话说，重复惩罚更像是“音量旋钮”，而不是“禁播名单”；真要禁播，得改曲库。

应对策略是组合拳：惩罚配合更短的 max_new_tokens 分多次生成、在数据侧清洗模板句式、甚至自定义处理器对固定句式直接打分。每种策略都有自己的边界，叠加起来才能覆盖大部分复读场景。

小美在手册最后补了一行小字：“音量旋钮能治单曲循环，治不了节目单本身的重复。规则之外，还要看看歌单里到底有没有足够的歌。”

AI 应用场景

Python 演示

import math # simulate a tiny language model: given previous token, output next-token scoresLOGITS = {    "我": {"爱": 3.4, "你": 3.2, "的": 3.0, "人": 2.8, "会": 2.6, "想": 2.4},} def softmax(logits):    exps = [math.exp(x) for x in logits]    total = sum(exps)    return [e / total for e in exps] def apply_penalty(scores, output, penalty, per_occurrence=True):    # presence mode divides once; per-occurrence mode divides by repeat count    for w in scores:        count = output.count(w)        if count > 0:            times = count if per_occurrence else 1            scores[w] = scores[w] / (penalty ** times)    return scores def generate(penalty=1.0, length=12, per_occurrence=True):    output = ["我"]    for _ in range(length):        scores = dict(LOGITS["我"])        scores = apply_penalty(scores, output, penalty, per_occurrence)        best = max(scores, key=scores.get)  # greedy: pick the highest score        output.append(best)    return "".join(output) def show_probs(penalty, output):    scores = dict(LOGITS["我"])    scores = apply_penalty(scores, output, penalty, True)    cands = list(scores.keys())    probs = softmax(list(scores.values()))    pairs = sorted(zip(cands, probs), key=lambda x: -x[1])    return " ".join("%s=%.2f" % (w, p) for w, p in pairs) if __name__ == "__main__":    print("no penalty  :", generate(1.0))    print("by occur    :", generate(1.8, per_occurrence=True))    print("by presence :", generate(1.8, per_occurrence=False))    print("prob after first word (theta=1.8):", show_probs(1.8, ["我", "爱"]))

1. LOGITS = {用手写字典模拟“迷你模型”：给定上一个词，输出所有候选词的热度分（logits）。
2. scores = apply_penalty(scores, output, penalty, per_occurrence)采样前先对已出现词做除法打折，再参与竞争。
3. count = output.count(w)数一下这个词在已生成内容里出现过几次。
4. times = count if per_occurrence else 1按次数累计就打折几次；只看是否出现过就只除一次。
5. scores[w] = scores[w] / (penalty ** times)除法打折，次数越多分数被压得越狠。
6. print("no penalty :", generate(1.0))无惩罚时“我爱爱爱……”复读机现形。
7. print("by presence :", generate(1.8, per_occurrence=False))只按“是否出现”除一次，一轮之后仍会回潮重复。

常见误区

面试题