BLEU/chrF：机器翻译评估指标

可视化演示

动态演示BLEU/chrF的核心机制，通过入门/进阶/实战/优化四种模式展示关键概念与交互流程。

BLEU 核心思想

美食街的“AI 翻译小馆”开业后，小译师傅的菜到底正不正宗？评委老王师傅想了个笨办法：他先把金牌大厨的招牌菜（参考译文）放在左边，把小译师傅的菜（候选译文）放在右边，然后把两盘菜都切成小块——比如“番茄、鸡蛋、葱花”这样一组一组的小料。接下来，老王师傅数一数：小译师傅菜里的小料组合，能在招牌菜里对上多少？对得上的比例，就叫“食材块匹配度”。这就是 BLEU 最核心的思想：n-gram 精度。

在自然语言处理里，“小料组合”叫做 n-gram——连续 n 个词组成的最小单元。1-gram 是“番茄”这样的单个词，2-gram 是“番茄炒”这样的连续两个词，3-gram 是“番茄炒蛋”这样的连续三个词。BLEU 会统计候选译文里每个 n-gram 在参考译文里出现的情况，算出一个比例，这就是精度（precision）。

这里有一个关键细节：直接数重合次数会闹出“刷词”笑话。比如参考译文里“the“只出现了一次，候选译文却狂热地写了十个”the”，如果简单计数，精度会虚高得离谱。所以 BLEU 采用截断计数（clipped count）：对每个 n-gram，候选里出现的次数最多按参考里出现的最大次数来算，超出的部分不算数。用公式表示，第 n 阶精度 p_n 是：

$$\displaystyle p_n = \frac{\sum_{c \in \mathcal{G}_n(\text{cand})} \min\bigl(\text{count}_{\text{cand}}(c),\ \text{count}_{\text{ref}}(c)\bigr)}{\sum_{c \in \mathcal{G}_n(\text{cand})} \text{count}_{\text{cand}}(c)}$$

1. 切出所有 n-gram：把候选译文里所有连续 n 个词的组合全部枚举出来，集合记作 G_n(cand)。

$$\mathcal{G}_n(\text{cand}) = \{ w_i, w_{i+1}, \dots, w_{i+n-1} \mid i = 1, \dots, N-n+1 \}$$

2. 分子：截断计数求和：对每个候选 n-gram，统计它在参考译文里的最大出现次数；候选自身出现次数超过这个上限的部分全部作废，然后累加。

$$\sum_{c \in \mathcal{G}_n(\text{cand})} \min(\text{count}_{\text{cand}}(c),\ \text{count}_{\text{ref}}(c))$$

3. 分母：候选 n-gram 总数：候选译文本身切出来的 n-gram 总个数，无论是否匹配都算进去。

$$\sum_{c \in \mathcal{G}_n(\text{cand})} \text{count}_{\text{cand}}(c)$$

你看，这套逻辑就像美食街的评菜员在说：小师傅，你的菜里这些“食材块”跟招牌菜对得上的我才认，对不上的我不认；而且同一块食材你重复放十遍，我也只按招牌菜里的用量给你记账。这样一来，“想靠堆词蒙混过关”的路就被堵死了。

简洁惩罚 BP

没多久，老王师傅又发现一个新问题。有的学徒很机灵，看到招牌菜有十道，他干脆只做最拿手的那两道端上来。这两道菜做得确实完美，食材块全对得上。可老王师傅盯着桌上空荡荡的盘子，忍不住问：剩下的菜呢？学徒支支吾吾——因为不会做，干脆不做了。老王师傅一拍桌子：不行！得分必须打折！这个“上菜量不足要扣分”的规则，在 BLEU 里就是 brevity penalty（简洁惩罚，简称 BP）。

翻译场景里，这种“会做的才翻译”被称为漏译。候选译文如果比参考译文短太多，它的 n-gram 精度往往会虚高，因为从长句里挑出几句“最安全”的话来译，自然更容易对上。所以 BLEU 引入 BP：当候选译文长度 c 小于参考译文长度 r 时，BLEU 分数要按比例打折。BP 的形式非常直观：

$$\displaystyle \text{BP} = \begin{cases} 1, & c > r \\ e^{1-r/c}, & c \le r \end{cases}$$

1. 候选更长不罚：当候选译文长度 c 大于参考译文长度 r 时，说明模型“把话说全了”，BP 取 1，分数不打折。

$$\text{BP} = 1$$

2. 候选更短打折：当 c ≤ r 时，用指数函数 $e^{1-r/c}$ 在 0 到 1 之间取值；越短，折扣越狠。

$$\text{BP} = e^{1-r/c}$$

所以 BP 不是一种“鼓励翻译得更长”的规则，而是一种“防止偷工减料”的护栏。它不管译文的文采，只管一件事——你要么把整桌菜做齐，要么就接受扣分。

BLEU 计算流程

有了食材块匹配度，又有了上菜量扣分，老王师傅终于可以把两者合在一起，给每位学徒打一个总评分。这个总评分的数学名称就叫 BLEU（Bilingual Evaluation Understudy，双语评估替补）。它像一个“替补裁判”，虽然自己不上场，但拿着参考译文这盘标准菜，替人类评审数数打分。

BLEU 并不是只看 1-gram，它同时看 1-gram、2-gram、3-gram、4-gram 四档精度的“平均表现”。为什么要看 2-gram、3-gram？因为单个词对得上，不代表顺序对得上。比如“我吃饭”和“饭吃我”的 1-gram 完全一样，可意思差远了；2-gram 和 3-gram 能把顺序信息带进来。BLEU 用的是“几何平均”而非简单的算术平均——只要有一个 n 阶的精度趋近于 0，整体 BLEU 就会趋近于 0。这很像美食评分中“一道菜哪怕其他方面完美，只要有一处致命的糊味，整桌打分也会被拉下来”。标准公式为：

$$\displaystyle \text{BLEU} = \text{BP} \times \exp\Bigl(\frac{1}{4}\sum_{n=1}^{4} \log p_n\Bigr)$$

1. 对每阶精度取对数：把 p_n 从乘法空间转换到加法空间，后续平均才更公平，避免某一档过小被其他档“平摊”掉。

$$\log p_n$$

2. 四阶平均：将 log p1 到 log p4 求和后除以 4，即几何平均的对数形式。

$$\frac{1}{4}\sum_{n=1}^{4} \log p_n$$

3. 指数还原并乘 BP：exp 把对数平均还原成普通数值，最后乘上简短惩罚，就是 BLEU 总分。

$$\text{BLEU} = \text{BP} \times \exp\Bigl(\frac{1}{4}\sum_{n=1}^{4}\log p_n\Bigr)$$

整个公式读起来就是：先看 1 到 4 阶的食材块匹配度，再看上菜量是否足够，两者相乘，得到最终评分。这就是日常论文里那个常见的 BLEU 分数。

chrF 字符级 F 值

美食街的客户越来越多。有一天，一位韩国客人点了一份韩式料理，小译师傅端出来的菜明明看起来像模像样，可老王师傅拿着 BLEU 一打分，分数却低得离谱。老王师傅琢磨了半天，发现问题出在“食材块”上：韩语的词形变化太丰富了，“吃”在不同句式里有好几种写法，按词切出来的块跟招牌菜对不上。

于是评委们换了一种思路：干脆不按“块”来切，按“切丁颗粒”来比——每个字符就是一个颗粒。只要读音、拼写相近，颗粒就能对上一部分。这就是 chrF（character n-gram F-score）的核心：在字符级别计算 n-gram 的精确率和召回率，再用 F 值把它们综合。字符级 n-gram 默认取连续 6 个字符（n=6），但可以调节。因为是在字符层面工作，chrF 天然不需要分词器，对没有空格的语言（中文、日文）特别友好。而且它同时使用精确率和召回率——不仅看候选译文里有几分参考的味道，还看参考里的内容有没有被漏掉。精确率与召回率分别为：

$$\displaystyle P = \frac{|C \cap R|}{|C|}, \quad R = \frac{|C \cap R|}{|R|}$$

再把两者用 Fβ 调和平均合成：

$$\displaystyle \text{chrF}_\beta = (1+\beta^2)\frac{P \cdot R}{\beta^2 P + R}$$

1. 切字符 n-gram：C 与 R 分别表示候选文本和参考文本里所有连续 n 个字符的集合（n 默认 6）。

$$C = \text{char\_ngrams}(\text{cand}), \quad R = \text{char\_ngrams}(\text{ref})$$

2. 精确率 P：候选的字符块里，参考也出现过的占多少。

$$P = \frac{|C \cap R|}{|C|}$$

3. 召回率 R：参考的字符块里，候选覆盖到的占多少。

$$R = \frac{|C \cap R|}{|R|}$$

4. Fβ 调和：用 β 调控“更重视召回”的力度，β 越大召回权重越高，β=3 即 chrF3。

$$\text{chrF}_\beta = (1+\beta^2)\frac{P \cdot R}{\beta^2 P + R}$$

chrF 最常用的变体是 chrF3。为什么更重视召回？因为翻译任务里“漏译”比“多译”危害更大——你宁可多翻几句让评委挑，也不能把关键信息吞了。这就像做韩国料理，宁可选料时多抓几把，也别让招牌菜里的核心食材缺席。

指标优缺点

评菜这事永远没有完美的打分卡。老王师傅用了几年 BLEU，琢磨出了它的问题：有时候小译师傅明明用更自然的说法表达了完全相同的意思，比如把“汽车”换成“车”，食材块对不上，分数就掉得厉害。这说明 BLEU 只认“表面食材”不认“内在味道”。

BLEU 的优点：计算简单、速度快、实现几十年，社区里人人会用；在语料规模较大时与人类判断有中等程度的相关性。BLEU 的缺点：只比表面词形，不关心语义；对同义改写毫不留情；单句分数波动大；对词序完全不允许变化（1-gram 除外）。chrF 的优点：免分词、抓字符级相似，对形态丰富的语言更稳；同时用 P 和 R，对漏译敏感。chrF 的缺点：字符级比对可能把拼写错误和语义改写混为一谈；在某些语言对上不一定优于 BLEU。用调和平均可以直观看出“偏科”有多吃亏：

$$\displaystyle F_1 = \frac{2PR}{P+R} \le \frac{P+R}{2}$$

1. P 和 R 先取倒数：任意一方偏小，其倒数就突出，调和平均会被明显拉低。

$$\frac1P + \frac1R$$

2. 倒数之和取平均：2 除以两者倒数之和，得到调和平均；它不会像算术平均那样被高分“带飞”。

$$F_1 = \frac{2PR}{P+R}$$

如果用一句话总结：BLEU 像“大块食材比对”，评分快但有盲区；chrF 像“细颗粒比对”，更细腻但也要付出代价。真正专业的做法是把它们当成镜子，而不是上帝。

评估相关性

老王师傅逐渐意识到，评分卡再严谨，最终也得让食客满意。于是美食街做了一次“民意测验”：请一批真正的食客（人类评审）给各家小馆打分，再和 BLEU、chrF 自动分数对比——看两套分数“谁高谁低”的排序是否一致。

这种“两套排序的一致性”叫相关性。在机器翻译评测领域，常用 Spearman 相关系数来衡量：把每个样本按自动指标分数排名，再按人类分数排名，算两组排名的相关性。研究表明，BLEU 和 chrF 在语料库层面与人类判断都有中等到较高的相关性，但单句层面噪声很大——一句话的 BLEU 可能因为一个同义词替换就暴跌二十分。所以行业惯例是：自动指标用于“快速筛选”和“大批量对比”，最终“拍板”仍离不开人工评估。Spearman 公式如下：

$$\displaystyle \rho = 1 - \frac{6\sum_{i=1}^{n} d_i^2}{n(n^2-1)}$$

1. 算排名差：对每个翻译样本，分别用自动指标打分和人工打分排名，d_i 是两个排名之差。

$$d_i = \text{rank}_{\text{metric}}^{(i)} - \text{rank}_{\text{human}}^{(i)}$$

2. 排名差平方和：偏差平方和越小，两套排名越接近。

$$\sum_{i=1}^{n} d_i^2$$

3. 归一化到 [-1,1]：除以总样本组合数再取补，1 表示两套排序完全一致，0 表示毫无关系。

$$\rho = 1 - \frac{6\sum_{i=1}^{n} d_i^2}{n(n^2-1)}$$

回到比喻：食客一口下去觉得好吃，胜过评分卡上再多数字。指标的意义不在于“替代人”，而在于“在没有人手时，先用一把还算靠谱的尺子过滤一遍”。

指标选择策略

到了这篇内容的最后一站，老王师傅把多年的评菜经验整理成了一本《选卡指南》：不同菜系、不同场合，要用不同的评分卡。给小译师傅试用什么卡，取决于语言特点、任务目标和手里的资源。

具体策略是这样的：如果语种是英语、法语这类用空格分词的语言，BLEU 是行业默认标配；如果是中文、日文、韩文，或者形态变化丰富的语言（德语、捷克语），chrF 往往更稳定；如果你的任务特别在乎“漏译”（比如医疗翻译、摘要生成），可以上调 chrF 里的 β，甚至直接用 chrF3；如果既想跑得快又想稳，就用 BLEU + chrF 组合打分，再辅以少量人工抽检。在工程项目里，很多人会把两个指标加权合成一个综合分：

$$\displaystyle \text{Overall} = \alpha \cdot \text{BLEU} + (1-\alpha) \cdot \text{chrF}, \quad 0 \le \alpha \le 1$$

1. α 是权重旋钮：α 越接近 1 越相信 BLEU，越接近 0 越相信 chrF。

$$\alpha \cdot \text{BLEU}, \quad (1-\alpha) \cdot \text{chrF}$$

2. 极端情形：α=1 退化为纯 BLEU，α=0 退化为纯 chrF，其余情况是两者的线性组合。

$$\text{Overall} = \alpha \cdot \text{BLEU} + (1-\alpha) \cdot \text{chrF}$$

最终，没有哪个指标是“万能的金牌评分卡”。选择的标准不是“哪个更高级”，而是“哪个能在这个场景下最可靠地帮你排雷”。就像美食街的评分卡，给川菜馆用麻辣度，给日料店用鲜度——适合的才是最好的。

AI 应用场景

Python 演示

import mathimport refrom collections import Counter  def tokenize(text):    return re.findall(r"\w+", text.lower())  def ngrams(tokens, n):    return [tuple(tokens[i:i + n]) for i in range(len(tokens) - n + 1)]  def ngram_precision(cand_tokens, ref_tokens, n):    cand_ngs = ngrams(cand_tokens, n)    if not cand_ngs:        return 0.0    ref_counter = Counter(ngrams(ref_tokens, n))    clip_sum = 0    for ng, cnt in Counter(cand_ngs).items():        clip_sum += min(cnt, ref_counter.get(ng, 0))    return clip_sum / len(cand_ngs)  def brevity_penalty(cand_len, ref_len):    if cand_len > ref_len:        return 1.0    if cand_len == 0:        return 0.0    return math.exp(1 - ref_len / cand_len)  def bleu_score(cand, ref, max_n=4):    cand_tokens = tokenize(cand)    ref_tokens = tokenize(ref)    log_sum = 0.0    for n in range(1, max_n + 1):        pn = ngram_precision(cand_tokens, ref_tokens, n)        log_sum += math.log(pn + 1e-10)    bp = brevity_penalty(len(cand_tokens), len(ref_tokens))    return bp * math.exp(log_sum / max_n)  def char_ngrams(text, n):    text = re.sub(r"\s+", "", text.lower())    return [text[i:i + n] for i in range(len(text) - n + 1)]  def chr_f_score(cand, ref, beta=3, max_n=6):    sum_p, sum_r = 0.0, 0.0    for n in range(1, max_n + 1):        cand_ngs = char_ngrams(cand, n)        ref_ngs = char_ngrams(ref, n)        if not cand_ngs or not ref_ngs:            continue        ref_counter = Counter(ref_ngs)        common = sum(min(cnt, ref_counter.get(ng, 0))                     for ng, cnt in Counter(cand_ngs).items())        sum_p += common / len(cand_ngs)        sum_r += common / len(ref_ngs)    p_avg = sum_p / max_n    r_avg = sum_r / max_n    b2 = beta * beta    return (1 + b2) * p_avg * r_avg / (b2 * p_avg + r_avg)  if __name__ == "__main__":    ref = "the cat is on the mat"    cand = "the cat sits on the mat"    print("BLEU:", round(bleu_score(cand, ref), 4))    print("chrF3:", round(chr_f_score(cand, ref), 4))

1. return re.findall(r"\w+", text.lower())用正则把句子切成小写词块，这是最简版的词级分词。
2. clip_sum += min(cnt, ref_counter.get(ng, 0))这句就是“截断计数”：候选里出现次数再多，也按参考里的最大次数封顶。
3. return clip_sum / len(cand_ngs)算出带截断的 n-gram 精度，也就是 BLEU 的核心分子。
4. return math.exp(1 - ref_len / cand_len)候选比参考短时，按指数函数打折扣，对应 BP 公式。
5. return bp * math.exp(log_sum / max_n)精度对数平均后还原，再乘 BP，得到最终 BLEU 分。
6. text = re.sub(r"\s+", "", text.lower())chrF 先把所有空格抹掉，让“字符颗粒”能跨词比较。
7. return (1 + b2) * p_avg * r_avg / (b2 * p_avg + r_avg)用 β² 给召回率加权，算出 chrFβ 的调和平均。

常见误区

面试题