ASR评估WER：语音识别质量指标

可视化演示

展示三层神经网络的前向传播计算过程，从输入层到隐藏层再到输出层，逐步演示加权求和与激活函数的作用。

WER定义：错误占原文几分之几

张老师批改听写时，心里其实在默默算一笔账：这篇50字的短文，小明错了5处，错误占了原文的10%；下一篇200字的长文，小红也错了5处，只占2.5%。如果不看分母，单看错误个数，根本无法判断谁听得更好。语音识别里的WER，就是把这笔账用数学公式写了出来。

WER的全称是Word Error Rate，词错误率。它把语音识别引擎输出的文本（识别结果）和人工标好的准确文本（参考文本）做对比。参考文本就是老师手里的标准答案，识别结果就是学生的听写本。两者的差异被拆成三类错误：替换、删除、插入，然后统一除以参考文本的总词数。

张老师坚持用原文总字数做分母，而不是用学生写的字数做分母。试想，一个学生疯狂多写废话，他的“本子”会显得很长，如果拿他的字数做分母，错误率反而被稀释了。WER的选择也是同样的道理：分母必须是参考文本总词数，这样才能公平反映出系统有没有把该说的都说到位。

错误类型：替换、插入、删除

张老师批改时，会在本子上贴三种颜色的便签。红色便签是“写错字”：原文写的是“苹果”，学生写了“香蕉”，这叫替换（Substitution），意思被偷梁换柱了。黄色便签是“漏写字”：原文有“不想要”，学生只写了“想要”，这叫删除（Deletion），关键信息凭空消失，甚至会把意思完全颠倒。绿色便签是“画蛇添足”：原文没有“的”，学生多写了一个“的”，这叫插入（Insertion），识别系统编造了不存在的词。

在语音识别里，这三类错误的危害并不相同。替换错误最常见，往往来自发音相近的词，比如“机场”和“剧场”；删除错误最危险，因为否定词“不”一旦被删掉，意图就彻底反转，“我不想买”变成“我想买”，客服系统会完全会错意；插入错误虽然看起来是“多说了几个字”，但会污染下游的意图理解，比如在句尾凭空多出一个“好吗”，可能让指令变成疑问句。

错误计数是整个评估的地基：S是替换个数，D是删除个数，I是插入个数。把这三个数加起来，就得到总的编辑距离，也就是系统一共犯了多少处“词级错误”。三个数分别统计还有一个好处——当WER居高不下时，工程师能一眼看出主要矛盾是哪种错误，是发音混淆导致的替换多，还是静音检测不佳导致的插入多。

张老师把不同颜色的便签分别计数，不是为了惩罚学生，而是为了知道该给谁加练什么。语音工程师做错误类型分析，同样是为了精准定位：替换多就调声学模型，删除多就查音频截断，插入多就查端点检测。三类错误的区分，让优化不再是瞎猜。

计算流程：动态规划对齐文本

张老师批改时最头疼的一步，不是数错误，而是“对齐”。原文是“我 想 吃 苹果”，小明写的是“我今天想吃香蕉”，这两个句子长度都不一样，怎么知道哪个字对应哪个字？她必须先在脑子里把两行文字错开摆放：今天没有对应位置，只能悬空挂上去；苹果和香蕉对上了但内容不同。这一步放到计算机里，就叫文本对齐（Alignment）。

计算机找最优对齐用的是一套经典算法——动态规划。它把一个复杂问题拆成小问题：假设已经知道前几个词的最佳对齐错误数，就能递推算出下一个词的对齐。具体实现就是计算两个序列之间的最小编辑距离（Levenshtein Distance），只需三个操作：删除一个词、插入一个词、替换一个词。WER算法和这个距离本质上是一回事。

计算完整个表格后，还要从右下角回退到左上角，把每一步是替换、插入还是删除记录下来，这样才能得到S、D、I的具体数值。整个过程中，N是参考词数，所以无论识别结果输出多少词，分母都不变。

张老师发现，只要对齐方法固定，批改结果就稳定；如果每次批改的对照方式都不一样，分数就没有意义。WER也正是依赖动态规划给出了唯一确定的对齐方案，才能让不同系统、不同版本的识别效果在同一个尺子上比长短。

CER对比：中文按字，英文按词

张老师带两个班：英文班听写单词，中文班听写生字。英文班批改时，她按“词”来数——写错一个单词算一处；中文班批改时，她按“字”来数——写错一个汉字算一处。如果反过来，英文按字母数、中文按词数，批改规则就会变得非常别扭。语音识别评估也有同样的讲究。

对英文、法文这类以空格自然分词的语言，WER很自然，因为每个词有明确边界。但中文没有空格，“我想吃苹果”到底算一个词、两个词还是三个词？先用分词工具切分，再算WER，分词本身的错误会混入识别错误，导致分数失真。所以中文语音识别界更常用CER（Character Error Rate，字错误率），以汉字为基本单位，天然稳定、无需分词。

选择策略很简单：语言的基本书写单位是什么，就按什么统计。英文按词、中文按字、日文往往还要混合考虑假名与汉字。粒度差异会直接影响分数高低——同样一个识别结果，按词算和按字算出来的错误率可能差好几个百分点，汇报时必须明确标注用的是WER还是CER，否则就像用两套标准给同一篇作业打分。

张老师最后总结了一个批改口诀：改英文数词，改中文数字。语音工程师也要记住这个口诀，拿到一个中文语音识别测试集，先想清楚该报WER还是CER。多数中文ASR论文和产品用CER，就是因为字符粒度最稳定；只有做中文分词评测时，才会去讨论词级别的指标。

语言差异：跨语言别直接比

张老师今年还带了一个日语班，月底她把三个班的平均错误率贴在墙上，结果英语班老师不服气：日语的音节结构简单、单元音清楚，当然容易听写；英语光时态就有几十种写法，听写难度不是一个量级。张老师恍然大悟：不同语言的“听写难度”本就不一样，跨班比较分数毫无意义。

语音识别领域同样如此。英文词形变化复杂（go、went、gone），识别器容易在词形上出错，但英文有空格分词，词边界清晰；中文没有词边界，而且同音字极多，“shì“可以是”是、事、市、试”，声学上极度混淆；日文假名发音规整但汉字读法多变。这些语言特性都会直接改变WER的绝对数值。

还有一个隐性因素是词汇复杂度。评估所用的词表越大、生僻词和专有名词越多，OOV（词表外单词）出现的概率越高，WER自然越差。一个只覆盖日常对话的测试集，和一个充满专业术语的医疗听写测试集，即便都是中文，WER也会天差地别。因此，跨语言甚至跨领域的WER绝对数值，都不能直接拿来对比“谁更先进”。

张老师后来只在班级内部比较这次和上次的进步幅度，跨班比较则只看排名趋势不看绝对分数。语音工程师也应养成这个习惯：汇报WER时永远附带数据集名称和语言，比较模型好坏时用同一份测试集进行A/B回归，而不是拿自家中文的CER去对标论文里英文的WER。

基准数据集：一张统一的考卷

要让不同学生比较成绩，最公平的办法是大家考同一张卷子。张老师每次月考都是全年级统一命题：同样的课文、同样的难度、同样的评分标准。语音识别领域也有这样的“月考卷”——基准数据集（Benchmark Dataset），它是预先录制好、人工标注好参考文本的语音集合，专门用来统一衡量不同语音识别系统的水平。

英文领域最著名的基准数据集是LibriSpeech，它包含约960小时英文朗读语音，来自超过2000位朗读者，内容取自有声书。它划分了test-clean（录音干净）和test-other（录音有噪声干扰）等子集，用来分别考验模型在理想和困难条件下的表现。中文领域则常用AISHELL系列，其中AISHELL-1约178小时普通话，涵盖400位说话人的室内录音，覆盖新闻、演讲、生活等场景，是中文ASR研究和产品评测的常见选择。

在统一数据集上对比模型改进效果时，工程师经常用一个衍生指标——相对错误率下降（Relative Error Reduction）。它不是看WER下降了几个百分点，而是看下降了相对于原本基线的比例，这样能更公平地衡量“进步幅度”。

张老师深知，月考卷的难度必须保持稳定，否则今年题难、明年题简单，学生的进步就看不出来。语音工程师使用基准数据集时也要做到“固定考卷”：训练数据可以变，但评测集必须锁死，说话人不进训练集，这样每次跑出来的WER才有前后对比的意义。

评估优化：从批改到提分

批改听写只是第一步，张老师的真正价值在讲评环节。她会翻看便签统计：小明替换错误最多，集中在“n“和”l“不分；小红插入错误多，总在句尾加”嗯”。针对这些弱点，她布置了专项练习。语音识别工程师也应如此，把WER当成诊断工具，而不是KPI终点。

错误分析（Error Analysis）是优化的起点：把测试集中所有替换错误的词对做成统计表，会发现高频混淆组合，比如“机场”经常被听成“剧场”。针对这类问题，可以在语言模型中加入领域热词（Hotwords），把“机场”这类专有名词的权重提高；也可以补充包含类似发音的音频做数据增强，微调声学模型。更常见的是在解码阶段加入热词列表，让系统在出现候选词时优先考虑业务关键词。

整个流程是一个迭代闭环：先跑测试集算WER → 做错误分析定位高频错误 → 针对性地调模型、改词典、加热词 → 再跑同一份测试集回归，看WER是否下降、有没有引入新错误。这个循环周而复始，对应着张老师“批改—分析—讲评—再测试”的教学节奏。

评估优化的终极目标不是把WER刷到某个绝对值，而是在真实场景中让用户听得懂、任务办得成。张老师班里最受学生欢迎的老师，不是把分数抠得最严的那个，而是能从错误中帮学生找到进步路径的那个。WER正是这样一面镜子：它照出系统的弱点，但真正的提分，永远来自紧接着的分析和行动。

AI 应用场景

Python 演示

# -*- coding: utf-8 -*-def edit_distance_count(ref, hyp):    n, m = len(ref), len(hyp)    dp = [[0] * (m + 1) for _ in range(n + 1)]    for i in range(n + 1):        dp[i][0] = i    for j in range(m + 1):        dp[0][j] = j    for i in range(1, n + 1):        for j in range(1, m + 1):            cost = 0 if ref[i - 1] == hyp[j - 1] else 1            dp[i][j] = min(dp[i - 1][j] + 1,                           dp[i][j - 1] + 1,                           dp[i - 1][j - 1] + cost)    s = d = ins = 0    i, j = n, m    while i > 0 or j > 0:        if i > 0 and j > 0 and dp[i][j] == dp[i - 1][j - 1] + (                0 if ref[i - 1] == hyp[j - 1] else 1):            if ref[i - 1] != hyp[j - 1]:                s += 1            i -= 1            j -= 1        elif j > 0 and dp[i][j] == dp[i][j - 1] + 1:            ins += 1            j -= 1        else:            d += 1            i -= 1    rate = (s + ins + d) / max(1, n) * 100.0    return rate, s, d, ins  def word_error_rate(ref, hyp):    return edit_distance_count(ref.split(), hyp.split())  def char_error_rate(ref, hyp):    ref_c = list(ref.replace(" ", ""))    hyp_c = list(hyp.replace(" ", ""))    return edit_distance_count(ref_c, hyp_c)  if __name__ == "__main__":    ref_en = "i want to eat an apple"    hyp_en = "i want to eat apple"    wer, sub, dele, ins = word_error_rate(ref_en, hyp_en)    print("WER = %.2f%%  SUB=%d DEL=%d INS=%d" % (wer, sub, dele, ins))     ref_zh = "今天天气真好"    hyp_zh = "今天天气真好啊"    cer, sub2, dele2, ins2 = char_error_rate(ref_zh, hyp_zh)    print("CER = %.2f%%  SUB=%d DEL=%d INS=%d" % (cer, sub2, dele2, ins2))

1. dp[i][j] = min(dp[i - 1][j] + 1, dp[i][j - 1] + 1, dp[i - 1][j - 1] + cost)核心的编辑距离递推，分别对应删除、插入、替换三种操作。
2. cost = 0 if ref[i - 1] == hyp[j - 1] else 1两个词相同则替换代价为0，不同则代价为1。
3. while i > 0 or j > 0:从表格右下角回溯，还原每一步对齐操作。
4. if dp[i][j] == dp[i - 1][j - 1] + (...)优先按“替换/正确”路径回溯，并统计替换次数。
5. elif j > 0 and dp[i][j] == dp[i][j - 1] + 1:识别词多出来了，记为插入错误。
6. else:参考词缺失，记为删除错误。
7. rate = (s + ins + d) / max(1, n) * 100.0计算WER/CER，max(1, n)避免参考为空时除零。
8. ref.split()英文按空格切分得到词序列。
9. list(ref_c)中文去掉空格后按字符切分，实现字粒度计算。
10. if __name__ == "__main__":提供可执行入口，直接运行即可看到WER和CER示例输出。

常见误区

面试题