想象一下，你常去的那家食堂，打菜的杨阿姨特别懂你。每次你还没说完“今天想……”，她就已经把“红烧肉”舀起来了。因为她记得你连续七天都点了这个菜。但如果某天你说“最近减肥，想……”，她就会愣住，因为“减肥”这个词，她很少听你说过。你能理解杨阿姨的这种“猜”吗？她其实在根据你说的几个字，判断你下一句最可能说什么。语音识别里的语言模型，干的就是这件事：当声学模型听到一串模糊的语音信号（比如“xiang chi hong shao rou“），到底该写成”想吃红烧肉“，还是”想赤红扫肉“？语言模型会根据”哪个词序列更像人话“来投票。早期的n-gram模型像是”记性只有三个字的杨阿姨“，而现代的神经语言模型则像”记性超强、还会举一反三的杨阿姨“。这篇文章，就带你走进这套”听声猜意”的智慧系统。

岗位关联

语言模型是ASR系统的“语义裁判”。掌握n-gram与神经LM的核心思想，你就能理解为什么今天的语音助手如此流畅，也能够在调优识别系统时，找到词错误率居高不下的根因——这是一项AI从业者绕不开的核心技能。

目录
  1. 可视化演示
  2. 语言模型的作用
  3. n-gram 统计
  4. 数据稀疏
  5. 平滑与回退
  6. 神经语言模型
  7. 浅层重排
  8. 模型对比
  9. 演进趋势
  10. AI 应用场景
  11. Python 演示
  12. 常见误区
  13. 面试题

可视化演示

展示系统处理流水线、实时性能指标曲线及多方案对比分析，包含数据流转、吞吐延迟监控与方案评估。

本节配有交互动效（进入视口后自动加载，约 3KB）。

系统可视化 处理流程：输入→处理→模型→输出 性能监控：实时指标 P=L×T

语言模型的作用

话说回来，杨阿姨为什么能在你话音未落时，就猜到你要吃红烧肉？因为她脑子里有一本账：你说“想吃”之后，“红烧肉”出现的次数最多，所以概率最高。语言模型做的是同样的事：它基于大量文本语料，为每一段“文字序列”算出一个概率——像“今天想吃红烧肉”这样的句子概率很高，而“今天想赤红扫肉”这样的随机杂乱序列概率极低。语音识别系统在听写时，会同时参考“听起来像什么”（声学模型）和“像不像人话”（语言模型）。两者一结合，识别结果就从一堆同音候选词中选出最通顺的那句话。

语言模型的数学核心是计算词序列的联合概率。设一段文本由 m 个词组成：W = w₁, w₂, …, wₘ，那么整句话的概率可以用链式法则分解成每一步的条件概率相乘：

一句话通顺不顺，就是一连串“下一个词猜得准不准”的乘积。但在实际中，“前面所有词”这个条件太长，没法精确统计——这就是杨阿姨的“记忆瓶颈”：她不可能记得你三个月前点的每一道菜。于是，n-gram 模型登场了。

P(W)=∏i=1mP(wi∣w1,w2,…,wi−1)\displaystyle P(W) = \prod_{i=1}^{m} P(w_i \mid w_1, w_2, \dots, w_{i-1})
  1. 整句概率整段文本 W 出现的概率，等于每个词在给定前面所有词的条件下出现的概率相乘。类似杨阿姨判断“今天的菜谱”是综合了你一周的点菜记录。
    P(W)=∏i=1mP(wi∣w1,w2,…,wi−1)P(W) = \prod_{i=1}^{m} P(w_i \mid w_1, w_2, \dots, w_{i-1})
  2. 条件概率$P(w_i \mid w_1, w_2, \dots, w_{i-1})$ 表示看到前 i-1 个词之后，下一个词是 wᵢ 的可能性。你的已点菜单越丰富，阿姨对下一道菜的判断越准确。
    P(wi∣w1:i−1)=P(w1:i)P(w1:i−1)\displaystyle P(w_i \mid w_{1:i-1}) = \frac{P(w_{1:i})}{P(w_{1:i-1})}
  3. 乘积链$\prod$ 符号表示连乘。每个判断都有一点不确定性，连乘之后，整句话的可能性就被逐步缩小。
    P(w1)×P(w2∣w1)×⋯×P(wm∣w1:m−1)\displaystyle P(w_1) \times P(w_2\mid w_1) \times \cdots \times P(w_m\mid w_{1:m-1})

n-gram 统计

杨阿姨虽然记不住你所有历史，但她发现最近两个词往往决定下一个词走向——你刚说“想吃”，九成是要点荤菜。这个简化智慧，就是 n-gram 的核心：马尔可夫假设——下一个词只与最近的 n-1 个词有关，更早的历史可以忽略。这样一来，条件概率从“依赖整句话”变成了“只依赖一个短窗口”：

当 n=2 时叫二元模型（Bigram），只考虑上一个词；n=3 时叫三元模型（Trigram），考虑最近两个词。这些 P 值从哪来？从海量文本中数出来——这就是最大似然估计：

其中 C 表示统计语料中词对出现的次数。

n-gram 的优势立竿见影：训练快、内存小、完全可解释。但杨阿姨很快遇到了新麻烦：她没听过“减肥+红烧肉”这种组合，于是概率直接打了零分——这就是下一节要面对的数据稀疏问题。

P(wi∣w1,…,wi−1)≈P(wi∣wi−n+1,…,wi−1)\displaystyle P(w_i \mid w_1, \dots, w_{i-1}) \approx P(w_i \mid w_{i-n+1}, \dots, w_{i-1})
P(wi∣wi−1)=C(wi−1,wi)C(wi−1)\displaystyle P(w_i \mid w_{i-1}) = \frac{C(w_{i-1}, w_i)}{C(w_{i-1})}
  1. 马尔可夫近似用最近 n-1 个词代替全部历史。杨阿姨只盯住你最近说的几个字，而不是这辈子的点菜记录。
    P(wi∣w1:i−1)≈P(wi∣wi−n+1:i−1)\displaystyle P(w_i \mid w_{1:i-1}) \approx P(w_i \mid w_{i-n+1:i-1})
  2. 二元模型n=2 时，下一个词只由前一个词决定。公式中的 C(w_{i-1}, w_i) 是“前词是 w_{i-1}，后词是 w_i”的共现次数。
    P(wi∣wi−1)=C(wi−1,wi)C(wi−1)\displaystyle P(w_i \mid w_{i-1}) = \frac{C(w_{i-1}, w_i)}{C(w_{i-1})}
  3. 频率即概率把次数相除，得到“我→想”这类搭配的频率。语料里 “想吃” 出现 100 次、“想” 出现 200 次，那么 P（吃|想） = 100/200 = 0.5。
    P^MLE(wi∣wi−1)=count(wi−1,wi)count(wi−1)\displaystyle \hat{P}_{\text{MLE}}(w_i\mid w_{i-1}) = \frac{\text{count}(w_{i-1}, w_i)}{\text{count}(w_{i-1})}

数据稀疏

杨阿姨的记性再好，也不可能见过所有词与词的搭配。汉语常用词几万个，三元组合动辄数十亿种，而训练语料再大也只能覆盖其中一小部分。那些未出现的组合，在最大似然估计下概率等于零。一旦某个条件概率为零，整句话的连乘结果就变成零——哪怕这句话听起来完全通顺。

比如语料中从来没有“减肥 → 红烧肉”，那么 P（红烧肉|减肥） = 0，整句“减肥想吃红烧肉”的概率直接归零。这显然不合理：现实中完全可能出现这样的句子。这种“没见过就判零分”的问题，叫做数据稀疏：可用的统计证据太少，长尾分布下大量合法组合成了漏网之鱼。

面对数据稀疏，杨阿姨得学会变通：没见过的事，不代表概率是零。下一节的平滑与回退，就是给这些“没见过的事件”留一条活路。

C(减肥, 红烧肉)=0⇒P(红烧肉∣减肥)=0\displaystyle C(\text{减肥, 红烧肉}) = 0 \quad \Rightarrow \quad P(\text{红烧肉} \mid \text{减肥}) = 0
  1. 零计数词对（减肥，红烧肉）在语料中一次都没出现，所以计数 C 为零。这就像杨阿姨从没见你减肥期点过红烧肉，于是觉得这事绝不可能。
    C(减肥, 红烧肉)=0\displaystyle C(\text{减肥, 红烧肉}) = 0
  2. 零概率计数为零直接导致条件概率为零。在连乘公式里，任何一项为零，整句话的概率都归零。
    P(红烧肉∣减肥)=0C(减肥)=0\displaystyle P(\text{红烧肉} \mid \text{减肥}) = \frac{0}{C(\text{减肥})} = 0
  3. 连乘崩溃$P(\text{今天我减肥想吃红烧肉}) = \cdots \times 0 \times \cdots = 0$。哪怕声学信号再清晰，语言模型也会给这句话投反对票。
    ∏i=1mP^MLE(wi∣wi−1)=0\displaystyle \prod_{i=1}^m \hat{P}_{\text{MLE}}(w_i \mid w_{i-1}) = 0

平滑与回退

杨阿姨遇到没见过的点菜组合时，会怎么做？她会退而求其次，用更粗粒度来判断：虽然没听过“减肥+红烧肉”，但“红烧肉”在菜单上本来就常被点，所以概率不应是零，只是小一点。这个思路在语言模型里叫平滑：把观察到的概率匀出一小部分，分给那些没有观察到的组合。最简单的做法是加 1 平滑（拉普拉斯平滑）：

除了平滑，还有回退：如果没有二元语法数据，就退回一元语法（只看单个词的概率）。更高级的插值模型则是同时信任高阶与低阶：把三元、二元、一元的概率按权重混合。有了平滑和回退，n-gram 模型就解决了“零概率”危机。然而，平滑只是“缝缝补补”——真正想建模长距离依赖，还得靠神经网络，那是杨阿姨的“超级记忆体”形态。

PAdd-1(wi∣wi−1)=C(wi−1,wi)+1C(wi−1)+∣V∣\displaystyle P_{\text{Add-1}}(w_i \mid w_{i-1}) = \frac{C(w_{i-1}, w_i) + 1}{C(w_{i-1}) + |V|}
  1. 分子加一每个词对的出现次数都加 1，这样原来计数为 0 的词对，概率不再是 0，而是有一个微小的底数。
    C(wi−1,wi)+1C(w_{i-1}, w_i) + 1
  2. 分母规整分母加上 |V|（词表大小），保证所有词的概率之和仍然是 1。这就是“把蛋糕匀出一小块给还没吃到的人”。
    C(wi−1)+∣V∣C(w_{i-1}) + |V|
  3. 拉普拉斯插值分子分母同时调整后，高频词对概率略微下降，低频词对概率从 0 变为一个大于 0 的小值。
    PAdd-1=C(wi−1,wi)+1C(wi−1)+∣V∣\displaystyle P_{\text{Add-1}} = \frac{C(w_{i-1}, w_i) + 1}{C(w_{i-1}) + |V|}

神经语言模型

如果杨阿姨不仅能记住你最近几个字，还能把你这周的对话“打包压缩”在脑海里，随时按需调用——这大概就是神经语言模型的感觉。n-gram 的问题是窗口太短，而 RNN-LM（循环神经网络语言模型）通过一个隐状态向量 h_t 把“所有已见词”揉成一个记忆表征，每来一个词就更新一次记忆。到了 Transformer-LM 时代，注意力机制更是让每个词可以直接“回看”前面所有词——窗口不再是固定几个词，而是整个句子甚至全篇文档。

以 RNN-LM 为例，隐状态更新与输出概率如下：

Transformer-LM 更进一步：自注意力机制计算任意两个词之间的关联权重，让“想吃”和“红烧肉”即便相距很远，也能直接建立联系。神经 LM 在建模长距离依赖上碾压 n-gram，但计算量大得多——所以在语音识别里，人们通常不是让它从头到尾跑一遍，而是派它做“最后把关”的裁判。

ht=tanh⁡(Whhht−1+Wxhxt+bh)\displaystyle h_t = \tanh(W_{hh} h_{t-1} + W_{xh} x_t + b_h)
P(wt∣w1,…,wt−1)=softmax(Woutht−1)\displaystyle P(w_t \mid w_1, \dots, w_{t-1}) = \text{softmax}(W_{out} h_{t-1})
  1. 隐状态记忆h_t 是第 t 步的记忆向量，它融合了上一步的记忆 h_{t-1} 和当前词向量 x_t。系数矩阵 W_hh、W_xh 和偏置 b_h 是训练中学习的参数。
    ht=tanh⁡(Whhht−1+Wxhxt+bh)\displaystyle h_t = \tanh(W_{hh} h_{t-1} + W_{xh} x_t + b_h)
  2. 非线性激活tanh 把线性组合的结果压到 -1 到 1 之间，帮助网络稳定地积累长期信息。
    tanh⁡(z)=ez−e−zez+e−z\tanh(z) = \frac{e^z - e^{-z}}{e^z + e^{-z}}
  3. 输出分布把上一步的记忆映射为一个词表上的概率分布，softmax 保证所有词概率非负且求和为 1。哪一格概率最大，哪个词就被优先选中。
    P(wt∣w1:t−1)=softmax(Woutht−1)\displaystyle P(w_t\mid w_{1:t-1}) = \text{softmax}(W_{out} h_{t-1})

浅层重排

语音识别系统第一遍解码时，会生成一个候选列表——通常叫 N-Best 列表，里面有十条到上百条可能的句子。这时候杨阿姨的“超级模式”才登场：第一轮粗选交给快速但记性差的 n-gram 阿姨，第二轮细选交给记忆超群的神经 LM 阿姨，对 N-Best 里的每句话重新打分、排序，挑出最通顺的那句。这个过程叫浅层重排（Lattice Rescoring / Shallow Fusion），它不需要重新遍历所有语音帧，只对候选序列重打分，计算开销小，收益却很大。实践表明，加入神经 LM 浅层重排后，词错误率（WER）通常能相对下降 5%-15%。

具体来说，最终得分是声学得分与语言模型得分的加权和，神经 LM 权重由插值系数 λ 调节：

浅层重排让现代 ASR 系统在不大幅增加计算成本的前提下，享受到了神经网络长程建模的红利。它不是一个独立模型，而是一种“系统集成”的智慧——用最快的粗筛 + 最准的细判，双剑合璧。

S(W)=Sacoustic(W)+λlog⁡Pneural-LM(W)\displaystyle S(W) = S_{\text{acoustic}}(W) + \lambda \log P_{\text{neural-LM}}(W)
  1. 最终得分候选句子 W 的总分，由声学得分和语言模型得分两部分组成。声学得分来自声学模型，语言模型得分来自神经 LM。
    S(W)=Sacoustic(W)+λlog⁡Pneural-LM(W)S(W) = S_{\text{acoustic}}(W) + \lambda \log P_{\text{neural-LM}}(W)
  2. 对数概率log P 把连乘变成连加，数值更稳定，也方便与声学得分直接相加。
    log⁡P(w1,w2,…,wm)=∑i=1mlog⁡P(wi∣w<i)\log P(w_1, w_2, \dots, w_m) = \sum_{i=1}^{m} \log P(w_i \mid w_{<i})
  3. 插值系数λ 控制神经 LM 的影响力。λ 太小，重排没效果；λ 太大，系统对语言模型过信，忽视声学证据。调 λ 的过程，就像调整杨阿姨的“记性音量”。
    λ∈[0,1],λ 越小越信任声学证据\lambda \in [0, 1], \quad \lambda \text{ 越小越信任声学证据}

模型对比

现在杨阿姨有了两位助手：一位是记性差但反应极快的 n-gram 小哥，一位是记性超强但思考较慢的神经 LM 博士。选谁上阵，要看场景。

| 维度 | n-gram | 神经 LM |

|---|---|---|

| 训练速度 | 快，分钟级 | 慢，GPU 小时级 |

| 推理速度 | 极快，适合实时解码 | 较慢，适合重排 |

| 长距离依赖 | 只能看 n-1 个词 | 可建模整句 |

| 可解释性 | 高，每个概率可查 | 低，黑盒 |

| 数据需求 | 中等 | 大量 |

| 与 ASR 集成 | 首遍解码标准 | 浅层重排标准 |

工程上最常见的策略是：首遍解码用 n-gram 快速生成 N-Best 候选，第二遍用神经 LM 对候选重排。这样既保证了实时性，又不牺牲准确率。

演进趋势

杨阿姨正在“升级大脑”：从记录菜谱的账本，变成了一个懂你口味、甚至懂你心情的“智能助手”。语言模型的演进方向同样如此。如今的大规模预训练语言模型（如 GPT 系列）已经在语音识别中扮演越来越重要的角色：端到端语音识别模型直接把声学特征映射到文本，语言知识被编码在模型参数里；少样本自适应让模型快速适配某个新说话人或新领域；多模态融合则把语音、文本、图像统一建模。未来的 ASR 系统，语言模型的边界会越来越模糊——但“用先验知识帮机器猜对人话”这个核心使命，不会改变。

AI 应用场景

智能客服的语音转写优化

阶段：模型集成与调优（浅层重排）

解决的问题：传统 ASR 只靠声学模型，遇到同音词容易出错。“给我发个链接”与“给我发个联检”听起来几乎一样。引入 n-gram 首遍解码 + 神经 LM 浅层重排后，语言模型能根据上下文把“联检”纠正为“链接”，大幅提升语义理解准确率。

具体案例：某银行客服系统每天处理 10 万通电话。上线神经语言模型重排后，关键词“挂失”的识别准确率从 82% 提升到 95%，用户诉求被准确转写到工单系统的比例明显改善。

会议纪要的说话人无关识别

阶段：语言模型选型

解决的问题：多人会议里，背景噪声、口音、专业术语都会让识别变差。n-gram 可以快速注入领域词汇（如"Transformer"“注意力机制”），神经 LM 则负责整体流畅度。两者配合，让会议转写从“字面正确”走向“语义正确”。

具体案例：某科技公司用 ASR 生成会议纪要。注入技术领域 n-gram 后，专业术语识别率提升 20%；再叠加神经 LM 重排，整段转写的可读性显著提高，人工修正时间减少了近一半。

实时字幕流的低延迟重排

阶段：推理优化

解决的问题：直播字幕要求“边说边出”，不能等待完整句子。工程上利用 n-gram 做增量解码，每隔若干个词触发一次局部重排，神经 LM 只对最近一段历史重打分，兼顾实时性与准确率。

具体案例：某直播平台为外语主播提供中文字幕，端到端延迟控制在 2 秒内。通过窗口化浅层重排，字幕错误率比纯 n-gram 方案下降了 12%。

Python 演示

python59 行
# -*- coding: utf-8 -*-"""n-gram 语言模型演示：构建二元模型，并为未见词对加入平滑"""from collections import defaultdict, Counter def tokenize(text):    return text.split() class NgramLM:    def __init__(self, n=2, delta=0.5):        self.n = n        self.delta = delta        self._context_count = defaultdict(Counter)        self._unigram_count = Counter()        self.vocab_size = 0     def fit(self, sentences):        for sent in sentences:            words = tokenize(sent)            # 加首尾标记            padded = ['<s>'] + words + ['</s>']            for i in range(1, len(padded)):                prev = padded[i - 1]                cur = padded[i]                self._context_count[prev][cur] += 1                self._unigram_count[prev] += 1        self.vocab_size = len(self._unigram_count)     def prob(self, prev, cur):        """带平滑的二元条件概率"""        count = self._context_count[prev].get(cur, 0)        total = self._unigram_count.get(prev, 0)        return (count + self.delta) / (total + self.delta * self.vocab_size)     def sentence_prob(self, sent):        words = tokenize(sent)        padded = ['<s>'] + words + ['</s>']        p = 1.0        for i in range(1, len(padded)):            p *= self.prob(padded[i - 1], padded[i])        return p if __name__ == '__main__':    corpus = [        '我 今天 想 吃 红烧肉',        '我 昨天 吃 了 糖醋鱼',        '你 今天 想 吃 什么',        '我 想 吃 清炒时蔬',        '妈妈 做 了 红烧肉 和 糖醋鱼',    ]    lm = NgramLM(n=2, delta=0.5)    lm.fit(corpus)     print("P(红烧肉|想吃) = %.3f" % lm.prob('想吃', '红烧肉'))    print("P(红烧肉|减肥) = %.3f" % lm.prob('减肥', '红烧肉'))    print()    for s in ['我 想 吃 红烧肉', '我 想 吃 赤红扫肉']:        print("S(%s) = %.6f" % (s, lm.sentence_prob(s)))
目的：演示二元 n-gram 语言模型的训练、平滑与打分，直观理解“通顺句子的概率更高”。
  1. padded = ['<s>'] + words + ['</s>']加入句子首尾标记，让首词也有条件概率。
  2. self._context_count[prev][cur] += 1统计相邻词对（prev, cur）的共现次数。
  3. return (count + self.delta) / (total + self.delta * self.vocab_size)Laplace 平滑，避免未出现词对概率为 0。
  4. lm.fit(corpus)用 5 条微型语料训练模型，统计词频。
  5. lm.prob('减肥', '红烧肉')检查“没见过”的词对，平滑后得到一个非零小概率。

常见误区

误区语音识别主要靠声学模型，语言模型只是辅助打分，对最终结果影响不大。

正解实际上，两个系统的对决往往就差在语言模型上。在噪音环境下，声学模型给出的候选有很多同音词，只有语言模型能利用上下文选出语义通顺的那一个。浅层重排引入神经 LM 后，词错误率能相对下降 5%-15%，这个幅度在工程上是巨大的提升。

为何常见：早期 ASR 演示都在安静环境下，声学模型表现好，语言模型的贡献被掩盖。一旦进入真实场景，语言模型的作用立即凸显。

误区既然 n-gram 靠上下文猜词，那把 n 从 3 提到 7，窗口更大，效果肯定更好。

正解n 越大，需要统计的词组合数呈指数增长。三元组已经很多是零计数了，七元组几乎全是零。数据稀疏会让模型严重退化，反而需要更多平滑手段。工程上三元模型最常用，超过四元收益甚微。

为何常见：“信息越多越好”是直觉，但 n-gram 是统计计数模型，信息多到统计不到，等于没有信息。

误区Transformer-LM 那么强，直接拿它做端到端识别，n-gram 可以彻底退役了。

正解神经 LM 推理开销大，在需要流式实时解码的场景下，直接跑每帧前向传播会带来延迟问题。n-gram 依然是首遍解码的主力，因为它快、轻、可控。两者的关系是“粗筛 + 精排”的搭档，不是替代。

为何常见：看到评测指标提升，容易忽略推理成本。工程系统永远是速度与精度的平衡。

误区浅层重排 = 语法官打分后把不流畅的句子放后面。

正解浅层重排是把声学得分与语言模型得分加权融合，核心是选择最优的插值系数 λ——λ 太高会忽略声学证据，太低又发挥不出语言模型的优势。而且重排的对象通常是 N-Best 候选列表，不是对所有句子打分。

为何常见：人们容易把“重排”理解成简单的排序，而忽略了它的融合权重和调参过程。

面试题

Q1. 语言模型在语音识别中的主要作用是什么？

单选题 · easy

  • A.识别说话人的音频特征
  • B.从候选文本中选出语义通顺的句子← 正确答案
  • C.对语音信号做降噪处理
  • D.直接将音频转换为声学特征

答案：B。语言模型不处理音频本身，它基于文本概率为候选序列打分，帮助系统在多个同音候选中做出选择。A、C、D 都是声学模型或信号处理的任务。

Q2. n-gram 模型中，"n=2"代表什么含义？

单选题 · easy

  • A.同时使用两个语料库
  • B.下一个词只由前一个词决定← 正确答案
  • C.模型只能识别两个词
  • D.训练过程迭代两次

答案：B。二元模型（Bigram）假设每个词的出现只与它前面的一个词相关。马尔可夫窗口长度为 2（当前词 + 前一个词），而不是使用两个语料库或两次迭代。

Q3. 以下哪个公式是二元 n-gram 的最大似然估计？

单选题 · mid

  • A.count(wi-1, wi) / count(wi-1)← 正确答案
  • B.count(wi-1) / count(wi-1, wi)
  • C.count(wi-1, wi) + 1
  • D.count(wi-1) + count(wi)

答案：A。最大似然估计用词对出现次数除以前词出现次数，即“前词出现后，后词跟上的频率”。其余选项颠倒分子分母或只是数据变换，都不满足条件概率的估计要求。

Q4. 数据稀疏问题最直接的后果是什么？

单选题 · mid

  • A.模型训练时间变长
  • B.未出现的词对条件概率为零← 正确答案
  • C.声学模型无法提取特征
  • D.词表大小自动缩小

答案：B。语料没覆盖到的组合计数为零，最大似然估计给出零概率。零概率在连乘中会导致整句话概率归零，这是 n-gram 的核心痛点。

Q5. 解决 n-gram 零概率问题的常见方法有哪些？

多选题 · mid

  • A.拉普拉斯平滑← 正确答案
  • B.低阶回退← 正确答案
  • C.增加噪声数据
  • D.增加更多声学参数

答案：AB。拉普拉斯平滑给所有计数加一个小量，低阶回退在没有高阶统计时退回低阶估计。增加噪声数据和声学参数都跟词序列概率估计无关。

Q6. 神经语言模型相比 n-gram 的核心优势是？

单选题 · mid

  • A.训练速度更快
  • B.能建模长距离依赖← 正确答案
  • C.推理时不需要 GPU
  • D.参数总量更少

答案：B。RNN 的隐状态和 Transformer 的自注意力都能让每个词回顾全部历史，从而捕捉跨句子级别的依赖。n-gram 只能看到固定短窗口；神经模型训练更慢、参数更多，通常也需要 GPU 推理。

Q7. 浅层重排（Lattice Rescoring）的特点包括哪些？

多选题 · hard

  • A.只对候选列表重打分，不重新遍历语音帧← 正确答案
  • B.需要调节语言模型插值系数← 正确答案
  • C.必须使用 n-gram 模型
  • D.能显著降低词错误率← 正确答案

答案：ABD。浅层重排的核心是在 N-Best 候选上做二次打分，无需重新解码语音。插值系数 λ 平衡声学与语言得分。常用神经 LM 重排，虽然 n-gram 也可用。实践表明相对误差可降 5%-15%。

Q8. 在 ASR 系统集成中，n-gram 与神经 LM 的最常见协作方式是？

单选题 · hard

  • A.完全用神经 LM 替代 n-gram
  • B.n-gram 首遍解码 + 神经 LM 重排← 正确答案
  • C.两个模型同时独立运行互不干扰
  • D.神经 LM 只处理静音段

答案：B。n-gram 推理快，适合实时生成候选；神经 LM 精度高、速度慢，适合对候选重排。两者协作兼顾延迟与准确率。完全替代在实时场景下不现实，互不干扰也没有意义。

Q9. 困惑度（Perplexity）在语言模型中用于衡量什么？

单选题 · easy

  • A.训练语料的平均句长
  • B.模型对下一个词的预测不确定度← 正确答案
  • C.声学模型的准确率
  • D.模型可解释性的高低

答案：B。困惑度基于语言模型概率计算，值越低说明模型对词的预测越确定、越接近真实文本分布。它不直接反映句长或声学表现。

Q10. 关于神经 LM 训练，下列说法正确的有哪些？

多选题 · hard

  • A.隐状态通过 tanh 等激活函数引入非线性← 正确答案
  • B.softmax 将输出映射为词表上的有效概率分布← 正确答案
  • C.Transformer 不依赖自注意力机制
  • D.神经语言模型参数通过反向传播学习← 正确答案

答案：ABD。RNN 隐状态通过 tanh 压缩线性组合信号，softmax 保证词表概率非负且和为 1，模型参数由反向传播梯度更新。Transformer 恰恰以自注意力为核心，因此 C 错误。