音频质量评估PESQ与STOI

可视化演示

动态演示音频质量评估PESQ与STO的核心机制，通过开始/执行/监控/完成四种模式展示关键概念与交互流程。

指标总览

节目开播前的第一件事，是确定这档节目的定位：它是“最美声音”评选，还是“听歌词猜歌名”游戏？两者的评判标准天差地别。音频质量评估的第一步，同样是先回答“我们要量化的到底是哪一种主观感受”。在语音通信、助听器、语音增强这些场景里，原始录音相当于“原唱”，经过压缩、传输、降噪、混响后的信号相当于“翻唱”。工程师把两份音频同时喂给算法，算法吐出分数——这就是“有参考”（reference-based）评估的朴素原型。

PESQ 和 STOI 是这种“有参考评估”里最具代表性的两个选手。PESQ 全称“感知语音质量评估”（Perceptual Evaluation of Speech Quality），由 ITU-T P.862 标准定义，它把信号送入一个人耳听觉模型，最终输出一个接近 MOS（主观平均意见分）的 0.5 到 4.5 的分数——就像老教授听完翻唱后给出“唱功分”。STOI 全称“短时客观可懂度”（Short-Time Objective Intelligibility），输出 0 到 1 的分数，衡量听者能听清多少个词的比率——就像语文老师的听写正确率。

两者对输入有一个共同要求：处理的是“单人近距语音”信号，采样率通常为 16kHz（PESQ 也支持 8kHz 窄带语音）。它们都不是为音乐、多人嘈杂场景设计的。如果把 PESQ 拿去评价交响乐的音质，就像让声乐教授给合唱团逐个挑音准，他只能说“这不是我的活”。

PESQ原理

老教授打分前，会先戴上特制的“人耳仿真耳机”——这是 PESQ 与简单信噪比计算最大的不同：它模拟的是人耳怎么听，而不是机器怎么量。整个评分流程可以拆成四步。

首先是对齐。翻唱开唱可能比别人慢半拍，网络传输还会造成几十毫秒延迟，所以 PESQ 先做时间和电平的补偿，让“原唱”和“翻唱”在时间轴上精确对齐。接着是感知变换：把信号转换到 Bark 尺度（模拟耳蜗的临界频带）并施加响度变换，得到“人耳听上去”的响度谱。第三步是扰动提取：逐帧比较两个响度谱，找出那些“跑调、破音、断续”的感知扰动。最后，把所有扰动聚合成一个分数。

老教授会把“音准小瑕疵”和“整体音色发闷”分开记账，最后合并成一张成绩单。PESQ 的价值就在于，它把“听起来还行”这种模糊判断，变成一个可复现、可比较的数值。

STOI原理

语文老师的听写考法完全不同。他不会评价选手的颤音漂不漂亮，只关心一件事：把选手的录音放给听众听，听众能不能在“词”的级别上写对内容。前 15 秒歌曲里“还记得你说家是唯一的城堡”，听众听成了“还记得你说家是唯一的城堡”——这就叫可懂。

STOI 的计算分四步。第一步，把长语音切成很多个短时帧，每帧大约几十毫秒——相当于把长歌词拆成一句句小纸条。第二步，对每帧做频谱分析，并用“三分之一倍频程”滤波器组把频谱划分成 15 个频带，频带范围大致从 150Hz 到 4.3kHz。这模拟了人耳基底膜的频率分辨率：人耳不是均匀地听所有频率，而是分成一个个临界频带。第三步，对每个频带、每一帧，计算“听写结果”与“原文”的相关系数。第四步，对所有相关系数取平均，得到 0 到 1 的 STOI 分。

所有帧、所有频带的相关系数再取平均，就是最终 STOI 分：

语文老师不看演唱技巧，只关心歌词有没有传达到位。STOI 也是如此，它对音色、混响、均衡变化都不敏感，但对“语音包络有没有被破坏”极其敏感——这正是“能不能听懂”的关键。

对比取舍

两位裁判的理念冲突在真实项目中非常明显。某段语音被加了强压缩，听感糟糕、底噪明显，但每个词的声母韵母都还在——PESQ 会给出很低的听感分，STOI 却可能依然高达 0.9。反过来，一段语音被做了激进的降噪，听感“干净”了，但某些清辅音被误删，听众听不清“是”和“四”——PESQ 可能尚可，STOI 会大幅下跌。

适用场景也因此分化。PESQ 适合评估“端到端听感”：VoIP 通话质量监控、编解码器音质对比、语音增强后的自然度评估。STOI 则更适合“内容可达性”场景：助听器算法评估、噪杂环境下的语音可懂度、语音增强对听清程度的提升。

两者各有软肋。PESQ 对时间对齐非常敏感，如果信号有几十毫秒的延迟漂移，得分会急剧下降；它对某些“均匀非线性失真”（如特定响度压缩）也容易出现与人耳判断不一致的结果。STOI 则完全不评估音质，一段有严重削波失真的语音，只要包络还在，STOI 照样接近满分。工程里最稳妥的做法是让两位裁判同时上场：PESQ 报告听感，STOI 报告可懂度，形成“双维度质检单”，再结合具体业务目标做决策。

数据与标注

两位裁判的“评分标准”从哪来？答案来自大量真人听众的耳朵。ITU-T P.800 等标准规定了主观 MOS 测试流程：招募几十上百位普通听众，让他们在安静环境里用专业设备听一批语音样本，对每段语音的打分从 1（极差）到 5（极好），最后取所有人的平均分作为“金标准”。

为了让客观指标“学”到金标准，研究者构造了专门的语音质量数据集：对干净语音施加各类失真——加性噪声、混响、编解码压缩、丢包、变速等，再请听众打分。PESQ 的模型参数就是通过回归拟合这类主观数据得到的，STOI 的相关系数阈值同样基于听写实验结果校准。可以说，数据标注是“请观众投票”，而 PESQ/STOI 是用算法模仿这场投票。

深度学习新法

老教授和语文老师都有同一个前提：必须拿到原唱才能对比。可很多真实场景根本没有“原唱”——用户从手机上传的一段嘈杂语音，原始干净版本早已不存在。这时候需要一位“盲听导师”：他听过的翻唱足够多，多到不需要原唱也能凭经验判断这段声音有没有问题。

深度学习无参考评估就是这样的盲听导师。代表性模型如微软的 DNSMOS、NISQA、MOSA-Net，它们在大规模主观 MOS 语料上训练神经网络：输入是从待测音频提取的声学特征（如对数梅尔谱），输出是预测的 MOS 分。训练目标是最小化预测分与主观 MOS 之间的误差：

盲听导师的局限也显而易见：他的经验只覆盖训练时听过的“失真类型分布”。如果上线后遇到一种全新的、训练集里从未出现过的噪声或编解码组合，预测可能大幅偏差。所以，无参考模型更适合做“大规模初筛”，关键场景仍需人工抽检或与有参考指标交叉验证。

工程实践

最后落到代码层面。工程里最常用的两个库是 pesq（ITU-T P.862 官方移植）和 pystoi。调用前必须把音频预处理成算法期望的格式：单声道、16kHz 采样率、整数 PCM 或浮点均可，PESQ 还要求参考信号和测试信号长度完全一致。

一段典型的评估流程是：用 librosa 或 soundfile 读取音频，统一重采样到 16kHz，截取对齐后分别调用 pesq 和 stoi，最后合并成报表。经验阈值上，PESQ 高于 3.5 视为良好，2.5 到 3.5 为可接受但可闻劣化，低于 2.5 则明显损害听感；STOI 高于 0.8 表示可懂度良好，0.6 到 0.8 需要听众集中注意力，低于 0.6 则理解困难。这些阈值不是标准强制值，但可以作为项目初判的参考线。

注意事项里最常踩的坑是：PESQ 对时间对齐要求苛刻，输入前务必用 VAD 或互相关方法校准偏移；STOI 对重采样率有一定容忍度，但对采样率低于 8kHz 的信号会失效；两者都不适合音乐和非语音音频。工程上建议在评测脚本里同时输出两种分数，形成双维度基线，再定期用人工抽检校正。

AI 应用场景

Python 演示

import mathimport random  def make_speech(n_samples=16000, f0=180):    """用基音加谐波模拟一段类语音信号"""    t = [i / 16000.0 for i in range(n_samples)]    return [0.5 * math.sin(2 * math.pi * f0 * x)            + 0.25 * math.sin(4 * math.pi * f0 * x)            + 0.1 * math.sin(6 * math.pi * f0 * x) for x in t]  def add_noise(signal, level, seed=0):    """叠加白噪声, level 控制噪声能量"""    rng = random.Random(seed)    scale = level * 0.3    return [s + scale * rng.gauss(0, 1) for s in signal]  def frame(signal, frame_len=256, hop=128):    """分帧: 将一维信号切成短时帧列表"""    frames = []    for i in range(0, len(signal) - frame_len + 1, hop):        frames.append(signal[i:i + frame_len])    return frames  def frame_stoi(clean, noisy):    """简化版 STOI: 逐帧去均值相关系数后取平均"""    cf = frame(clean)    nf = frame(noisy)    scores = []    for a, b in zip(cf, nf):        ma = sum(a) / len(a)        mb = sum(b) / len(b)        ca = sum((x - ma) ** 2 for x in a)        cb = sum((x - mb) ** 2 for x in b)        if ca < 1e-9 or cb < 1e-9:            scores.append(0.0)            continue        num = sum((x - ma) * (y - mb) for x, y in zip(a, b))        den = math.sqrt(ca * cb)        scores.append(max(0.0, min(1.0, num / den)))    return sum(scores) / len(scores)  def main():    clean = make_speech()    print("噪声水平 | 简化STOI得分")    print("---------|---------------")    for level in (0.0, 0.3, 0.6, 1.0, 1.5):        noisy = add_noise(clean, level, seed=42)        score = frame_stoi(clean, noisy)        print(f"{level:5.1f}   | {score:.4f}")  if __name__ == "__main__":    main()

1. def make_speech(...)用 180Hz 基音叠加三个谐波模拟“干净的语音”，对应原唱信号
2. add_noise(signal, level, seed=0)叠加高斯白噪声模拟传输/环境带来的失真，seed 固定保证结果可复现
3. def frame(...)把整段信号按 256 点窗口、128 点步长切成短时帧，对应“听写纸条”
4. ma = sum(a) / len(a)计算该帧的均值，后续所有运算都用去均值后的波形，忽略音量大小
5. num = sum((x - ma) * (y - mb) for x, y in zip(a, b))分子是参考帧与失真帧的协方差，衡量两者“同步起伏”的程度
6. den = math.sqrt(ca * cb)分母用各自标准差做归一化，把相关系数压到 0~1 区间
7. scores.append(max(0.0, min(1.0, num / den)))逐帧得分裁剪到 0~1，负相关视为完全不可懂
8. for level in (0.0, 0.3, 0.6, 1.0, 1.5)依次加大噪声能量，观察 STOI 分数如何从接近 1.0 一路下滑，直观复现“噪声越大越听不懂”

常见误区

面试题