声纹相似度度量：量化两段声音有多像

可视化演示

展示声纹嵌入提取、说话人验证余弦相似度计算与多说话人聚类分布，交互切换查看声纹度量核心。

声音指纹档案

指纹鉴定所里每位来建档的人，都会被要求对着麦克风说一句话。鉴定师不会保存原始录音，而是让一台“声纹冲印机”把语音变成一张卡片——上面填满了几十上百个数字栏目，每个栏目刻画一种音色属性，比如喉腔共振、语速节奏、发音习惯等。这张数字卡片就是声纹 embedding（嵌入向量）。它把一段不定长的语音，压成固定长度的数字串，比如 192 维或 256 维。

为什么不能直接拿语音波形比较？因为两句话的长度、停顿、响度都不一样，就像两份字迹潦草的便条，直接比对每个字的形状毫无意义。冲印机只关心“谁在说”，不关心“说了什么”，所以它把语音中与说话人身份相关的线索提炼成一个个数字。这串数字被放在一个抽象的“特征空间”里，每个数字是一个维度。

有趣的现象是：同一个人今天感冒、明天兴奋、后天在嘈杂马路上打电话，同一张嘴冲印出的指纹卡并不会完全一样，而是在特征空间里散落成一小团——就像同一个人在不同场合按下的十枚指纹，形状相似但不完全重合。不同人的指纹团则会隔得比较远。因此，声纹相似度度量本质上比的是“两个点在特征空间里的亲疏关系”——这决定了我们后面要研究的所有尺子。

角度尺余弦相似度

鉴定所里最常用的第一把尺子是“角度尺”。它不关心指纹卡的长度，只关心两张卡“指向”是否一致。想象两张卡都被画成从原点出发的箭头，箭头越长只代表登记时的音量越大、环境增益越高，这些跟身份无关；真正能说明身份的是箭头的方向。余弦相似度就是测量两个箭头夹角的余弦值：夹角为 0° 时余弦等于 1，代表完全同向，几乎可以断定是同一人；夹角为 90° 时余弦为 0，代表毫不相关；夹角超过 90° 时余弦为负，代表背道而驰。

在实际工程中，系统会提前把每张指纹卡缩放到单位长度（模长为 1），这时余弦值就等于简单的向量内积，在 GPU 上可以极快地完成千万级的声纹检索排序，所以它成了指纹鉴定所里的“快枪手”。

直尺欧氏距离

第二把尺子是“直尺”，它最符合人的直觉：不问方向，只问两个点在特征空间里直线相隔多远。距离越近越像，距离越远越不像。如果说余弦是测量两张卡“朝向”是否一致，欧氏距离则是直接测量两张卡“落点”隔了多远。

欧氏距离有个“脾气”：它对指纹卡的长度很敏感。如果一个人说话声音大导致整张卡长了一截，直接量距离会误判为“很远”。所以使用直尺之前，通常要先做长度归一化（把模长缩放为 1）。有趣的是，如果两张卡都归一化成长度为 1，那么欧氏距离和余弦会神奇地互通：距离平方等于两倍减去两倍余弦，即 d² = 2 - 2cosθ。这说明直尺和角度尺其实是同一套刻度的两种读数，选哪个更多取决于下游任务习惯——聚类算法更喜欢距离度量，搜索引擎更喜欢余弦排序。

老师傅PLDA评判

角度尺和直尺都是“看表面”的工具，只比较数字的大小与方向。鉴定所里还有一位经验老到的老师傅——PLDA（概率线性判别分析，Probabilistic Linear Discriminant Analysis）。他看得更深：同一个人同一句话连说两遍，指纹卡也不会完全一样，因为情绪、信道、距离都会带来不可避免的波动；而两个不同的人之间，又有与生俱来的天然差异。只问“差多少”是不够的，必须问“这个差距符合同一个人的波动规律，还是更像两个陌生人的差异”。

PLDA 的打分逻辑是一个概率比：它同时计算“这两张卡来自同一人”的可能性，以及“这两张卡来自两个不同人”的可能性，然后取对数比值。如果同人假设的可能性远超异人假设，分数为正且很大，判定同人；否则判定异人。这个式子形式上是一个对数似然比：

实际落地时，PLDA 打分可以展开成一个二次型表达式，只需要两次矩阵运算即可完成，速度并不慢。正因它建模了“同人波动”与“异人差异”两本账，在跨设备、跨信道场景下，老师傅的判定通常比新手拿角度尺更可靠。

特训专用尺度量学习

余弦和欧氏都是“通用尺子”，拿来即用，但每个人手的形状不同，通用尺量出来的结果未必最合适。鉴定所决定自己打造一把“专用尺”：用大量标注好的声纹数据训练一个神经网络，让网络学到的指纹卡天生就满足“同一人贴得近、不同人离得远”的规律。这就是度量学习（metric learning）。

度量学习最经典的手法是三元组损失（triplet loss）。每次从数据里取三张卡：锚点 a（某个人的一条语音）、正样本 p（同一个人的另一条语音）、负样本 n（另一个人的语音）。训练目标很直接：让锚点与正样本的距离变小，同时让锚点与负样本的距离变大，并且两者之间至少留出一个安全间隔。损失函数写成：

与之配套的还有对比损失（contrastive loss），思路是成对比较：同人样本对压缩距离，异人样本对推过边际。训练时还需要精心构造样本对，尤其是“难样本挖掘”——专门挑那些长得像但其实是异人的配对来强化训练，否则模型容易偷懒。经过特训，新来的语音冲印成指纹卡后，天然就落在“同类簇紧、异类簇远”的空间里，再用余弦或欧氏就能取得更好的效果。

评分归一化与阈值

鉴定所最终要给每份报告下结论：是同人还是异人。可这里有个麻烦：不同考场（近场手机录音、远场音箱录音、嘈杂街头）考出来的分数尺度不一样。同一个人在近场测试能拿 0.8 分，在远场可能只有 0.5 分；如果拿固定的及格线去卡所有场景，要么误放坏人，要么误伤好人。评分归一化（score normalization）就是为了解决这个问题——它像高考的标准分换算，把不同考场的原始分拉到同一把尺子上。

最常用的方法是 Z-norm（零归一化）：系统准备一批“路人甲”背景语音，计算他们两两之间的冒充打分的均值 μ 与标准差 σ。正式比对时，把原始分数减去 μ 再除以 σ，得到标准分数。这样无论原始分的分布是偏高还是偏低，都能换算成统一的“平时成绩”，再与同一个阈值比较。

与 Z-norm 类似还有 T-norm（测试者归一化），区别在于 T-norm 用被测试者本人的冒充分数分布做校准，适合每次只测一个人的确认场景。阈值本身也不是拍脑袋定的：门禁系统可以接受偶尔把陌生人放进来（低误拒高误纳），金融风控则必须优先拦住坏人（压低误纳），阈值根据业务容忍度在验证集上选点。有了标准分和合理阈值，鉴定所的报告才算真正公平可靠。

AI 应用场景

Python 演示

import numpy as npfrom itertools import combinations np.random.seed(42) def cosine_sim(x, y):    return float(np.dot(x, y) / (np.linalg.norm(x) * np.linalg.norm(y) + 1e-12)) def euclidean_dist(x, y):    return float(np.linalg.norm(x - y)) def estimate_covs(embs_by_spk):    all_emb = np.vstack(embs_by_spk)    sw = np.mean([np.cov(x.T) for x in embs_by_spk], axis=0)    sb = np.cov(all_emb.T) - sw    sw = (sw + sw.T) / 2.0    sb = (sb + sb.T) / 2.0    return sw, sb def log_gauss(x, cov):    dim = x.shape[0]    inv = np.linalg.pinv(cov)    sign, logdet = np.linalg.slogdet(cov)    return -0.5 * (dim * np.log(2 * np.pi) + logdet + x @ inv @ x) def plda_score(x1, x2, sw, sb):    y = x1 + x2    cov_same = 2 * sw + 4 * sb    cov_diff = 2 * sw + 2 * sb    return log_gauss(y, cov_same) - log_gauss(y, cov_diff) def z_norm(scores, imp_scores):    mu, sigma = np.mean(imp_scores), np.std(imp_scores)    return (np.array(scores) - mu) / (sigma + 1e-12), mu, sigma def build_embeddings(n_spk=4, n_utt=30, dim=16):    centers = np.random.randn(n_spk, dim) * 1.2    return [centers[k] + np.random.randn(n_utt, dim) * 0.35 for k in range(n_spk)] def main():    train = build_embeddings(4, 30, 16)    sw, sb = estimate_covs(train)    enroll = train[0][0]    test_same = train[0][2]    test_diff = train[1][0]     for name, x in [("same", test_same), ("diff", test_diff)]:        cs = cosine_sim(enroll, x)        ed = euclidean_dist(enroll, x)        ps = plda_score(enroll, x, sw, sb)        print(f"{name}: cos={cs:.3f}, euclid={ed:.3f}, plda={ps:.3f}")     imp = [plda_score(np.mean(train[s], axis=0), np.mean(train[t], axis=0), sw, sb)           for s, t in combinations(range(4), 2)]    zn, mu, sigma = z_norm([plda_score(enroll, test_same, sw, sb),                            plda_score(enroll, test_diff, sw, sb)], imp)    print(f"z-norm result: same={zn[0]:.3f}, diff={zn[1]:.3f}, mu={mu:.3f}, sigma={sigma:.3f}")    print("observation: same-person score is higher; after z-norm it is comparable across scenes.") if __name__ == "__main__":    main()

1. train = build_embeddings(4, 30, 16)生成 4 个说话人、每人 30 条、每条 16 维的模拟声纹指纹卡。
2. sw, sb = estimate_covs(train)估计类内协方差（同人波动）与类间协方差（异人差异），PLDA 模型的两本账。
3. enroll = train[0][0]取说话人 0 的第一条语音作为注册模板，模拟用户录入声纹。
4. test_same = train[0][2]同一条说话人 0 的另一条录音，用于模拟同人测试。
5. test_diff = train[1][0]说话人 1 的一条录音，用于模拟异人测试。
6. cos=...余弦相似度直接用内积除以模长，同人应接近 1，异人应偏低。
7. def plda_score(x1, x2, sw, sb)用两协方差模型计算对数似然比，y=x1+x2 是关键统计量。
8. y = x1 + x2两段同人语音相加时说话人因子翻倍，使“和”的协方差显著增大，这是区分同人与异人的核心线索。
9. z_norm(...)用 4 个说话人两两组合的冒充分数估计 μ 与 σ，对原始分做标准分换算。

常见误区

面试题