声纹特征提取技术入门

可视化演示

声纹基本概念

照相馆开业第一天，老板老李贴出告示：“本店为每位客人制作专属声音身份证。”客人好奇地问：声音又不是墨水，怎么能印成卡片？老李笑着指指耳朵：“你听双胞胎说话，闭着眼也能分出谁是谁——因为声音天生就带着主人的签名。”这个“签名”就是声纹（voiceprint）：一道藏在语音里的个人烙印。它不像指纹需要按在纸上，只要你一开口，它就跟着声音跑出来。

专业地讲，声纹是语音信号中承载的说话人个性信息，源自发声器官的生理差异，如声带长短、声道形状，也来自后天习惯，如语速、口音、停顿方式。提取声纹特征，就是从一段语音中把这些“个性”抽出来，凝成一组数字特征向量。有了特征向量，系统就能回答两个问题：这是不是某个人？这是哪个人？

这两个问题对应两种任务。说话人确认（Speaker Verification）是 1:1 比对——像安检口核对身份证，你说“我是张三”，系统把你的声音特征和库里张三的特征比，得分越过阈值就放行。说话人辨认（Speaker Identification）是 1:N 寻找——像在通缉相册里翻找一张脸，系统把声音和库中 N 个人的特征逐一比对，挑出最匹配的那个。判定逻辑可以写成：

回到照相馆，确认任务就像“核验身份证原件”：你把声音递到窗口，柜台师傅对照库里你的照片，说声“像，请进”。辨认任务则像“大海捞针找通缉犯”：师傅翻遍整个相册，找出和你的声音最像的那一张。不管哪种任务，前提都是先拍好一张清晰的声音证件照——这正是接下来要讲的流程。

声学特征提取

客人问老李：“声音是看不见摸不着的，你怎么拍照？”老李举起一支特制镜头：“先拍'五官'，再拼'脸部结构'。”他解释，人耳对声音的感知不是线性的——低频要细心听，高频粗粗带过。所以摄影师要准备一根“符合人耳的标尺”，把物理频率翻译成人耳听得懂的“梅尔刻度”。

这就是声学特征提取的起点。语音信号先经过预加重：像摄影时给人脸补一道侧光，把高频细节描深一点，补偿发音过程中高频能量的自然衰减，公式为：

打完底稿，就进入招牌动作——分帧加窗。声音是流动的，但特征在短时间里近似不变，于是把连续语音切成 20 到 30 毫秒的“帧”，帧与帧之间留出约 10 毫秒重叠，再用汉明窗压住帧边缘的突变，等于给每张“快照”加了柔焦边框。接下来提取 MFCC（梅尔频率倒谱系数）：先做快速傅里叶变换得到频谱，再用梅尔标度映射人耳感知频域：

老李收起镜头，递出一摞“五官快照”：有的量“眼间距”，有的测“下巴弧度”——MFCC 就是这套标准化测量。但客人的声音是流动的，上万张快照没法直接印成一张身份证。摄影师还差一步：如何把这一大摞快照浓缩成一张“标准像”？老李说，别急，找画师帮忙。

经典i-vector

老李请来一位老派画师，外号“i-vector“。他的绝活是先用一本《大众脸谱》打底——这本厚册子记录了所有人的平均长相，专业名称叫 GMM 通用背景模型（UBM）。然后，画师对顾客说：”在我心里，每个人的脸都能用几十个基本脸型拼出来，我只需要记下你占每个脸型多少比例。”

这就是 i-vector 的思想：先训练一个通用背景模型，捕获“一般人说话”的共性；再针对某个人的一段语音，统计他的声学特征在每个高斯分量上的偏移；最后用一个低维的总变化因子 w 来解释这些偏移。于是每个人的声音被压缩成一个几百维的向量，这就是 i-vector。它把“上千帧 MFCC + 超多的统计量”压缩成一张轻便的“拼图配方卡”，是经典说话人识别系统的中流砥柱。

把流程化成数学，就是 i-vector 方程：

其中 M 是说话人的超向量（把帧级统计量拼成的高维列向量），m 是 UBM 的超向量（《大众脸谱》），T 是全局差异空间矩阵（从训练语料里学到的“基本脸型组合方式”），w 就是 i-vector——那个浓缩的“拼图配方”。

画师忙活完，递上一张极简的“配方卡”：i-vector。它不像 MFCC 那样一大摞快照，而是轻便、可存、可比对。老李把它挂在柜台，和顾客之前存的照片摆在一起，比对时就轻松多了。不过，老派画师手艺虽好，碰上新环境（跨信道、噪声大）时配方容易失真。于是，照相馆又迎来了一位新画师。

深度d-vector

新画师是个 AI 青年，外号“d-vector“。他不看《大众脸谱》，也懒得记配方，只说：”我直接看你的神态，给你画一张灵魂简笔画。“他训练时见过成千上万张不同人的脸，知道哪些细节算”这个人独有的特质”。老李将信将疑，让他试一张——结果画得又快又传神。

d-vector 是深度学习的产物：用一个深度神经网络（DNN）去学习说话人特征。训练时，把大量说话人的语音帧输入网络，网络的任务是判断“这句话是谁说的”。为了完成这个任务，网络被迫在中间层学会一种紧凑的说话人表示——这个中间层的输出向量，就是 d-vector。它完全由数据驱动地“悟”出什么特征最区分人，不需要人工设计“五官测量表”。

网络的最后一层是 softmax 分类，输出属于每个说话人的概率：

训练时用交叉熵损失让网络把每个说话人分对。训练完成后，去掉分类层，把某段语音喂进去，取倒数第二层的输出，便是这段语音的说话人嵌入向量 d-vector。判定两人是否是同一人，用余弦相似度即可。

AI 画师的“灵魂简笔画”（d-vector）见效奇快，尤其面对嘈杂环境、陌生信道时，比老画师（i-vector）更耐造。老李把两种画法都留在店里：老派适合小数据冷启动，AI 派适合大数据大场景。但对顾客来说，不管哪条路，照相馆里还有一套“一条龙流程”等着他们。

完整提取流程

老李把照相馆的动线画成一张流程图贴墙上：进门先“调光洁面”（语音预处理），再“取景按快门”（分帧提特征），最后“合成证件照”（特征汇总）。顾客走完这三步，才能领到自己的声音身份证。

从工程视角看，声纹特征提取的完整流水线包含三个环节：语音预处理、有效语音提取（VAD，Voice Activity Detection）、特征汇总拼接。预处理负责去除直流偏置和背景噪底、做预加重补高频；VAD 则用能量和过零率判断“哪段是人声、哪段是沉默”，把静音帧剔除，省得像对着空气拍照——空气帧混进特征里，等于往证件照里 P 进了路人。

VAD 之后，剩下有效语音帧，每帧提取 MFCC，再把帧级特征汇总成话语级特征。最常见的汇总方式是均值池化——把所有帧的特征取平均，作为这一句话的“平均脸”：

更高级的做法是拼接统计量（均值加标准差）或直接用 i-vector / d-vector 做话语级建模。最后对特征做 L2 归一化，消除录音音量大小带来的偏差。

顾客对照流程图走了一遍：领到“干净嗓音”（预处理），挑出“人声片段”（VAD），按脸型组合打包成证件照（特征汇总）。老李提醒：照片拍得好不好，嘴上说了不算。店里还定了“质检标准”，每一张证件照都要过评分关卡，这就是最后一课。

系统评价指标

老李在门口摆了三台“声音安检门”，测试自家证件照的质量。第一台太松，陌生人也能混过去；第二台太严，回头客也被拦在门外；第三台不紧不松，恰到好处。怎么用数字描述这三台门的水平？这就用到了评价指标。

声纹系统最常见的指标是识别准确率——辨认任务中判断正确的比例。但对确认任务，光看准确率不够，因为系统有“误放行”（假接受）和“误拦截”（假拒绝）两种错误，而且往往此消彼长：门松了，误放行增多；门严了，误拦截增多。行业里用等误率 EER 把两种错误压到平衡点来评价系统。

设阈值为 τ，假接受率 FAR 和假拒绝率 FRR 都随 τ 变化。EER 就是两者相等的点：

EER 越低，说明系统越“眼毒”：既能识破冒名者，又不冤枉本人。此外，DET 曲线把 FAR 和 FRR 画在两条轴上，曲线越贴近原点，系统越好。工程验收时还会给出特定工作点，比如 FAR = 1% 时 FRR 是多少。

老李用 EER 挑出了最靠谱的安检门，贴在店里当“质检章”。至此，顾客在照相馆的旅程完整了：认识声纹、拍五官快照、老派画师配方、AI 画师简笔、一条龙冲印、质检把关。这个故事也指向声纹产品的核心——声纹特征提取正是所有声纹识别系统的“第一张照片”，有了它，后面的识别与比对才有根基。

AI 应用场景

Python 演示

import numpy as np  def pre_emphasis(signal, alpha=0.97):    """预加重: 强化高频细节, 相当于给声音照片补光"""    return np.append(signal[0], signal[1:] - alpha * signal[:-1])  def framing(signal, frame_size=0.025, frame_shift=0.010, sr=16000):    """分帧加窗: 把长音频切成短帧"""    frame_len = int(frame_size * sr)    hop = int(frame_shift * sr)    frames = [        signal[i:i + frame_len]        for i in range(0, len(signal) - frame_len + 1, hop)    ]    return np.array(frames)  def extract_signature(audio):    """简化声纹特征: 分帧 + 频谱能量 + 均值池化"""    audio = pre_emphasis(audio)    frames = framing(audio)    spectrum = np.abs(np.fft.rfft(frames, axis=1))    spectral = np.mean(spectrum[:, ::4], axis=0)    energy = np.mean(spectrum, axis=1)    return np.append(spectral, [np.mean(energy), np.std(energy)])  def cosine_score(vec1, vec2):    """余弦相似度: 照片比对机"""    norm = np.linalg.norm(vec1) * np.linalg.norm(vec2) + 1e-8    return float(np.dot(vec1, vec2) / norm)  def generate_speaker(seed):    """模拟一位说话人的音频信号"""    rng = np.random.RandomState(seed)    sr = 16000    t = np.arange(sr)    voice = (np.sin(2 * np.pi * (120 + seed * 13) * t / sr) *             np.exp(-t / (sr * 0.6)) * 0.6)    noise = 0.08 * rng.randn(sr)    return voice + noise  def verify_speaker(enroll_audio, test_audio, threshold=0.8):    """说话人确认: 判定测试语音是否属于登记人"""    enroll_vec = extract_signature(enroll_audio)    test_vec = extract_signature(test_audio)    score = cosine_score(enroll_vec, test_vec)    return score >= threshold, score  if __name__ == "__main__":    speaker_a_enroll = generate_speaker(1)    speaker_a_test = generate_speaker(1)    speaker_b_test = generate_speaker(2)    ok1, s1 = verify_speaker(speaker_a_enroll, speaker_a_test)    ok2, s2 = verify_speaker(speaker_a_enroll, speaker_b_test)    print("same person score: %.4f -> %s" % (s1, "PASS" if ok1 else "REJECT"))    print("different person score: %.4f -> %s" % (s2, "PASS" if ok2 else "REJECT"))

1. def extract_signature(audio):把一段音频变成一条声纹特征，是代码里的“声音身份证拍照”核心函数。
2. audio = pre_emphasis(audio)先预加重补高频，对应照相馆里的“补侧光”步骤。
3. frames = [signal[i:i + frame_len] for i in range(...)]分帧加窗，把长音频按窗口切成短帧。
4. spectrum = np.abs(np.fft.rfft(frames, axis=1))对每帧做频谱变换，获得“五官轮廓”。
5. return np.append(spectral, [np.mean(energy), np.std(energy)])均值池化拼接特征，得到话语级“证件照”。
6. def cosine_score(vec1, vec2):余弦相似度“比对机”，算两个特征向量的夹角相似度。
7. np.dot(vec1, vec2) / (np.linalg.norm(vec1) * np.linalg.norm(vec2) + 1e-8)点积除以模长之积，加小常数防止除零。
8. voice = (np.sin(...) * np.exp(...) * 0.6)用正弦波乘指数衰减模拟一段带音调的人声。
9. ok1, s1 = verify_speaker(speaker_a_enroll, speaker_a_test)做一次“登记语音 vs 测试语音”的 1:1 核验。

常见误区

面试题