说话人分离Diarization技术：一场寿宴录音的“对号入座”之旅

可视化演示

动态演示说话人分离Diarizati的核心机制，通过总览/传输/转换/输出四种模式展示关键概念与交互流程。

任务定义：给寿宴录音“对号入座”

拿到寿宴录音的那一刻，你要先想清楚：这份“发言时间表”到底该长什么样。它不需要你认出“爷爷”这个名字——现实中你当然认识自家人，但 AI 拿到的只是一段孤零零的音轨，没有任何人脸、名牌可以参照。它要做的，是把语音按“人”分成几组，并标出每一组出现的时间段，至于每组叫什么名字，可以用“人 1”“人 2”这类代号代替。

在技术术语里，这个任务叫说话人分离（Diarization）。最关键的区分在于它与语音识别（ASR）的关系：ASR 回答“说了什么”（what），Diarization 回答“谁在什么时候说”（who + when）。寿宴上你既需要记下那句“你们都有出息了”，也需要知道它是爷爷说的——两者拼在一起，才是一份完整的纪要。

Diarization 的输入是一段未知说话人数量的音频，输出则是一个结构化结果：把整条音轨切分成若干“说话人片段”，每个片段带一个说话人标签和起止时间。这个过程不需要预先注册任何人的声纹，完全靠“摸着石头过河”地分组，因此本质上是一个无监督的聚类问题。

想清楚“要产出什么”，后面的路就好走了。这份“人物+时间”的结构化表格，就是整场寿宴录音的骨架，也是后面所有环节服务的终点。

处理流程：四步流水线，从声波到人声

一旦想清楚目标，整理寿宴录音的第一步，是先把没有说话的段落剔除。宴会里有碰杯声、筷子敲碗声、电视背景音，还有两段完全安静的间隙——这些都不是“人声发言”，必须先用语音活动检测（VAD）把它们剪掉。就像整理笔记前先划掉空白页，只留下写字的纸。

接下来是分段与分窗：把每个语音区间再切成 1 秒上下的小片段，相当于把一长段发言拆成一条条的“碎纸条”。然后，每张碎纸条都被送到一个神经网络里，压成一个固定长度的声纹向量，这就是“给每张纸条采指纹”。最后一步是聚类归并：把指纹相似的碎片堆在一起，每一堆对应一位说话人，输出前面定义的那种带标签的时间段。

寿宴整理的流水线就此打通：剪空白（VAD）→ 撕纸条（分窗）→ 采指纹（嵌入）→ 分堆（聚类）。其中“采指纹”这一环最考验技术含量，我们专门花一节讲它。

声纹嵌入：独一无二的“声音指纹”

为什么你能在嘈杂寿宴里听出爷爷的声音？因为每个人的声道长度、口腔形状、说话习惯各不相同，组合起来就像指纹一样独特。AI 无法直接“听声辨人”，它需要把一段语音压缩成一个固定长度的数字向量，这就是声纹嵌入（Speaker Embedding）——相当于给声音拍了一张“指纹卡”。

早期方法 i-vector 用高斯混合模型统计每段语音的“音色分布”，像用尺子粗略量一量指纹的纹路；后来深度学习的 x-vector 直接把语音送进神经网络，让网络自己学会提取最能区分说话人的特征，精度大幅提升。如今主流的 ECAPA 等模型，本质都是 x-vector 路线的加强版。

有了指纹卡，判断“两段声音是不是同一个人”就变成了比较两个向量的方向是否一致。最常用的度量是余弦相似度：向量方向越接近，相似度越接近 1，说明越可能是同一个人。

指纹卡采得准不准，直接决定后面分堆的质量。如果爷爷和二姨的指纹正好长得像——比如音色接近、语速相同——这部分误差就会在聚类环节被放大。

聚类算法：把指纹卡分堆归位

现在你手里有一叠声纹指纹卡，每张对应 1 秒的语音碎片。接下来要做的，就像在寿宴结束后把散落的家族合影按人归堆：先看哪两张卡最像，把它们放一起，再逐步把相似的小堆合成大堆，直到堆与堆之间差异足够大才停手。这个思路就是层次聚类（AHC）——自底向上、两两合并。

层次聚类简单直观，但它是“近视眼”，只看局部最近的两堆。谱聚类则先把所有样本看成一张图上的节点，用图划分的方式寻找“全局最自然的分割”，对噪声更稳健。而贝叶斯 HMM 更进一步：它把“说话人切换”建模成一条时间链，利用“一个人不会每 0.5 秒就换一次”的时序先验来约束聚类结果，特别适合长录音。

无论哪种算法，核心都是一个“停止条件”：什么时候该停止合并，就意味着找到了说话人数量。层次聚类常用的做法是设定一个距离阈值，当两堆之间的最小距离超过阈值时，就认为它们不是同一个人。

寿宴上的“分堆”到此完成：爷爷的指纹卡堆、二姨的指纹卡堆、表哥表妹的指纹卡堆，各自归位。可这堆分得到底对不对？光靠感觉不行，得有一套客观的批改标准。

评估指标：给整理成果打分补漏

设想你把寿宴纪要交给家人验收，对方会怎么挑毛病？一是“这段没人讲话你怎么写上了”，二是“这段话明明说了你怎么漏了”，三是“这句话是表哥说的，你记成了表妹”。这三类问题，恰好对应说话人分离评估里最核心的指标——DER（Diarization Error Rate，分离错误率）。

DER 把错误分成三笔账：误警（FA）是把非语音当成语音的时间，漏检（Miss）是漏掉真实语音的时间，说话人混淆（Speaker Error）是语音被归到错误人名下的时间。三者相加，除以真实语音总时长，就得到一个百分比。DER 越低，说明这份“对号入座”做得越准。

除了 DER，JER（Jaccard Error Rate）按“正确对”计算错误，对重叠语音更友好，在近年会议评测中越来越流行。有了这些标尺，我们才能说清一套系统是“能用了”还是“还差得远”——寿宴笔记的质量，终于有了客观分数。

工具实践：请一位“老练帮手”出马

从零实现 VAD、声纹嵌入、聚类，就像自己磨面粉、发面团、砌烤炉，费时费力。好消息是，业界已有成熟的开源工具，其中 pyannote.audio 是说话人分离社区最常用的“老练帮手”：它把 VAD、分段、嵌入、聚类封装成一条开箱即用的 Pipeline，十几行代码就能跑出带说话人标签的时间段。对于动手实践的你，这是性价比最高的起点。

有了“谁在何时说话”，再让语音识别（ASR）主厨登场：Whisper 这类模型负责把每个说话人片段转成文字，两者级联，就得到了带发言人署名的完整纪转写。这就是经典的“先分离、再转写”方案。而 NeMo 等企业级工具链则在训练、推理、部署上提供更完整的工业支持，适合规模化的音频 AI 产品。

级联方案的输出可以用一条公式概括：最终文档等于对每一段说话人语音分别做 ASR 转写，再把文字与说话人标签绑定在一起。

有了 pyannote 这类帮手，你不需要从零造轮子；但理解流水线的每一环，才能在工具失灵时知道问题出在“采指纹”还是“分堆”上——好厨师不光会开火，还得懂火候。

前沿进展：从“事后整理”到“实时记账”

寿宴录音的整理一直是“事后诸葛亮”——先录完，再花几倍时间慢慢分离。前沿研究正在改变这个局面：端到端方案把 VAD、嵌入、聚类全部塞进一个神经网络，直接优化 DER 指标，避免了多阶段误差的层层累积；目标说话人提取（TSE）则更进一步，给定一句“爷爷的声音”作为参考，模型直接从混合录音里把爷爷的声音“抠”出来，连聚类的过程都省了。

端到端模型面临一个棘手的“排列问题”：如果模型同时输出三条语音流，到底哪条对应“人 1”、哪条对应“人 2”？训练时无法预先约定顺序。业界用排列不变训练（PIT）解决：穷举所有可能的对应关系，取误差最小的那个来更新参数。

从“事后整理”走向“实时记账”，说话人分离正在改变音频 AI 的体验：未来开完会立刻得到带署名的速记稿，直播弹幕也能自动标出谁在发言。这场寿宴的整理，AI 终于能跟你同步进行了。

---

AI 应用场景

Python 演示

import numpy as np  def gen_banquet_audio(sr=16000):    """合成寿宴录音: 两位说话人轮流发言, 夹杂静音段落"""    plan = [        ("A", 1.2), ("B", 0.8), (None, 0.5),        ("A", 0.9), ("B", 1.4), (None, 0.6),        ("A", 1.0), ("B", 0.7),    ]    parts = []    for spk, dur in plan:        n = int(sr * dur)        if spk is None:            parts.append(np.zeros(n))        else:            freq = 190.0 if spk == "A" else 280.0            t = np.linspace(0, dur, n, endpoint=False)            parts.append(0.5 * np.sin(2 * np.pi * freq * t))    return np.concatenate(parts), sr  def vad(audio, sr, win=0.03, hop=0.02, th=0.02):    """能量阈值语音活动检测, 返回[(起点秒, 终点秒)]"""    step, w = int(hop * sr), int(win * sr)    times = [start / sr for start in range(0, len(audio) - w + 1, step)]    frames = [(t, float(np.mean(audio[int(t * sr):int(t * sr) + w] ** 2)))              for t in times]    speech = [t for t, e in frames if e > th]    segments = []    for t in speech:        if segments and t - segments[-1][1] < hop * 1.5:            segments[-1][1] = t        else:            segments.append([t, t])    return [(s, e + win) for s, e in segments]  def embed(audio, sr, segments):    """把每个语音段压缩为二维声纹: 频谱质心 + 幅度能量"""    feats = []    for s, e in segments:        x = audio[int(s * sr):int(e * sr)]        n = len(x)        spec = np.abs(np.fft.rfft(x * np.hanning(n)))        freqs = np.fft.rfftfreq(n, 1.0 / sr)        centroid = float(np.sum(freqs * spec) / (np.sum(spec) + 1e-9))        feats.append([centroid, 10.0 * float(np.sqrt(np.mean(x ** 2)))])    return np.asarray(feats)  def cluster_segments(feats, th=40.0):    """贪心层次聚类: 每次合并最近的两组, 距离超阈值则停止"""    groups = [[i] for i in range(len(feats))]    while len(groups) > 1:        best_d, best_pair = None, None        for i in range(len(groups)):            for j in range(i + 1, len(groups)):                d = min(np.linalg.norm(feats[a] - feats[b])                        for a in groups[i] for b in groups[j])                if best_d is None or d < best_d:                    best_d, best_pair = d, (i, j)        if best_d > th:            break        i, j = best_pair        groups[i] = groups[i] + groups[j]        groups.pop(j)    return groups  if __name__ == "__main__":    audio, sr = gen_banquet_audio()    segs = vad(audio, sr)    print("VAD 检出的语音段:", [(round(s, 2), round(e, 2)) for s, e in segs])    feats = embed(audio, sr, segs)    groups = cluster_segments(feats)    for gi, g in enumerate(groups):        print("说话人", gi, "包含段索引", g)

1. plan = [("A", 1.2), ("B", 0.8), (None, 0.5), ...]用两个不同基频的正弦波模拟两位说话人，None 表示静音间隙。
2. frames = [(t, float(np.mean(audio[int(t * sr):int(t * sr) + w] ** 2))) for t in times]按 30ms 窗口计算短时能量，作为 VAD 的判据。
3. if segments and t - segments[-1][1] < hop * 1.5:把时间上邻近的语音帧合并成同一个语音段。
4. centroid = float(np.sum(freqs * spec) / (np.sum(spec) + 1e-9))用频谱质心近似“音色”，配合能量构成二维声纹。
5. groups = [[i] for i in range(len(feats))]初始化时让每个语音段各自成堆，对应层次聚类的起点。
6. d = min(np.linalg.norm(feats[a] - feats[b]) for a in groups[i] for b in groups[j])计算两组之间最近距离（单链距离）。
7. if best_d > th: break最近距离超过阈值就停止合并，阈值决定了最终说话人的数量。

常见误区

面试题