38.3.4 多模态检索：音频检索（哼唱搜索/语音搜索）

可视化演示

展示哼唱搜索的旋律提取与DTW匹配流程，以及语音搜索的ASR转写过程，对比两种音频检索模式的技术路径和适用场景。

两种检索入口

声音图书馆的门口立着一块告示牌：“哼得出旋律，走左窗；说得清歌名、歌手或歌词，走右窗。”管理员会根据你能提供的信息形态，选择完全不同的找歌路线。左窗的路线是“用一段声音直接匹配另一段声音”；右窗的路线是“先把声音变成文字，再按文字找声音”。两条路线走向同一座曲库，但沿途经过的技术站点截然不同。

在技术世界里，这块告示牌就是检索引擎的“入口路由”。用户发出的音频查询 q 有两种形态：一段哼唱的旋律波形，或一句自然语言的语音指令。目标只有一个：从曲库 R 中返回最匹配的歌曲 r*。无论哪条路线，整个系统都可以用一个统一公式概括——对所有候选歌曲计算查询与歌曲的匹配分，取分数最高者作为答案。

公式里的 Score(q, r) 是“分水岭”。在哼唱搜索中，Score 通常来自旋律方向轮廓的相似度、节奏周期的一致性；在语音搜索中，Score 则来自音频转成文本后的相关性，例如倒排索引的 TF-IDF 分数或文本向量的余弦相似度。入口路由决定了后续所有模块的选型，所以在设计音频检索引擎时，第一步永远是问：用户能提供什么样的查询？

回到图书馆，告示牌并非一成不变：如果用户哼得含糊，管理员会请他走语音窗试着报出歌名；如果连歌名都忘了，只好回哼唱窗多哼两句。现实中，产品也常常让两种路径互为兜底——哼唱无结果时引导用户说歌词，语音无结果时引导用户哼旋律。入口路由不是单选题，而是一道“组合题”。

旋律轮廓编码

左边的哼唱窗口有位神奇的管理员：你五音不全，他依然能对上歌。秘密在于，他从不在乎你唱的是 C 还是 D，只在乎音高“往上走了还是往下走了”。就像我们看一座山的剪影，不关心绝对高度，只关心线条起伏。这套“只看起伏”的做法，正是哼唱搜索得以在现实中成立的关键。

技术要复刻这位管理员，第一步是把哼唱波形转成一串音符的音高值，第二步再计算音符之间的相对变化方向。这里的音高 p_i 常用 MIDI 半音数字表示，差值为正说明旋律上行，为负说明下行，为零说明持平。只保留差值的符号，就得到了旋律方向轮廓。

方向轮廓的形式化定义如下：Δp_i = sign(p_{i+1} − p_i)。sign 函数把整数差值压成 +1、0、−1 三值。这带来一个巨大好处——跑调时绝对音高会整体偏移（例如整段低两度），但相邻音符的升降关系基本不变；即使偶尔唱错一个音，也只会影响局部方向，不会摧毁整条轮廓。因此，轮廓比对天然具备“音准容差”。

回到图书馆，管理员口袋里揣的并不是乐谱，而是一叠“小箭头卡”。每首歌对应一串箭头，用户哼几句，他也抽出一串箭头，两串箭头从头到尾对一对，相同越多，越可能是同一首。因为只比方向不比绝对音高，所以哪怕用户在浴室里把《小星星》唱成了《小星星变奏曲》，箭头大体还是那组箭头。

音频指纹技术

哼唱窗口先解决“你唱得不准怎么办”，但曲库管理员还有一个烦恼：几百万首歌，总不可能把每首都的波形背下来。于是他把每首歌浓缩成一张“迷你身份证”，上面只记录几个能量特征。比对时不再翻乐谱，而是快速刷身份证。这张身份证，就是音频指纹。

音频指纹的目标是用紧凑的摘要表示一段音频，让同一首歌的不同录音（不同音质、不同起始时间、不同响度）都能被迅速认出，同时让不同的歌尽量区分开。它不是“压缩版音频”，而是“可辨识的摘要”——不需要还原波形，只需要能区分歌。

经典做法分三步：切片、变换、聚合。先把音频切成短帧（约几十毫秒），对每一帧做傅里叶变换（把波形拆解成不同频率成分的数学工具）得到频谱 X(f)；然后把频率轴划分为若干子带 b，在每个子带内累加能量：E_b = Σ_{f∈b}|X(f)|²。每个子带能量构成指纹的一个分量。为什么是能量？因为峰值频段能量分布对同一首歌稳定，且不依赖相位信息，天然抗噪。识别时，查询指纹与库内指纹做快速匹配，例如利用哈希表实现常数时间候选查找。

馆长的指纹库里，每首歌的身份证都很小，几千首加起来才顶得上一首歌的体积。识别时只需要从数据库里“刷证”，瞬间锁定几首候选，再回到原曲做确认。这套“先指纹粗筛、再细节精排”的思路，是音频检索在海量曲库上保持实时性的基石。

语音搜索流程

右窗的语音管理员画风完全不同——他先掏出一个速记本，把你说的“播放小星星”飞快写成字条，再拿着字条去目录室查。声音在检索阶段已经“功成身退”，真正起作用的是字条上的文字。这一步“听写”，在计算机里叫自动语音识别（ASR）。

语音搜索的技术路线因此分为两段：前半段是把语音波形 X 转成文本 W，后半段是用文本去检索歌曲标题、歌手名和歌词索引。前半段解决“声音能不能懂”，后半段解决“查到哪首歌”。相比哼唱搜索的“声音对声音”，语音搜索是“声音→文字→声音”的长链路。

ASR 的解码目标可以用贝叶斯公式描述：Ŵ = argmax_W P(X|W)P(W)。P(X|W) 是声学模型，负责估算“这段话的音像不像 X”；P(W) 是语言模型，负责评估“这句话通不通顺”。两者相乘后取最大值的 W，就是最可能的转写结果。识别出的文本还要经过规范化（全角转半角、去掉口头语、歌曲别名对齐），才能进入检索阶段。

速记本也有失灵的时候：嘈杂环境会让字条写错字，用户口音也会让“小星星”变成“小心心”。所以语音窗口的管理员还要查阅“相似词表”，把错别字映射回正确歌名。现实中，语音搜索系统通常带纠错与改写模块，正是为了弥补速记本偶尔的手抖。

向量检索匹配

无论从哼唱窗还是语音窗进来，管理员最终都要面对同一个问题：如何在几百万首歌里快速找到“最像”的那个？他灵机一动，把每首歌画在一张巨大的“旋律地图”上——风格相近的歌靠得近，风格迥异的歌离得远。用户哼一段或说一句，他也在地图上落一个点，然后只需找“离这个点最近”的歌。

这张“地图”就是向量空间。哼唱搜索可以把方向轮廓编码成旋律特征向量，语音搜索可以把文本查询编码成语义向量；歌曲库一侧也预先对每首歌做了同样的向量化。任务由此变成：给定查询向量，在库中找出距离最近的 K 个向量。

最常用的相似度是余弦相似度：sim(q,d) = (q⃗·d⃗)/(|q⃗||d⃗|)。分子是点积，衡量方向一致性；分母用两个向量的模长做归一化，让相似度不受“响度”这类长度信息干扰。对音频检索，这尤其重要：同一首歌播放音量再大，也不该改变它和查询的相似度。全库逐条计算后按分数降序排序取 Top-K；对上亿规模的库，还会引入 ANN（近似最近邻）索引，用聚类或图结构跳过大量无关向量。

地图画得越合理，找歌就越快。管理员的“画图功夫”来自特征工程：旋律轮廓、音频指纹、文本语义向量都是不同维度上的“绘图坐标”。向量检索把主观的“像不像”变成客观的“距离远近”，这也是多模态检索能统一处理声音、文字、图像的根本原因。

应用场景落地

如今，哼唱窗口和语音窗口不再只存在于幻想中的图书馆——哼唱窗口坐进了音乐 App 的“听歌识曲”柜台，语音窗口住进了智能音箱的“语音点歌”服务台。用户在地铁里哼一段、在客厅里喊一声，两个窗口背后的算法便各自忙碌起来。

真实产品的输入往往更随意：可能是嘈杂环境中的一段清唱，也可能是一句带口音的“放首歌”。无论输入形态如何，产品侧都遵循同一套工程链路：采集音频 → 前端特征提取（旋律轮廓或 ASR）→ 检索匹配 → 结果重排 → 播放反馈。

以音乐 App 为例，用户哼唱 5 秒，客户端提取旋律方向轮廓，服务端在千万级指纹库中做粗筛返回候选，再用细粒度特征重排。智能音箱场景，用户说“播放周杰伦的晴天”，端侧 ASR 转文本，云端检索歌曲库，返回音频流播放。两路可以统一写成：s* = argmax_s Match(f_q(a), f_s(s))，其中 a 为查询音频，f_q 与 f_s 分别是查询侧和歌曲侧的特征提取函数。

从图书馆走向 App，两位管理员还学会了互相补位：哼唱无结果时，App 会提示“您可以说出歌名试试”；语音点歌找不到时，音箱会问“要不要哼一下旋律？”。两种窗口从竞争走向融合，构成了今天多模态检索产品最常见的交互形态。

技术挑战权衡

再能干的管理员也有头疼时刻：窗外电钻声盖过哼唱，一位用户把《小星星》唱成原创歌曲，书架多到跑一圈要一小时。音频检索的工程路上，永远横着三座山：噪声、变体、规模。真正的系统设计，就是在这三座山之间走钢丝。

噪声同时攻击两条路径：哼唱搜索的旋律提取在嘈杂中被干扰，语音搜索的 ASR 在嘈杂中翻车。变体则来自用户：跑调的哼唱、带口音的话语、含糊的歌词。规模问题更直接——库越大，检索越慢。因此，工业级系统通常用“前端降噪 + 鲁棒特征 + 粗筛精排”三层结构应对。

前端降噪依赖麦克风阵列或谱减法，把电钻声压下去；鲁棒特征指前面介绍的方向轮廓和音频指纹，它们天生舍弃绝对细节，换取对变体的宽容。效率和精度则是此消彼长的权衡：特征越紧凑，检索越快，但区分度下降；特征越精细，精度越高，但库越大越慢。评估一个系统的综合能力，常用 F1 分数——精确率与召回率的调和平均。

那位管理员最后学会的，是“不追求完美，只追求够用”：允许少量误识别，但保证绝大多数用户在两三秒内得到候选；允许方向轮廓偶有错位，但保证整段旋律的宏观走向不错。音频检索的成熟，不在于消灭所有噪音，而在于让系统在嘈杂世界里依然稳健地给出答案。

AI 应用场景

Python 演示

# -*- coding: utf-8 -*-"""哼唱搜索与语音搜索迷你演示: 声音图书馆的两个窗口""" NOTE_TO_SEMITONE = {    'C': 0, 'D': 2, 'E': 4, 'F': 5, 'G': 7, 'A': 9, 'B': 11}  def parse_melody(text):    """把 'C D E G' 转成半音数字列表,    无法识别的符号直接跳过"""    notes = []    for token in text.split():        up = token.upper()        if up in NOTE_TO_SEMITONE:            notes.append(NOTE_TO_SEMITONE[up])    return notes  def direction_profile(notes):    """旋律方向轮廓: 升=+1, 平=0, 降=-1"""    profile = [0]    for i in range(len(notes) - 1):        diff = notes[i + 1] - notes[i]        if diff > 0:            profile.append(1)        elif diff < 0:            profile.append(-1)        else:            profile.append(0)    return profile  def contour_match(query, candidate):    """逐位比较两条轮廓, 返回一致比例"""    if len(query) != len(candidate):        return 0.0    hits = 0    for a, b in zip(query, candidate):        if a == b:            hits += 1    return hits / len(query)  SONG_LIBRARY = {    '小星星': 'C C G G A A G',    '两只老虎': 'D E D C D E D C G F E',    '生日快乐': 'G G A G C B G G A G E D',    '找朋友': 'C D E E F G C D E E F G C',}  def hum_search(hum_input):    """哼唱窗口: 旋律轮廓匹配"""    query = direction_profile(parse_melody(hum_input))    results = []    for name, melody in SONG_LIBRARY.items():        candidate = direction_profile(parse_melody(melody))        score = contour_match(query, candidate)        results.append((name, score))    results.sort(key=lambda x: x[1], reverse=True)    return results  def speech_search(query_text):    """语音窗口: 文本命中检索"""    results = []    for name in SONG_LIBRARY:        score = 1.0 if (query_text in name or name in query_text) else 0.0        results.append((name, score))    results.sort(key=lambda x: x[1], reverse=True)    return results  def main():    print('=== 音频检索迷你演示: 声音图书馆 ===')    mode = input('选择窗口 (1=哼唱, 2=语音): ').strip()    if mode == '2':        query_text = input('说点什么 (如 "播放小星星"): ').strip() or '小星星'        results = speech_search(query_text)        print('--- 语音窗口结果 ---')        for name, score in results[:2]:            print('%-6s 文本命中: %d' % (name, int(score)))    else:        hum_input = input('哼一段 (如 C C G G A A G): ').strip() or 'C C G G A A G'        results = hum_search(hum_input)        print('--- 哼唱窗口结果 ---')        for name, score in results[:2]:            print('%-6s 轮廓匹配度: %.2f' % (name, score))  if __name__ == '__main__':    main()

1. for token in text.split():把用户输入的哼唱文字逐个解析成可计算的半音数字
2. if diff > 0:相邻音高差的正负决定方向轮廓取 +1 还是 −1
3. def contour_match(query, candidate):把两条旋律方向轮廓逐位比对，返回一致比例作为匹配分
4. results.sort(key=lambda x: x[1], reverse=True)按匹配分降序排序，得分最高的歌曲排最前
5. score = 1.0 if (query_text in name or name in query_text) else 0.0语音搜索侧用文本包含关系判断是否命中歌名
6. mode = input('选择窗口 (1=哼唱, 2=语音): ').strip()用输入模拟两个窗口的入口路由，哼唱走轮廓、语音走文本

常见误区

面试题