一首歌拆成多轨：AI音轨分离术

可视化演示

展示AI将歌曲拆分为人声、鼓、贝斯、伴奏等独立音轨的分离流程、Spleeter与Demucs模型对比及应用场景。

分离原理

想象你面前有一杯牛奶和可可粉调成的饮料，你现在想把它分回“白色层”和“棕色层”。人类做不到，但一位“智能分拣大厨”可以——他不需要真的把液体分层，他只需要记住“牛奶尝起来是这个味道，可可尝起来是那个味道”，然后从混合味道中分别“算”出各自的量。AI音轨分离的原理正是如此：一首成品歌就是一个混合信号，它实际上是多个乐器声音“叠加”进同一条时间轴的结果。不是切开，而是从叠加态中反推分量。

人耳能听出“这里有人声、这里有鼓”，是因为不同声源在频率上有各自的“指纹”。为了把这层指纹信息暴露给AI，音频信号要先做一次“翻译”：从随时间变化的波形，转换成随时间变化的频率图。这个变换叫短时傅里叶变换（STFT），得到的图叫频谱图。在频谱图上，人声是一条条不断起伏的明亮横纹，鼓是竖直的冲击竖线，贝斯则是底部厚实的一团“低频暗云”。

有了频谱图，分离问题就变成了一个“图像抠图”问题。AI模型学习出一个人声掩码（mask）矩阵，这个矩阵里的每个值都在 0 到 1 之间，代表“这个时刻、这个频率上，人声占了多大比例”。然后把掩码逐点乘到混合频谱上，人声就被“擦”出来了。数学上，假设混合信号的频谱为 \(X\)，真实人声频谱为 \(V\)，则生成的人声估计 \(\hat{V}\) 为：

回到那杯牛奶可可。大厨并没有真把液体分层，他只是基于“味道指纹”从混合风味里精确估算出每样原料的量。人声掩码也一样：它不是物理切割，而是“软性加权”。这也是为什么分离出的音轨总带一点点“水感”——它终究是估计，不是原装。

模型对比

如果说分离原理是大厨的“味觉理论”，那Spleeter和Demucs就是两套厨具。Spleeter是大排档里的爆炒铁锅——热得快、出货快，适合赶时间。Demucs则是米其林厨房里的低温慢煮机——火力细腻、出品干净，但等得久。

Spleeter是Deezer公司在2019年开源的工具，核心是一个U-Net结构的卷积神经网络。U-Net听名字像个地道战图纸：左边一层层“下采样”压缩信息，右边一层层“上采样”还原细节，中间用“跳连”把压缩前的细节直接递给还原端。这种结构特别适合图像类任务——而频谱图正好可以当作图像处理。Spleeter的招牌是速度：用GPU处理一首三分钟的歌只要几秒钟，CPU也不过一两分钟。

Demucs是Meta团队主导的后续方案。它不再看“频谱图像”，而是直接吃原始波形，用卷积+循环网络在时域上建模。这样做的优势是：避免了频谱变换带来的信息损耗，细节保留更好。Demucs还引入了“混合Transformer”架构，能捕捉长距离的乐器呼应关系。代价是显存占用高、速度慢，处理同样一首歌可能要几分钟。两者质量差距有多大？在2021年的MUSDB评测基准上，Demucs的SDR（信噪失真比）明显高于Spleeter，尤其是贝斯和鼓这两条低频轨，Demucs的分离更“干净”，少了很多串音。

1. 目标信号能量：\(s_{\text{target}}\) 是理想分轨信号（如纯人声），取其能量（平方和）。

$$\displaystyle\| s_{\text{target}} \|^2 = \sum_{t} s_{\text{target}}^2(t)$$

2. 误差信号能量：\(s_{\text{error}}\) 是估计信号与真值之间的差值（失真 + 残留串音），同样取能量。

$$\displaystyle s_{\text{error}} = \hat{s} - s_{\text{target}}$$

3. 取对数放大差距：科班用分贝（dB）来感知声音，10 倍对数能把微小的能量差距变成易读的听觉差异。

$$\displaystyle 10 \log_{10} \frac{\text{signal}}{\text{error}}$$

所以怎么选厨具？一句话：要快要省事，选Spleeter；要质量要干净，选Demucs。不过别急着下结论——大厨的水平也取决于备菜方式，也就是接下来要讲的“工具实操”。

 \displaystyle\text{SDR} = 10 \log_{10} \frac{\| s_{\text{target}} \|^2}{\| s_{\text{error}} \|^2}

工具实操

去餐厅吃饭，你不需要会颠勺，但你需要会看菜单。音轨分离也一样：原理归原理，你真正要动手时，只要会敲几个命令、点几个按钮。

先看Spleeter，它有Python命令行工具，一条命令就能把歌曲拆成两轨或四轨：

这里的4stems表示输出四轨：人声、鼓、贝斯、其他。如果你想只要人声和伴奏，可以用2stems。Spleeter还提供5stems版本，把“其他”再拆出钢琴。Demucs的命令同样简洁：

它会用默认的htdemucs模型做人声/伴奏分离，如果省略--two-stems，则直接输出四轨。不想装Python环境的话，也有在线工具：Moises（支持网页和App）、LALAL.AI、Vocal Remover，以及开源的AudioSep WebUI。在线工具适合偶尔用一次，但音频会传到云端，注意隐私和文件大小限制。

另外要注意音质设置：输入尽量用无损格式（WAV/FLAC），不要用低码率MP3；输出选WAV而非MP3，避免二次压缩损失；如果你只想要“消人声伴奏”，那用Spleeter的2stems比4stems后自己再混合更省事，因为4轨拼回去可能引入相位抵消问题。

工具就像菜单上的招牌菜：Spleeter是快手小炒，Demucs是文火炖汤，在线工具是便利店速食。重点不是选最贵的，而是选合适你当前需求的。

spleeter separate -i song.mp3 -o output/ -p spleeter:4stems

demucs --two-stems=vocals --out-dir demucs_out song.mp3

质量调优

拿到分离结果的那一刻，你可能会皱眉——为什么人声里还有镲片的“沙沙”声？别急，这是正常现象。分离质量不是一次成型，而是可以反复调味的。

第一招是选模型档位。Spleeter内置了2stems、4stems、5stems三档，轨道分得越细，每轨质量通常越差，因为混叠泄漏更严重。如果只做人声/伴奏分离，2stems是质量最稳的选择。Demucs则提供了htdemucs、htdemucs_ft（微调版）等预训练模型，_ft版通常SDR更高，值得先试。

第二招是分段处理。长音频（超过10分钟）会耗尽显存，Demucs会在内部把音频切成重叠片段再拼接，你可以设置--segment参数控制片段长度（如--segment 10），减小段长能降低显存占用，但会增加拼接处的人工痕迹。反过来，如果显存充裕，增大段长往往能提升一致性。

第三招是人声强化。分离后的人声有时显得“闷”，可以用均衡器把 500Hz 以下轻衰减、3kHz 左右轻提升，人声会立刻“亮”起来。如果你想提取的只是哼唱旋律，还可以把分离出的人声再送去一个音高修正插件，去除伴奏残留的毛刺。第四招是鼓点保留：如果你想要的是鼓的真实感而非干净感，分离后可以保留 20% 的原曲低频和鼓轨混合，能显著恢复“肉感”。

调优的本质是“听感循环”：分离 → 试听 → 调参 → 再分离。大厨做菜也要试味，AI分离同理。你不需要懂信号处理，只需相信你的耳朵。

应用场景

拆菜是为了做新菜。分离音轨的终极乐趣，是拿分离出的“食材”做各种二次创作。

制作卡拉OK伴奏——最经典的需求。用Spleeter的2stems直接消人声，就能得到伴奏轨；如果想保留和声，可以分离出4轨后再把“人声”去掉而保留“其他”（通常包含和声残留），这样伴奏会更丰满。B站上大量的“消音伴奏”就是这么来的。

提取人声做重混——做一个Remix，你不需要原版干声。分离出的人声轨可以直接叠到你自己的鼓组和贝斯线上。Demucs分离的人声通常比较干净，能直接放进混音台，但记得检查相位——如果人声和原曲反相，会出现奇怪的“梳状滤波”感。

采样素材获取——想用某首歌里的那一下鼓击？以前你得满世界找采样包，现在直接分离出鼓轨，再切出那一下。分离出的鼓轨会有轻微串音，可以配合瞬态整形器（Transient Shaper）收紧。游戏音效设计也常这样干：把影视声轨分离出“氛围层”，当关卡环境音。

K歌练习——不用再找“消音版”了，你可以自己分离，把原唱人声的旋律线留着做导唱，音量调低一点，跟着唱。这比单纯消音实用得多，因为你可以保留“半干声”。

这些场景都有一个共同点：把“听歌”这件事从被动消费变成了主动创作。你不再只是吃菜的人，你变成了分菜、配菜、做菜的人。

工作流程

最后，我们把整套流程串成一条生产线。无论你用哪个工具，音轨分离的标准工作流都是四步：导入 → 选模型 → 执行 → 导出。

第一步：音频导入。检查源音频格式：优先WAV/FLAC无损格式，码率建议320kbps以上；如果输入是视频，先用FFmpeg抽成音频；音频时长越长、采样率越高，处理越慢。第二步：模型选择。这次分离的目标是什么？只要人声和伴奏，选2stems；要四轨完整，选4stems；追求极致质量，上Demucs的htdemucs_ft。第三步：分离执行。本地跑命令，注意观察显存/内存占用；云端工具则上传文件排队等待。第四步：音轨导出。导出格式选WAV，参照采样率与原曲保持一致（通常是44.1kHz）。最后把导出文件丢进DAW（如Audacity、Logic Pro）检查对齐情况——AI分离出的轨与原始乐曲在时间轴上天然对齐，不需要手动校位。

如果在生产环境批量处理（比如做一个“一键伴奏生成”的网站），工作流会再多两步：把音频放进队列、用GPU并行推理；输出后自动计算SDR/主观听感评分，把质量差的样本送去重处理。

这套流程的价值在于可复制：它把一个“玄学”的分菜过程，变成了稳定的流水线。你每次分离都是重复同样的步骤，但随着模型迭代和参数微调，出品会一次次变好。这就是AI时代做“菜”的方式——先制定流程，再持续迭代。

AI 应用场景

Python 演示

import numpy as npfrom scipy.io import wavfile def mix_tracks(sr, duration=5.0):    # 模拟混合音轨：人声 + 鼓 + 贝斯 + 其他    t = np.linspace(0, duration, int(sr * duration), endpoint=False)    vocals = 0.6 * np.sin(2 * np.pi * 220 * t) * (1 + 0.3 * np.sin(2 * np.pi * 2 * t))    drums = 0.4 * np.sign(np.sin(2 * np.pi * 4 * t)) * np.exp(-3 * (t % (1 / 4)))    bass = 0.5 * np.sin(2 * np.pi * 55 * t)    other = 0.2 * np.sin(2 * np.pi * 440 * t) * np.sin(2 * np.pi * 0.5 * t)    mixture = vocals + drums + bass + other    return mixture, {"vocals": vocals, "drums": drums, "bass": bass, "other": other} def simple_mask_separate(mixture, sr, lowcut=80.0, highcut=4000.0):    # 用频域掩码分离：低频给贝斯+鼓，高频给其它（示意性简化版）    spectrum = np.fft.rfft(mixture)    freqs = np.fft.rfftfreq(len(mixture), d=1.0 / sr)    vocal_mask = ((freqs > highcut * 0.9) | (freqs < lowcut)).astype(float)    bass_mask = ((freqs >= lowcut) & (freqs <= 250)).astype(float)    drums_mask = ((freqs > 250) & (freqs <= highcut)).astype(float)     def apply(mask):        return np.fft.irfft(spectrum * mask, n=len(mixture))     return {        "vocals": apply(vocal_mask),        "bass": apply(bass_mask),        "drums": apply(drums_mask),    } if __name__ == "__main__":    sr = 22050    mixture, true_tracks = mix_tracks(sr)    separated = simple_mask_separate(mixture, sr)    print("混合信号长度:", len(mixture), "采样率:", sr)    for name, track in separated.items():        match = np.corrcoef(track, true_tracks[name])[0, 1]        print(f"{name}: 与真实分轨相关系数 {match:.3f}")

1. mixture = vocals + drums + bass + other模拟录音棚里多轨混合，歌曲就是这些信号的线性叠加。
2. np.fft.rfft(mixture)把时域波形转换到频域，相当于给声音做“翻译”成频率指纹。
3. vocal_mask = ((freqs > highcut * 0.9) | (freqs < lowcut)).astype(float)构造一个简易掩码，认为低频和高频区域更可能存在人声。真实模型会用深度网络学这个掩码。
4. np.fft.irfft(spectrum * mask, n=len(mixture))用掩码逐点乘频谱后反变换回时域，这就是掩码分离的核心操作。
5. np.corrcoef(track, true_tracks[name])[0, 1]计算分离音轨与真实分轨的相关系数，数值越接近 1 说明分离越成功。

常见误区

面试题