语音增强：波束成形Beamforming

可视化演示

展示延迟求和波束成形时延对齐、MVDR最优滤波与空间谱估计波达方向检测，交互理解麦克风阵列语音增强原理。

阵列基础：一排耳朵为什么能“听出方向”

在一场露天音乐节上，五个朋友一字排开，面向舞台。歌手开口时，站在最右边的人先听到，站在最左边的人后听到；如果歌手在正前方，大家几乎同时听到。这个先后差别虽然只有几毫秒，却被大脑用来判断方向。麦克风阵列也一样，只是把“耳朵”换成“麦克风”，把“大脑初判”换成数学运算。

麦克风阵列在一条线上等距放置 M 个麦克风。声音到达各个麦克风的时间差取决于声源方向，也取决于麦克风的间距 d。通常 d 取声波波长的一半，称为半波长间距：太小则方向分辨力弱，太大则会出现方向模糊，也就是空间混叠。常见的阵列几何还有环形、十字形等，不同几何决定了可观测的方向范围。

阵列的总长度 L 被称作孔径。孔径越大，主波束越窄，越能区分相邻方向。近似关系是：

就像卷尺越长越能测量细微角度，一排拉得越远的耳朵，也能把两束来自相邻方向的声音区分开。

延迟求和：把时间差“掰平”再相加

如果五个朋友想听清 30° 方向的声音，他们会先商量好：每个人根据自己所在位置，预估声音到达自己的时间差，然后在心里把这个“迟到”的声音往前拨。等到五个人喊出的声音步调一致，音量自然叠加；而来自其他方向的声波因为步调混乱，叠加后互相削弱。

延迟求和（Delay-and-Sum）把这个过程写成公式：设第 m 个麦克风的信号为 $x_m(t)$，目标方位角为 $\theta_0$，相邻麦克风间距 d，声速 c，则第 m 个麦克风相对参考点的时延是 $\frac{m d \sin\theta_0}{c}$。把所有信号平移后求平均：

当 $\theta_0$ 与真实目标一致时，目标信号同相相加；不一致时则被当成干扰抑制。这就是方向性的来源。

最小方差无失真响应：在保护目标的同时挖出“消声坑”

延迟求和只需要知道目标方向，却无法专门在某个捣乱的方向上“挖坑”。设想指挥家在派对上发现右边 30° 有人在敲锣，他希望朋友们不仅朝主唱方向听，还要在敲锣方向把耳朵“捂住”。MVDR 给出的答案是：给每个人的耳朵装一个可调的“旋钮”，也就是复数权重。旋钮调好后，主唱方向的响应保持为 1，而其他方向的输出功率尽量小。

从数学上看，MVDR 最小化输出方差 $\mathbf{w}^H \mathbf{R} \mathbf{w}$，同时满足 $\mathbf{w}^H \mathbf{a}(\theta_0)=1$。其中 $\mathbf{R}$ 是噪声协方差矩阵，$\mathbf{a}(\theta_0)$ 是目标方向的导向矢量。解为：

因为目标方向被锁定为 1，最小化功率的压力就转移到其他方向，于是干扰方向会自然出现深度为零的凹陷，也就是零陷。

自适应波束成形：让权重随时间“自己动”

现实中没有人固定不动。派对里有人走动、空调忽然启动、远处有人鼓掌，噪声方向一直在变。固定的一组旋钮会逐渐失灵。聪明的队长决定每隔一小段时间重新估计一次“哪些方向吵”，并微调旋钮——这就是自适应波束成形。

自适应算法使用当前输入信号和参考信号做在线更新。以最小均方（LMS）为例，用误差信号的共轭乘以输入向量 $\mathbf{x}_n$，再乘上步长 $\mu$，叠加到原权重上：

通过反复迭代，权重会逐渐逼近 MVDR 那样的最优解，从而跟踪时变噪声。

深度学习融合：让算法学会“听声辨位”

老练的指挥家经验有限。要让系统在混响和随机噪声中依然稳健，还需要一位“学徒”——深度学习模型。它不直接背公式，而是看大量“宴会现场”，学会根据多通道输入估计合适的波束权重。

深度学习波束成形有两条常见路径：一条是神经网络直接输出每个麦克风的权重；另一条是先用神经网络估计理想比掩码或空间协方差，再套用 MVDR 公式。不论哪种，核心都是让网络的参数 $\Theta$ 学习从多通道特征 $\mathbf{X}$ 到权重 $\mathbf{w}$ 的映射：

训练时直接优化增强后的语音与干净语音的误差，因此神经网络能捕捉传统公式难以建模的非线性关系，在混响环境中往往比纯经验公式更稳。

应用场景：从智能音箱到助听器

现在，这排耳朵已经进入客厅、会议室、口袋和汽车。智能音箱用波束成形锁定 5 米外的人声，抑制电视和厨房噪声；会议系统用它追踪发言人，让线上参会者听得更清楚；助听器用它实现方向性聆听，让老人面向朋友时忽略背后嘈杂；车载语音则用它抵消风噪和引擎声，让乘客轻声也能唤醒导航。

这些场景都可归结为提升信噪比。假设输入信噪比为 $\mathrm{SNR_{in}}$，输出信噪比为 $\mathrm{SNR_{out}}$，阵列带来的增益为：

不同场景的约束不同：智能音箱看重远场覆盖，会议系统看重实时性，助听器看重低功耗和舒适度，车载系统看重鲁棒性。但核心原理一致。

工程挑战：真实世界的“考试题目”

从排练到真实演出，会有各种意外：麦克风之间的增益不一致、摆放位置有偏差、墙面回声让同一句话在房间里“绕圈”、DSP 芯片算力有限。工程上需要一套对策。

阵列校准可以补偿麦克风之间的幅度和相位偏差；鲁棒波束成形通过对协方差矩阵做对角加载，把矩阵的“病态”修平：

实时系统还要求低时延与低算力，因此常用分帧处理、子带滤波和降采样；评价指标则包括 PESQ、STOI、SIR 等，分别衡量听感、可懂度和干扰抑制量。

---

AI 应用场景

Python 演示

import numpy as np fs = 16000M = 8d = 0.04c = 340.0dur = 0.2t = np.arange(int(fs * dur)) / fs target = 0.5 * np.sin(2 * np.pi * 700 * t)interf = 0.5 * np.sin(2 * np.pi * 300 * t)  def shift_to_angle(sig, theta_deg):    tau = d * np.arange(M) * np.sin(np.deg2rad(theta_deg)) / c    delay = np.round(tau * fs).astype(int)    sigs = np.zeros((M, len(sig)), dtype=float)    for m in range(M):        sigs[m] = np.roll(sig, delay[m])    return sigs  x_target = shift_to_angle(target, 0)x_interf = shift_to_angle(interf, 60)noise = 0.05 * np.random.randn(M, len(t))mix = x_target + x_interf + noise  def delay_sum(signals, theta_deg):    tau = d * np.arange(M) * np.sin(np.deg2rad(theta_deg)) / c    delay = np.round(tau * fs).astype(int)    out = np.zeros_like(signals[0])    for m in range(M):        out += np.roll(signals[m], -delay[m])    return out / M  def snr_db(s, ref):    err = s - ref    return 10 * np.log10(np.sum(ref ** 2) / (np.sum(err ** 2) + 1e-12))  if __name__ == "__main__":    before = mix[0]    after = delay_sum(mix, 0)    print("增强前 SNR:", round(snr_db(before, target), 2), "dB")    print("增强后 SNR:", round(snr_db(after, target), 2), "dB")

1. tau = d * np.arange(M) * np.sin(np.deg2rad(theta_deg)) / c计算每个麦克风相对参考点的到达时延。
2. sigs[m] = np.roll(sig, delay[m])用循环移位模拟声波到达不同麦克风的时间差。
3. mix = x_target + x_interf + noise混合目标、干扰和随机噪声，构成阵列输入。
4. out += np.roll(signals[m], -delay[m])把每个麦克风信号反向平移回参考时刻，实现“对齐”。
5. return out / M取平均，防止多路相加后音量膨胀。
6. snr_db(s, ref)用参考信号计算增强前后的信噪比，便于量化效果。

常见误区

面试题