梯度消失与爆炸：深层网络的顽疾

可视化演示

动态演示梯度消失与爆炸的核心机制，通过概览/流程/对比/趋势四种模式展示关键概念与交互流程。

信号衰亡现象

回到那条流水线。质检员在出口写了一张返工单，单子要依次经过每个工人传回起点。你站在第一道工序旁边，会听到什么？如果每个工人都把音量压到原来的 80%，传 20 个人后，音量只剩 0.8^20 ≈ 1.2%，你几乎听不见。这不是某一个人的错，而是“逐站衰减”的必然结果。

深度学习中的“返工单”就是梯度。训练时，损失函数对参数的偏导数从输出层逐层回传，每一层都要乘上该层激活函数的导数与权重矩阵。这个“转述系数”的大小，决定了传话的命运。

观察一个深层网络各层的梯度范数，你会发现惊人的规律：越靠近输入层，梯度范数越小，呈近似指数衰减。若记输出端梯度为 G₀，每层平均缩放为 c，则深度 d 处的梯度约为：

所以深层网络难训，不是因为它“笨”，而是因为返工单在路上被层层稀释。要治病，先要知道每个工位到底把人声压到了什么程度、为什么会压——这正是下一节链式法则要算的账。

链式法则溯源

为什么传话要“逐站乘系数”？因为每个工人只对自己的工位负责：他听到上一句，按自己的理解复述给下一站，复述必然有个人加工。数学上，这叫复合函数——后一层的输出是前一层的输出的函数。链式法则告诉我们，求复合函数的变化率，要把每一段的“变化比例”连乘起来。

反向传播正是链式法则的工程化实现。设网络有 N 层，损失 L 对第 1 层隐藏向量 \(\mathbf{h}_1\) 的梯度，等于损失对输出 \(\mathbf{h}_N\) 的梯度，一路乘过所有中间层的导数。

账算明白了：所谓梯度，本质是一串小数的连乘。现在再回头看流水线，每一个工位都在按自己的“转述比例”贡献一个因子。接下来两节，我们分别看看大家“集体压低声音”和“集体添油加醋”时，会发生什么。

消失的根源

老式流水线上最爱用一位叫 Sigmoid 的工人。他有个顽固的毛病：无论你对他喊多大声，他复述给下家时，音量最多只有原来的四分之一，常常还要更小。尤其在“我完全懂了”的饱和区，他几乎不出声——导数趋近于 0。

Sigmoid 是早期神经网络最常用的激活函数，输出被压到 (0,1) 之间，导数 \(\sigma'(z)=\sigma(z)(1-\sigma(z))\)，最大值恰好是 1/4。这意味着，无论权重矩阵怎么努力放大，激活这一关每层至少把梯度砍掉 75%。

症结找到了：不是网络不努力，而是每个工位都在自发地压低声音。要治本，要么换一个不压嗓的工人（换激活函数），要么在信号出发时就把音量调大（初始化），要么每站加一个扩音器（归一化）。后文逐一拆解。

爆炸的机制

与压嗓相反，还有些流水线专出“大嗓门”工人：每传一站，意见被添油加醋放大两三倍。传了十几站后，第一道工序的师傅耳边不再是气声，而是雷鸣般的咆哮，吓得把零件都扔了。

梯度爆炸不挑网络深浅，只看连乘因子是否大于 1。当权重矩阵的谱范数较大、且激活函数恰好工作在线性区（导数 ≈ 1）时，每层的传递范数 \(\|W_j\|\,|\sigma'(z_j)|\) 超过 1，连乘就会指数放大。

所以爆炸与消失是一枚硬币的两面：连乘小于 1 是消失，大于 1 是爆炸，等于 1 是理想但脆弱的平衡。想让传话稳定，要么压住嗓门系数（归一化、初始化），要么直接修一条不经过这些工人的专线（残差连接）。

激活函数解药

与其劝 Sigmoid 工人改嗓门（他改不了，饱和区天生如此），不如直接换人。新来的工人叫 ReLU，他的复读规则很简单：听到正数，原话照传（乘以 1）；听到负数，一律闭嘴（输出 0）。

ReLU 全称修正线性单元，数学上就是 \(\max(0,z)\)。它在正区间的导数恒为 1，意味着只要神经元处于激活状态，梯度经过它时完全不缩水——“压嗓”病根被根治。

换上 ReLU 后，流水线终于不用人人压嗓。但注意：他只保证“不压嗓”，并不保证“不添油加醋”——权重放大依然可能引爆梯度。所以下一味药，是在源头把音量调准。

权重初始化

新工人上任后，你还要考虑第一句话的起点音量。如果第一道工序出口的音量太大，后面即使不压嗓也会爆；太小，则传不到出口。问题来了：初始权重该怎么设，才能让信号在正向和反向传播中都“不增不减”？

答案取决于网络宽度与激活函数。Glorot（Xavier）初始化假设激活近似线性，让权重方差为 \(2/(n_{\mathrm{in}}+n_{\mathrm{out}})\)，保证前向与反向的方差都稳定；He 初始化专为 ReLU 设计，考虑到 ReLU 会干掉一半信号，把方差提高到 \(2/n_{\mathrm{in}}\)。

这味药保证了传话的“起步音量”适中。可流水线运转起来后，中间工人的嗓门还会受输入分布影响时大时小。于是下一味药——归一化，负责在每站动态校音。

归一化护航

想象你在流水线每个工位旁装了一个智能校音器：工人一开口，先测他这段音量（均值和方差），若声音偏大就自动压一压，偏小就补一补，再交给下一站。这样无论前站怎么折腾，后站听到的永远是标准音量。

这就是批归一化（BatchNorm, BN）的哲学。它统计当前批次激活值的均值与标准差，把数据拉回零均值、单位方差，再用可学习的缩放 γ 和平移 β 恢复网络需要的表达能力，防止中间层分布剧烈漂移。

校音器装好后，流水线的音量变得井然有序。但治标之余还有更彻底的一招：与其每站都校准，不如直接拉一条专线绕开所有工位——这就是残差连接的思路。

残差连接

假设有一批最关键的意见，你希望它一秒都不耽误、一丝都不衰减地传到第一道工序。最好的办法不是优化每个工人的嗓门，而是拉一条直达专线：每个工位上接一根旁路管道，意见可以跳过当前工位直接抄近路。

残差连接正是这条专线。它让每一层学习“变化量”而不是“全集”：输出 \(\mathbf{h}_{j+1} = \mathbf{h}_j + \mathcal{F}(\mathbf{h}_j)\)。反向传播求导时，这个恒等项产生一个单位矩阵 I，梯度连乘里永远保留一个 1 的因子，无论中间层怎样压嗓或添油加醋，信号都有一条永不衰减的直达通道。

到此，四味解药齐了：ReLU 换掉压嗓工人，初始化调准起步音量，归一化动态校音，残差直接修专线。理解这四招背后的“传话”逻辑，你就在深层网络的世界里拿到了通行证。

AI 应用场景

Python 演示

import numpy as np class TinyMLP:    """极简深层 MLP，用于观察各层反向传播梯度的幅度。"""     def __init__(self, depth=15, width=8, activation='sigmoid', seed=42):        rng = np.random.default_rng(seed)        self.activation = activation        self.width = width        scale = np.sqrt(2.0 / width)  # He 风格初始化，避免初始就爆        self.weight_map = [rng.normal(0, scale, (width, width)) for _ in range(depth)]        self.bias_map = [np.zeros(width) for _ in range(depth)]     def activate(self, z):        if self.activation == 'sigmoid':            return 1.0 / (1.0 + np.exp(-np.clip(z, -20, 20)))        return np.maximum(z, 0.0)     def derive(self, a):        if self.activation == 'sigmoid':            return a * (1.0 - a)  # 最大只有 0.25，天生"压嗓"        return (a > 0).astype(float)  # 正区间恒为 1，不压嗓     def grad_norm_map(self, x):        acts = [x]        for w, b in zip(self.weight_map, self.bias_map):            acts.append(self.activate(w @ acts[-1] + b))        g = np.ones_like(acts[-1])        norms = []        for i in reversed(range(len(self.weight_map))):            g = (self.weight_map[i].T @ g) * self.derive(acts[i + 1])            norms.append(float(np.linalg.norm(g)))        return list(reversed(norms))  def main():    rng = np.random.default_rng(0)    x = rng.normal(0.0, 1.0, (8,))    for name in ('sigmoid', 'relu'):        net = TinyMLP(activation=name)        norms = net.grad_norm_map(x)        first, last = norms[0], norms[-1]        ratio = last / max(first, 1e-15)        print('%-8s 输入层梯度 %.3e | 输出层梯度 %.3e | 相差 %.2e 倍'              % (name, first, last, ratio))  if __name__ == '__main__':    main()

1. scale = np.sqrt(2.0 / width)He 风格的初始化，保证初始信号既不明显衰减也不爆炸，排除初始化这一变量的干扰。
2. acts.append(self.activate(w @ acts[-1] + b))前向传播，保存每一层激活值，方便反向传播时求导数。
3. g = np.ones_like(acts[-1])把输出层梯度初始化为全 1，只观察梯度在传播过程中的幅度变化。
4. g = (self.weight_map[i].T @ g) * self.derive(acts[i + 1])反向传播的核心连乘：权重转置矩阵乘以上一层梯度，再逐元素乘激活导数。
5. return a * (1.0 - a)Sigmoid 导数公式，最大只有 0.25，这就是每层“压嗓”的数学来源。
6. return (a > 0).astype(float)ReLU 正区间导数恒为 1，信号通过时不衰减。
7. ratio = last / max(first, 1e-15)用输出层与输入层的梯度范数之比，量化“传话”被放大或稀释了多少倍。

常见误区

面试题