参数初始化 Xavier 与 Kaiming 推导

可视化演示

动态演示参数初始化Xavier与Ka的核心机制，通过概览/流程/对比/趋势四种模式展示关键概念与交互流程。

初始化危机

正式开赛之前，先看看“不配速”会出什么乱子。想象你临时拉来一支没训练过的接力队：有人起跑速度设为 0（参数全零），于是整支队伍像木头一样原地杵着——所有选手步伐完全一样，跑了几十棒队形纹丝不动，这叫对称性困境；有人起跑慢得离谱（参数过小），第一棒还看得见人影，传到第十棒时接力棒已经轻得像羽毛，最后一棒啥也没接到，这是梯度消失；还有人起跑猛如火箭（参数过大），棒子被层层加速，传到中途已经烫得冒烟、飞出跑道，这就是梯度爆炸。

在神经网络里，“接力棒”是信号（激活值），“传棒”是每一层的线性加权与激活变换。网络越深，棒子经过的节点越多，初始参数直接决定第一棒的速度。在一个忽略激活函数非线性的理想模型中，信号经过 L 层后的传播可以写成一个长长的连乘链条。

深度网络里，前向传播就是一连串这样的乘法。初始权重方差过大，信号指数放大；方差过小，信号指数衰减。反向传播同样如此：梯度从损失函数回传，同样要穿过这些权重连乘。因此初始化本质上是在“信号前传”和“梯度回传”两个方向上，同时给每棒分配一个既不放大也不缩小的起跑速度。随机初始化是破局的起点——让参数取小随机数打破对称性，但“多小才算小”，就需要一本精确的配速手册了。

教练在训练日志里写下一行字：必须找到一本配速手册，让接力棒从第一棒传到第三十棒，能量一分不多、一分不少。下面，我们就来推导这本手册的数学原理。

方差平衡原理

接力赛传棒的最高境界不是每一棒更快，而是“棒速恒定”。选手一接到棒，要用自己体内的能量把棒稳稳推出去：既不能越传越快（失控），也不能越传越慢（衰减）。在数学里，这个“棒的能量”用方差来衡量——它刻画了信号的整体强度。

考虑最简单的线性层：输入 x 的每个分量独立同分布、均值为零、方差为 Var(x)；权重 w 同理，均值为零、方差 Var(w)，且与输入相互独立。神经元的输出是输入按权重的加权和，于是输出 y 的方差可以逐步拆解。

有了前向守恒还不够。反向传播时，梯度也要穿过一层层网络往回传，梯度方差的变化由本层的输出神经元数量 n_out 决定。这样就有两个守恒方程：一个管前向传棒（对应 fan_in 输入通道数），一个管反向传反馈（对应 fan_out 输出通道数）。两个方程一般无法同时精确满足，于是产生“均衡条件”的想法：与其苛求各自等于 1，不如让两个方向的方差保持同一个量级的平衡。

也就是说，一本好的配速手册要同时照顾两个方向：棒往前传时每一棒不掉速，教练的喊话（梯度）从终点传回起点时也不衰减。找到这个平衡点，就是 Xavier 的目标。

Xavier 推导

2010 年，Glorot 和 Bengio 两位教练推出了第一版正式配速手册——Xavier 初始化（也叫 Glorot 初始化）。他们的想法很朴素：既然棒往前传要守恒、教练喊话往回传也要守恒，那就让这两个方向的配速取一个折中，谁都不偏袒。

正向看，本层有 n_in 个输入，要求 n_in·Var(w)=1；反向看，本层有 n_out 个输出，梯度回传要求 n_out·Var(w)=1。当 n_in 不等于 n_out 时，这两个方程不能同时满足，Glorot 的选择是取它们的平均值，得到方差公式。

实际实现时，更常用的是均匀分布而非正态分布。设权重从区间 [-a, a] 均匀采样，均匀分布的方差是 (2a)²/12 = a²/3。令它等于上面算出的方差，反解出边界 a，就得到 Xavier 均匀初始化的标准写法。

Xavier 手册在 tanh 这类“对称激活函数”下表现极佳：因为这些激活在零附近近似线性，几乎不消耗棒的能量，方差守恒条件完美成立。可它很快暴露一个弱点——遇到 ReLU，那个会拦下一半选手的新规则，棒的能量开始悄悄流失。这正是下一节要讲的危机。

ReLU 特性分析

ReLU 是深度学习圈最流行的“比赛规则”：每个选手接到棒后先过一道检查——信号是正数，放行；信号是负数，当场拦下，输出 0。规则看似简单，却让接力棒的能量悄悄减半。

设输入 z 服从零均值对称分布，比如标准正态。ReLU 的输出 max(0, z) 把左半边的值全清零，于是二阶矩只剩一半：E[max(0,z)²] = ½ E[z²]。虽然 ReLU 输出的均值也不再为零，但在 Kaiming 推导的核心近似里，关键是“能量折半”这个效应。于是线性层的方差传播式里多了一个 ½ 因子。

更麻烦的是，反向传播里 ReLU 的导数也有一半是 0（负半轴的导数恒为 0），梯度回传同样折半，所以前向和后向的补偿需求其实是一致的：都得把被 ReLU 拦掉的那 ½ 能量补回来。如果想让 ReLU 网络保持方差恒定，就必须在初始化里提前把这 ½ 算进去。

想象一场规则苛刻的比赛：每位选手都被要求“只传正能量的棒”。如果配速手册没把这条规则算进去，棒的能量每棒掉一半，传到终点早已形同虚设。于是，第二位教练何恺明出手了——他在 Xavier 的基础上，为 ReLU 量身定制了修订版配速手册。

Kaiming 修正

既然规则砍掉一半能量，那就在起跑时把速度加倍补回来——这就是 Kaiming（He）初始化最朴素的直觉。2015 年，何恺明等人发表论文，专门为 ReLU 网络重新推导配速公式。

把 ReLU 的 ½ 因子放回守恒方程：要求 Var(a^l) = Var(a^{l-1})，由上一节的递推式得 n_l·Var(w^l)·½ = 1，立即解出 Kaiming 方差公式。

Kaiming 论文对前向传播和反向传播分别做了推导，并证明在前向保持方差、权重对输入零对称的条件下，反向的梯度方差也能保持一致——这就是思维导图里说的“前向后向统一”。对比来看：Xavier 分母是 fan_in + fan_out，Kaiming 分母只有 fan_in；当 fan_in = fan_out（全连接层的常见对称情形），Kaiming 的方差恰好是 Xavier 的两倍，精确补偿了 ReLU 的折半。这个“乘以 2”不是拍脑袋的经验值，而是从方差守恒严格推出来的。实际使用中，PyTorch 的 nn.Linear 默认采用 Kaiming 均匀初始化，只要网络主体是 ReLU，直接用框架默认值就是安全选择。

配速手册更新到第二版：遇到 ReLU 规则，起跑速度直接翻倍，接力棒的能量从第一棒到第三十棒都稳稳当当。故事还没有结束——再好的手册，也要在实际训练中会用。下一节谈谈战场上的真实用法。

实践与调优

手册再精妙，比赛场上还有别的变量：选手当天的状态（学习率）、赛道的长度（网络深度）、以及教练的体检手段（方差诊断）。

今天的深度学习框架早已把这两本手册做成了默认配置：PyTorch 中 nn.Linear 默认采用 Kaiming 均匀初始化；TensorFlow 的 Keras 层默认用 Glorot 均匀初始化。对大多数 ReLU 网络，直接用框架默认值就是安全选择。但要真正稳定训练，还需留意三点：第一，学习率与初始化是“油门”和“起步姿态”的关系——Kaiming 配了较大的方差，如果学习率也开很大，两步更新后 loss 可能直接变 NaN；第二，网络越深，方差哪怕只有微小偏差也会被指数级放大，所以上百层的网络还要配合残差连接、LayerNorm/BatchNorm 来兜底；第三，要会诊断——初始化后先跑几次前向，统计每层激活的方差，就像教练赛前测一遍每位选手的心率。

一个常用的经验判据是：前向传播时每层激活方差应保持在同一数量级。实现诊断只需几行代码：跑一个 batch 数据，记录每层输出的标准差，若深层方差趋近 0 或溢出为 inf，就说明初始化不行。把两本手册放在一起，标准差的写法如下。

教练的最终心得是：配速手册解决的是“能不能跑完”的问题，学习率、优化器解决的是“跑多快”的问题。先用方差诊断确认棒子到终点还有能量，再谈加速。这样，一场三十层的接力赛才能稳稳冲线。

---

AI 应用场景

Python 演示

import mathimport random def init_weights(fan_in, fan_out, method):    if method == 'xavier':        # Xavier: 均匀分布, 边界来自方差 2/(fan_in+fan_out)        limit = math.sqrt(6.0 / (fan_in + fan_out))        return [random.uniform(-limit, limit) for _ in range(fan_in * fan_out)]    elif method == 'kaiming':        # Kaiming: 正态分布, 方差 2/fan_in 补偿 ReLU 折半        std = math.sqrt(2.0 / fan_in)        return [random.gauss(0.0, std) for _ in range(fan_in * fan_out)]    elif method == 'tiny':        # 错误示范: 起跑速度过小        return [random.gauss(0.0, 0.01) for _ in range(fan_in * fan_out)]    elif method == 'big':        # 错误示范: 起跑速度过大        return [random.gauss(0.0, 0.5) for _ in range(fan_in * fan_out)] def relu(x):    # ReLU: 负半轴清零, 这是能量折半的根源    return x if x > 0.0 else 0.0 def forward(method, layers=30, width=256, activation='relu'):    # 生成每层权重矩阵    weights = [init_weights(width, width, method) for _ in range(layers)]    # 初始信号: 标准正态, 方差为 1    x = [random.gauss(0.0, 1.0) for _ in range(width)]    history = [1.0]    for w in weights:        if activation == 'relu':            x = [relu(sum(w[i * width + j] * x[j] for j in range(width))) for i in range(width)]        else:            x = [sum(w[i * width + j] * x[j] for j in range(width)) for i in range(width)]        mean = sum(x) / len(x)        var = sum((v - mean) ** 2 for v in x) / len(x)        history.append(var)    return history if __name__ == '__main__':    for method in ['tiny', 'xavier', 'kaiming']:        history = forward(method)        print(method, 'layer0_var=%.4f' % history[0],              'layer30_var=%.2e' % history[-1])

1. limit = math.sqrt(6.0 / (fan_in + fan_out))Xavier 均匀边界，来自均匀分布方差反解，对应正文公式 4。
2. std = math.sqrt(2.0 / fan_in)Kaiming 标准差，方差加倍以补偿 ReLU 的折半效应。
3. x = [relu(sum(w[i * width + j] * x[j] for j in range(width))) for i in range(width)]模拟一层“加权求和 + ReLU 截断”，是接力棒经过一棒的完整过程。
4. history.append(var)记录每一层输出的方差，这是训练前做“方差诊断”的核心代码。
5. if __name__ == '__main__':程序入口，循环对比三种初始化；运行后你会看到 tiny 衰减到 0、xavier 配 ReLU 缩到 1e-9 量级、kaiming 稳定在 1 附近。

常见误区

面试题