想象你经营一家餐厅：顾客点的是一道复杂菜品，原材料从入口进来，经过洗、切、调味、摆盘，最后出餐。若只有一个厨师包办所有工序，他再厉害也会手忙脚乱；若在每道工序上安排合适的厨师，并设计好传递配料的比例，整条流水线才能又快又稳。多层感知机（MLP）就是这样一座“后厨大厦”——输入层是原材料，隐藏层是一道道加工工位，输出层是出餐口。本文从单层到深度，帮你理解层数、宽度、初始化、Dropout、BatchNorm 以及深层训练中的梯度问题，最后解释为什么这座全连接后厨面对图像时会力不从心。

岗位关联

对 AI 从业者：理解 MLP 结构是设计一切深度模型的底层直觉，决定你调参、诊断训练失败、选择架构时不再靠猜。

目录
  1. 可视化演示
  2. 1. 网络整体结构：后厨大厦的图纸
  3. 2. 宽度与深度：一个万能大厨还是多条流水线
  4. 3. 参数量计算：先算清厨师和传送带
  5. 4. 权重初始化：新厨师的初始配方
  6. 5. Dropout：让团队轮流休假
  7. 6. BatchNorm：统一半成品规格
  8. 7. 深层梯度问题：越传越弱与越传越炸
  9. 8. 图像任务局限：全连接后厨不适合影像菜
  10. AI 应用场景
  11. Python 演示
  12. 常见误区
  13. 面试题

可视化演示

展示MLP前向传播数据流、Dropout正则化机制及梯度消失现象与反向传播过程。

本节配有交互动效（进入视口后自动加载，约 3KB）。

前向传播 输入层4节点接收特征向量 隐藏层6节点经ReLU激活非线性变换 输出层3节点产生分类结果

1. 网络整体结构：后厨大厦的图纸

把 MLP 想成一间后厨：最左边的输入层是收菜口，中间几个隐藏层是洗、切、调味工位，最右边输出层是出餐口。每一层里的每个神经元就是一个厨师，而相邻两层之间每一条连线，都是一条“配料传送带”。所谓的全连接，就是上一层的每位厨师都能把半成品递给下一层的每一位厨师。

第一层拿到原始数据，经过加权求和，再过一个非线性激活函数，才送到下一层。用数学语言说，每一层都在做同一件事：把上一层的输出 $a^{[l-1]}$，乘上权重 $W^{[l]}$，加上偏置 $b^{[l]}$，然后交给激活函数 $g$ 决定是否放行。

回到后厨：没有隐藏层，只有输入到输出的直连，就像生菜直接上桌，只能做沙拉；增加隐藏层，就是把菜交给洗、切、调味工位，才有了丰富口感。输入层不参与计算，所以我们说“2 层 MLP”时一般指 1 层隐藏层加 1 层输出层。

a[l]=g(W[l]a[l−1]+b[l])\displaystyle a^{[l]} = g\left(W^{[l]} a^{[l-1]} + b^{[l]}\right)
这一层的输出，是上一层的半成品经过加权组合、加上基准、再过一道闸门后的下一份半成品。
  1. 上一层输出 $a^{[l-1]}$上道工序送来的半成品向量，每个元素代表一个厨师刚才的产出。
    a[l−1]\displaystyle a^{[l-1]}
  2. 权重矩阵 $W^{[l]}$记下上一层的每位厨师与这一层的每位厨师之间的传送比例，是全连接的核心。
    W[l]\displaystyle W^{[l]}
  3. 偏置 $b^{[l]}$给当前层每个工位加一个独立基准，相当于厨师自己的口味底线。
    b[l]\displaystyle b^{[l]}
  4. 激活函数 $g$把线性结果压成非线性信号，避免整栋大厦退化成一层线性变换。
    a[l]=g(W[l]a[l−1]+b[l])\displaystyle a^{[l]} = g\left(W^{[l]}a^{[l-1]} + b^{[l]}\right)

2. 宽度与深度：一个万能大厨还是多条流水线

如果你只愿意雇一个员工，理论上可以雇一个无所不能的“万能大厨”——万能近似定理说，只要隐藏层足够宽，MLP 就能逼近任意连续函数。这也是“单层到深度”演进中的起点：单层就够，但未必划算。

但这只是“存在”：把成千上万个厨师塞进同一层开放式厨房，管理混乱、参数爆炸，而且不一定优化得到。深度学习的演进思路是多雇佣几个普通厨师，每层做简单的加工：第一层识别笔画，第二层识别边角，第三层组合成部件。

但宽度和深度不是无限的好。深度像工序，越深越能表达抽象特征；过深会让误差信号传不到起点，过度宽度则让模型爱背菜单而不是学做菜。所以实际设计要像配后厨一样，先定预算，再调配宽度与深度。

f(x)≈∑j=1mvj σ(wj⊤x+bj)\displaystyle f(x) \approx \sum_{j=1}^{m} v_j\, \sigma(w_j^{\top} x + b_j)
万能近似定理保证存在，但不保证容易找到；深度结构用更小的代价表达复杂函数。
  1. $m$ 个隐藏神经元$m$ 越大，厨师越多，配方库越丰富。
    m\displaystyle m
  2. 基础模板 $\sigma(w_j^{\top} x + b_j)$每个隐藏神经元是一个基础口味模板，对输入先做方向投影再非线性激活。
    σ(wj⊤x+bj)\displaystyle \sigma(w_j^{\top} x + b_j)
  3. 输出权重 $v_j$出餐口把每个模板的贡献按权重混合。
    vj\displaystyle v_j
  4. 约等号在输入空间的有限范围内，$m$ 足够大时误差可以任意小。
    f(x)≈∑j=1mvjσ(wj⊤x+bj)\displaystyle f(x) \approx \sum_{j=1}^{m} v_j \sigma(w_j^{\top} x + b_j)

3. 参数量计算：先算清厨师和传送带

要决定后厨规模，先会算人数和传送带。MLP 的参数主要由权重和偏置组成：相邻两层之间有 $n^{[l-1]} \times n^{[l]}$ 条传送带，每条一个权重；每个当前层神经元还有一个偏置。把这些累加就是总参数量。

例如 784→256→10 的 MLP，参数约 20 万；而 784→784→784→10 的三层结构直接破百万。算参数能帮你判断模型体积、显存占用和过拟合风险，是后厨预算表的第一页。

P=∑l=1L(n[l−1]×n[l]+n[l])\displaystyle P = \sum_{l=1}^{L} \left( n^{[l-1]} \times n^{[l]} + n^{[l]} \right)
总参数 = 每一段相邻楼层间的连接数，加上每层自己的偏置数。
  1. 相邻两层连接 $n^{[l-1]} \times n^{[l]}$全连接结构下，每两个神经元之间都有一条传送带。
    n[l−1]×n[l]\displaystyle n^{[l-1]} \times n^{[l]}
  2. 当前层偏置 $n^{[l]}$每个当前层神经元都有一个独立偏置。
    n[l]\displaystyle n^{[l]}
  3. 对 $l=1$ 到 $L$ 累加把所有可训练层的权重和偏置全部加起来。
    P=∑l=1L(n[l−1]n[l]+n[l])\displaystyle P = \sum_{l=1}^{L} \left( n^{[l-1]} n^{[l]} + n^{[l]} \right)

4. 权重初始化：新厨师的初始配方

新厨师入职，第一件事是给每个配方一个初始猜测。如果所有厨师初始配方完全相同，无论训练多久，同一层的厨师都会学成同一个样子——对称性无法打破。所以初始化必须随机，并且大小要合适。

Xavier 初始化和 He 初始化是两种常用方案。Xavier 同时考虑输入和输出的神经元数量；He 初始化专门配合 ReLU，因为 ReLU 会让一半信号变零，所以需要把初始方差调大一些。

回到后厨：Xavier 是参考“前一个工位能送多少菜、后一个工位能接多少菜”来调味；He 则知道 ReLU 会倒掉一半信号，所以初始调料更浓一点。合适的初始化让前向信号不过分放大、反向梯度不过分衰减，是深层大厦开工前的第一块基石。

Var⁡(W[l])={2n[l−1]+n[l],Xavier2n[l−1],He\displaystyle \operatorname{Var}(W^{[l]}) = \begin{cases} \dfrac{2}{n^{[l-1]}+n^{[l]}}, & \text{Xavier} \\[6pt] \dfrac{2}{n^{[l-1]}}, & \text{He} \end{cases}
初始化不是随便取小随机数：Xavier 看输入输出两边的工位数，He 只看输入工位数，并补偿 ReLU 关掉一半信号的效应。
  1. 权重方差 $\operatorname{Var}(W^{[l]})$初始权重围绕 0 波动的幅度。
    Var⁡(W[l])\displaystyle \operatorname{Var}(W^{[l]})
  2. Xavier 方差 $\frac{2}{n^{[l-1]}+n^{[l]}}$用输入和输出神经元数做平均，适合 tanh/sigmoid。
    2n[l−1]+n[l]\displaystyle \frac{2}{n^{[l-1]}+n^{[l]}}
  3. He 方差 $\frac{2}{n^{[l-1]}}$只按输入神经元数量缩放，适合 ReLU。
    2n[l−1]\displaystyle \frac{2}{n^{[l-1]}}
  4. 权重不能为 0小随机数保证同层神经元起点不同，打破对称。
    W[l]∼N(0,σW2)\displaystyle W^{[l]} \sim \mathcal{N}(0, \sigma_W^2)

5. Dropout：让团队轮流休假

后厨培训时，如果某道菜全靠同一个“定海神针”厨师，他一休假整条线就瘫了。Dropout 的做法是：训练时每轮随机让一部分厨师“强制休假”，让其他厨师学会补救，从而避免神经元之间过度共适应。

在实现中，每个神经元以保留概率 $p$ 被保留，否则输出被置零。为了让训练和测试阶段的整体输出强度一致，通常还要把保留后的激活除以 $p$，这就是 inverted Dropout。

Dropout 像给团队做轮岗培训，降低对特定成员的依赖。它只在训练时启用，正式营业（推理）时全员上岗，否则客人等到的菜会随机缺料。

a~[l]=1p(r[l]⊙a[l]),rj[l]∼Bernoulli(p)\displaystyle \tilde{a}^{[l]} = \frac{1}{p} \left( r^{[l]} \odot a^{[l]} \right), \quad r_j^{[l]} \sim \mathrm{Bernoulli}(p)
训练时激活以概率 $p$ 保留并除以 $p$，测试时不再随机丢弃，这样两阶段的输出期望一致。
  1. 随机掩码 $r_j^{[l]}$每个工位独立抽签，有 $p$ 概率保留、$1-p$ 概率休假。
    rj[l]∼Bernoulli(p)\displaystyle r_j^{[l]} \sim \mathrm{Bernoulli}(p)
  2. 逐元素相乘被休假的工位输出归零。
    a~[l]=r[l]⊙a[l]\displaystyle \tilde{a}^{[l]} = r^{[l]} \odot a^{[l]}
  3. 除以 $p$把总信号强度拉回原刻度，否则训练输出会比测试时小。
    a~[l]=1p(r[l]⊙a[l])\displaystyle \tilde{a}^{[l]} = \frac{1}{p} \left( r^{[l]} \odot a^{[l]} \right)
  4. 作用位置通常放在隐藏层激活之后、送进下一层之前，输出层不加。
    a[l]→a~[l]→a[l+1]\displaystyle a^{[l]} \to \tilde{a}^{[l]} \to a^{[l+1]}

6. BatchNorm：统一半成品规格

即使每个厨师都按菜谱做，不同批次的原材料可能偏咸或偏淡，传到后面的工位就会失控。BatchNorm 的灵感来自“每道工序前先统一规格”：对当前 mini-batch 的激活做标准化，让它有接近 0 的均值和接近 1 的方差，再用可学习的 $\gamma$、$\beta$ 恢复需要的表达能力。

BatchNorm 通常放在线性层之后、激活函数之前，像在每层交接处统一半成品规格。它间接缓解梯度消失，让深层网络训练更稳。注意：训练时用当前 batch 的统计量，测试时用滑动平均统计量。

x^i=xi−μBσB2+ϵ,yi=γx^i+β\displaystyle \hat{x}_i = \frac{x_i - \mu_{\mathcal{B}}}{\sqrt{\sigma_{\mathcal{B}}^2 + \epsilon}}, \quad y_i = \gamma \hat{x}_i + \beta
标准化之后不直接定死，$\gamma$ 和 $\beta$ 让网络自己重新决定合适的尺度和位置。
  1. 批次统计量 $\mu_{\mathcal{B}}$ 和 $\sigma_{\mathcal{B}}^2$当前这批数据的均值和方差。
    μB, σB2\displaystyle \mu_{\mathcal{B}},\ \sigma_{\mathcal{B}}^2
  2. 标准化公式每个值减均值再除标准差，让分布稳定。
    x^i=xi−μBσB2+ϵ\displaystyle \hat{x}_i = \frac{x_i - \mu_{\mathcal{B}}}{\sqrt{\sigma_{\mathcal{B}}^2 + \epsilon}}
  3. 极小常数 $\epsilon$防止除数为零。
    ϵ\displaystyle \epsilon
  4. 可学习参数 $\gamma$ 和 $\beta$恢复或调整表达能力。
    yi=γx^i+β\displaystyle y_i = \gamma \hat{x}_i + \beta

7. 深层梯度问题：越传越弱与越传越炸

后厨的改进意见来自顾客反馈：菜太咸，这个意见要一路传回最前面的洗菜工。反向传播就是这条意见传递链，每经过一层，都要乘以这层的权重和激活函数的导数。如果每层都让信号打点折，传不了几层就听不见了——梯度消失；如果每层都在放大，就会变成咆哮——梯度爆炸。

其中 $D^{[k]} = \operatorname{diag}(\sigma'(h^{[k]}))$ 是激活函数导数构成的对角矩阵。

缓解方法正是从连乘入手：用 ReLU 让 $D$ 变成 0/1，用 He 初始化控制 $W$ 的尺度，加 BatchNorm 稳定分布，加残差连接让意见“坐电梯”跳层直达。后厨因此不会因为楼层太多而听不见最前面的声音。

∂L∂h[1]=W[2]⊤D[1] W[3]⊤D[2]⋯W[L]⊤D[L−1]⏟误差沿楼层连乘 ∂L∂h[L]\displaystyle \frac{\partial \mathcal{L}}{\partial h^{[1]}} = \underbrace{W^{[2]\top} D^{[1]} \, W^{[3]\top} D^{[2]} \cdots W^{[L]\top} D^{[L-1]}}_{\text{误差沿楼层连乘}} \, \frac{\partial \mathcal{L}}{\partial h^{[L]}}
深层梯度是许多矩阵相乘的结果：每一层的奇异值若普遍小于 1，信号指数衰减；若大于 1，信号指数爆炸。
  1. 输出层误差 $\partial \mathcal{L} / \partial h^{[L]}$顾客反馈在出餐口先形成的初始意见。
    ∂L∂h[L]\displaystyle \frac{\partial \mathcal{L}}{\partial h^{[L]}}
  2. 权重转置 $W^{[k+1]\top}$意见沿连接反向传递时先乘权重转置。
    W[k+1]⊤\displaystyle W^{[k+1]\top}
  3. 激活导数对角阵 $D^{[k]}$ReLU 中是 0/1 闸门，sigmoid/tanh 中常小于 1。
    D[k]=diag⁡(σ′(h[k]))\displaystyle D^{[k]} = \operatorname{diag}(\sigma'(h^{[k]}))
  4. 多层连乘层数越深，乘数越多，信号指数放大或衰减。
    ∏k=1L−1W[k+1]⊤D[k]\displaystyle \prod_{k=1}^{L-1} W^{[k+1]\top}D^{[k]}

8. 图像任务局限：全连接后厨不适合影像菜

图像像一张摆满食材的圆桌，相邻像素有很强的空间关系。但 MLP 把图像一拉平，就成了把所有像素倒进一个长管道，每个像素都平等地连到下一层的每个神经元。圆桌的空间结构完全丢失，也缺少平移不变性。

从参数角度看，全连接更是灾难。一张 $32 \times 32 \times 3$ 的图片拉平后有 3072 维，若第一个隐藏层有 1024 个神经元，仅这一层就有约 314 万参数；而一个 $3 \times 3$ 卷积核处理 3 通道输入到 64 通道，参数只有 1728 个。

所以图像任务里我们通常不用全连接后厨包办一切，而是让卷积核像“端着菜在餐桌上局部巡视”，先看小区域再逐层拼出全局。MLP 更适合表格这类没有强空间结构的“散装食材”。

PMLP=(H×W×C)×n[1],PConv=k2×Cin×Cout\displaystyle P_{\mathrm{MLP}} = (H \times W \times C) \times n^{[1]}, \quad P_{\mathrm{Conv}} = k^2 \times C_{\mathrm{in}} \times C_{\mathrm{out}}
卷积参数只取决于卷积核大小和通道数，与图像尺寸无关；MLP 第一层参数与像素总数成正比。
  1. 图像拉平维度 $H \times W \times C$图像拉平后的输入向量长度。
    H×W×C\displaystyle H \times W \times C
  2. MLP 首层参数 $(HWC) \times n^{[1]}$每个像素都要连到第一隐藏层的每个神经元。
    PMLP=(H×W×C)×n[1]\displaystyle P_{\mathrm{MLP}} = (H \times W \times C) \times n^{[1]}
  3. 卷积参数 $k^2 C_{\mathrm{in}} C_{\mathrm{out}}$卷积核只观察局部邻域，参数不随图像长宽增加。
    PConv=k2CinCout\displaystyle P_{\mathrm{Conv}} = k^2 C_{\mathrm{in}} C_{\mathrm{out}}
  4. 数值对比32×32×3 图片到 1024 个神经元的 MLP 首层参数约 314 万，远超 3×3 卷积核。
    314万≫1728\displaystyle 314\mathrm{万} \gg 1728

AI 应用场景

1. 模型结构选型：先画后厨图纸

阶段：模型设计

解决的问题：传统做法靠拍脑袋决定隐藏层层数和宽度。借助万能近似定理和参数量公式，可以先评估任务复杂度，再在参数预算内设计结构，避免第一版模型就超过显存或明显过拟合。

具体案例：预测用户点击率时，特征维度是 2000，先设计 [128, 64, 32] 的三层 MLP。参数量约 26 万，远小于 100 万预算，训练速度快，后续再根据验证集表现决定是否加深。

2. 训练稳定性调试：给后厨装稳定器

阶段：模型训练

解决的问题：深层 MLP 经常出现 loss 不下降或直接变成 NaN。通过 He 初始化控制起点、BatchNorm 稳定每层分布、残差连接绕过衰减路径，可以让反向传播的梯度信号稳定到达浅层。

具体案例：训练 20 层 MLP 处理数值特征时，发现第 3 层梯度范数比第 18 层小 6 个数量级。加入 BatchNorm 和残差连接后，梯度范数差距缩小到 2 个数量级，训练曲线明显更平稳。

3. 视觉任务选型：别让大厦直接吸图像

阶段：任务建模

解决的问题：把图像像素直接拉平送入 MLP，参数爆炸且没有空间不变性。换成卷积网络（CNN）后，用局部卷积核提取边缘和纹理，再逐步组合成高层语义。

具体案例：在 CIFAR-10 上用一个 3 层 MLP 试跑，首层就有 314 万参数且准确率不佳；换成 3×3 卷积堆叠的 CNN，参数更少、准确率更高，训练也更稳定。

Python 演示

python54 行
import numpy as np  class MLP:    def __init__(self, sizes, seed=0):        self.sizes = sizes        rng = np.random.default_rng(seed)        self.weights = []        self.biases = []        for fan_in, fan_out in zip(sizes[:-1], sizes[1:]):            scale = np.sqrt(2.0 / fan_in)            self.weights.append(rng.normal(0.0, scale, (fan_in, fan_out)))            self.biases.append(np.zeros(fan_out))     def forward(self, x):        self.zs = []        self.acts = [x]        for w, b in zip(self.weights[:-1], self.biases[:-1]):            z = self.acts[-1] @ w + b            self.zs.append(z)            self.acts.append(np.maximum(0.0, z))        z = self.acts[-1] @ self.weights[-1] + self.biases[-1]        self.zs.append(z)        self.acts.append(z)        return z     def backward(self, x, y, lr):        m = x.shape[0]        delta = self.acts[-1] - y        for i in range(len(self.weights) - 1, 0, -1):            delta_prev = (delta @ self.weights[i].T) * (self.zs[i - 1] > 0)            gW = self.acts[i].T @ delta / m            gb = delta.mean(axis=0)            self.weights[i] -= lr * gW            self.biases[i] -= lr * gb            delta = delta_prev        gW = self.acts[0].T @ delta / m        gb = delta.mean(axis=0)        self.weights[0] -= lr * gW        self.biases[0] -= lr * gb     def count_params(self):        return sum(w.size + b.size for w, b in zip(self.weights, self.biases))  if __name__ == "__main__":    X = np.array([[0, 0], [0, 1], [1, 0], [1, 1]], dtype=float)    y = np.array([[0], [1], [1], [0]], dtype=float)    net = MLP([2, 4, 1], seed=1)    for _ in range(2000):        net.forward(X)        net.backward(X, y, lr=0.1)    print("params:", net.count_params())    print("XOR output:", np.round(net.forward(X), 3))
目的：从零实现一个带 ReLU、He 初始化和反向传播的小型 MLP，并用 XOR 异或问题验证它真的能学习非线性映射。
  1. scale = np.sqrt(2.0 / fan_in)使用 He 初始化，为 ReLU 放大初始权重方差。
  2. self.acts.append(np.maximum(0.0, z))ReLU 激活把负值置零，引入非线性。
  3. delta = self.acts[-1] - y输出层误差，对应 MSE 损失的梯度。
  4. delta = (delta @ self.weights[i].T) * (self.zs[i - 1] > 0)误差反向传播，并乘上 ReLU 导数。
  5. self.weights[i] -= lr * gW用梯度下降更新第 i 层权重。
  6. return sum(w.size + b.size for w, b in zip(self.weights, self.biases))统计总参数量。

常见误区

误区我把网络堆到 50 层，效果一定比 20 层好，因为深度代表更强大。

正解万能近似定理只保证宽度足够时能逼近连续函数，并不保证深度越深越容易优化。实际中过深会带来梯度消失、优化退化和过拟合，必须配合残差连接、BatchNorm 等技巧。

为何常见：看到很多深层大模型表现好，却忽略了它们背后的归一化、残差和大量调参。

误区权重初始为 0，网络从零开始学，起点公平，模型更稳定。

正解如果同一层的所有权重相同，反向传播后它们会得到完全相同的更新，神经元永远长成一样，对称性无法打破。必须用随机小初始化，比如 Xavier 或 He。

为何常见：直觉上认为“公平起点”很合理，但没有意识到神经网络需要各神经元差异化。

误区训练时随机丢弃神经元，测试时也随机丢弃，这样能增加多样性。

正解测试时使用全部神经元，并且使用 inverted Dropout 后不需要额外缩放。如果测试时仍随机丢弃，输出会随机抖动，模型预测不稳定。

为何常见：记住了“随机失活”四个字，却忽略了训练和推理两个阶段的目标不同。

误区既然叫标准化，训练和测试都应该用当前 batch 的均值和方差。

正解训练时用当前 mini-batch 的统计量，测试时用滑动平均累积的全局统计量。否则单条样本在测试时无法获得有意义的 batch 统计量。

为何常见：只看了 BatchNorm 的公式，没有深入理解训练和推理阶段的数据流差异。

误区反正一个足够宽的单隐藏层能逼近任何连续函数，深度没有意义。

正解万能近似定理只是存在性定理，不代表容易优化和泛化。深度结构可以用更少参数表达复杂组合特征，训练也更容易收敛。

为何常见：把理论上的“存在”当成了工程上的“最优”，忽略了计算效率和优化难度。

面试题

Q1. 万能近似定理主要告诉我们：一个足够宽的单隐藏层 MLP 可以__。

单选题 · easy

  • A.近似任意连续函数← 正确答案
  • B.精确记住训练数据
  • C.只拟合线性关系
  • D.完全替代所有优化器

答案：A。万能近似定理说的是单隐藏层在神经元足够多时能近似任意连续函数，但这只是理论存在性，不代表容易优化或泛化。B 是记忆而非泛化，C 与定理相悖，D 与优化器无关。

Q2. MLP 参数量计算中，连接第 l-1 层与第 l 层的权重个数是__。

单选题 · easy

  • A.n[l-1]乘n[l]个← 正确答案
  • B.n[l-1]加n[l]个
  • C.n[l]乘n[l]个
  • D.n[l-1]平方个

答案：A。全连接层中，第 l-1 层每个神经元都要连到第 l 层每个神经元，所以权重数是两层神经元数量的乘积。偏置单独按当前层神经元数计算。

Q3. Xavier 初始化的方差设计主要使用了哪两个数字？

单选题 · mid

  • A.输入神经元数与输出神经元数← 正确答案
  • B.训练集样本数与验证集样本数
  • C.学习率数值与批大小
  • D.网络深度与隐藏层数量

答案：A。Xavier 初始化把方差设为 2/(fan_in + fan_out)，同时考虑前一层和后一层的神经元数量，目的是让信号在前向和反向传播时尺度都保持稳定。

Q4. 相比 Xavier，He 初始化把方差调整为 2/fan_in，原因是__。

单选题 · mid

  • A.ReLU会关掉约一半激活值← 正确答案
  • B.tanh输出范围更大
  • C.sigmoid导数恒大于1
  • D.训练数据必须标准化

答案：A。ReLU 对负值输出 0，等价于关掉约一半信号。He 初始化通过把方差放大到 2/fan_in，补偿信号损失；tanh/sigmoid 并不需要这种调整。

Q5. Dropout 训练阶段，将保留概率 p 作用后的激活除以 p，目的是__。

单选题 · mid

  • A.让训练和测试的期望输出一致← 正确答案
  • B.使梯度范数增大固定倍数
  • C.替代BatchNorm做数据增强
  • D.减少参数更新的次数

答案：A。随机丢弃会让激活期望变小，除以 p 后训练阶段的输出期望与测试阶段使用全部神经元时保持一致，这样测试时不需要额外缩放。

Q6. 深层 MLP 出现梯度消失，最直接的原因是__。

单选题 · hard

  • A.反向传播出现多层雅可比连乘← 正确答案
  • B.前向传播速度比反向传播慢
  • C.训练集里样本分布不均衡
  • D.损失函数选择得不合适

答案：A。反向传播每经过一层就要乘一个权重矩阵和激活导数矩阵。层数深时，连乘结果可能指数衰减；若每层奇异值都小于 1，浅层梯度就会趋近于 0。

Q7. BatchNorm 中的 γ 和 β 两个可学习参数，主要作用是__。

单选题 · mid

  • A.恢复网络被标准化削弱的表达能力← 正确答案
  • B.把BatchNorm变成Dropout
  • C.让每个神经元输出变为常数
  • D.用来替代残差连接

答案：A。标准化会把激活强行拉回均值为 0、方差为 1 的分布，可能限制网络表达能力。γ 和 β 让网络自己重新缩放和平移，从而恢复更灵活的表达。

Q8. 下列哪些方法可以缓解深层 MLP 的梯度消失？

多选题 · hard

  • A.增加残差连接← 正确答案
  • B.采用He初始化← 正确答案
  • C.把所有权重设为零
  • D.换用ReLU激活← 正确答案

答案：ABD。残差连接提供“捷径”，让梯度跳过若干层；He 初始化控制权重尺度；ReLU 让激活导数只有 0 或 1，避免 sigmoid/tanh 导数持续小于 1。所有权重设为零会破坏对称性且无法学习。

Q9. 为什么 MLP 直接处理图像往往不理想？

多选题 · easy

  • A.全连接导致参数爆炸← 正确答案
  • B.缺少平移不变性← 正确答案
  • C.无法使用任何矩阵运算
  • D.无法表达非线性映射

答案：AB。MLP 把每个像素都连到下一层每个神经元，参数随图像尺寸爆炸；图像平移后输入向量完全变化，网络缺少平移不变性。MLP 当然可以用矩阵运算，ReLU 等激活也能表达非线性。

Q10. 关于 BatchNorm 和 Dropout 在训练与测试阶段的差异，正确的有__。

多选题 · hard

  • A.BN测试时用滑动平均统计量← 正确答案
  • B.Dropout测试时关闭随机丢弃← 正确答案
  • C.BN训练和测试计算方式完全相同
  • D.Dropout训练测试都需要除以p

答案：AB。BatchNorm 训练时用当前 batch 统计量，测试时用全局滑动平均；Dropout 只在训练时随机丢弃，测试时使用完整网络。C 和 D 都混淆了训练与推理的差异。