想象你是一家餐厅的老板，手下有十几位厨师。每位厨师都有自己的拿手菜——有人擅长川菜，有人擅长粤菜，有人擅长甜品。但你发现一个规律：当某位厨师特别受欢迎时，其他厨师就会偷懒，把活儿都推给他干。久而久之，整个厨房的运转就过度依赖这一两位明星厨师了。万一他们生病请假，整个餐厅的出品质量立刻崩盘。更糟糕的是，这些明星厨师为了展示自己的“全能”，开始死记硬背菜单上的每一道菜，而不是真正理解烹饪的逻辑——遇到没见过的菜品就抓瞎了。 深度神经网络也面临一模一样的窘境。训练时，网络会不自觉地把“活儿”都推给某些“明星神经元”，其他神经元则逐渐退化；同时，网络还会“死记硬背”训练数据里的噪声和细节，导致遇到新数据就表现糟糕——这就是“过拟合”。Dropout 的解决方案简单得令人惊讶：训练时，每天随机让一部分厨师休假。今天张三和李四休假，明天王五和赵六休假，谁也不知道自己明天会不会被“踢出团队”。这样一来，每个厨师都必须独立掌握完整的做菜能力，不能指望依赖别人；整个团队也从“依赖几个明星”变成了“一群全能选手的集体协作”。到了正式营业那天（推理时），再把所有厨师都叫回来，让他们集体参与——因为每个人都已经足够强大，团队的整体实力自然更稳更强。 这篇文章将带你从零理解 Dropout 的数学原理：它如何通过一次“随机放假”（伯努利采样），配合“薪水补偿”（缩放），巧妙地实现了“训练多个子网络”的等效效果。你不需要任何前置数学基础，只需要带着“餐厅厨房”这个画面，跟着故事一步步走进深度学习的正则化世界。

岗位关联

对 AI 从业者而言，理解 Dropout 是设计稳健模型的基石技能。它不仅能帮你诊断和修复过拟合问题，还能启发你设计新的正则化方法，是深度学习工程师面试中最高频的考点之一。

目录
  1. 可视化演示
  2. 过拟合之困
  3. 伯努利采样
  4. 缩放补偿
  5. 集成视角
  6. 推理策略
  7. 实践要点
  8. AI 应用场景
  9. Python 演示
  10. 常见误区
  11. 面试题

可视化演示

本节配有交互动效（进入视口后自动加载，约 3KB）。

伯努利掩码生成 每个神经元独立采样：以概率(1-p)保留，以概率p丢弃 每次前向传播生成不同的随机掩码 缩放补偿：除以(1-p) m_i ~ Bernoulli(1-p) | y = m ⊙ x / (1-p) → E[y] = x，期望不变！ Drop...

过拟合之困

在哈里森经营的“神经网络餐厅”里，曾经发生过一次严重的危机。最受欢迎的明星主厨安东尼奥包揽了所有招牌菜，其他厨师渐渐退化成了打杂的。更糟的是，安东尼奥开始把菜单背得滚瓜烂熟——他能完美复现客人点过的每一道菜，但一旦客人稍微换个口味，他就完全不知所措。这就是深度学习中大名鼎鼎的“过拟合”：模型在训练数据上表现完美，在未见过的数据上一塌糊涂。

过拟合的本质可以从两个角度理解。第一个角度是“共适应”：神经元之间形成了过于复杂的相互依赖关系。就像安东尼奥和其他厨师之间形成的那种“安东尼奥负责想、其他人负责执行”的默契——这种默契在训练集上高效，但换到新场景就崩溃。第二个角度是“记忆噪声”：网络把训练数据中无关紧要的随机波动也当成了规律来记忆。就像安东尼奥背下了“上周三的客人喜欢少放盐”，但这根本不是真正有用的知识。

传统解决过拟合的方法有 L1/L2 正则化、数据增强等，但它们都没能从根本上解决“共适应”问题。L2 正则化只是限制权重的大小，相当于给厨师的刀工设个上限，但没法阻止所有人把活儿推给安东尼奥。Dropout 的出现，正是为了从机制上打散这种有害的“默契”。

用一个形象的类比来总结：过拟合就像餐厅过度依赖明星主厨——他走了，整个厨房就垮了；而 Dropout 要做的，就是让每个厨师都成为能独当一面的全能选手。

伯努利采样

怎么才能让厨师们不依赖彼此呢？哈里森想出了一个“随机休假”机制：每天营业前，掷硬币决定每位厨师今天是否休假。每位厨师有 \( p \) 的概率上班，\( 1-p \) 的概率休假。这个随机决策过程在数学上被称为“伯努利采样”——一次只有两种结果的随机试验。

把镜头拉回神经网络。假设某层有 \( n \) 个神经元，每个神经元的输出记为 \( x_i \)。Dropout 为每个神经元生成一个独立的伯努利随机变量 \( z_i \in \{0, 1\} \)，其中 \( z_i = 1 \) 表示保留该神经元（概率为 \( p \)），\( z_i = 0 \) 表示丢弃（概率为 \( 1-p \)）。这个 \( z_i \) 的集合通常被称为“掩码”（mask），它像一张随机打孔的遮罩，遮住谁、露出谁，完全随机。

在一次训练迭代中，掩码会决定哪些神经元参与前向传播和反向传播。下一次迭代，重新掷一次硬币，又生成一张全新的掩码。这意味着，每次训练时网络都在一个不同的“子网络”上运行。如果原始网络有 \( n \) 个神经元，那么理论上可以产生 \( 2^n \) 种不同的子网络——这就是 Dropout 最深刻的数学含义之一。

每次迭代都重新采样掩码，就像每天重新掷硬币——没有任何一位厨师能预测自己明天休不休息。这种不可预测性，正是打破“共适应”魔咒的关键。

zi∼Bernoulli(p),x~i=zi⋅xiz_i \sim \text{Bernoulli}(p), \quad \tilde{x}_i = z_i \cdot x_i
这个公式描述了一次“随机休假”的完整过程：先按概率 \( p \) 掷硬币决定每个神经元去留，再将保留神经元的输出原样保留，被丢弃的置零。
  1. 伯努利分布这是最简单的随机试验——只有“成功”和“失败”两种结果。这里的“成功”指神经元被保留。
    zi∼Bernoulli(p)z_i \sim \text{Bernoulli}(p)
  2. 保留概率\( p \) 是一个 0 到 1 之间的超参数，表示每个神经元被保留的概率。\( p \) 越接近 1，保留的神经元越多。
    0<p<10 < p < 1
  3. 掩码运算\( z_i = 0 \) 时输出归零（厨师休假），\( z_i = 1 \) 时输出原样通过（厨师上岗）。
    x~i=zi⋅xi\tilde{x}_i = z_i \cdot x_i

缩放补偿

随机休假有个麻烦：如果今天一半厨师休假，厨房的产出总量必然大幅下降。那么训练出来的模型，和明天全员上岗时的产出对不上怎么办？哈里森想出了一个精妙的补偿方案：休假期间，给每位在岗厨师的薪水按 \( 1/p \) 倍加薪。这样一来，在岗厨师的平均总产出就和全员上岗时保持一致了。

这个“加薪”在数学上对应的就是缩放补偿。在训练阶段，对保留的神经元输出除以 \( p \)（等价于乘以 \( 1/p \)）：

为什么这样做？关键在于“期望值”的概念。神经元的输出 \( x_i \) 经过 Dropout 处理后，它的期望值是多少？当 \( z_i = 1 \)（概率 \( p \)）时输出为 \( x_i / p \)；当 \( z_i = 0 \)（概率 \( 1-p \)）时输出为 0。所以期望输出为：

期望值完全等于原始输出！这意味着，从统计平均的角度看，Dropout 层没有“改变”神经元的输出强度，只是让它变得不稳定（有方差）。正是这个性质，使得训练和推理时网络的整体行为在平均意义上是匹配的。

缩放补偿是 Dropout 的灵魂。没有它，训练时的输出强度会和推理时不一致，整个网络的行为就会错乱。有了它，Dropout 才能做到“训练一个随机变形的网络，推理时用完整的网络”却不会产生偏差。

x~i=zi⋅xip\tilde{x}_i = \frac{z_i \cdot x_i}{p}
E[x~i]=p⋅xip+(1−p)⋅0=xi\mathbb{E}[\tilde{x}_i] = p \cdot \frac{x_i}{p} + (1-p) \cdot 0 = x_i
E[zi⋅xip]=p⋅xip=xi\mathbb{E}\left[\frac{z_i \cdot x_i}{p}\right] = \frac{p \cdot x_i}{p} = x_i
缩放补偿的本质：用“在岗加薪”来抵消“休假减员”，让团队的平均产出保持不变。
  1. 随机变量期望期望就是随机变量所有可能取值按概率加权平均。这里随机变量是 \( z_i \)，取值 1 和 0。
    E[zi]=p⋅1+(1−p)⋅0=p\mathbb{E}[z_i] = p \cdot 1 + (1-p) \cdot 0 = p
  2. 线性期望性质常数倍数的期望等于期望的常数倍，\( x_i \) 是当前值，视为常量。
    E[zi⋅xi]=xi⋅E[zi]\mathbb{E}[z_i \cdot x_i] = x_i \cdot \mathbb{E}[z_i]
  3. 除以 p 补偿将 \( x_i \) 替换为 \( x_i / p \) 后，期望恰好恢复为 \( x_i \)。
    E[zi⋅xi/p]=xi\mathbb{E}[z_i \cdot x_i / p] = x_i

集成视角

现在让我们跳出来，用“上帝视角”重新审视 Dropout。想象哈里森不是开了一家餐厅，而是开了一家餐饮集团，旗下有 \( 2^n \) 家分店。每家分店按照当天的休假安排，只启用一部分厨师——但所有分店共享同一套员工培训体系（即共享权重）。每家分店都在接待自己的客人（处理不同的训练批次），并根据自己的经验微调共同的培训体系。

这就是 Dropout 的集成视角：训练时，Dropout 等效于同时训练 \( 2^n \) 个不同的子网络。每个子网络由哪些神经元保留、哪些被丢弃来定义。所有这些子网络共享相同的权重——因为被丢弃的神经元只是暂时不工作，它们的权重仍然是同一个参数副本。虽然每次迭代只激活一个子网络，但经过足够多的迭代，所有子网络都被充分训练过。

到了推理阶段，Dropout 把这些子网络的预测做了“平均”。理想的平均是对 \( 2^n \) 个子网络的输出求期望：

其中 \( z \odot x \) 表示掩码与输入的逐元素乘积。这个期望是一个集成模型的输出——它融合了所有子网络的“意见”。直接计算这个期望在计算上不可行，但对于标准 Dropout 来说，缩放补偿恰好使得“使用全网络 + 乘 \( p \)”成为了这个期望的近似估计。

从集成角度回头看，Dropout 的“随机休假”就变得格外有意义了：它不只是让每个厨师独立成长，更让整个集团融合了 \( 2^n \) 种不同团队组合的平均智慧。这种“多样性 + 平均”正是集成学习降低方差的内在机理，也是 Dropout 能有效防止过拟合的根本原因。

Ez[f(z⊙x;W)]\mathbb{E}_{z}\left[f(z \odot x; W)\right]
f(x;W)≈1p⋅Ez[f(z⊙x;W)]f(x; W) \approx \frac{1}{p} \cdot \mathbb{E}_{z}\left[f(z \odot x; W)\right]
这个近似关系揭示了 Dropout 的精妙之处：它用一个简单的缩放操作，近似实现了对指数级子网络的集成平均。
  1. 子网络定义\( z \odot x \) 表示用掩码逐元素乘输入，即随机关闭部分神经元的连接路径。
    z⊙x=(z1x1,z2x2,…,znxn)z \odot x = (z_1 x_1, z_2 x_2, \ldots, z_n x_n)
  2. 集成输出对所有可能的 \( 2^n \) 种掩码，计算对应子网络的输出并求平均。
    Ez[f(z⊙x;W)]=12n∑zf(z⊙x;W)\mathbb{E}_z[f(z \odot x; W)] = \frac{1}{2^n} \sum_{z} f(z \odot x; W)
  3. 缩放近似由于缩放补偿保证每个子网络输出的期望等于全网络输出，全网络输出近似等于集成平均。
    f(x;W)≈1pEz[f(z⊙x;W)]f(x; W) \approx \frac{1}{p}\mathbb{E}_z[f(z \odot x; W)]

推理策略

餐厅正式营业那天，哈里森做了一个让所有厨师意外的决定：全体厨师都回来上班。所有厨师集体协作，各展所长，餐厅出品达到了前所未有的稳定水准。这就是推理阶段的 Dropout——不使用随机丢弃，而是让所有神经元参与计算。

但这里有个微妙的问题：训练时因为缩放补偿，输出期望与原始一致；推理时如果全量使用但什么都不做，输出强度会不会和训练时不匹配？答案是不会——因为我们已经在推理阶段的输出上乘了 \( p \)。这样做的效果是，推理时的输出恰好等于训练时所有可能子网络输出的期望，从而保持行为一致性。

数学上，推理阶段的操作非常简单：

这里的 \( p \) 与训练时使用的保留概率相同。有些实现把 \( p \) 换到训练阶段（即 Inverted Dropout），推理时直接使用全网络不乘 \( p \)。两种方式是等价的，只是缩放的位置不同。现代深度学习框架（如 PyTorch、TensorFlow）默认采用 Inverted Dropout，这样推理代码可以保持最简洁——不需要额外乘 \( p \)。

这两种策略殊途同归。关键不在于缩放放在哪一边，而在于必须保证训练和推理的期望输出一致。记住了这一点，你就能理解为什么框架中的 Dropout 层在训练和推理模式下行为不同——这是有意为之的正确设计。

finference(x)=p⋅ffull(x)f_{\text{inference}}(x) = p \cdot f_{\text{full}}(x)
finference(x)=ffull(x)(Inverted Dropout)f_{\text{inference}}(x) = f_{\text{full}}(x) \quad (\text{Inverted Dropout})
推理阶段的铁律：要么训练缩放、推理不缩放；要么训练不缩放、推理缩放，但绝不能两边都不缩放。
  1. 原始 Dropout 推理训练时除以 \( p \)，推理时乘回 \( p \)，期望一致。
    finference(x)=p⋅ffull(x)f_{\text{inference}}(x) = p \cdot f_{\text{full}}(x)
  2. Inverted Dropout训练时除以 \( p \)，推理时不操作，等效于把 \( p \) 乘在训练输出上。
    ftrain(x)=z⊙xp,finference(x)=ffull(x)f_{\text{train}}(x) = \frac{z \odot x}{p}, \quad f_{\text{inference}}(x) = f_{\text{full}}(x)

实践要点

把理论变成真正能用的技术，还需要掌握几个关键的实践判断。第一，\( p \) 值怎么选？经验法则：对于全连接层，\( p = 0.5 \) 是常用默认值，此时随机性最大，正则化效果最强；对于卷积层，\( p = 0.7 \sim 0.8 \) 更合适，因为卷积核本身就有权值共享带来的正则化效果，不需要太强的 Dropout。第二，输入层的 \( p \) 值应该更接近 1（如 0.8），因为输入特征被随机丢弃会导致信息损失过重——就像不会让所有点菜的服务员都休假，毕竟客人还得有人接待。

实践中最常见的坑是什么？是把 Dropout 用在了错误的位置，或者忽略了它和 Batch Normalization（BN）的相互作用。当 Dropout 和 BN 连用时，训练和推理的数据分布差异会被放大，BN 的统计量估算可能不稳定。一个经验顺序是：Dropout 通常放在激活函数之后，与 BN 的搭配需要实验验证。此外，网络容量也要相应调整：加了 Dropout 后，模型容量可以适当增大（比如增加隐藏单元数），因为 Dropout 的随机性提供了一层额外的保护，防止大模型过拟合。

回到厨房的故事：哈里森最终把“随机休假”变成了餐厅的日常制度。每位厨师都练就了独立作战的能力，餐厅的创新菜也越来越出色。Droupout 就像这道制度创新——它不改变你做什么菜（网络结构），而是改变了团队协作的方式（训练过程），让整体从“依赖少数天才”进化为“集体智慧的胜利”。

phidden=0.5,pinput≈0.8p_{\text{hidden}} = 0.5, \quad p_{\text{input}} \approx 0.8
实践者箴言：Dropout 不是免费午餐——它增加的随机性会延长训练收敛时间，但换来的泛化提升通常远远超过这点成本。

AI 应用场景

场景一：图像分类模型的过拟合修复

阶段：模型训练与调优

解决的问题：在只有几千张标注图像的医学影像分类任务中，传统 CNN 模型在训练集上准确率超过 99%，但验证集只有 78%——典型的过拟合症状。直接在网络全连接层后添加 Dropout（\( p=0.5 \)），配合数据增强，验证集准确率提升到 88% 以上。

具体案例：某医疗 AI 公司在开发眼底图像糖尿病筛查模型时，面对的是小型标注数据集。工程师在 InceptionV3 的最后一个全连接层前插入 Dropout 层，并将 \( p \) 设为 0.6。训练过程中的损失曲线下降更平缓，但验证集的准确率显著提升，最终模型上线后对真实场景图像的诊断稳定性大幅改善。

场景二：NLP 模型中的泛化提升

阶段：模型架构设计与调优

解决的问题：Transformer 模型参数量巨大，训练中极易过拟合。在 Encoder 层的全连接子层后插入 Dropout（\( p=0.1 \sim 0.2 \)），可以让模型不依赖于某些特定维度，提升跨领域泛化能力。

具体案例：一家金融科技公司在构建财报情感分析模型时，原始 BERT 微调后的验证集 F1 仅为 0.72。在对全连接输出层加入 Dropout（\( p=0.3 \)）后，F1 提升到 0.78，并且在跨年度财报数据上的表现更加稳定——因为模型不再“死记硬背”特定年份的语言习惯。

Python 演示

python44 行
import numpy as np class StandardDropout:    def __init__(self, p=0.5):        self.p = p          # 保留概率        self.mask = None    # 伯努利掩码     def forward(self, x, training=True):        if training:            # 1. 伯努利采样生成掩码            self.mask = (np.random.rand(*x.shape) < self.p).astype(np.float32)            # 2. 掩码运算 + 缩放补偿            return x * self.mask / self.p        else:            # 3. 推理阶段：全量使用            return x def train_step(layer, x):    return layer.forward(x, training=True) def infer_step(layer, x):    return layer.forward(x, training=False) def verify_expected_value(dropout, x, trials=20000):    # 4. 验证缩放补偿使期望不变    samples = np.stack([dropout.forward(x, training=True) for _ in range(trials)])    return samples.mean(axis=0) if __name__ == "__main__":    np.random.seed(42)    p = 0.5    x = np.array([1.0, 2.0, 3.0, 4.0])    layer = StandardDropout(p=p)     out_train = train_step(layer, x)    out_infer = infer_step(layer, x)    print("训练时单次输出:", out_train)    print("推理时输出    :", out_infer)     # 5. 大量采样求平均，验证期望近似 x    est_mean = verify_expected_value(layer, x)    print("20000次采样均值:", est_mean)    print("原始输入       :", x)    print("平均绝对误差   :", np.abs(est_mean - x).mean())
目的：用 NumPy 从零实现标准 Dropout 层，通过大量随机采样验证缩放补偿能保证期望输出不变。
  1. self.mask = (np.random.rand(*x.shape) < self.p)掷硬币生成伯努利掩码，True 保留、False 丢弃
  2. return x * self.mask / self.p掩码运算并除以 \( p \) 完成缩放补偿，期望值保持不变
  3. training=False` 时直接返回 `x推理阶段全员参与，不采样、不缩放
  4. np.abs(est_mean - x).mean()计算平均绝对误差，数值越小说明缩放补偿越精确

常见误区

误区我一直以为 Dropout 会把那些神经元从网络里彻底删除，训练完后会留下一批“幸存”的神经元，被丢弃的就永远消失了。

正解Dropout 的“丢弃”只是训练过程中的临时失活。被置零的神经元权重依然存在，下一次迭代中它们可能再次被激活。整个过程就像厨师休假——休假不代表被开除，只是今天不参与工作，明天可能就回来了。权重是共享的，每个“子网络”都只是完整网络的随机投影。

为何常见：Dropout 这个名字中的“drop“容易让人联想到”删除、丢弃“，加上可视化教程常用置灰、变暗来表示丢弃状态，学习者容易混淆”暂时失活“和”永久删除”。

误区训练时模型随机丢弃，那么推理时也应该随机丢弃一些神经元，否则训练和测试的行为不一致，结果会不准。

正解推理阶段恰恰不能随机丢弃。因为推理时我们想要确定性的输出，如果每次推理都随机丢弃，同一个输入会得到不同的结果，这在实际应用中不可接受。标准做法是推理时全量使用所有神经元，并通过缩放（或训练时缩放）来保持期望一致。这就像正式营业时不能让厨师随机休假——只有训练时才需要制造随机性来锻炼团队。

为何常见：人们直觉地认为“训练怎么做的，测试就怎么做”，但 Dropout 的设计恰恰是训练和推理采用不同策略，这种“不一致”让人困惑。

误区既然 Dropout 能防过拟合，那我把 p 设成 0.1（只保留 10% 神经元），正则化效果肯定最强，模型一定更稳健。

正解p 值过小会导致模型欠拟合。因为每次训练只有极少数神经元参与，信息容量严重不足，模型根本学不到应有的规律——就像厨房每天只留两个厨师，就算他们再全能也忙不过来。p=0.5 在隐藏层被证明是随机性最强、正则化效果最好的选择，但实际最优值需要通过验证集调参确定。

为何常见：“正则化越强越好”的直觉在 L1/L2 中可能存在，但 Dropout 有它自己的权衡：丢弃过度会直接损害模型学习能力，这是一种二元最优解而非单调关系。

误区我在 LSTM 和卷积网络里都用 p=0.5 的 Dropout，效果却不如预期，是不是我代码写得不对？

正解Dropout 并非在所有结构中都同样有效。对 CNN 而言，卷积核本身有显著的参数共享，天然具备正则化效果，Dropout 的增益较小，通常只在最后全连接层用；对 RNN/LSTM，在时间步上施加标准 Dropout 会破坏序列的长程依赖，需要采用专门设计的变体（如 variational dropout）。这就像“随机休假”制度在独立岗位的团队里效果最好，但流水线岗位上不能随便缺人。

为何常见：教材通常以全连接网络为例讲解 Dropout，学习者容易误以为它是通用工具，忽略了网络结构的差异性。

面试题

Q1. Dropout 中伯努利掩码的作用是什么？

单选题 · easy

  • A.决定神经元的学习率
  • B.随机置零部分神经元输出← 正确答案
  • C.固定部分神经元的权重
  • D.增加神经网络的层数

答案：B。伯努利掩码是根据概率 p 生成的 0/1 数组，0 表示丢弃该神经元（输出置零），1 表示保留。它不改变学习率、不固定权重、也不增加层数，只负责决定哪些神经元参与本次迭代计算。

Q2. 训练时 Dropout 的缩放补偿通常怎么做？

单选题 · easy

  • A.保留神经元的输出乘以 p
  • B.保留神经元的输出除以 p← 正确答案
  • C.丢弃神经元的输出除以 p
  • D.对所有输出乘以 p

答案：B。标准 Dropout 在训练时将保留神经元的输出除以 p（即乘以 1/p）。这样期望输出等于原始输出。若乘以 p 则期望变小，丢弃神经元除以 p 没有意义，对所有输出乘 p 同样会使期望缩小。

Q3. 关于 Dropout 的期望值，下列哪项是正确的？

单选题 · mid

  • A.训练时输出期望大于原始值
  • B.训练时输出期望小于原始值
  • C.训练时输出期望等于原始值← 正确答案
  • D.训练时输出期望为零

答案：C。经过缩放补偿 p(x/p) + (1-p)×0 = x，期望恰好等于原始输出。这是 Dropout 能在训练和推理间无缝切换的数学基础。

Q4. Dropout 从集成视角看等效于什么？

单选题 · mid

  • A.训练一个固定的深层网络
  • B.训练 2^n 个子网络并取平均← 正确答案
  • C.训练 n 个独立网络取平均
  • D.训练单个子网络多次取平均

答案：B。有 n 个可丢弃的神经元时，掩码组合共有 2^n 种，每种对应一个子网络。Dropout 每次训练一个随机子网络，推理时用全网络加缩放近似所有子网络的平均输出。注意不是 n 个，而是 2^n 个。

Q5. 推理阶段使用全部神经元时，为什么不需要随机丢弃？

单选题 · mid

  • A.因为推理时算力不足
  • B.因为缩放补偿保持了期望一致← 正确答案
  • C.因为测试集没有噪声
  • D.因为权重已经固定了

答案：B。推理时需要确定性的输出，随机丢弃会给同一输入带来不确定结果。由于训练时缩放补偿使期望等于全网络输出，推理时全量使用并配合缩放即可保持行为一致。权重固定并非不需要丢弃的原因。

Q6. Inverted Dropout 与标准 Dropout 的区别是什么？

单选题 · hard

  • A.前者推理时乘 p，后者训练时乘 p
  • B.前者训练时除 p，推理时不操作← 正确答案
  • C.前者训练时乘 p，推理时除 p
  • D.前者不使用缩放补偿

答案：B。标准 Dropout 训练时除以 p、推理时乘以 p；Inverted Dropout 训练时除以 p、推理时不做任何操作，把缩放全部放在训练端。现代框架默认 Inverted Dropout，让推理代码保持简洁。

Q7. 以下哪些属于 Dropout 防止过拟合的机制？

多选题 · mid

  • A.打破神经元之间的共适应← 正确答案
  • B.等效于大量子网络的集成平均← 正确答案
  • C.减小了模型参数量
  • D.迫使每个神经元独立学习有意义的特征← 正确答案

答案：ABD。Dropout 不减小参数量，权重数量完全不变。它通过随机失效打破共适应（A）、等效集成平均（B）、迫使神经元独立学习（D）来提升泛化。选项 C 是常见误解。

Q8. 关于 Dropout 中 p 值的选择，下列说法正确的是？

多选题 · mid

  • A.隐藏层通常用 p=0.5← 正确答案
  • B.输入层通常 p 更接近 1← 正确答案
  • C.p 越小正则化效果一定越好
  • D.卷积层常用 p=0.7~0.8← 正确答案

答案：ABD。p=0.5 是隐藏层的经典选择，随机性最强；输入层需要保留足够的信息所以 p 接近 1；卷积层由于参数共享的天然正则化，p=0.7~0.8 更常见。p 过小会导致欠拟合，并非越小越好。

Q9. 使用原始 Dropout 时，推理阶段输出应为？

单选题 · hard

  • A.f(x) = f_full(x)
  • B.f(x) = p × f_full(x)← 正确答案
  • C.f(x) = f_full(x) / p
  • D.f(x) = (1-p) × f_full(x)

答案：B。原始 Dropout 训练时输出为 z⊙x/p，推理时要保持期望一致需要乘以 p，即 f(x)=p·f_full(x)。A 是 Inverted Dropout 的推理形式，C 会放大输出，D 完全错误。

Q10. 以下哪些关于 Dropout 与 BN 搭配的说法是正确的？

多选题 · hard

  • A.两者搭配时训练和推理分布差异可能被放大← 正确答案
  • B.Dropout 用在激活函数之后更常见← 正确答案
  • C.加 Dropout 后可以适当增大模型容量← 正确答案
  • D.Dropout 和 BN 的所有组合方式都是等价的

答案：ABC。Dropout 改变训练时的数据分布，BN 依赖批统计量，两者叠加确实会放大 train/test 差异。Dropout 通常放激活函数后；由于 Dropout 提供了额外正则化，模型容量可适当增大。但组合方式并非等价，需要实验验证。