想象你是一位大厨，面前有一大筐食材（训练数据）。为了学会一道新菜（训练模型），你需要反复试做并品尝调整（迭代更新参数）。但每次试做不能把整筐食材全用完——成本太高，时间太久。于是你决定每次抓一把食材来试做（每个batch），观察成品味道，调整火候和调料（更新梯度），再抓下一把。问题来了：这把该抓多大？抓少了，味道忽咸忽淡，判断不稳；抓多了，厨房塞不下，出菜太慢。这把的大小，就是机器学习里的 Batch Size（批大小）。 Batch Size 是超参数调优中最核心的旋钮之一。它决定了每次模型更新参数时“看多少数据”，直接牵动着训练稳定性、梯度噪声、内存占用、收敛速度和最终泛化性能——好比抓食材的那把手，决定了试做的节奏、成本和成品质量。调好它，模型训练事半功倍；调不好，模型要么震荡不收敛，要么耗时耗力还过拟合。本文将用“厨房”的故事，带你全面搞懂 Batch Size 的每个侧面，学会在实战中把它调到恰到好处。

岗位关联

掌握 Batch Size 的调优规律，是机器学习工程师提升模型训练效率与泛化能力的必备技能，直接决定你在真实项目中能否又快又稳地交付高质量模型。

目录
  1. 可视化演示
  2. 定义与三分法
  3. 梯度噪声来源
  4. 训练稳定性影响
  5. 内存占用分析
  6. 收敛速度权衡
  7. 泛化性能关系
  8. AI 应用场景
  9. Python 演示
  10. 常见误区
  11. 面试题

可视化演示

本节配有交互动效（进入视口后自动加载，约 3KB）。

梯度噪声方差与Batch Size Batch Size → Var(∇L) ∝ σ² / B B: Batch Size, σ²: 单样本梯度方差 Batch Size超参数调优可视化：展示梯度噪声方差、训练稳定性、内存占用、收敛速度、泛化鸿沟及最优选择方法。

定义与三分法

回到我们的厨房。大厨试做一道菜，有两种极端做法：一种是一次只尝一颗食材就调整配方（太小，手忙脚乱）；另一种是把整筐食材全部处理完才调一次味（太大，一轮下来天都黑了）。聪明的做法是介于两者之间——抓一把食材，试做、调整、再抓下一把。这一把食材的多少，就是 Batch Size。

在机器学习中，Batch Size 就是每次模型更新参数时使用的样本数量。根据这个数量的大小，训练方式被分为三种：全量梯度下降（GD），用全部数据计算一次梯度，对应“整筐食材下锅”；随机梯度下降（SGD），每看一个样本就更新一次，对应“一颗颗尝”；Mini-Batch 梯度下降，取一个适中批次更新，也就是我们说的标准做法。

所以，Batch Size 是整个训练流程的第一步选择，也是最基础的超参数之一。它不像学习率那样需要精细的退火策略，但它的取值直接影响后续所有环节——梯度怎么算、参数怎么跳、显存怎么占。在动手调参之前，先想清楚“每把抓多少”，这是大厨的厨房基本功。

Loss(θ)=1B∑i=1Bℓ(f(xi;θ),yi)\text{Loss}(\theta) = \frac{1}{B} \sum_{i=1}^{B} \ell(f(x_i; \theta), y_i)
这个公式表示：用当前这批 B 个样本，算出平均损失，作为调整参数的依据。B 越大，“锅里”的样本越多，对整体数据的代表性越强。
  1. 损失符号定义$\text{Loss}(\theta)$ 表示在参数 $\theta$ 下的损失值，也就是当前模型“做菜水平”的评分——损失越小，成品越接近目标味道。
    Loss(θ)\text{Loss}(\theta)
  2. 批次求和$\sum_{i=1}^{B}$ 表示把从第 1 个到第 B 个样本的损失累加起来，相当于把这一把食材中每一颗的“味道偏差”逐一记录。
    ∑i=1B\sum_{i=1}^{B}
  3. 平均化处理$\frac{1}{B}$ 表示除以批次大小取平均，避免因批次大小不同导致损失数值量级不一致，便于横向比较。
    1B\frac{1}{B}
  4. 单个样本损失$\ell(f(x_i; \theta), y_i)$ 表示第 i 个样本的预测值与真实标签之间的差异，即单颗食材与本菜谱目标口的差距。
    ℓ(f(xi;θ),yi)\ell(f(x_i; \theta), y_i)

梯度噪声来源

大厨试做时有个困扰：每次只尝一把食材，万一这一把里恰好有几颗不新鲜的，判断就会偏。比如他想把菜做咸一点，但抽查的那把里全是甜椒，于是误判“盐已经够了”。这种因为抽样不全面导致的判断偏差，在机器学习里叫梯度噪声。

梯度噪声的本质是：我们用一个 batch 的梯度去估计整个数据集的真实梯度，而 batch 是随机抽样的，估计自然有偏差。偏差的大小和 Batch Size 成反比——批次越大，估计越接近真实；批次越小，噪声越大。这和“抽查样本越多，调查结果越准”是同一个道理。

梯度噪声是一把双刃剑。一方面，噪声大会让损失曲线剧烈震荡，看起来“不专业”；但另一方面，这种震荡恰恰是模型逃离局部最优、探索更广阔参数空间的动力。就像大厨偶尔因为“误判”而大胆尝试新配方，反而发明了招牌菜。理解这一点，你就明白为什么很多实践者愿意用中等偏小的 Batch Size——不是为了省内存，而是为了那点“有益的噪声”。

g^=1B∑i=1B∇θℓ(f(xi;θ),yi),Var(g^)∝1B\hat{g} = \frac{1}{B} \sum_{i=1}^{B} \nabla_\theta \ell(f(x_i; \theta), y_i), \quad \text{Var}(\hat{g}) \propto \frac{1}{B}
这个公式揭示：用 B 个样本估计梯度的方差与 1/B 成正比。B 小，方差大；B 大，方差小。噪声大不一定全是坏事，它有时能帮模型跳出糟糕的局部最优。
  1. 梯度估计表达式$\hat{g}$ 表示用当前批次算出的梯度估计值，它是真实梯度的“抽样快照”，相当于大厨抽查一小把食材后形成的口味判断。
    g^=1B∑i=1B∇θℓ(f(xi;θ),yi)\hat{g} = \frac{1}{B} \sum_{i=1}^{B} \nabla_\theta \ell(f(x_i; \theta), y_i)
  2. 方差与批次大小成反比$\text{Var}(\hat{g}) \propto \frac{1}{B}$ 表示估计梯度的方差随批次增大而减小。批次越大，每次抽查越有代表性，判断越稳定，噪声越小。
    Var(g^)∝1B\text{Var}(\hat{g}) \propto \frac{1}{B}

训练稳定性影响

假设大厨采用“一次只尝一颗食材”的策略（B=1）。他会发现每次调整方向都不同——上一秒觉得该加盐，下一秒又觉得该加糖，来回摇摆，菜的味道极不稳定。这就是小批次带来的训练不稳定：梯度噪声大，参数更新方向忽左忽右，损失曲线像心电图。而如果用“整筐食材”（全量 GD），每次判断都非常稳健，但代价是更新一次要等太久。

训练稳定性是 Batch Size 最直接的影响维度。实践中，我们从损失曲线就能直观判断：小 Batch Size 的曲线锯齿状明显，大 Batch Size 的曲线平滑下降。但“平滑”不等于“高效”——如果稳定性过度，模型可能太早陷入一个平坦区域不再进步。稳定性与探索性之间需要平衡。

大厨的经验是：稳定性与探索性不可兼得，但可以组合。先用小批次“野蛮试错”快速找到大致方向，再逐步加大批次“精雕细琢”稳定收敛。这种“先小后大”的策略在很多实际训练中效果显著，也是为什么动态调整 Batch Size 成为高级调参技巧的原因。

θt+1=θt−η⋅1B∑i=1B∇θℓ(f(xi;θt),yi)\theta_{t+1} = \theta_t - \eta \cdot \frac{1}{B} \sum_{i=1}^{B} \nabla_\theta \ell(f(x_i; \theta_t), y_i)
这是参数更新公式：每一步用当前批次梯度乘以学习率 η 来更新参数。B 小则每次更新方向噪声大、波动明显；B 大则更新方向稳定但单次计算成本高。
  1. 参数更新表达$\theta_{t+1} = \theta_t - \eta \cdot \hat{g}$ 表示用学习率乘以梯度估计，从当前参数中减去，即朝损失下降的方向迈出一步。B 越小，这一步的方向越不稳定。
    θt+1=θt−η⋅g^\theta_{t+1} = \theta_t - \eta \cdot \hat{g}
  2. 学习率的作用$\eta$ 是学习率，控制每一步迈多大。当 Batch Size 变大时，梯度噪声变小，通常需要同步调大学习率，否则每步太小、收敛过慢。
    η\eta
  3. 梯度平均$\frac{1}{B} \sum_{i=1}^{B} \nabla_\theta \ell$ 是当前批次的平均梯度，相当于这一把食材给出的“综合意见”。批次越大，综合意见越靠谱，方向越稳定。
    1B∑i=1B∇θℓ\frac{1}{B} \sum_{i=1}^{B} \nabla_\theta \ell

内存占用分析

厨房的空间是有限的。大厨想一次多抓点食材（大 Batch），但灶台、案板、锅碗瓢盆（显存）就那么大，食材堆多了根本放不下。在深度学习中，Batch Size 直接决定显存占用——更大的批次意味着需要在内存中同时保存更多的中间激活值、梯度等数据，显存需求随批次大小近似线性增长。

内存约束往往是最先卡住我们选择 Batch Size 的现实因素。如果你的 GPU 显存是 8GB，那么能容纳的最大批次可能只有 32 或 64。强行加大批次会导致 Out of Memory（OOM）错误，训练直接崩溃。这时候你有几个选择：减小批次、使用梯度累积（模拟大批次）、或者换更大的硬件。

所以，内存就是厨房的物理边界。大厨的应对之道是：预算有限就做小份菜（小批次），想要大批次就得换大厨房（更大的 GPU）或者把菜品分批做（梯度累积）。在真实项目中，先看硬件再定批次，是避免无效调参的第一步。

Mtotal≈Mmodel+B×MsampleM_{\text{total}} \approx M_{\text{model}} + B \times M_{\text{sample}}
这个公式表示：总显存占用 = 模型本身占用的空间 + 批次大小 × 每个样本所需的中间存储。B 越大，显存消耗线性越高。
  1. 总内存构成$M_{\text{total}}$ 表示训练过程中所需的总显存，它是模型参数、优化器状态、激活值和梯度等所有数据的存储总和。
    Mtotal≈Mmodel+B×MsampleM_{\text{total}} \approx M_{\text{model}} + B \times M_{\text{sample}}
  2. 模型固定开销$M_{\text{model}}$ 是模型本身的参数和结构占用的内存，这部分与批次大小无关，是“厨房里锅碗瓢盆的固定占地”。
    MmodelM_{\text{model}}
  3. 样本线性开销$B \times M_{\text{sample}}$ 表示每增加一个样本，内存就增加一份 M_sample。这正是“食材越多、厨房越挤”的数学表达。
    B×MsampleB \times M_{\text{sample}}

收敛速度权衡

速度是厨房的生命线。大厨发现在相同时间内，两种策略的“出菜效率”截然不同：小批次每次尝一颗、更新一次，频率极高但每步信息量少；大批次每轮处理很多食材、更新方向准，但每次更新前要等很久。到底哪个更快？答案是：要看“时间维度”还是“步数维度”。

从迭代步数看，小批次需要更多步才能收敛，因为每一步的信息量少；但每步的计算成本低。从吞吐量看，大批次单步处理的数据量多，GPU 利用率高，单位时间能消费更多样本。实践中有一个有趣的临界批大小效应：当批次从很小增大时，收敛速度几乎线性提升；但超过某个临界值后，继续增大批次对速度的提升急剧减弱，因为每次更新所需的计算量在增长，而收益趋于饱和。

大厨的总结是：追求“每步都走对”不如追求“单位时间走得远”。在硬件允许的范围内适当增大批次，充分利用 GPU 并行能力，往往比纠结单步的准确性更划算。但切记——速度不是唯一目标，泛化质量才是最终菜品的评分标准。

Ttotal≈NB×Tstep,Eopt=NB×EepochT_{\text{total}} \approx \frac{N}{B} \times T_{\text{step}}, \quad E_{\text{opt}} = \frac{N}{B} \times E_{\text{epoch}}
这个公式用两个角度看总时间：总时间 ≈ 迭代轮数 × 每步耗时。N/B 是每轮 epoch 的更新次数。批次增大时，更新次数减少但每步耗时增加，之间存在最优平衡点。
  1. 总时间构成$T_{\text{total}} \approx \frac{N}{B} \times T_{\text{step}}$ 表示总训练时间近似等于更新次数乘以单次更新耗时。其中 N 是总样本数，B 是批大小，N/B 就是遍历一遍数据所需的更新次数。
    Ttotal≈NB×TstepT_{\text{total}} \approx \frac{N}{B} \times T_{\text{step}}
  2. 收敛总步数$E_{\text{opt}} = \frac{N}{B} \times E_{\text{epoch}}$ 表示达到目标精度所需的更新总次数，E_epoch 是需要的 epoch 数。批次越大，同样 epoch 数下更新次数越少，但每步吞吐更大。
    Eopt=NB×EepochE_{\text{opt}} = \frac{N}{B} \times E_{\text{epoch}}

泛化性能关系

最后一关是品鉴会。大厨发现一个有趣的现象：用非常多食材一次性调味做出来的菜（大批次），在训练时表现很好，但在评委（测试集）那里却得分平平；而用小批次“慌乱中试错”做出来的菜，反而经常有意外的惊喜表现。这在机器学习里就是泛化性能的差异。

研究表明，小 Batch Size 训练的模型往往泛化性能更好。一种解释是：梯度噪声起到了正则化的作用，帮助模型逃离尖锐的局部最小值，找到更平坦的谷底——平坦的最优点对测试数据的扰动不敏感。而大批次训练的模型倾向于收敛到尖锐的最优解，训练集上表现完美，换一批数据就露馅，也就是过拟合。

大厨的最终心得：小批次像“街头小店试错出来的私房菜”，看似不完美但个性鲜明、适应力强；大批次像“流水线标准化出品”，稳定但缺少灵气。好在我们可以用线性缩放法则来补救：当批次增大 K 倍时，学习率也相应增大 K 倍，在保持稳定性的同时尽量缩小泛化差距。这样，大厨既能用大批次加速出菜，又能尽量保住菜品在评委那里的得分。

Generalization Gap∝1B+log⁡BB\text{Generalization Gap} \propto \frac{1}{B} + \frac{\log B}{B}
这个公式表达：泛化差距（训练与测试表现的差值）与批次大小的关系。B 越小，泛化差距越小；B 越大，泛化差距越大。小批次如同“多走弯路但见识更广”。
  1. 泛化差距定义Generalization Gap 表示模型在训练集与测试集上表现的差异，差距越小的模型，面对新数据越可靠，就像菜在不同评委那里都能获得好评。
    Generalization Gap∝1B+log⁡BB\text{Generalization Gap} \propto \frac{1}{B} + \frac{\log B}{B}
  2. 批次线性项$\frac{1}{B}$ 表示泛化差距随批次增大而增大，这是噪声减少导致正则化效果减弱的主要部分。
    1B\frac{1}{B}
  3. 对数修正项$\frac{\log B}{B}$ 是一个衰减较慢的修正项，它让泛化差距的增长速度略慢于纯线性，说明大批次的负面影响不是无限的。
    log⁡BB\frac{\log B}{B}

AI 应用场景

图像分类模型训练

阶段：超参数调优

解决的问题：在 ImageNet 等大规模图像数据集上训练深度卷积网络时，Batch Size 的选择直接影响训练能否在合理时间内完成，以及模型能否泛化到真实场景。传统上凭经验随意设置批次大小，容易陷入“训练慢”或“过拟合”的两难。

具体案例：某团队在 8 张 V100 GPU 上训练 ResNet-50，初始 Batch Size 设为 256 时，训练需要 90 轮才能达到 75% 准确率；改用线性缩放法则将 Batch Size 提到 1024、学习率同步放大 4 倍后，仅用 40 轮就达到了相同精度，训练时间缩短一半。

自然语言处理大模型调优

阶段：模型训练与优化

解决的问题：训练 GPT 类大语言模型时，Batch Size 的选择要在“梯度稳定性”与“显存上限”之间权衡。过小的批次导致 loss 震荡不收敛且 GPU 利用率低；过大的批次则直接 OOM。

具体案例：某 NLP 团队微调 7B 参数模型时，单卡能容纳的 Batch Size 仅为 4。通过梯度累积模拟 32 的有效批大小，配合学习率 warmup，使 loss 稳定下降，同时将 GPU 利用率从 60% 提升到 92%，微调时间缩短 40%。

推荐系统点击率预估

阶段：在线学习与更新

解决的问题：推荐系统面对海量用户行为数据，模型需要频繁更新以捕捉兴趣变化。传统全量重训练耗时过长，无法实时响应用户行为。

具体案例：某电商平台使用 Batch Size 为 512 的流式训练管道，每 5 分钟用最近一批点击数据更新一次模型参数。小批次带来的梯度噪声帮助模型探索新兴趣，使 CTR 提升了 8%，同时显存占用控制在单卡 12GB 以内。

Python 演示

python50 行
"""Batch Size 对训练收敛与泛化影响的简易对比实验"""import numpy as npfrom sklearn.datasets import make_moonsfrom sklearn.model_selection import train_test_splitfrom sklearn.neural_network import MLPClassifier def make_batches(X, y, batch_size):    """将数据切分为固定大小的批次"""    indices = np.random.permutation(len(X))    for start in range(0, len(indices), batch_size):        batch_idx = indices[start:start + batch_size]        yield X[batch_idx], y[batch_idx] def train_with_batch_size(batch_size, epochs=100):    """用指定 batch_size 训练 MLP 并返回指标"""    X, y = make_moons(n_samples=1000, noise=0.3, random_state=42)    X_train, X_test, y_train, y_test = train_test_split(        X, y, test_size=0.3, random_state=42)     model = MLPClassifier(        hidden_layer_sizes=(16, 8),        learning_rate_init=0.05,        max_iter=1,        batch_size=batch_size,        random_state=42    )     train_losses, test_scores = [], []    for epoch in range(epochs):        for batch_X, batch_y in make_batches(X_train, y_train, batch_size):            model.partial_fit(batch_X, batch_y, classes=[0, 1])        train_losses.append(model.loss_)        test_scores.append(model.score(X_test, y_test))    return train_losses, test_scores if __name__ == "__main__":    results = {}    for bs in [1, 8, 32, 128, 500]:        losses, scores = train_with_batch_size(bs, epochs=60)        results[bs] = {            "final_train_loss": round(losses[-1], 4),            "final_test_acc": round(scores[-1], 4)        }        print(f"Batch Size {bs:>3d} | "              f"Train Loss {losses[-1]:.4f} | "              f"Test Acc {scores[-1]:.2%}")     best_bs = max(results, key=lambda k: results[k]["final_test_acc"])    print(f"\n最佳 Batch Size: {best_bs} "          f"(测试准确率 {results[best_bs]['final_test_acc']:.2%})")
目的：这段代码在同一个数据集上，用不同 Batch Size 训练相同的神经网络，对比收敛速度和最终泛化精度，直观展示批大小的影响规律。
  1. make_moons(n_samples=1000, noise=0.3)生成一个二分类的模拟数据集，相当于准备一筐“带噪声的食材”，让问题有一定难度。
  2. train_test_split(X, y, test_size=0.3)分出 30% 作为测试集，相当于留出一部分食材给“评委品鉴”，检验泛化能力。
  3. model.partial_fit(batch_X, batch_y, classes=[0, 1])用当前批次做一次增量更新，相当于大厨每抓一把食材就试做调整一次。partial_fit 支持批量逐步训练。
  4. results[bs] = {...}记录每个批大小对应的最终损失和测试准确率，用于横向对比不同批次的效果。
  5. max(results, key=lambda k: results[k]["final_test_acc"])找出测试准确率最高的批大小，即表现最好的“抓取策略”。

常见误区

误区大厨心想：“每次尝的食材越多，判断应该越准，那把 Batch Size 直接拉满不就好了？” 于是他把所有食材一次下锅，结果发现训练极慢、显存爆炸，而且最终模型在测试集上表现很差。

正解批次过大时，梯度噪声太小，模型容易收敛到尖锐的局部最优，泛化能力下降；同时单步计算成本高、显存压力大。更关键的是，超过临界批大小后，再增大批次不会显著加速收敛，反而浪费资源。大厨应该明白：锅里放太多食材，反而“一锅乱炖”失去了每道菜的个性。

为何常见：初学者误以为“信息多=效果好”，忽略了梯度噪声的正则化价值，也没考虑显存和计算效率的物理限制。

误区看到小批次训练时 loss 曲线大幅震荡，初学者认为模型“没学会”，赶紧换大批次。结果换了大批次，训练稳定了，但测试分数反而低了。

正解损失曲线的震荡不一定代表“不收敛”——它可能是模型在探索不同的参数区域。只要整体趋势向下，最终精度达标，震荡本身不是问题。大厨要区分“震荡式下降”和“原地乱跳”：前者是摸索前行，后者才是真失败。

为何常见：人天然喜欢平滑稳定的曲线，看到波动就焦虑，忽略了最终指标才是评价标准。

误区“Batch Size 和数据有关，学习率和我心情有关，两者互不干扰。” 初学者把超参数当独立变量，调 Batch Size 时不动学习率，导致换了批次后训练效果骤变，却找不到原因。

正解Batch Size 与学习率高度耦合。增大批次时，梯度噪声减小、更新更稳定，可以（且通常应该）相应增大学习率；减小批次时则应降低学习率。这就是线性缩放法则。大厨调整“每把抓多少”时，必须同步调整“每次加多少调料”，否则味道必然失衡。

为何常见：缺乏对更新公式整体的理解，只盯着单个超参数，忽略了它们之间的数学联动关系。

误区大厨认为既定了抓一把的大小就不能变，于是从头到尾用一个批次大小，错失了动态调整带来的效率提升。

正解实践中可以采用批次大小动态调度：训练初期用较大小批次加速收敛，后期减小批次避免陷入尖锐最优；或者反过来，先小后大，先用噪声探索再用稳定精调。虽然这增加了实现复杂度，但能兼顾收敛速度与泛化质量。

为何常见：教科书和框架默认传入固定 batch_size，让初学者误以为这是一个不可变的常量。

误区“测试集上分数最高的 Batch Size 就是最好的，以后所有任务都用它。” 大厨把在某次品鉴会上获胜的配方当成万能配方，换了一道新菜也照搬，结果大失所望。

正解最佳 Batch Size 与数据集规模、模型复杂度、硬件条件、优化器设置都相关。对于一个任务调出的最优批次，换到另一个任务可能完全不适用。正确做法是理解背后的权衡原理，在每次新任务中重新做小范围搜索。

为何常见：人的天性容易“以偏概全”，把单个实验的成功经验过度外推，忽略了超参数对任务环境的依赖。

面试题

Q1. 在 Mini-Batch 梯度下降中，Batch Size 指的是什么？

单选题 · easy

  • A.整个数据集的大小
  • B.每次参数更新使用的样本数量← 正确答案
  • C.神经网络的层数
  • D.学习率的大小

答案：B。Batch Size 就是每次计算梯度并更新参数时使用的样本数量，好比大厨每抓一把食材的量。A 是全量数据概念，C 是网络结构，D 是步长控制，均与批次定义无关。

Q2. 与大批次相比，小 Batch Size 的训练通常表现出：

单选题 · easy

  • A.更低的梯度噪声
  • B.更平滑的损失曲线
  • C.更大的梯度噪声和波动← 正确答案
  • D.更高的单步计算效率

答案：C。小批次抽样估计梯度的方差大，噪声大，损失曲线震荡明显（C 对）。A 和 B 描述的是大批次的特点；D 虽然小批次单步计算快，但问题强调的是“与大批次相比”的训练表现特征。

Q3. 梯度噪声对训练过程的一个积极作用是：

单选题 · mid

  • A.使损失函数完全不变
  • B.帮助模型逃离局部最优← 正确答案
  • C.减少模型参数量
  • D.消除过拟合风险

答案：B。梯度噪声带来的随机扰动，可以让参数跳出尖锐的局部最小区域，探索更广阔的空间（B 对）。它不会冻结损失、减少参数或完全消除过拟合，只起到类似正则化的辅助作用。

Q4. 当 Batch Size 增大为原来的 4 倍时，根据线性缩放法则，学习率应：

单选题 · mid

  • A.保持不变
  • B.减小为原来的 1/4
  • C.增大为原来的 4 倍← 正确答案
  • D.增大为原来的 16 倍

答案：C。线性缩放法则指出，批次增大 K 倍时学习率也应近似增大 K 倍，以抵消梯度噪声减小带来的步长不足。因此 4 倍批次配 4 倍学习率，C 对。

Q5. 关于批大小与内存的关系，以下哪种说法最准确？

单选题 · mid

  • A.内存占用与批大小无关
  • B.内存占用随批大小近似线性增长← 正确答案
  • C.内存占用随批大小指数增长
  • D.批大小只影响 CPU 不影响 GPU 显存

答案：B。每个样本在反向传播中都要保存中间激活值，内存占用随批大小近似线性增长，B 对。C 的指数关系不存在；D 错误，深度学习主要在 GPU 上占用显存。

Q6. 大批次训练比小批次更容易过拟合，最合理的原因是：

单选题 · hard

  • A.大批次导致参数量增加
  • B.大批次梯度噪声小，易收敛到尖锐极小值← 正确答案
  • C.大批次把数据全学完了
  • D.大批次使学习率自动变大

答案：B。大批次梯度噪声小，正则化效果弱，模型更容易收敛到尖锐的局部最优——这类解对测试数据的扰动敏感，所以泛化差（B 对）。A 参数数量与批次无关；C 数据量不变，全量 GD 也会过拟合；D 学习率不会自动变化。

Q7. 以下哪些策略可以缓解大批次带来的泛化性能下降？

多选题 · mid

  • A.相应增大学习率← 正确答案
  • B.使用学习率 warmup← 正确答案
  • C.减小模型参数量
  • D.采用梯度累积模拟小批次

答案：AB。线性缩放法则建议增大学习率（A 对），warmup 可以在训练初期稳定大批次更新（B 对）。C 减少参数与批次问题无关；D 梯度累积模拟的是大批次而非小批次，方向反了。

Q8. 关于临界批大小效应，下列说法正确的有：

多选题 · mid

  • A.超过临界值后，增加批次对加速收敛收益骤减← 正确答案
  • B.临界值与硬件无关
  • C.临界批大小之前，增大批次能近乎线性提升效率← 正确答案
  • D.所有模型的临界批大小都是相同的固定值

答案：AC。临界批大小之前，吞吐量提升带动效率近线性增长（C 对）；超过后，单步信息量接近饱和，收益骤减（A 对）。B 错误，临界值受硬件并行能力影响；D 错误，不同模型、不同数据集的临界值不同。

Q9. 在分布式训练中，全局批大小通常较大。为维持训练稳定性，以下哪种做法最有效？

单选题 · hard

  • A.固定学习率不变
  • B.按比例增大学习率并配合 warmup← 正确答案
  • C.把批大小再翻倍
  • D.使用更小的数据集

答案：B。分布式下全局批大小增大，梯度更准确，需要按线性缩放法则增大学习率，并用 warmup 先稳后冲（B 对）。A 会导致收敛变慢；C 加剧问题；D 牺牲数据量不现实。

Q10. 关于 Batch Size 与训练稳定性的关系，以下说法正确的是：

多选题 · easy

  • A.小批次损失曲线通常更平滑
  • B.大批次损失曲线通常更平滑← 正确答案
  • C.小批次更新方向波动大← 正确答案
  • D.大批次更新方向更稳定← 正确答案

答案：BCD。小批次梯度噪声大，更新方向波动剧烈（C 对），损失曲线呈锯齿状；大批次噪声小，更新方向更稳定、损失曲线更平滑（B、D 对）。A 说反了，小批次波动更大。