想象你蒙着眼站在群山之巅，任务是找到最低的幽谷。你每迈一步，只能靠脚下土壤的倾斜来试探方向——这个感觉十次里有三四次是偏的。这就是随机梯度下降（SGD）：每次只凭一个样本给出的“脚下感觉”（梯度）向前走，而不是像全批量梯度下降那样，先精确测量整片山谷，再挑最陡的方向。说来也怪，只要步幅（学习率）安排得当，这位跌跌撞撞的探险家几乎总能抵达谷底附近。本篇文章要讲的，正是“为什么能走到”以及“以多快的速度走到”——也就是SGD的收敛性理论。

岗位关联

掌握SGD收敛性理论，是理解深度学习优化器设计、学习率调度与训练诊断的核心基础。无论调参、选优化器还是排查训练不收敛，这套理论都在幕后起作用。

目录
  1. 可视化演示
  2. 收敛性定义
  3. Robbins-Monro条件
  4. 凸函数收敛
  5. 非凸收敛
  6. 方差缩减
  7. 批量梯度对比
  8. 学习率策略
  9. 收敛验证实践
  10. AI 应用场景
  11. Python 演示
  12. 常见误区
  13. 面试题

可视化演示

展示随机梯度下降收敛过程与噪声特性、Robbins-Monro学习率调度条件及SAGA/SVRG方差缩减线性收敛，揭示SGD收敛核心理论。

本节配有交互动效（进入视口后自动加载，约 3KB）。

SGD收敛过程 损失下降：SGD沿梯度方向下降，总体趋势收敛 随机噪声：小批量梯度估计引入方差导致震荡 收敛速率：凸O(1/√k)，非凸O(1/k) θ_{k+1} = θ_k - η_k · ∇f(θ_k; ξ_k) SGD迭代更新公式

收敛性定义

蒙眼探险家的第一个问题：什么才算“走到了谷底”？在山顶时人能看到山谷全貌；可蒙上眼睛后，只能凭脚下土壤的倾斜来判断。探险家需要一把客观的“尺子”——数学上这把尺子就是目标函数损失值离最低点的距离。

每次迭代，探险家根据随机抽取的一个样本迈出一步，所以每一步的位置都是随机的。我们真正关心的，是多次重复训练时平均而言位置离谷底有多远。这把尺子写作期望损失差 $\mathbb{E}[f(x_k)] - f^*$，其中 $x_k$ 是第 $k$ 轮迭代的参数，$f^*$ 是全局最优损失。

收敛性定义要求这把尺子的读数最终归零：

这张“收敛证书”不要求每一步都更接近谷底——蒙眼行走本就跌跌撞撞，允许偶尔走偏，只要平均脚印最终落向谷底即可。实践中通常评估平均参数 $\bar{x}_k$ 而非最后一步，因为对历史脚印取平均能抵消一部分随机噪声。

lim⁡k→∞E[f(xk)]−f∗=0\displaystyle \lim_{k \to \infty} \mathbb{E}[f(x_k)] - f^* = 0
  1. 极限符号$\displaystyle \lim_{k \to \infty}$——$k$ 表示迭代轮数，表达“当迭代次数趋于无穷时”的最终状态，即探险家走了足够久之后。
  2. 期望算子$\displaystyle \mathbb{E}[\cdot]$——样本抽取有随机性，我们用多次重复实验的平均值衡量表现，相当于把探险家许多条不同下山轨迹放在一起取平均。
  3. 目标损失$\displaystyle f(x_k)$——给定当前参数 $x_k$ 时，模型在全体数据上的平均错误程度，也就是脚下位置的“海拔”。
  4. 最优损失$\displaystyle f^*$——谷底的最低海拔，即全局最优参数对应的损失。二者相减正是“离谷底还有多远”。

Robbins-Monro条件

知道了终点怎么定义，探险家面临第二个问题：“步幅多大合适？”太大，会在谷底附近来回跨越；太小，可能永远走不到。1951年，统计学家 Robbins 和 Monro 给出了步幅的两条铁律。

学习率 $\eta_k$ 是第 $k$ 步的步幅。第一条铁律说，所有步幅加起来必须无穷大——防止探险家半路停下；第二条说，步幅平方之和必须有限——防止他到了谷底还停不下来、无限抖动。

这两条铁律写作：

以 $\eta_k=1/k$ 为例：前一万步子长和约为 9.79，缓慢增长但最终发散；平方和却收敛到 $\pi^2/6 \approx 1.64$。两条铁律如同“刹车不能一脚踩死，也不能永远踩着”——这正是可视化中红色曲线震荡不收敛的根本原因。

∑k=1∞ηk=∞,∑k=1∞ηk2<∞\displaystyle \sum_{k=1}^{\infty}\eta_k = \infty, \qquad \sum_{k=1}^{\infty}\eta_k^2 < \infty
  1. 调和发散$\displaystyle \sum_{k=1}^{\infty}\eta_k = \infty$——每一步步幅的总和发散，保证探险家累计走得足够远，不会因步幅骤减而困在半山腰。
  2. 平方可和$\displaystyle \sum_{k=1}^{\infty}\eta_k^2 < \infty$——步幅平方的总和收敛，保证随机扰动累积出的“抖动能量”有限，脚步最终越来越稳。
  3. 典型设计$\displaystyle \eta_k = \frac{1}{k}$——最经典的步幅曲线：前面大步流星敢闯，后面细碎收尾稳住，恰好同时满足两条铁律。
  4. 反例警示$\displaystyle \eta_k = \frac{1}{k^2}$——平方衰减太快，总步长有限，探险家永远走不到谷底；而常数学习率则违反第二条，到了谷底还在不停跺脚。

凸函数收敛

若山谷是一个光滑的碗——任意两点连线都不低于谷面，这就是凸问题。碗底唯一，探险家心里有底：只要方向总体对，迟早能到。

凸性给SGD带来的好处是，无论随机梯度怎么偏，对历史脚印取平均后的参数 $\bar{x}_k$ 都有明确的损失上界。凸问题中最经典的结论是期望损失差以 $O(1/\sqrt{k})$ 的速率衰减：

如果目标函数更强——例如强凸函数，碗底不仅凹陷，而且有明显“收口”——速率还能提升到 $O(1/k)$：

碗形山谷里，探险家不用担心走偏太远：谷壁的坡度会把每次的偏差拉回。凸性就是这种向心力——越接近谷底，偏差越难累积。

E[f(xˉk)]−f∗≤Ck\displaystyle \mathbb{E}[f(\bar{x}_k)] - f^* \leq \frac{C}{\sqrt{k}}
  1. 大O记号$\displaystyle O\left(\frac{1}{k}\right)$——表示误差渐进地以 $1/k$ 的速度衰减，即迭代次数翻倍，误差约减半。
  2. 强凸增益$\displaystyle \frac{1}{k}$——比 $\frac{1}{\sqrt{k}}$ 快得多。碗壁的“向心力”把随机偏差不断推回正道，这正是强凸带来的加速。

非凸收敛

真实世界的损失地形连绵起伏、山谷众多，这就是非凸问题——深度学习几乎都是。此时“走到谷底”的承诺必须降级：SGD只能保证找到驻点（梯度为零的点），而非全局最低点。

用数学语言，非凸SGD保证的是前 $k$ 轮内出现过的“最小梯度范数平方”的期望以 $O(1/k)$ 收敛：

这个保证其实很弱：它不区分A点是真谷底还是浅坑。探险家可能停在鞍部——一个方向陡下、另一方向陡上的马鞍形山口，梯度为零却并非极值。这解释了为什么非凸优化里SGD会逗留在鞍点附近，也解释了为什么实战中需要动量、自适应学习率来“冲出”鞍部。群山之中，蒙眼者唯一能确定的是“最终会到达一个不再迷茫的地方”；至于那是不是最美的谷底，理论只摊手表示无能为力。

min⁡0≤t<kE∥∇f(xt)∥2≤Ck\displaystyle \min_{0 \le t < k} \mathbb{E}\|\nabla f(x_t)\|^2 \leq \frac{C}{k}
  1. 梯度范数$\displaystyle \|\nabla f(x_t)\|$——梯度向量的长度，衡量当前脚下有多“陡”；若为零，说明站在平地或山巅/谷底，即驻点。
  2. 取最小值$\displaystyle \min_{0 \le t < k}$——在前 $k$ 轮中挑一个“最接近驻点”的时刻。非凸分析的经典技巧：不看最后一步，而看全程最好成绩。
  3. 上界$\displaystyle \frac{C}{k}$——随迭代次数线性衰减。训练越久，越有可能遇到一个梯度几乎为零的位置，但绝不保证那是全局最优。

方差缩减

探险家脚下抖动不断，因为每次只看一个样本。抖动太猛，步幅再小也难以停稳。那能否既保留单样本的快捷，又让脚步像全量测量一样稳？这就是方差缩减技术——相当于给探险家一根登山杖，用历史记忆抵消随机偏差。

SVRG（随机方差缩减梯度）的思路是：每隔 $m$ 步回一次大本营，用全体数据算一次精确的“全梯度” $\nabla f(\tilde{x})$，然后每一步的修正梯度为：

SAGA 的修正思路更“记账”：为每个样本维护一个历史梯度 $\alpha_i$，每一步更新对应样本的账目，再用全体账目均值校准：

方差缩减后，步长可取常数，在强凸条件下达到线性收敛：

登山杖的代价：SVRG需要定期扫描全量数据，SAGA需要 $O(n)$ 内存存梯度表。用一根杖换来了脚步稳健，但杖本身也有重量。

vt=∇fi(xt)−∇fi(x~)+∇f(x~)\displaystyle v_t = \nabla f_i(x_t) - \nabla f_i(\tilde{x}) + \nabla f(\tilde{x})
  1. 几何衰减$\displaystyle (1-\rho)^k$——每轮误差至少乘以 $(1-\rho)<1$，误差按几何级数缩水，肉眼可见“每几轮降一截”。
  2. 收敛系数$\displaystyle \rho \in (0,1)$——依赖问题条件数（碗的收口程度），$\rho$ 越大收敛越快。
  3. 线性收敛$\displaystyle \le$——迭代次数与误差对数成正比，这是优化算法里最快的标准收敛形态之一。

批量梯度对比

不拿杖、不戴眼罩的“精确测量派”是全批量梯度下降（BGD）：每一步用全体样本计算真实梯度，方向最准，但每步成本随数据量 $n$ 线性增长。SGD每次只随机抽一个样本，方向含噪，每步成本 $O(1)$。

两种更新规则并列：

每轮成本上，BGD是 $O(n)$，SGD是 $O(1)$。但SGD的方差使其同等轮数下精度受限；BGD的精确则要付出随 $n$ 增大的昂贵代价。两者之间是 mini-batch：每批取 $m$ 个样本，成本 $O(m)$，方差比单样本小约 $m$ 倍。实际训练几乎都用 mini-batch SGD——精确地图若绘制一次要测量一整年，不如靠廉价脚感多走几步，再用多步平均来弥补方向偏差。

gGD=1n∑i=1n∇fi(w),gSGD=∇fi(w)\displaystyle g_{\text{GD}} = \frac{1}{n}\sum_{i=1}^{n}\nabla f_i(w), \qquad g_{\text{SGD}} = \nabla f_i(w)
  1. 全批均值$\displaystyle \frac{1}{n}\sum_{i=1}^{n}\nabla f_i(w)$——把所有样本的梯度逐项求和再平均，得到精确的全局方向，如同在山顶用仪器扫描全场后选最陡路线。
  2. 单样本梯度$\displaystyle \nabla f_i(w)$——只取第 $i$ 个样本的方向，计算极快，但方向有随机偏差。
  3. 无偏性$\displaystyle \mathbb{E}[\nabla f_i(w)] = \nabla f(w)$——随机抽取的期望恰好等于全批梯度。SGD虽噪，但平均来看方向正确，这是它能工作的根本保证。

学习率策略

理论说“递减学习率”是原则，工程上还要设计具体衰减曲线。最常用的多项式衰减：

工程上还有热身策略：先线性放大学习率跑几个 epoch，避开初始不稳定的地形；余弦退火则让学习率沿余弦曲线从大到小起伏，兼顾探索与收敛。这些策略的共同点是让步幅在“敢闯”与“稳住”之间动态权衡。通用调参法则：训练损失震荡不降则学习率过大；下降过于缓慢则学习率过小或衰减过早。步幅艺术就像探险家的呼吸节奏——起步深长有力，接近目标时细碎安稳，必要时深吸一口气（重启或热身）帮助越过障碍。

ηk=η01+λk\displaystyle \eta_k = \frac{\eta_0}{1 + \lambda k}
  1. 初始步幅$\displaystyle \eta_0$——最初的最大学习率，决定探险家早期的前进速度；太大容易跳过谷底，太小则出发太慢。
  2. 衰减系数$\displaystyle \lambda$——控制步幅收缩快慢；$\lambda$ 大则很快进入精细搜索，$\lambda$ 小则更长时间保持大步探索。
  3. 整体形状$\displaystyle \frac{1}{1+\lambda k}$——随 $k$ 近似反比例衰减，恰好满足 Robbins-Monro 两条铁律：调和发散、平方可和。

收敛验证实践

理论说“一定收敛”，工程上如何判断“已经快到了”？最直接的信号是检查梯度范数——脚下不再倾斜才算真正停在平地或谷底：

但梯度范数有坑：非凸鞍点梯度也为零，因此要配合验证集损失曲线判断。实操手段有三个：一是看训练损失是否进入平台期；二是用多个随机种子重复训练，若最终损失相近说明收敛可复现；三是算验证集指标，连续多个 epoch 不改善即早停。此外，全批量梯度计算成本高，实际常用 mini-batch 梯度范数近似，并配合学习率衰减综合判断。探险家判断快到谷底，不是靠感觉：低头看脚——脚下几乎不倾斜，周围景象许久不变，就再走几步确认没走错，然后扎营。

∥∇f(w)∥2≤ϵ\displaystyle \|\nabla f(w)\|_2 \leq \epsilon
  1. 梯度欧氏范数$\displaystyle \|\nabla f(w)\|_2$——全批量梯度向量的长度，衡量当前位置潜在下降空间的大小。
  2. 阈值$\displaystyle \epsilon$——预设判定阈值（如 $10^{-4}$）。梯度长度小于 $\epsilon$，即认为已抵达驻点附近。
  3. 触发早停$\displaystyle \le$——不等式成立时停止迭代，避免把算力浪费在无意义的抖动上。

AI 应用场景

大模型预训练学习率调度

阶段：模型训练与调参

解决的问题：大模型预训练动辄数十万步，直接以峰值学习率起步会使损失爆炸；传统固定学习率又难以兼顾前期探索与后期收敛。基于Robbins-Monro条件的理论与实践，工程上设计出“warmup + 余弦退火”的调度，让学习率先升后降，既利用大学习率快速逃离初始不稳定区，又用小学习率在后期精细收敛。

具体案例：GPT类语言模型在预训练前数千步将学习率从0线性升至峰值，再按余弦曲线衰减到接近0。相比常数学习率，这种做法显著降低最终困惑度，且训练过程更稳定，已成为LLM训练的事实标准。

联邦学习中的非凸SGD

阶段：分布式训练

解决的问题：联邦学习中客户端数据异构，本地更新后聚合的梯度噪声远大于集中训练，固定学习率极易震荡。依据SGD非凸收敛理论，服务端按RM条件衰减聚合学习率，客户端使用局部多步SGD，可在不共享数据的前提下稳定收敛到驻点。

具体案例：跨设备联邦平均（FedAvg）在移动端键盘预测场景中，服务端学习率按 $1/\sqrt{k}$ 衰减，客户端本地跑3-5轮小批量SGD，最终模型准确率与集中训练差距缩小到1%以内。

在线广告CTR预估

阶段：在线学习与流式更新

解决的问题：广告流量是海量流式数据，无法全量重算梯度；SGD每次仅用一条样本、成本 $O(1)$，天然匹配高并发实时场景。递减学习率让模型在新数据上持续调整而不被单条噪声带偏，符合Robbins-Monro收敛条件。

具体案例：电商推荐系统的点击率模型在日志流式到达时，使用幂律衰减学习率在线更新逻辑回归或DLRM模型，在保持实时性的同时使AUC稳定提升。

Python 演示

python43 行
import numpy as np  def make_data(n=300, d=20, seed=0):    rng = np.random.default_rng(seed)    X = rng.standard_normal((n, d))    w_true = rng.standard_normal(d)    y = X @ w_true + 0.05 * rng.standard_normal(n)    return X, y, w_true  def full_grad(X, y, w, lam):    n = len(y)    return X.T @ (X @ w - y) / n + lam * w  def train(X, y, mode, epochs=30, lr0=0.4, lam=0.1):    n, d = X.shape    w = np.zeros(d)    t = 0    losses = []    for _ in range(epochs):        order = np.random.permutation(n)        for i in order:            xi = X[i:i + 1]            yi = y[i:i + 1]            if mode == 'gd':                grad = full_grad(X, y, w, lam)            else:                grad = xi.T @ (xi @ w - yi) + lam * w            lr = lr0 if mode == 'sgd_const' else lr0 / (1 + t)            w -= lr * grad            t += 1        loss = 0.5 * np.mean((X @ w - y) ** 2) + 0.5 * lam * np.sum(w ** 2)        losses.append(float(loss))    return losses  if __name__ == '__main__':    X, y, _ = make_data()    for mode in ('gd', 'sgd_const', 'sgd_decay'):        losses = train(X, y, mode)        print(mode, 'final loss:', round(losses[-1], 6))
目的：在脊回归凸问题上对比全批量梯度下降、常数学习率SGD与递减学习率SGD的收敛表现，直观验证Robbins-Monro条件。
  1. X = rng.standard_normal((n, d))生成高斯特征矩阵，模拟线性回归的输入数据。
  2. grad = full_grad(X, y, w, lam)全批量真实梯度，方向精确但每轮要扫完所有样本。
  3. grad = xi.T @ (xi @ w - yi) + lam * w单样本随机梯度加正则项，成本 $O(1)$ 但有噪声。
  4. lr = lr0 if mode == 'sgd_const' else lr0 / (1 + t)常数与递减学习率的唯一分水岭。
  5. w -= lr * grad梯度下降的通用更新规则，也就是探险家迈出的一步。
  6. loss = 0.5 * np.mean((X @ w - y) ** 2) + 0.5 * lam * np.sum(w ** 2)每个 epoch 后计算全量训练损失。
  7. if __name__ == '__main__':程序入口，依次跑三种模式并打印最终损失。

常见误区

误区“学习率设得越小，SGD 就越容易收敛到最优解。我看到训练曲线一直缓慢下降，就继续把学习率调小，直到它几乎不动为止。”

正解学习率过小会破坏 Robbins-Monro 第一条铁律：步幅之和必须发散。若 $\eta_k$ 按 $1/k^2$ 衰减，总步长有限，模型会在半山腰停下，看似“稳”实则永远到不了谷底。反过来，常数学习率违反第二条，到谷底附近会持续震荡。正确做法是同时满足调和发散与平方可和，例如 $\eta_k = \eta_0/(1+\lambda k)$。

为何常见：人凭直觉觉得“步子小就不容易走错”，却忽略了“走不到”本身也是一种失败。

误区“训练时损失曲线必须一路向下，一旦出现上升就是发散了，训练肯定失败了。”

正解SGD 的梯度来自随机样本估计，天然带噪声，单个 epoch 的损失上下波动完全正常。理论收敛的是期望或平均参数上的损失，不是每一步都单调。判断收敛应看平滑后的曲线趋势、验证集指标和梯度范数，而非紧盯单步跳动。

为何常见：习惯了全批量梯度下降那种平滑的确定性下降曲线，就把单调下降误当作所有优化器的应有表现。

误区“SGD 总能找到全局最优，毕竟深度学习模型都用它训练，效果还那么好。”

正解非凸问题的理论保证只是收敛到驻点（梯度为零），可能是局部极小、鞍点甚至平坦区域。深度模型“效果好”是因为大数据、高维度和隐式正则化让许多局部极小都足够好，而非 SGD 有本领逃出所有陷阱。

为何常见：把工程上的成功直接等同于理论上的强保证，忽略了非凸优化本身没有全局最优承诺。

误区“方差缩减技术又稳又快，以后所有问题都该用 SVRG 或 SAGA，普通 SGD 可以退休了。”

正解SVRG/SAGA 的线性收敛保证建立在强凸和平滑假设上；非凸深度模型既不满足强凸，SAGA 还要 $O(n)$ 额外内存存梯度表，SVRG 需周期性全量扫描。在数据流式到达或深层模型的场景中，普通 SGD/mini-batch SGD 依然是最常用的选择。

为何常见：把特定条件下的理论优势外推到一切场景，忽视了前提条件和工程成本。

误区“只要迭代次数够多，SGD 一定收敛到测试误差更低的位置，所以训练越久越好。”

正解收敛性理论管的是训练目标，不是测试泛化。训练损失持续下降时，验证损失可能已经开始回升（过拟合），继续迭代反而有害。工程上依赖验证集早停，而不是无限训练。

为何常见：混淆了优化目标与泛化目标，以为训练损失越低模型必然越好。

面试题

Q1. 学习率序列 $\eta_k=1/k$ 满足 Robbins-Monro 条件的关键原因是？

单选题 · easy

  • A.调和发散且平方收敛可以兼得← 正确答案
  • B.调和收敛且平方发散可以兼得
  • C.调和发散且平方发散才是收敛
  • D.调和收敛且平方收敛才是收敛

答案：A。$\sum 1/k$ 是调和级数，发散；$\sum 1/k^2$ 收敛到 $\pi^2/6$。两条铁律同时成立，所以 $\eta_k=1/k$ 是经典步幅设计。选项C/D颠倒了两个条件的方向，B两项都不对。

Q2. 关于 SGD 与全批量梯度下降的单轮计算成本，正确的说法是？

单选题 · easy

  • A.SGD每轮成本为O(1)量级← 正确答案
  • B.BGD每轮成本为O(1)量级
  • C.两者每轮成本均为O(n)量级
  • D.两者每轮成本均为O(n²)量级

答案：A。SGD每轮只计算一个样本的梯度，成本 $O(1)$；BGD要扫完 $n$ 个样本求均值，成本 $O(n)$。这正是SGD能在海量数据上高效迭代的根本原因。

Q3. 凸问题中，SGD 使用平均参数 $\bar{x}_k$ 评估时，期望损失差的典型收敛速率是？

单选题 · easy

  • A.O(1/√k)的渐进衰减速率← 正确答案
  • B.O(1/k)的渐进衰减速率
  • C.O(log k/k)的渐进衰减速率
  • D.O(1)恒定误差水平不再下降

答案：A。一般凸函数上，SGD的期望损失差上界为 $O(1/\sqrt{k})$。$O(1/k)$ 是强凸条件下的强化结论，$O(\log k/k)$ 不是标准速率，恒定误差则意味着不收敛。

Q4. 非凸设置下，SGD 理论收敛目标的精确描述是？

单选题 · mid

  • A.梯度范数期望平方O(1/k)衰减← 正确答案
  • B.函数值O(1/k)逼近全局最优
  • C.每步严格下降并收敛到最小值
  • D.O(1/√k)收敛到全局极小值

答案：A。非凸分析关注驻点而非全局最优，经典结论是前 $k$ 轮最小梯度范数平方的期望以 $O(1/k)$ 衰减。函数值逼近全局最优、单调下降到最小值都是凸问题才有的强保证。

Q5. SVRG 方差缩减的核心思想是？

单选题 · hard

  • A.定期用全梯度校准随机梯度方向← 正确答案
  • B.每次迭代维护全部样本的梯度表
  • C.利用二阶海森信息近似估计曲率
  • D.对历史梯度做指数加权平均

答案：A。SVRG每隔固定步数算一次快照全梯度 $\nabla f(\tilde{x})$，再用 $\nabla f_i(x_t)-\nabla f_i(\tilde{x})+\nabla f(\tilde{x})$ 修正每步随机梯度。选项B描述的是SAGA，C是牛顿类方法，D是动量思想。

Q6. 常数学习率 SGD 在凸问题上的典型表现是？

单选题 · mid

  • A.前期快速下降后期在最优值附近震荡← 正确答案
  • B.始终不下降且损失不断增大直到崩溃
  • C.单调收敛到全局最优位置不再震荡
  • D.必然发散到模型定义域外无法训练

答案：A。常数学习率不满足 Robbins-Monro 第二条铁律，$\sum \eta^2$ 发散。它前期能快速下降，但到了最优附近随机噪声导致的抖动不会衰减，永远无法精确收敛。B和D过于绝对，C与理论矛盾。

Q7. 设学习率 $\eta_k = 1/k^{0.8}$，关于它是否满足 Robbins-Monro 条件，正确的是？

单选题 · extreme

  • A.满足，调和发散且平方级数可和← 正确答案
  • B.不满足，平方级数发散不可控
  • C.不满足，调和级数收敛于有限值
  • D.仅当数据量趋于无穷时才满足

答案：A。对 $\eta_k=1/k^p$，$\sum \eta_k$ 发散当且仅当 $p \le 1$，而 $\sum \eta_k^2=\sum 1/k^{2p}$ 收敛当且仅当 $2p>1$。取 $p=0.8$，两个条件同时满足，所以该序列也符合收敛要求。

Q8. 以下哪些技术能够降低 SGD 梯度估计的方差？

多选题 · mid

  • A.增大mini-batch大小来估计梯度← 正确答案
  • B.使用SVRG定期全梯度做校准← 正确答案
  • C.用SAGA维护样本梯度均值表← 正确答案
  • D.使用常数学习率保持步幅稳定

答案：ABC。增大 batch 相当于对更多样本求平均，方差按比例降低；SVRG 的快照校准和 SAGA 的梯度均值表都是方差缩减的经典方案。常数学习率改变的是步幅而非梯度估计的方差，D 不符合题意。

Q9. Robbins-Monro 两条条件各自的作用是？

多选题 · mid

  • A.第一条保证累计步长能够走远← 正确答案
  • B.第二条保证随机抖动能量有限← 正确答案
  • C.第一条保证每一步都确定下降
  • D.第二条保证最终找到全局最优点

答案：AB。$\sum \eta_k=\infty$ 保证累计位移足够大，不会半途而废；$\sum \eta_k^2<\infty$ 保证噪声累积的抖动有限。SGD本身就不保证每步下降（那是全批量才有的性质），也不承诺全局最优，所以C和D错误。

Q10. 工程上判断 SGD 训练已收敛的可靠信号包括？

多选题 · hard

  • A.验证集损失进入稳定平台期← 正确答案
  • B.梯度范数低于预定停止阈值← 正确答案
  • C.多种子训练得到复现的损失← 正确答案
  • D.训练损失单步完全不再变化

答案：ABC。验证损失平台、梯度范数阈值、多种子复现三者互为印证，前两个反映优化状态，第三个排除运气成分。D不可靠：SGD天然有噪声，单步损失完全不变化既不可能也不必要，平滑后的趋势才是判断依据。