随机权重平均SWA训练优化技巧

可视化演示

动态演示随机权重平均SWA训练优化技的核心机制，通过输入/处理/存储/输出四种模式展示关键概念与交互流程。

问题背景：雾谷里徘徊的脚步声

想象那支登山探险队：雾浓得看不清十步之外，向导每走一步只能靠脚底的触感判断“这边似乎更低”。等大家终于下到谷底，地面变平了——恰恰因为太平坦，任何方向都“看起来像最低点”，于是队伍只能在谷底附近反复踱步，每站定一个位置都只是近似。神经网络训练就是这样：数据太多，我们不可能看全整座山，只能随机抓一小把样本估算坡度。这个过程叫随机梯度下降（SGD），“随机”二字就来自这种小批量抽样带来的噪声。

训练走到后期，模型其实已经抵达损失曲面（也就是这座雾谷）很低的区域，但因为梯度估计总是带着噪声，最后一步踩的位置并不一定是最低点正中央。如果直接把最后一个 epoch 的权重拿去部署，就好比只相信队里最后一位向导随口报的坐标——他可能刚好站在一块偏出中心的小石头上。更要命的是，模型很容易在训练集上“死记硬背”（即过拟合），对新数据反而不够稳。

用公式记录一次典型更新，能清楚地看到噪声的来源。损失函数 $L(\theta)$ 衡量当前权重 $\theta$ 在数据上犯的错，训练就是不断朝损失下降的方向迈步：

所以问题清楚了：单次落脚点不可靠。既然每个脚印都“带着噪声在谷底附近散开”，那与其赌最后一步，不如把这一圈脚印都用起来——这正是下一节要讲的核心思路。

核心原理：多份报告，一个中心

有经验的向导扎营前，绝不会只听一个人报位置。他会在谷底走几圈，拦住东南西北几个方向的探路者，把大家的坐标都记下来，然后在心里估一个“中心点”：单独每份报告都可能偏，但多数报告的中心往往非常接近谷底正中央。SWA 的直觉与此完全一致：不把最后一步权重当答案，而是把训练后期若干个 epoch 的权重快照收集起来求平均，让噪声互相抵消，还原出那个更稳的中心位置。

为什么“平均”能换来更好的泛化？关键在于损失曲面上有两种“低点”。一种是尖锐的极小值：像一根竖立的铅笔尖，恰好站在尖顶上时误差很低，可新数据带来的微小扰动就会让它滑落。另一种是平坦的极小值：像一口宽宽的大铁锅，锅底一片平缓区域误差都不高，站哪都稳。大量研究发现，平坦极小值附近的模型在没见过的新数据上表现更好——泛化能力更强。而随机梯度恰好在训练后期把快照们推到同一个“锅底”的不同位置，平均之后自然落在锅底中央。

这个直觉在数学上有个很漂亮的保证：在凸区域里取平均不会跑出区域。把损失谷底近似看作一个凸的盆地 $C$，那么：

也就是说，哪怕个别快照被噪声推到了盆地边沿，只要多数快照还集中在盆地里，平均出来的点就不会把营地扎到悬崖边。多份报告，一个中心，这就是 SWA 的全部哲学。

数学公式：平均就是力量

现在我们给“平均”一个精确的数学定义。假设训练后期一共收集了 $T$ 个权重快照 $\theta_1, \theta_2, \dots, \theta_T$，SWA 的最终权重就是它们逐参数取算术平均：

最后一个式子道出了 SWA 的威力所在：单份快照是“带噪声的估计”，方差大；把 $T$ 份平均之后，方差直接缩小到原来的 $T$ 分之一。好比量一座山的高度，一个人量会有偏差，让十个人各自测量再取平均，结果就稳得多。训练时几乎不增加计算量，却拿到了等同于“降低估计方差”的收益——平均就是力量。

实现步骤：三步搭好营地

理解了原理，实现其实只有三步，探险队三下五除二就能把营地搭好。第一步叫“阶段划分”：先正常训练，让模型一路下到谷底附近。通常建议训练到总轮数的 75% 之后再启动 SWA，因为前中期模型还在快速赶路，位置彼此相距很远，硬平均只会得到一个悬在半山腰的假中心。

第二步是“快照收集”：从启动轮开始，每隔 $c$ 个 epoch 保存一次当前权重。这里有个省内存的小技巧——不需要真的存 $T$ 份完整权重，而是维护一份“平均权重副本”，每来一个新快照就做一次在线更新。第三步是“收尾替换”：训练结束后，把平均权重副本装回模型，直接用于验证和部署。

在线更新的公式长这样：假设已经平均了 $n$ 个快照，现在来了第 $n+1$ 个快照 $\theta_{n+1}$，则：

实现时还需注意两点：一是快照应使用“模型权重”而不是包含优化器状态；二是如果用了动量（momentum），动量缓冲不需要平均——它只是训练过程的行进速度，不属于营地坐标。

BN重设：换了帐篷，要重新测风向

探险队扎好帐篷后，还有一件容易被忽略的小事：要重新测一下营地的风向和水源。为什么？因为之前记录的风向、水流都是在旧地点测得的数据，帐篷一挪位置，这些记录就全作废了。BatchNorm（BN）层也有同样的“娇气”：它在训练中维护着一组运行统计量（running mean 和 running variance），记录的是“当前权重下各层激活值的分布中心”。

当你把 SWA 的平均权重换进模型时，权重变了，各层激活值的分布也跟着变，可 BN 里的 running mean/var 还是旧权重时代的产物——新旧不匹配，验证集上精度不升反降的情况经常就是这么来的。解决办法很直接：把平均权重装回模型后，让模型在训练集（或其子集）上跑一遍完整前向传播，重新统计 BN 的均值和方差。这就像帐篷挪到新位置后，重新测一遍风向，之后的所有判断才靠谱。

BN 统计量本质就是小批量激活的均值与方差，公式如下：

实践上，通常准备一个辅助 DataLoader（可以只取训练集的一个子集，几百到几千个样本即可），在没有梯度的前向模式下跑一遍，让 BN 层重新积累统计量，再进入评估。这一步虽然小，却是 SWA 能否真正生效的分水岭。

调参实践：向导的节奏

一支经验丰富的探险队，节奏感是刻在骨子里的：什么时候急行军，什么时候放慢脚步，何时停下来记录位置，都有讲究。SWA 的调参同样围绕几个关键旋钮：快照周期 $c$、起始轮数 $E_{start}$、以及学习率 $\eta$ 的策略。只要节奏对了，几乎不需要额外调什么，就能稳拿收益。

先说快照周期。$c$ 太小，相邻快照高度相关，平均的“去噪”效果打折；$c$ 太大，又浪费了后期本该收集的多样性。论文与工程经验普遍建议 $c$ 取 2 到 10 个 epoch，既不增加太多训练时间，又能保证快照之间有一定独立性。起始轮数建议放在总训练轮数的 75% 之后，此时学习率已被余弦退火压得很低，模型在谷底附近做精细探索，快照质量最高。

一个常见的搭配是：先用标准的余弦学习率衰减训练到 75%，然后把学习率固定回一个较小的常数（约为初始学习率的 5%），继续跑完剩余轮数并周期性收集快照。这种“降速巡航”让模型在谷底多转几圈，收集到的位置更密集、更贴近中心。快照总数 $N_{snap}$ 的计算很简单：

优化器方面，SWA 与带动量的 SGD 是天然搭档；与 Adam 配合时收益也存在，但稍弱一些，且建议在用 Adam 训练到后期后切换低学习率再收集快照。记住向导的节奏口诀：先下山，再降速巡航，最后平均扎营。

对比拓展：从篝火到GPS

SWA 不是唯一一种“用历史信息优化最终模型”的工具，探险队的历史上有几种不同的定位技术：有人喜欢跟着最近脚印走，有人干脆撒出多支小队分开探路，还有人背上了一台笨重的 GPS。理解 SWA 与它们的关系，你才能真正选对工具。

第一种是 EMA（指数移动平均）。它同样维护一份权重副本，但每步都做平滑：

第二种是深度集成（Deep Ensemble）：训练多份独立模型，推理时把所有模型的预测结果取平均。这种方法效果强劲，但推理成本随模型数量成倍上涨；相比之下，SWA 只需一份权重，推理成本与单模型完全相同，几乎白拿泛化增益。第三种是 SWA-Gaussian（SWAG）：在平均权重的基础上继续估计权重的协方差，能够输出带不确定性的近似贝叶斯模型，相当于给探险队配了一台 GPS——精度更高，但计算代价也更大。

所以选型建议很清晰：日常训练调优、追求“零成本泛化提升”时，SWA 是最优解；需要应对分布漂移或不确定性估计时，再看 SWAG；追求极致精度且算力充裕时，才考虑深度集成。

---

AI 应用场景

Python 演示

import mathimport torchimport torch.nn as nnimport torch.optim as optimfrom torch.utils.data import DataLoader, TensorDataset torch.manual_seed(7)N = 1600X = torch.randn(N, 8)w_true = torch.randn(8, 1) * 0.5y = X @ w_true + torch.sin(X[:, :1]) * 2.0 + torch.randn(N, 1) * 0.2loader = DataLoader(TensorDataset(X, y), batch_size=64, shuffle=True)  class MLP(nn.Module):    def __init__(self):        super().__init__()        self.net = nn.Sequential(            nn.Linear(8, 32), nn.ReLU(),            nn.Linear(32, 32), nn.ReLU(),            nn.Linear(32, 1),        )     def forward(self, x):        return self.net(x)  model = MLP()swa_model = MLP()optimizer = optim.SGD(model.parameters(), lr=0.05, momentum=0.9)loss_fn = nn.MSELoss() SWA_START = 30   # 第 30 轮开始收集快照SWA_PERIOD = 5   # 每 5 轮收集一个快照TOTAL_EPOCHS = 40num_averaged = 0  def collect_snapshot():    global num_averaged    if num_averaged == 0:        swa_model.load_state_dict(model.state_dict())    else:        for swa_p, p in zip(swa_model.parameters(), model.parameters()):            swa_p.data.mul_(num_averaged).add_(p.data).div_(num_averaged + 1)    num_averaged += 1  for epoch in range(1, TOTAL_EPOCHS + 1):    model.train()    for xb, yb in loader:        optimizer.zero_grad()        loss = loss_fn(model(xb), yb)        loss.backward()        optimizer.step()    if SWA_START <= epoch <= TOTAL_EPOCHS and (epoch - SWA_START) % SWA_PERIOD == 0:        collect_snapshot() last_model = MLP()last_model.load_state_dict(model.state_dict())  # 保存最后一步权重  def rmse(m):    m.eval()    with torch.no_grad():        return math.sqrt(loss_fn(m(X), y).item())  model.load_state_dict(swa_model.state_dict())print("最后一步权重 RMSE: %.4f" % rmse(last_model))print("SWA 平均权重 RMSE: %.4f" % rmse(model))print("共收集快照数:", num_averaged)

1. swa_model = MLP()准备一份专门存平均结果的副本模型，只负责“记账”，不参与训练。
2. optimizer = optim.SGD(model.parameters(), lr=0.05, momentum=0.9)用带动量的 SGD 训练，这是 SWA 论文默认推荐的搭配。
3. swa_p.data.mul_(num_averaged).add_(p.data).div_(num_averaged + 1)在线平均：新平均 =（旧平均×n + 新快照）÷（n+1），O(1) 完成且不占额外显存。
4. if SWA_START <= epoch <= TOTAL_EPOCHS and (epoch - SWA_START) % SWA_PERIOD == 0:训练后期按固定周期触发快照收集。
5. last_model.load_state_dict(model.state_dict())记录最后一个 epoch 的权重作为对照组，用于公平比较。
6. model.load_state_dict(swa_model.state_dict())把平均权重装回模型，之后直接评估，无需重训。

常见误区

面试题