Adam与AdamW优化器对比

可视化演示

展示Adam与AdamW优化器核心差异：Adam更新流程（梯度->一阶矩m_t->二阶矩v_t->偏差校正->参数更新）、权重衰减对比（Adam L2正则加入梯度vs AdamW解耦直接作用参数+Loss收敛曲线）、优化器演进历史(SGD->Momentum->AdaGrad->RMSProp->Adam->AdamW)，交互切换核心维度。

优化器演进：从草鞋到登山杖

梯度村最早的村民SGD只穿草鞋下山，他的规则很简单：坡度最陡的方向是哪边，就往哪个方向迈出固定的一步。虽然简单可靠，但山路并不是处处都陡——在平缓的草坡上他挪得极慢，在多弯的峡谷里他又左右反复震荡。这让村民们开始思考：能不能让脚步有一些“记忆”，再多关注一下地形本身？

于是“动量”被引入了：像滚雪球一样，把之前的方向存下来，越滚越快。随后“自适应学习率”也登场了：像根据土质判断下脚轻重一样，给每个方向配一个动态步幅。Adam正是把这两者合二为一的集大成者。它既记录了带惯性的移动方向（一阶矩估计），也记录了山坡的起伏能量（二阶矩估计），两者配合让下山变得又快又稳。

SGD的更新可以写成最朴素的样子：

然而SGD没有记忆、不会看地形，于是Adam站上了历史舞台。不过他的背包里，藏着后面我们要解开的谜题。

动量与惯性：滚雪球的力量

想象你从山坡上推下一个雪球：雪球滚过的路径会让它不断积累速度，即使遇到一段缓坡，也能借着惯性冲过去。动量机制就是这样——它不只看当前这一步的坡度，还会参考“之前走过的方向”，让更新方向保持连贯。

在Adam中，这个“雪球”被称为一阶矩估计，记作 \(m_t\)。它把历史梯度做了指数移动平均：最近的梯度影响最大，较远的梯度影响逐渐衰减。默认参数 \(\beta_1 = 0.9\) 意味着每一步会保留旧动量90%的“记忆”，再融入10%的新坡度信息。

动量解决了“平缓地带挪不动”和“峡谷来回晃”的问题，但下山还有一个变数：不同方向的路况差异巨大。于是还需要一个能自动调整步幅的机制——这正是下一节的自适应学习率。

自适应学习率：山坡上的自动步幅

如果动量是滚雪球，那么自适应学习率就像一位经验老到的向导：遇到陡峭碎石坡就小步慢走，遇到开阔平路就大步快跑。Adam用二阶矩估计 \(v_t\) 记录“坡度能量”——梯度越大，这个方向上越陡，步幅就自动收窄。

二阶矩估计同样使用指数移动平均，但保存的是梯度的平方，因此对“剧烈起伏”更敏感。默认 \(\beta_2 = 0.999\) 让能量记忆比动量记忆更长。最终每个参数的更新步长是 \(\eta / \left(\sqrt{v_t} + \epsilon\right)\)，其中 \(\epsilon\) 是一个非常小的常数，专门防止除法除零。

但这里悄悄埋下一个问题：无论是 \(m_t\) 还是 \(v_t\)，在训练最初的几步里都是从0开始累积的，读数会严重偏小。这时候，就需要偏差校正出场。

偏差校正：校准你的速度表

一辆刚起步的车，速度表从0开始慢慢升到真实速度，这段时间的读数总是“滞后”的。Adam的一阶矩和二阶矩也有同样的问题：初始化时 \(m_0=0\)、\(v_0=0\)，如果直接用，早期动量会被严重低估。偏差校正就是给速度表一个“提前补偿”，让它在第 \(t\) 步时除以 \((1 - \beta^t)\)。

这个校正系数有一个很好的性质：训练早期 \(t\) 很小，\((1-\beta^t)\) 明显小于1，补偿力度大；随着 \(t\) 逐渐变大，\((1-\beta^t)\) 无限趋近于1，校正逐渐失去作用。所以它几乎不影响训练后期，却能让训练初期稳定起步。

有了偏差校正，Adam才算真正成型：惯性、自适应、稳定起步全部齐备。然而，前面的故事遗漏了背包里的重物——权重衰减。这里才是Adam与AdamW分道扬镳的地方。

权重衰减：背包减负的烦恼

下山走太久，登山者的背包会越来越重；为了让旅程不偏离主路太远，他需要时不时卸下一些重物。在深度学习里，这个“卸货”动作叫做权重衰减，最经典的形式是L2正则化：把 \(\lambda \theta_t\) 加进梯度，让参数向0收缩。经典Adam是这么做的：先把带惩罚的梯度算出来，再统一送入动量与自适应模块。

问题来了。Adam在后续计算中会把整个梯度除以 \(\sqrt{\hat{v}_t} + \epsilon\)。也就是说，本来应该独立起作用的“卸货力度” \(\lambda \theta_t\)，也被这个除法缩放了一遍。当这个方向历史的梯度平方很大时，卸货动作会被压得极弱，几乎等于没减；当历史梯度很小时，卸货动作又被过度放大，干扰正常更新。这就是“缩放扭曲”问题。

这个“混入再缩放”的设计，正是Adam隐藏在背包里的缺陷。下一节，AdamW给出了一个干净的解法。

AdamW更新：解耦后的新背包

AdamW的决定简单粗暴：把“卸货”从“走路流程”里彻底拿出来。动量照旧累积，自适应照旧缩放，但权重衰减不再混入梯度，而是作为一个独立项直接叠加在最终更新后面。这样一来，无论某个方向山路多陡、历史能量多大，减负动作都严格按照设定力度执行，不再被地形探测器“代劳”。

解耦之后，更新公式变成两段相加：前半段还是经典的Adam自适应更新，后半段是独立的权重衰减项 \(\eta \lambda \theta_t\)。这也解释了为什么在PyTorch中，AdamW的 weight_decay 参数和Adam的 weight_decay 虽然同名，但底层语义已经不同——前者是真正的解耦衰减，后者只是披着衰减外衣的L2正则。

解耦之后，我们就能更公平地对比两位登山者：在“测试山道”上，谁会走得更远？

泛化对比：训练山道与测试山道

训练山道和测试山道并不完全一样。Adam在训练山道上的表现往往不错——它记得牢、跑得快，但它对于训练数据中的噪声也记得太牢，容易把“背熟答案”误当成“学会走路”。AdamW因为权重衰减始终稳定生效，参数不容易膨胀到过度拟合的区域，在测试山道上的表现通常更稳健。

在大规模深度学习场景里，这一差别被放得更明显。BERT、GPT、ViT等模型在预训练时几乎默认选择AdamW；训练损失曲线可能看起来差别不大，但验证集上的困惑度或准确率往往有明显差距。当然，这并不是说Adam毫无用处——在部分小规模任务上，调好的经典Adam也能工作得很好，但AdamW的鲁棒性让工程师少了很多调参烦恼。

在一次大模型训练任务中，AdamW往往能让验证损失更低、训练曲线更稳。这也是为什么它成为新一代优化器的“默认答案”。

工程实践：给你的登山之旅配装

理解了原理，最后是装备清单。训练一个常见深度学习模型时，可以从以下配置出发：\(\beta_1=0.9\)、\(\beta_2=0.999\)、weight_decay=0.01，学习率根据任务在 \(10^{-4}\) 到 \(10^{-3}\) 之间选择。Transformer类模型建议配合学习率预热（warmup）和余弦退火（cosine annealing），让步长先温和上升、再平滑下降。

工程上还有一个细节值得注意：为什么需要warmup？因为Adam训练初期 \(\hat{v}_t\) 很小，有效学习率 \(\eta / (\sqrt{\hat v_t}+\epsilon)\) 会被放得很大，一上来就全力冲刺容易让损失爆掉。预热阶段相当于给登山者一段暖身距离，让速度表读数正常后再加速。

搭配建议：大规模预训练选AdamW，CNN迁移学习可以与SGD+Momentum做对比，小规模数据先跑一个AdamW+小衰减的基线。把验证集当作“测试山道”，谁在验证集上走得更稳，就派谁上场。

AI 应用场景

Python 演示

# -*- coding: utf-8 -*-"""在简单二次函数上对比 Adam 与 AdamW 的收敛行为。""" import numpy as np  class AdamLike:    """decoupled=True 时为 AdamW；反之为经典 Adam + L2 正则化。"""     def __init__(self, lr=0.15, beta1=0.9, beta2=0.999,                 eps=1e-8, weight_decay=0.05, decoupled=True):        self.lr = lr        self.beta1 = beta1        self.beta2 = beta2        self.eps = eps        self.weight_decay = weight_decay        self.decoupled = decoupled        self.m = None        self.v = None        self.t = 0     def step(self, w, grad):        grad = grad.copy()        if not self.decoupled:            grad = grad + self.weight_decay * w        if self.m is None:            self.m = np.zeros_like(w)            self.v = np.zeros_like(w)        self.t += 1        self.m = self.beta1 * self.m + (1 - self.beta1) * grad        self.v = self.beta2 * self.v + (1 - self.beta2) * grad * grad        m_hat = self.m / (1 - self.beta1 ** self.t)        v_hat = self.v / (1 - self.beta2 ** self.t)        update = self.lr * m_hat / (np.sqrt(v_hat) + self.eps)        if self.decoupled:            update = update + self.lr * self.weight_decay * w        return w - update  def main():    w_star = np.array([0.6, -0.4])    results = {}     for name, decoupled in [("Adam+L2", False), ("AdamW", True)]:        w = np.array([2.0, -2.0])        opt = AdamLike(decoupled=decoupled)        loss_history = []        for _ in range(150):            diff = w - w_star            loss = 0.5 * np.dot(diff, diff)            grad = diff.copy()            loss_history.append(loss)            w = opt.step(w, grad)        results[name] = (loss_history[-1], w)        print(f"{name}: 最终损失={loss_history[-1]:.4f}, w={w.round(4)}")     gap = abs(results["Adam+L2"][0] - results["AdamW"][0])    print("两者最终损失差距:", round(gap, 6))  if __name__ == "__main__":    main()

1. grad = grad + self.weight_decay * w这是经典Adam的做法：把L2惩罚直接加进梯度，后面会被自适应缩放。
2. if self.decoupled:` 后面的 `update = update + self.lr * self.weight_decay * w这是AdamW的关键：衰减项独立叠加，不参与缩放。
3. m_hat = self.m / (1 - self.beta1 ** self.t)偏差校正，补偿早期动量偏小的问题。
4. update = self.lr * m_hat / (np.sqrt(v_hat) + self.eps)自适应学习率：根据二阶矩动态调整实际步长。

常见误区

面试题