Adam与AdamW：优化器里的明星

可视化演示

通过一阶二阶矩估计与偏差校正流程、Adam与AdamW权重衰减机制对比、以及训练损失曲线对比三个模式，展示Adam优化器核心机制及AdamW的解耦权重衰减改进。

优化器演进：从SGD到Adam

深夜下山时，最原始的策略是：脚踩在哪，就低头看哪块地面更陡，然后朝更陡的反方向迈一步。你完全不记得刚才的路，也感知不到前方路况。这种“只看当下”的走法，在机器学习里对应最朴素的梯度下降法，也就是常说的 SGD（随机梯度下降）。它能走，但在峡谷形状的损失曲面上会来回震荡，速度很慢。

山区路况复杂，真正的向导不会单纯看脚下。他一来会记住自己刚才来的方向，形成一股“惯性”；二来会根据不同方向的路面松软程度，调整每一步的大小。把这两点组合起来，便有了 Adam。可以说，Adam 是“惯性记忆”和“逐参数自适应步长”的合体。

我们先用公式看一眼 SGD 是怎么迈步的：

SGD 的问题在于：它每一步都从零开始，没有记忆，也没有地形感知。Adam 的出现，就是给这位只盯脚下的新手，装上“记忆日记”和“地形感知仪”。

一阶矩动量：惯性日记

去过泥地的人都知道，如果你每一步都重新判断方向，很容易陷在坑里打转。相反，如果你记住自己刚才一直在往某个方向走，即使下一步脚下坡度有点小变化，你也会顺着惯性继续往前。这种“历史方向的记忆”，就是动量。

在 Adam 中，这个记忆叫“一阶矩”，用 \(m_t\) 表示。它不是简单地把所有历史梯度求平均，而是用指数滑动平均，给最近的梯度更高的权重。想象你有一本会褪色的日记：昨天的记录墨迹很浓，三天前的记录已经模糊，十天前的几乎看不见。这样，方向变化时，新旧梯度会互相抵消，曲线就平滑了。

一阶矩的更新公式如下：

有了这本“惯性日记”，下山时你不再每一步都犹豫，而是会顺着大体方向前进。这大大缓解了在狭窄山脊上左右乱晃的问题。

二阶矩地形：崎岖感知

即使是同一条山路，不同地段的松软程度也不同。有些地方是平缓的草坡，你可以大步流星；有些地方是碎石坡，每一步都在打滑，就得小步挪动。在模型参数空间里，不同参数对应的“路面颠簸程度”也完全不同。二阶矩 \(v_t\) 就是用来记录这种颠簸度的。

二阶矩记录的是“梯度平方”的滑动平均。为什么要用平方？因为平方能去掉方向信息，只留下“幅度”。幅度大意味着这个方向上最近一直在剧烈变化，就像碎石坡上的每一步都在剧烈摇晃；幅度小则说明路面很稳。Adam 在更新时会用它的平方根去缩放步长，让颠簸方向的步子自动变小。

二阶矩的公式长这样：

如果把一阶矩比作“知道该往哪边走”，二阶矩就是“知道这条路有多难走”。两本账一结合，Adam 才能既方向明确，又步法稳健。

偏差校正：冷启动补偿

刚翻开一本新日记时，上面几乎没什么记录。第一轮更新时，\(m_0\) 和 \(v_0\) 都是零，新写进去的内容会被“稀释”得特别小。比如 \(\beta_1 = 0.9\) 时，第一轮的 \(m_1\) 只有真实梯度幅度的十分之一。这就像你只走了一步，却要凭这一步判断整条山路的方向，显然会低估。

为了补偿这种“冷启动偏差”，Adam 在估计出 \(m_t\) 和 \(v_t\) 后，会各除以一个校正因子。当 \(t\) 很小时，校正因子远小于 1，把偏小的估计放大回去；当训练进行很久后，校正因子趋近于 1，修正效果越来越弱。公式如下：

有了偏差校正，Adam 就不会在训练刚开始时因为“日记太薄”而走得畏畏缩缩。冷启动阶段的每一步，都能得到相对公平的估计。

Adam完整更新流程

现在，把惯性日记、地形仪表盘和放大镜全部装进背包，Adam 的完整“下山流程”就是：先感受坡度，再更新日记，再修正读数，最后迈步。这四步在每一轮训练中都会重复执行。

Adam 最终更新参数的公式是：

Adam 之所以成为默认优化器，正是因为它同时解决了“方向震荡”和“步长选择”两大问题。到这一步，你已经完整掌握了 Adam 的每一次迈步。

AdamW：解耦权重衰减

长途下山时，背包里的东西会越来越多，如果不定期扔掉一些不重要的装备，你会越走越累。机器学习里也有类似问题：当模型参数过多时，容易“背诵”训练数据，这种现象叫过拟合。对付过拟合的常用手段是权重衰减——每次更新时，把参数往零的方向轻轻拉一点，相当于清空背包。

最早的做法是在损失函数里加一个 \(L2\) 正则项，让梯度里带上“参数本身的大小”。对 SGD 来说，这确实等价于每步都按比例缩小参数。但对 Adam 而言，这个正则梯度会混进一阶矩和二阶矩，再被 \(\sqrt{\hat{v}_t}\) 缩放，导致权重衰减的力度被地形感知扭曲。AdamW 的解决方法是：把“清理背包”和“下山走路”彻底分开，更新参数时独立减掉一个与梯度无关的 \(\lambda \theta_{t-1}\)。

AdamW 的更新公式如下：

这种“解耦”看起来只是把一项挪了位置，实际效果却天差地别。大模型预训练和微调任务中，AdamW 因为正则化行为更稳定，已经成为更受偏爱的选择。

AI 应用场景

Python 演示

import math class AdamOptimizer:    def __init__(self, lr=0.5, beta1=0.9, beta2=0.999, eps=1e-8,                 weight_decay=0.0, decoupled=True):        self.lr = lr        self.beta1 = beta1        self.beta2 = beta2        self.eps = eps        self.weight_decay = weight_decay        self.decoupled = decoupled        self.m = {}        self.v = {}        self.t = 0     def step(self, params, grads):        self.t += 1        for name, p in params.items():            g = grads[name]            if (not self.decoupled) and self.weight_decay > 0:                g = g + self.weight_decay * p            m = self.m.get(name, 0.0)            v = self.v.get(name, 0.0)            m = self.beta1 * m + (1 - self.beta1) * g            v = self.beta2 * v + (1 - self.beta2) * g * g            self.m[name] = m            self.v[name] = v            m_hat = m / (1 - self.beta1 ** self.t)            v_hat = v / (1 - self.beta2 ** self.t)            update = m_hat / (math.sqrt(v_hat) + self.eps)            if self.decoupled and self.weight_decay > 0:                update = update + self.weight_decay * p            params[name] = p - self.lr * update        return params def train():    opt = AdamOptimizer(lr=0.5, weight_decay=0.01)    params = {"x": 8.0}    for i in range(20):        x = params["x"]        grads = {"x": 2.0 * x}        params = opt.step(params, grads)        if i % 5 == 0:            print("step {}: x = {:.6f}".format(i, params["x"])) if __name__ == "__main__":    train()

1. self.m = {}用字典记录每个参数的一阶矩，相当于给每个参数准备一页惯性日记。
2. self.v = {}用字典记录每个参数的二阶矩，相当于给每个参数准备一张地形仪表盘。
3. m = self.beta1 * m + (1 - self.beta1) * g指数滑动平均更新一阶矩，让历史方向和当前梯度按比例混合。
4. v = self.beta2 * v + (1 - self.beta2) * g * g更新二阶矩，记录梯度平方的滑动平均。
5. m_hat = m / (1 - self.beta1 ** self.t)对一阶矩做偏差校正，补偿冷启动阶段被稀释的估计。
6. update = m_hat / (math.sqrt(v_hat) + self.eps)得到 Adam 的自适应更新量，颠簸方向的步子自动变小。
7. update = update + self.weight_decay * p如果是 AdamW，把权重衰减独立加到更新量中，实现“走路”和“卸包”解耦。

常见误区

面试题