优化器怎么选？一份实战指南

可视化演示

在二维损失曲面上直观对比SGD、Momentum、Adam和AdamW四种优化器的收敛路径与速度，通过按钮切换和滑块调参理解各优化器特性。

优化器基础——先看懂下山这件事

你站在山顶往下看，浓雾笼罩，看不到谷底。怎样才能最快到达最低处？最简单的办法是：每走一步，感觉一下脚下哪边更低，就朝哪个方向迈一步。在神经网络训练里，这片“地形”叫损失函数，脚下最陡的方向就是梯度的负方向，而你迈出的步幅叫学习率。

把参数想象成旅行团每个人的位置坐标，损失函数则是一张“海拔图”，海拔越高代表模型错得越离谱。训练的过程，就是不断沿着梯度下降的方向修改参数，让“海拔”越来越低。优化器做的正是“决定朝哪走、走多远”这件事，它是下山策略的总指挥。

梯度下降是这一切的基础规则。每次迭代，我们都沿着负梯度方向更新参数：

有了这张“海拔图”和“梯度指南针”，我们才能理解后面每一种优化器对下山策略的改进。徒步也好、自驾也罢，目标始终是同一个谷底。

SGD原理——徒步部队，稳扎稳打

最朴素的优化器 SGD（随机梯度下降）就像一支徒步部队：全员靠双脚走，每一步都通过观察脚下的一小块地面来决定方向。它不需要任何高科技，却是一切复杂优化器的起点。

纯梯度下降每次要看完整座山的地形图（全量数据）才走一步，太慢了。SGD 的聪明之处在于随机抽一小块区域（一个小批量样本）来估计坡度，虽然估计有噪声、方向会左右摇摆，但大部队方向的平均值是可靠的。这就是为什么它叫“随机”梯度下降。

SGD 的更新规则可以写成：

徒步虽然慢，但每一步都走得踏实。SGD 加上精心调好的学习率，在中小数据集上往往能取得比花哨优化器更好的泛化效果，这也是许多研究团队仍然偏爱它的原因。

动量方法——给徒步者装个惯性轮

徒步走山路最累的是什么？是每走一步都要重新发力，方向还容易来回晃。现在给这支队伍每人发一辆自行车，踩起来之后就有了惯性：速度会累积，下坡自动加速，遇到小石块也能借着速度冲过去。这就是动量（Momentum）的思想。

在数学上，动量维护一个“速度变量” v_t，它像一团记忆，把过去所有梯度的方向累积起来，同时乘一个衰减系数 \beta 让旧记忆逐渐淡忘。这样一来，前后方向一致的步伐会被放大，来回震荡的成分会被抵消，下山过程又快又稳。

有了惯性的队伍，不再被局部小坑轻易困住，下坡越来越流畅。这也是为什么“小数据研究推荐 SGD 加 Momentum”——它保留了徒步的稳健，又多了几分效率。

Adam原理——自驾巡航，省心但别托大

当你不想费心控制每一步时，可以坐上带自动巡航的车：它根据当前路面情况自动调整油门和刹车。Adam 就是这么一款“自动驾驶”优化器：它同时记录梯度的均值（一阶矩，相当于方向盘偏好）和方差（二阶矩，相当于路面颠簸程度），然后为每个参数自动调节学习率。

Adam 之所以流行，是因为它对学习率不那么敏感，很多场景直接套默认参数就能收敛。它的更新由一阶矩 m_t 和二阶矩 v_t 两条流水线组成：

自动驾驶确实省心，但过度自信会让人忘记看路：Adam 在训练末期往往停在“平坦的草地”上，泛化能力不如徒步的 SGD。因此在大模型场景，人们更喜欢给 Adam 加一道保险——这就是下一节的 AdamW。

AdamW改进——给自驾车装上清醒导航

自驾车开久了容易飘，尤其在一个平坦开阔的缓坡上，油门踩得太大，方向就失控了。于是工程师想到：把“定期保养”从日常驾驶中单独拆出来。AdamW 的核心改进正在于此——将权重衰减从梯度更新中解耦，独立控制，防止模型参数变得过大。

普通 Adam 做权重衰减时，是把衰减项混在梯度里一起处理，相当于“边开车边保养”，两者互相干扰。AdamW 则像导航系统单独规划一条保养路线：梯度更新走一条道，权重衰减走另一条道，互不干扰，最终泛化更稳。

$$\theta_{t+1} = \theta_t - \eta_t\left(\lambda\theta_t + \frac{\hat{m}_t}{\sqrt{\hat{v}_t}+\epsilon}\right)$$

1. 解耦项：\lambda\theta_t 是权重衰减，每次更新时直接把参数往零方向拉一点，像给参数“减重”。

$$\lambda\theta_t$$

2. 自适应项：\frac{\hat{m}_t}{\sqrt{\hat{v}_t}+\epsilon} 是 Adam 自带的自适应更新方向，与衰减项并列相加。

$$\frac{\hat{m}_t}{\sqrt{\hat{v}_t}+\epsilon}$$

3. 整体更新：两路信号合并后乘学习率再更新参数，衰减与自适应解耦，训练更稳。

$$\theta_{t+1} = \theta_t - \eta_t\left(\lambda\theta_t + \frac{\hat{m}_t}{\sqrt{\hat{v}_t}+\epsilon}\right)$$

有了清醒的导航和定期的保养，AdamW 成了大模型训练的事实标准：它保留了 Adam 的省心，又补回了 SGD 的泛化能力。从 BERT 到 GPT，无数大模型都是在 AdamW 的陪伴下完成训练的。

LAMB拓展——千人大团，步调一致

当旅行团规模从几十人变成几千人，再让大家各走各的就会乱套。LAMB（Layer-wise Adaptive Moments Batch）像是包下一列高铁：每一节车厢（每一层网络）按自己的长度和速度前进，但整列火车朝着同一个方向、以同一个节奏前进。

LAMB 专为大 batch 分布式训练设计。它像 Adam 一样维护一阶二阶矩，但额外引入按层缩放：每一层的参数更新幅度，会参照该层参数的模长自动调节。这就像车长根据每节车厢的载重调整牵引力，防止某一层步子太大而另一层跟不上。

$$\theta_{t+1,i} = \theta_{t,i} - \eta_t \cdot \frac{\left\lVert \theta_{t,i}\right\rVert}{\left\lVert \hat{m}_{t,i}\right\rVert + \epsilon}\, \hat{m}_{t,i}$$

1. 分层参数：\theta_{t,i} 表示第 i 层的参数，不同层的参数尺度可能天差地别。

$$\theta_{t,i}$$

2. 层模长：\lVert \theta_{t,i}\rVert 是该层参数的模长，代表了这层“车厢”的固有尺度。

$$\lVert \theta_{t,i}\rVert$$

3. 自适应缩放：用 \frac{\lVert \theta_{t,i}\rVert}{\lVert \hat{m}_{t,i}\rVert + \epsilon} 作为比例因子，让每层步幅与该层尺度匹配。

$$\frac{\left\lVert \theta_{t,i}\right\rVert}{\left\lVert \hat{m}_{t,i}\right\rVert + \epsilon}$$

4. 参数更新：乘以层缩放因子后更新，使得上万规模的 batch 也能稳定大步前进，通信轮次大幅减少。

$$\theta_{t+1,i} = \theta_{t,i} - \eta_t \cdot \frac{\left\lVert \theta_{t,i}\right\rVert}{\left\lVert \hat{m}_{t,i}\right\rVert + \epsilon}\, \hat{m}_{t,i}$$

LAMB 让 “千人团” 分布式预训练成为现实：BERT 预训练时间从数天压缩到几十分钟，靠的就是这种按层协调、大步前进的策略。

选型指南——看场景选交通工具

下山的目的地都一样，但团队规模、预算、时间要求不同，选用的交通工具就该不同。优化器选择也是同样的逻辑：没有绝对最好的优化器，只有最适合当前场景的策略。

小数据研究场景：预算有限、地形简单，徒步部队（SGD+Momentum）稳扎稳打，还容易调出好效果。大模型训练场景：参数动辄上亿，AdamW 的自适应能力加上解耦权重衰减，能稳稳压住训练。超大规模分布式场景：几千块显卡并行训练，LAMB 的分层机制让大 batch 也能大步前进。

选型不是追新，而是看清自己的场景和预算。下次别人问你“用哪个优化器”，先反问一句：你的团队有多少人、走什么地形、赶不赶时间？

实战注意——出发前检查清单

选好交通工具只是开始，出发前还得检查轮胎、校准导航。实战中，优化器的使用有一堆“老司机才知道”的细节，处理不好会让模型训不动甚至炸掉。

切换技巧：从 SGD 切到 Adam 时，学习率通常要减小一个量级，因为 Adam 的自适应机制本身会放大步幅。超参调整：Adam 的默认学习率常有 1e-3，但换到 AdamW 后最好把权重衰减设在 0.01 到 0.1 之间再细调。学习率调度：大模型训练几乎必备 warmup 预热加余弦退火，前几步小步试探，再逐步进入状态。

warmup 加 cosine 调度的公式如下：

最后，监控诊断不能省：盯着 loss 曲线看，如果 loss 震荡剧烈就降学习率，如果长时间不动就检查是否卡在局部极小或梯度消失。下山路上，领队要随时看表看天气，训练也是一样。

AI 应用场景

Python 演示

import numpy as np class SimpleOptimizer:    def __init__(self, name, lr=0.1):        self.name = name        self.lr = lr        self.m = 0.0        self.v = 0.0        self.t = 0        self.beta1 = 0.9        self.beta2 = 0.999        self.eps = 1e-8        self.lam = 0.01     def step(self, x, grad):        if self.name == "SGD":            return x - self.lr * grad        if self.name == "Momentum":            self.m = 0.9 * self.m + grad            return x - self.lr * self.m        if self.name in ("Adam", "AdamW"):            self.t += 1            self.m = self.beta1 * self.m + (1 - self.beta1) * grad            self.v = self.beta2 * self.v + (1 - self.beta2) * grad * grad            m_hat = self.m / (1 - self.beta1 ** self.t)            v_hat = self.v / (1 - self.beta2 ** self.t)            step = m_hat / (np.sqrt(v_hat) + self.eps)            if self.name == "AdamW":                step = step + self.lam * x            return x - self.lr * step def loss_and_grad(x):    return x * x, 2 * x def run(name, epochs=30):    x = 1.5    opt = SimpleOptimizer(name, lr=0.1)    for _ in range(epochs):        _, grad = loss_and_grad(x)        x = opt.step(x, grad)    return x for name in ["SGD", "Momentum", "Adam", "AdamW"]:    print(name, "收敛值:", round(run(name), 4))

1. self.m = self.beta1 * self.m + (1 - self.beta1) * grad更新一阶动量，记录历史梯度方向。
2. self.v = self.beta2 * self.v + (1 - self.beta2) * grad * grad更新二阶动量，记录梯度波动幅度。
3. m_hat = self.m / (1 - self.beta1 ** self.t)对一阶动量做偏差修正，抵消初始化带来的偏差。
4. v_hat = self.v / (1 - self.beta2 ** self.t)对二阶动量做偏差修正。
5. step = m_hat / (np.sqrt(v_hat) + self.eps)计算自适应步长，梯度波动大时步长自动变小。
6. step = step + self.lam * xAdamW 把权重衰减单独加到更新项中，这是它与 Adam 的关键区别。
7. return x - self.lr * step用学习率缩放步长并更新参数。

常见误区

面试题