让模型越训越精的学习率调度术

可视化演示

动态演示让模型越训越精的学习率调度术的核心机制，通过全局/局部/动态/静态四种模式展示关键概念与交互流程。

学习率基础：步幅决定命运

你站在峡谷边缘，手电筒的光柱勉强够到谷底——那里隐约有一个金属反光，宝箱！问题是：第一步怎么迈？一大步跨出去？那会直接跳过谷底撞上对面石壁。小碎步挪下去？安全但太慢，天黑前摸不到箱子。寻宝者的第一课，就是理解“步幅”决定了下山路线的好坏。

神经网络训练的本质，就是在这张“海拔图”上一次次迈步。损失函数 \(L(\theta)\) 描绘地形的起伏，模型参数 \(\theta\) 是你当前的坐标，梯度 \(\nabla L(\theta_t)\) 是指向最陡下坡的方向。而学习率，就是一步迈多远。这个核心动作浓缩在一个公式里：

把学习率设得太大，相当于每一步都像蹦极一样弹跳——损失值会在谷底两侧来回震荡，甚至冲出地图直接发散成 NaN；设得太小，则像蚂蚁爬行，几百个 epoch 过去还在山坡上磨蹭，而且容易被小土包（局部极小值）困住。损失曲面越崎岖的地方，对步幅的容忍度越低。

所以，寻宝者的第一课结论是：单独的“大”或“小”都不对，关键是让步幅随地形变化。学习率调度，就是给登山杖装一个可调旋钮——前期放长一截赶路，后期拧短一截精修。

阶跃衰减：分段减档上山

老练的寻宝者随身带一根可伸缩登山杖。他的习惯是：每走 500 米，就把登山杖缩短一半。这样在开阔地带大步流星，越接近谷底步幅越小，不会一头冲过头。这种“走一段、减一档”的做法，就是学习率调度里最朴素的阶跃衰减（Step Decay）。

阶跃衰减的操作很简单：设定一个“里程碑”步数 \(T_0\)，每走满一个里程碑，就把当前学习率乘以一个小于 1 的系数 \(\gamma\)（常见 0.1 或 0.5）。比如每 30 个 epoch 学习率减半，训练 120 个 epoch 时学习率就会经历 4 次减半。公式如下：

阶跃衰减的优点和缺点都来自“阶跃”二字。优点是简单直观：里程碑设在哪些 epoch、每档衰减多少，都能明明白白画出来，训练结果也可预期；缺点是每到一个里程碑，学习率瞬间跳变，损失曲线偶尔会跟着“抖一下”。不过在常规 CNN 图像分类任务中，这种小抖动能被优化器平滑掉，因此它至今仍是 ResNet 等经典模型训练的主力调度。

台阶式减档的寻宝者形象，很好地概括了这个策略的性格：稳、准、可控，只是偶尔“咔哒”一声换挡时，手里宝箱的微光会闪一下——不必在意，继续走就好。

余弦退火：缓缓收力的步伐

另一位寻宝者用的登山杖完全没有“咔哒”声。他的步幅像太阳落山时的影子，每一秒钟都在缓缓变短，从正午的昂首阔步，到黄昏的蹑手蹑脚，中间没有任何突变。这种“无级变速”式的衰减，就是余弦退火（Cosine Annealing）。

余弦退火的公式借用了余弦函数在 0 到 π 之间从 1 平滑降到 −1 的特性。训练总步数为 \(T\)，当前步数为 \(t\)，学习率从最大值 \(\eta_{\max}\) 平滑过渡到最小值 \(\eta_{\min}\)：

余弦退火还有一种进阶玩法叫“热重启”（Warm Restart）：训练到一半突然把学习率重新拉高，再走一轮余弦下降。这就像寻宝者明明快到谷底了，突然想起另一侧山坳可能埋着更大的箱子，于是转身大步走回去重新搜一遍——能帮助模型跳出差的局部极小。余弦家族还有个好处：除了最大/最小学习率和周期长度外，几乎不需要手动设置里程碑，因而在 Transformer 和大模型训练中备受青睐。

比起阶跃衰减的“咔哒”换挡，余弦退火的魅力在于“无感”——每一步都比上一步精一点，等到你意识到时，已经稳稳站在谷底了。

Warmup预热：先热身再冲刺

你注意到一个奇怪的现象：那位经验最丰富的寻宝者，出发前十分钟走得特别慢。旁人催促，他却说“先让眼睛适应黑暗，不然一进去就是瞎跑”。果然，等他真正放开大步时，路线比任何人都直。这个“慢启动”策略，就是 Warmup 预热。

为什么训练开始时需要预热？因为模型参数是随机初始化的，此时损失曲面的形状对所有方向来说都极其陌生——梯度方向大概率是错的。如果一上来就用大步幅，相当于蒙着眼在陌生山林里冲刺，轻则跑偏，重则一脚踩空（损失爆炸）。预热阶段先用很小的学习率走一小段路，让参数到达一个“粗略正确的方向”上，再把学习率加满，就能稳准狠地前进。

实际训练中，Warmup 几乎不单独使用，而是叠在其他调度策略前面——最经典的组合是“Warmup + 余弦退火”：先用几百步小碎步稳住方向，再大步探索，最后余弦平滑收尾。GPT、BERT 等大模型训练与微调几乎都采用这套组合，因为大模型参数量巨大，对初始学习率极其敏感，少了预热，第一个 batch 就可能把损失打到 NaN。

热身并不是浪费时间，而是“磨刀不误砍柴工”。那十分钟慢走，让后来的每一步都快十倍——这就是 Warmup 的智慧。

策略对比：哪条路最快最稳

三位寻宝者聚在山脚，各自亮出自己的走法：阶梯先生喜欢“走一段减一档”；余弦女士信奉“全程匀速收力”；预热小哥坚持“先慢后冲再收力”。到底谁的路更好？这取决于山的形状和你的目标。

从收敛速度看，阶跃衰减和固定大学习率在前期都很快，预热策略会慢热一些，但后者后期追赶迅速。从最终精度看，余弦退火以微弱优势领先，因为它后期的学习率下降得足够慢，给了参数充分“落位”的时间；阶跃衰减的突然换挡偶尔会让模型停在略微偏离谷底的位置。从鲁棒性看，Warmup + 余弦的组合最强，它同时避免了初期的发散风险和后期的震荡，几乎不需要人工干预。

场景匹配上，简单直观的阶跃衰减适合正则化成熟、训练流程稳定的 CNN 分类任务；余弦退火适合需要精细调参的 Transformer 系列；但凡要训练或微调大模型，首选 Warmup + 余弦退火；固定学习率则只在极浅层或调试阶段使用。没有绝对最好的调度，只有最贴合任务的策略。

如果把训练比作寻宝，那阶跃衰减是“稳妥老手”，余弦退火是“节奏大师”，Warmup 是“夜路向导”。真正的高手不会只背一条路，而是看准山形，把这些走法组合成自己的登山术。

实践应用：把策略装进框架

再好的走法也要落到双腿上。在实际工程里，学习率调度通常只需在深度学习框架里写一行代码。以 PyTorch 为例：创建优化器后，挂一个调度器，每个 epoch 结束调用 scheduler.step() 即可。更换调度策略，只需要换一行构造代码。

参数选择上，初始学习率常从 \(10^{-3}\) 或 \(3 \times 10^{-4}\) 起步，batch size 越大可适度放大；阶跃衰减的里程碑可设在总 epoch 的 1/3、2/3 处；余弦退火的周期长度通常等于总训练步数；Warmup 步数取总步数的 5%~10% 比较安全。训练中要用 TensorBoard 之类的工具同时监控 loss 曲线和学习率曲线——学习率曲线像登山杖的刻度，loss 曲线像你的海拔记录，两者对照才能确认节奏是否合适。

微调大模型时还有一个实用技巧：不同层用不同学习率（比如底层小、顶层大），再配一个较小的 Warmup 比例；同时把余弦退火周期设成微调总步数，防止学习率降得太快导致“灾难性遗忘”。这样既保住了预训练学到的通用知识，又能让顶层充分适应新任务。

把调度器接入代码，就像给登山杖装上智能旋钮。从此你不用每走一步都低头调长度，只需要在出发时把旋钮设定好，然后安心赶路——框架会帮你把每一步的步幅安排得明明白白。

AI 应用场景

Python 演示

import numpy as np def f(w):    return w[0]**4 - 2*w[0]**2 + 0.5*w[1]**2 def grad_f(w):    return np.array([4*w[0]**3 - 4*w[0], w[1]]) def make_scheduler(name):    def step_sch(t, T, lr0=0.05):        return lr0 * (0.5 ** (t // (T // 5)))    def cosine_sch(t, T, lr0=0.05):        return lr0 * 0.5 * (1 + np.cos(np.pi * t / T))    def warm_cosine(t, T, lr0=0.05):        warm = int(T * 0.1)        if t < warm:            return lr0 * (t + 1) / warm        return lr0 * 0.5 * (1 + np.cos(np.pi * (t - warm) / (T - warm)))    return {'step': step_sch, 'cosine': cosine_sch, 'warm_cosine': warm_cosine}[name] def train(name, T=300, lr0=0.05):    w = np.array([2.0, 2.0])    sch = make_scheduler(name)    loss_hist = []    for t in range(T):        lr = sch(t, T, lr0)        w = w - lr * grad_f(w)        loss_hist.append(f(w))    return w, loss_hist if __name__ == '__main__':    for s in ['step', 'cosine', 'warm_cosine']:        w, hist = train(s)        print(f'{s:12s} final w={w.round(3)} loss={hist[-1]:.5f}')

1. def f(w): return w[0]**4 - 2*w[0]**2 + 0.5*w[1]**2定义一个带两个局部极小值的“双谷”损失函数，模拟寻宝地形。
2. def grad_f(w): return np.array([4*w[0]**3 - 4*w[0], w[1]])手算梯度，告诉程序当前下坡方向。
3. 'step': step_sch把三种调度器装进字典，按名字取用，方便循环对比。
4. if t < warm: return lr0 * (t + 1) / warmWarmup 阶段线性升温，保证初始步幅极小。
5. w = w - lr * grad_f(w)核心更新句：参数沿负梯度方向走一步，步幅是当前学习率。
6. loss_hist.append(f(w))记录每一步的损失值，方便后续画曲线。
7. for s in ['step', 'cosine', 'warm_cosine']三组实验同时跑，对比哪种“走法”落点更好。

常见误区

面试题