学习率预热与衰减：调好节奏

可视化演示

展示线性预热与余弦预热策略对比、Cosine/阶梯/指数三种衰减曲线对比、以及Warmup+Cosine组合调度完整曲线三种交互模式。

学习率基础

下山路上，方向盘告诉你往哪转，油门告诉你走多重。在机器学习里，这两个角色分别由“梯度”和“学习率”扮演。模型的目标是从一个随机的初始位置出发，沿着损失函数这座“山”一路向下，找到谷底（全局最优）。方向怎么定？用梯度——它指向海拔升高最快的方向；我们偏偏要往它的反方向走，也就是下降最快的方向。

那么每一步应该走多远？这就是学习率 η 的职责。学习率是深度学习里最核心的超参数之一，它决定了参数每次更新的步幅：步子太大容易扯着跨，步子太小又迟迟走不到终点。下面这条更新公式，就是模型下山的“驾驶动作”：

$$公式含义：新参数 = 旧参数 − 学习率 × 当前梯度。$$

明白了方向和步长的关系后，你会恍然大悟：同样是下山，怎么踩油门直接决定了能不能活着到山脚。接下来我们看看“踩太大”和“踩太小”分别会经历什么。

学习率过大

新手司机最容易犯的错，就是一上车就把油门踩到底。山路弯道很急，车速过快根本拐不过来，车会冲出路面，甚至翻下悬崖。训练模型也一样，学习率设得太大，参数每次迈的步子过长，会直接“跨过”最低点，冲到山坡的另一侧；下一次更新又冲回来，于是损失在高处来回弹跳，像极了新手司机在弯道里的“蛇形走位”。这种振荡不仅让损失无法下降，严重时数值还会越来越大，最终溢出成无穷大——俗称“发散”或“梯度爆炸”。

用最简单的二次函数 f(ω) = ½ a ω² 来感受一下。它的最优点是 ω* = 0，梯度是 aω，代入梯度下降更新式，可以得到：

$$公式说明：每次更新相当于把位置乘上系数 (1 − ηa)，这个系数的绝对值决定了参数是收敛还是发散。$$

学习率过大的本质，是每一次更新都“刹不住车”。想避免翻车，接下来要认识另一种极端——油门踩得太小又会怎样？

学习率过小

如果说大学习率是莽撞的“地板油”，那么小学习率就是“舍不得踩油门”。车辆确实在前进，但每一步只挪动几厘米；前面有个较大的缓坡还好，要是路上有个不起眼的小坑（局部最优），车就这么慢慢滑进去，然后卡在坑里，再也翻不过去。训练的典型表现是：损失曲线下降得非常慢，肉眼几乎看不到变化，训练好几天精度还是上不去。

回到刚才的二次函数，当学习率很小（ηa ≪ 1）时，更新系数 1 − ηa 非常接近 1，参数每轮只缩小一点点。迭代 t 轮后的参数为：

$$公式说明：参数按 (1 − ηa) 的指数次方衰减，越小的学习率衰减越慢。$$

小学习率虽然安全，却可能让你在“半山腰的洼地”里耗到天荒地老。那有没有办法既能开得快、又能刹得住？预热机制正是为此而生。

预热机制

冬天的早晨，汽车发动机温度很低，机油还没完全润滑到位。这时候你要是一脚地板油冲出去，发动机轻则抖动，重则拉缸报废。所以老司机会先原地热车，或者用怠速慢慢滑一段，等发动机状态稳定了再加速。深度学习里的“预热”（warmup）就是这套逻辑：训练前期的参数还是“冷”的——初始参数随机、优化器的动量统计量还没累积、梯度方差大得吓人。如果一开始就用大学习率猛冲，模型不“拉缸”才怪。

于是工程师们设计了预热策略：先用一个很小的学习率起步，让模型“热热身”；然后在几百上千步内把学习率逐渐提升到目标最大值。最常用的是线性预热，公式如下：

$$公式说明：第 t 步的学习率等于目标学习率乘以热身进度 t / T_warmup。$$

除了线性预热，还有指数预热（如按 1/t 的平方根缩放）等变体。大模型训练动辄上千亿参数、batch size 巨大，初始梯度的噪声格外大，几乎全靠预热来避免前几步就把优化器“带偏”。一句话：预热不是炫技，而是大模型能平稳启动的保护机制。

衰减策略

下山路后半程的风景已经很熟悉：谷底就在眼前，路面起伏越来越小。这时候你若还踩着大油门，车会在谷底两边来回经过，永远停不下来。所以老司机会逐渐收油，让车以越来越小的速度接近最低点，最终稳稳停住。这正是“学习率衰减”：训练后期把学习率降下来，让参数在最优解附近精细地“微调落位”。

常见衰减策略有三种。阶梯衰减（step decay）像踩点刹车：每隔固定轮数，学习率乘以一个小于 1 的因子（如每 30 轮乘以 0.1），形成阶梯状下降；指数衰减（exponential decay）是连续刹车：学习率每轮都乘一个略小于 1 的系数，平滑但降得偏快；余弦衰减（cosine decay）则像“滑动收油”：按余弦曲线从高到低平滑过渡，在训练前期下降较慢、后期加速逼近最小值。余弦衰减的公式是：

$$公式说明：学习率从 η_max 沿余弦曲线平滑下降到 η_min，t 为当前步数，T 为总步数。$$

三种衰减各有适用场景：阶梯衰减实现简单、易观察分阶段表现，常用于图像分类微调；余弦衰减全程平滑、对算力友好，是大模型预训练的主流选择；指数衰减适合需要快速收敛的轻量任务。

调参组合

把整条下山路串起来，老司机的制胜法则是：热车 → 加速 → 匀速 → 收油 → 定点停车。对应到学习率调度，就是“预热 + 衰减”组合拳——先预热到最大学习率，再用衰减策略平滑收尾。这也是目前大模型和许多视觉模型训练的事实标准，常被称为 warmup + cosine schedule。

完整的分段调度公式可以写成一个分段函数：

$$公式说明：前 T_w 步线性预热到峰值，之后进入余弦衰减直到训练结束。$$

调参上有几条经验法则值得记住：预热步数通常取总步数的 1%～10%（大模型建议 1%～2%）；衰减终点 η_min 一般设为 η_max 的 1/10 或 1/100，不必硬降到 0；batch size 增大时，学习率上限也应成比例调大。选择一个支持 warmup 的调度器（如 PyTorch 的 get_cosine_schedule_with_warmup），你的训练稳定性会立刻提升一个档次。

AI 应用场景

Python 演示

import math def cosine_warmup_lr(step, total_steps, warmup_steps, lr_max, lr_min=1e-6):    """warmup + cosine 调度：前 warmup_steps 步线性升到 lr_max，    之后余弦衰减到 lr_min。"""    if step < warmup_steps:        return lr_max * (step + 1) / warmup_steps    t = (step - warmup_steps) / max(1, total_steps - warmup_steps)    return lr_min + 0.5 * (lr_max - lr_min) * (1 + math.cos(math.pi * t)) def train():    x = 2.0    total_steps = 200    warmup_steps = 20    lr_max = 0.5     for step in range(total_steps):        lr = cosine_warmup_lr(step, total_steps, warmup_steps, lr_max)        grad = 4 * x           # 损失函数 f(x)=2x^2 的梯度        x -= lr * grad         # 沿梯度反方向更新        if step % 20 == 0:            loss = 2 * x * x            print(f"step {step:3d}  lr {lr:.4f}  x {x:+.4f}  loss {loss:.6f}")     print(f"final x = {x:.6f}") if __name__ == "__main__":    train()

1. def cosine_warmup_lr(...)定义调度函数：预热阶段线性上升，预热结束后余弦下降。
2. if step < warmup_steps:预热分支：学习率从 lr_max/warmup_steps 起步，随 step 线性逼近 lr_max。
3. lr_min + 0.5 * (lr_max - lr_min) * (1 + math.cos(...))余弦衰减核心公式。
4. grad = 4 * x对 f(x)=2x² 求导得 4x，方向是“上山方向”。
5. x -= lr * grad参数沿梯度的反方向更新一步，等价于 θ ← θ − η∇L。
6. if step % 20 == 0:每 20 步打印一次，观察学习率变化与收敛轨迹。

常见误区

面试题