Warmup学习率预热：训练初期为什么要慢

可视化演示

展示线性与余弦Warmup学习率曲线、有无Warmup的训练loss对比和不同模型类型的Warmup配置。切换模式探索训练稳定性优化。

什么是Warmup

还是说学车。教练给你的第一个指令是：“绕着广场转圈，时速 20 就行。”你不会一辈子开 20，但前半小时必须开 20。深度学习里的 Warmup 就是这个“先开 20 迈”的阶段：训练的最初几百步，学习率被压得很低，然后才慢慢升到预设的峰值，再开始衰减。所以 Warmup 不是一个独立的算法，而是学习率调度器的一部分——它决定了训练每个阶段用多大的学习率前进。

在 PyTorch 里，Warmup 通常以 LambdaLR 或 OneCycleLR 的形式出现。它的核心逻辑可以用一个分段函数描述：

• 预热段（训练步数 $t$ 从 0 到 $T_{warm}$）：学习率从 $\eta_{min}$ 线性或非线性地升到峰值 $\eta_{max}$。

• 衰减段（$t$ 从 $T_{warm}$ 到总步数 $T$）：学习率按照既定策略从峰值降到接近 0。

这两个阶段合在一起，才是一条完整的 “先升后降” 学习率曲线。

这一段公式真正要传达的信息是：Warmup 只是一个“升速器”，真正决定训练后半程命运的是衰减策略。教练说“先开 20 迈”不是让你一直开 20，而是为后面上高速做准备。

为什么要预热

新手最怕什么？不是开得慢，而是开得快。速度一上来，遇到突发情况就手忙脚乱，方向盘一打，车子直接失控。模型也一样。刚初始化的神经网络，权重都是随机数，参数分布完全没规律。此时如果学习率太大，每个参数的更新步长都很大，梯度信号就像脱缰的野马——可能跑向完全错误的方向，损失值剧烈震荡，甚至梯度爆炸到 NaN。

还有一个更隐蔽的问题叫“提前拟合坏方向”。训练早期，模型对数据的判断完全是盲目的。如果给它大学习率，它会狠狠记住初始几步碰巧遇到的错误规律，后面再想纠正就难了。这就是为什么训练初期要用小学习率：让模型先“看清楚”数据的大致分布，再开始大步优化。

损失函数的图像是一座山谷，模型要从山顶滑到谷底。预热期是让你先站在山顶环顾四周，把地形看清楚；没有预热直接大学习率，相当于蒙着眼往山下跳——可能直接跳过山谷摔到对面的山上。

所以，预热期用小学习率，本质是把 $\eta_t$ 压小，让二阶项这个“搅局者”没机会发力。等模型走到地形平缓的区域，再加大步伐冲刺。

线性Warmup

线性 Warmup 是最朴素的预热方式：学习率从 0（或一个极小值）出发，每一步增加固定的量，匀速上升到峰值。就像学车时的“每十分钟加 5 迈”——节奏均匀，容易掌握。

它的公式很简单，就是前面分段函数里预热段公式：

在 PyTorch 中，实现代码长这样：

这个策略的好处是行为可预测：你清楚每一步学习率是多少，调试方便。坏处是结束预热那一刻，学习率曲线有一个“折角”，从上升突然切换成衰减，如果衰减策略不匹配，这个折角可能引起损失一个小抖动。不过对于中小规模模型，线性 Warmup 完全够用，大多数情况下你已经看不到这个抖动对最终精度的影响。

直线加速的优点是直观，缺点是太“生硬”。就像学车时教练说“上 60 迈”，你一脚油门直接踩到 60，车身会顿一下。对于追求极致训练曲线的人来说，这个“顿”也想省掉——这就有了下一种更平滑的策略。

def linear_warmup(step, warmup_steps, peak_lr):    if step < warmup_steps:        return (step + 1) / warmup_steps * peak_lr    else:        return peak_lr

余弦Warmup

余弦 Warmup 是当下大模型训练的主流选择。它分两段：预热段先把学习率升到峰值，衰减段然后用余弦函数从峰值平滑地降到接近 0。相比线性升温+阶梯/指数衰减，余弦衰减的局部是一段“平缓的坡”，而不是突然的台阶，模型在最优参数附近能停留更久，从而有时间把参数磨得更精细——就像高速上从 120 迈慢慢滑行到服务区，而不是一脚急刹车。

完整公式如下：

BERT、GPT 等 Transformer 大模型几乎都把余弦 Warmup 作为默认配置。因为大模型参数多、地形复杂，任何“急转弯”都可能让训练误入歧途。用余弦曲线把所有转折都磨成圆弧，是最稳妥的做法。

参数怎么设

教练说“先开 20 迈”，你问“开多久？”这就是热身步数 $T_{\text{warm}}$ 的问题。设短了，还没找到手感就上高速，危机四伏；设长了，一直在广场转圈，浪费宝贵时间。实践中 $T_{\text{warm}}$ 一般取总训练步数的 5% 到 10%。

具体来说，如果总步数 10 万步，预热 5000 到 10000 步；如果总步数 1000 步（小数据集），预热 50 到 100 步。一个常用直觉：模型越大、batch 越大，预热步数占比越高——因为大模型更需要“看清楚地形再跑”。

峰值学习率 $\eta_{\text{max}}$ 怎么定？一个标准做法是：先假设没有 Warmup，用常规方法找到一个能收敛的较大学习率，把它作为峰值；然后套上 Warmup，让模型在预热期“缓冲”到这个峰值。另外别忘了设置 $\eta_{\text{min}}$（最低学习率），通常取峰值的 1% 到 5%，避免最后阶段学习率彻底归零导致无法精细调整。

参数设置的本质是把握一个节奏感：起步多慢、加速多快、巡航多久、刹车多缓。这四个问题对应了预热步数、峰值学习率、衰减策略、最低学习率。初学者最容易犯的错是只关心峰值不关心比例，结果预热太短等于没预热，预热太长训练效率大幅下降。

实战与坑

看一个真实的例子。BERT 原始论文在预训练时用了 10000 步的 Warmup，配合峰值学习率 $1e-4$ 的 Adam 优化器。为什么是 10000？因为 BERT 的预训练总步数约 100 万步，10% 的预热比例是当时经过验证的“安全区间”。

但 Warmup 并不是越多越好。有过这样的失败案例：某工程师把 Warmup 设成总步数的 50%，结果损失确实不爆了，但训练进度也几乎停滞了——模型在热身区转圈的时间太长，最终精度反而不如不预热直接快速收敛的版本。这就像教练让你在广场上绕了整整一天，你真正上路练习的时间所剩无几。

还有一个常见的纠结：Warmup 是否必须从 0 开始？其实不需要。很多实践中 $\eta_{\text{min}}$ 设成峰值的 1%~5% 就足够了，从 0 开始会让前期几百步几乎没有学习进度。特别是你想用 0 然后瞬间跳到峰值，这反而人为制造了一个“断崖”。

总结成一句话：Warmup 是为了稳定而做的让步，不是训练目标本身。 用 5~10% 的步数做热身，让模型避开初始的高风险区，然后放心大胆地冲——这才是预热的正确姿势。

AI 应用场景

Python 演示

import mathimport random  def train_one_step(model_params, grads, lr):    for i in range(len(model_params)):        model_params[i] -= lr * grads[i]    return model_params  def cosine_lr(step, warmup_steps, total_steps, peak_lr, min_lr):    if step < warmup_steps:        # 线性预热：从 min_lr 爬到 peak_lr        return min_lr + (peak_lr - min_lr) * (step + 1) / warmup_steps    # 余弦衰减：从 peak_lr 降到 min_lr    progress = (step - warmup_steps) / max(1, total_steps - warmup_steps)    return min_lr + 0.5 * (peak_lr - min_lr) * (1 + math.cos(math.pi * progress))  def simulate(warmup_steps, total_steps, peak_lr):    loss = 10.0    best = loss    record = []    for step in range(total_steps):        lr = cosine_lr(step, warmup_steps, total_steps, peak_lr, 0.01)        # 模拟带噪声的梯度：噪声幅度与 lr 正相关        grad = math.sqrt(loss) * 0.5 + random.uniform(-0.6, 0.6) * lr * 10        loss -= lr * grad        loss = max(loss, 0.1)        best = min(best, loss)        record.append((step, lr, loss))    return record, best  if __name__ == "__main__":    random.seed(42)    total = 2000    for warm in [0, 100, 200]:        history, best = simulate(warm, total, 0.1)        final = history[-1][2]        print(f"warmup={warm:3d}  best_loss={best:.4f}  final_loss={final:.4f}")

1. def cosine_lr(step, warmup_steps, total_steps, peak_lr, min_lr)核心调度函数，先升后降，返回第 step 步该用的学习率。
2. return min_lr + (peak_lr - min_lr) * (step + 1) / warmup_steps线性预热公式，步数越多学习率越高。
3. min_lr + 0.5 * (peak_lr - min_lr) * (1 + math.cos(...))余弦衰减公式，输出从 1 平滑滑向 0。
4. grad = math.sqrt(loss) * 0.5 + random.uniform(-0.6, 0.6) * lr * 10学术上的噪声模拟，学习率越大梯度噪声越大，大学习率天然更容易震荡。
5. loss -= lr * grad模拟参数更新的效果，学习率太小则收敛慢。
6. for warm in [0, 100, 200]对比 0 预热、5% 预热、10% 预热三种配置，观察 best_loss 的差异。

常见误区

面试题