想象你是城市供水系统的总工程师。水管里的水压必须恰到好处：太小，高楼层住户无水可用；太大，管道爆裂，整个街区停水抢修。训练深度学习模型，就是在反复调试这样一套巨型供水网——损失函数是你要达到的水位，而梯度，就是驱动水位变化的水压。麻烦的是，深层网络里的水压常常会失控：训练日志里 loss 突然变成 NaN，一切努力付诸东流。梯度裁剪，就是这套系统的减压阀。它的设计哲学朴素得令人安心：水压正常时完全不干预，一旦超压就果断减压放行。本文将带你从梯度爆炸的成因出发，拆解两种主流减压阀——按范数裁剪与按值裁剪——的工作原理与代码实现，让你在 RNN、Transformer 等深层模型训练中真正掌握这门稳定训练的手艺。

岗位关联

梯度裁剪是深度学习训练稳定性最实用的保障技术之一。掌握它，你就能在深层模型训练中快速定位并化解梯度爆炸问题，是 AI 工程调参必备的核心技能。

目录
  1. 可视化演示
  2. 梯度爆炸成因
  3. 裁剪核心概念
  4. 按范数裁剪
  5. 按值裁剪
  6. 代码实现
  7. 实战应用建议
  8. AI 应用场景
  9. Python 演示
  10. 常见误区
  11. 面试题

可视化演示

动态演示梯度裁剪防止训练爆炸的利器的核心机制，通过基础/核心/应用/扩展四种模式展示关键概念与交互流程。

本节配有交互动效（进入视口后自动加载，约 3KB）。

梯度裁剪防止训练爆炸的利器：梯度爆炸 梯度爆炸问题的成因与影响 梯度裁剪的基本思想与分类 核心机制可视化 梯度裁剪防止训练爆炸的利器整体架构与关键组件

梯度爆炸成因

先回到供水系统的现场。管道工程师都知道，水压爆炸不是一蹴而就的：当整条管线由十几节串联而成，而每一节管道都会把水流压力放大一点点，那么入口处一个微小波动，会在出口变成一股足以掀翻阀门的巨浪。训练神经网络遭遇的梯度爆炸，几乎就是这出事故的翻版。

神经网络的梯度不是凭空变大的。在反向传播中，损失对参数的导数遵循高等数学里的链式法则：从输出层出发，每回传一层，就要乘以这一层对上一层的导数。这串乘积就像串联的管道节数，层数越多、权重越大，乘积的数值就呈指数级膨胀。

当乘积中某些矩阵的最大奇异值大于 1 时，梯度回传到浅层时数值可能达到 10 的几十次方。参数更新一步就把模型推到损失函数的死角，浮点数溢出成 NaN。此时你会在训练日志里看到 loss 突然变成 nan，后续所有步骤全部失效。

所以梯度爆炸的本质，不是某一段管道单独出了问题，而是整条级联管线叠加放大的结果。理解了这一点，你就会明白：与其逐一加固每一节管道，不如在系统入口处装一只聪明的减压阀——这正是梯度裁剪登场的理由。

∇θ(1)L=∇h(L)L⋅∏k=2L∂h(k)∂h(k−1)⋅∂h(1)∂θ(1)\displaystyle \nabla_{\theta^{(1)}} L = \nabla_{\mathbf{h}^{(L)}} L \cdot \prod_{k=2}^{L} \frac{\partial \mathbf{h}^{(k)}}{\partial \mathbf{h}^{(k-1)}} \cdot \frac{\partial \mathbf{h}^{(1)}}{\partial \theta^{(1)}}
浅层参数的梯度，等于输出层起点梯度，乘以一路上每一层的导数因子。层数深、因子大，乘积就指数级飙升——爆炸由此而来。
  1. 输出层梯度从损失函数出发，先求出最后一层输出对损失的梯度，它是整个回传链的起点。
    ∇h(L)L\displaystyle \nabla_{\mathbf{h}^{(L)}} L
  2. 隐层雅可比因子第 k 层输出对第 k-1 层输出的导数，是连乘链上的一个环节。
    ∂h(k)∂h(k−1)\displaystyle \frac{\partial \mathbf{h}^{(k)}}{\partial \mathbf{h}^{(k-1)}}
  3. 连乘累积从第 2 层乘到第 L 层，把每一环的放大效应叠加起来。
    ∏k=2L∂h(k)∂h(k−1)\displaystyle \prod_{k=2}^{L} \frac{\partial \mathbf{h}^{(k)}}{\partial \mathbf{h}^{(k-1)}}
  4. 输入层权重梯度再乘上第一层输出对权重的偏导，得到最终要更新的梯度。
    ∂h(1)∂θ(1)\displaystyle \frac{\partial \mathbf{h}^{(1)}}{\partial \theta^{(1)}}

裁剪核心概念

面对隔三差五的爆管事故，供水工程师的解决方案朴素而有效：在主管道上安装智能减压阀。这只阀门只做一件事——盯着实时水压表，只要读数超过安全线，就放掉多余的压力；读数正常时，阀门完全打开，水流进出如常。

梯度裁剪就是这个减压阀。它的对象是反向传播算出来的梯度向量。裁剪动作发生在 backward() 完成之后、optimizer.step() 更新参数之前。之所以卡在这个时间点，是因为此刻梯度已经算好、尚未使用，是唯一能安全干预的窗口。

按照裁剪粒度，减压阀分成两大家族：全局按范数裁剪（总阀限压）与逐元素按值裁剪（支路限压）。两者都遵循同一个核心思想——更新前先过裁剪算子，但一个保持梯度方向，另一个可能改变方向。后续两节分别拆解。

不管是总阀还是支路阀，减压的哲学是一致的：只在极端时刻出手，平时绝不添乱。这一哲学让梯度裁剪成为深度学习训练中性价比最高的稳定化手段之一。

θt+1=θt−η⋅clip⁡(∇θL(θt))\displaystyle \theta_{t+1} = \theta_t - \eta \cdot \operatorname{clip}\left(\nabla_\theta L(\theta_t)\right)
带裁剪的梯度下降：梯度先经裁剪算子限幅，再乘学习率更新参数。裁剪是“限速”，学习率是“油门”，两者各司其职。
  1. 当前参数位置第 t 步迭代时的模型参数，是本次更新的起点。
    θt\displaystyle \theta_t
  2. 原始梯度方向损失函数在该点的梯度，指向损失上升最快的方向。
    ∇θL(θt)\displaystyle \nabla_\theta L(\theta_t)
  3. 裁剪算子介入将梯度限制在安全范围，相当于智能减压阀本体。
    clip⁡(⋅)\displaystyle \operatorname{clip}(\cdot)
  4. 完整更新公式沿负梯度方向走一小步，得到新参数位置。
    θt+1=θt−η⋅clip⁡(∇θL(θt))\displaystyle \theta_{t+1} = \theta_t - \eta \cdot \operatorname{clip}\left(\nabla_\theta L(\theta_t)\right)

按范数裁剪

先从总阀限压说起。假设整座供水网有一条干管直通水箱，工程师在干管入口装了一只压力计与一只电动阀：压力计实时核算所有支路的总压力，一旦总压力超过安全值，电动阀就以同一个比例关小所有支路的阀门。

按范数裁剪正是“总阀”的实现。把所有参数的梯度拼成一个巨型向量，计算它的 L2 范数，再与阈值比较。如果范数超过阈值，就把整个向量乘以缩放系数；否则原样放行。

由于是整体乘一个标量系数，梯度向量只在长度上收缩，方向一字不改。这意味着更新前进的方向与原始梯度完全一致，只是步长被限制住——用数学语言说，裁剪后的梯度范数不超过给定阈值。工程上常用阈值取 1 或 5，配合少量实验微调。

总阀限压的优雅之处在于公平：所有支路按同一比例减压，谁多谁少的相对关系不变，整个供水格局依旧协调。这正是范数裁剪能在 RNN、Transformer 中大受欢迎的根本原因。

g^=min⁡(1,c∥g∥)⋅g,∥g∥=∑igi2\displaystyle \hat{\mathbf{g}} = \min\left(1, \frac{c}{\|\mathbf{g}\|}\right) \cdot \mathbf{g}, \qquad \|\mathbf{g}\| = \sqrt{\sum_{i} g_i^2}
梯度向量范数超标时，整体乘以 c/||g|| 缩回安全圈内；未超标时 min 取 1，相当于阀门全开、不做任何干预。
  1. 总范数计算把全部梯度元素拼成向量，求 L2 范数作为“总水压表”读数。
    ∥g∥=∑igi2\displaystyle \|\mathbf{g}\| = \sqrt{\sum_{i} g_i^2}
  2. 阈值判断若范数未超阈值，min 取 1，梯度原样通过；否则进入第三步。
    min⁡(1,c∥g∥)\displaystyle \min\left(1, \frac{c}{\|\mathbf{g}\|}\right)
  3. 等比缩放将整个梯度向量乘以系数 c/||g||，范数恰好收缩到 c。
    g^=c∥g∥g\displaystyle \hat{\mathbf{g}} = \frac{c}{\|\mathbf{g}\|} \mathbf{g}

按值裁剪

另一种思路是支路限压：不给整条管网算总账，而是要求每一根独立管道的水压都不得超过上限。哪怕其他管道压力都很低，只要某一根超压，就单独把它截到上限。这种“逐根管理”虽然粗暴，却胜在实现简单、反应直接。

按值裁剪就这么干：把每个梯度元素独立地跟阈值比较，大于阈值就置为阈值，小于负阈值就置为负阈值，落在区间内则不动。因为没有统一乘系数，所以被裁剪的元素与未被裁剪的元素之间比例关系会被打乱，梯度向量的方向可能发生改变。

这个副作用在某些场合恰恰是优点：当梯度中只有个别元素异常巨大（离群值），按值裁剪能精准“拔掉”这些尖刺，而让其他正常元素保持原样。在特征极端稀疏的场景中，它比整体缩放更符合直觉。

支路限压的代价是管网的整体平衡可能被打破，但换来的是单点事故的快速处置能力。选择总阀还是支路阀，取决于你面对的是全面超压还是局部尖峰——这也是工程判断力的一部分。

g^i=clip⁡(gi,−c,c)={c,gi>cgi,−c≤gi≤c−c,gi<−c\displaystyle \hat{g}_i = \operatorname{clip}(g_i, -c, c) = \begin{cases} c, & g_i > c \\ g_i, & -c \le g_i \le c \\ -c, & g_i < -c \end{cases}
每个梯度元素都被限制在 [-c, c] 区间内：超出上界压到 c，低于下界抬到 -c，区间内原样保留。
  1. 裁剪区间预先设定上下界，这是每根支路的压力上限。
    [−c,c]\displaystyle [-c, c]
  2. 上界截断元素超过上界时直接压到上界。
    gi>c⇒g^i=c\displaystyle g_i > c \Rightarrow \hat{g}_i = c
  3. 区间保留元素落在区间内时保持原值不动。
    −c≤gi≤c⇒g^i=gi\displaystyle -c \le g_i \le c \Rightarrow \hat{g}_i = g_i
  4. 下界截断元素低于下界时抬到下界。
    gi<−c⇒g^i=−c\displaystyle g_i < -c \Rightarrow \hat{g}_i = -c

代码实现

理论讲得再漂亮，工程师最终要回到工具箱前。好消息是 PyTorch 已经把两只减压阀封装成了现成函数，你不需要自己拧螺丝——但明白螺丝怎么拧，才能修理非标准管道。

按范数裁剪用 torch.nn.utils.clip_grad_norm_(parameters, max_norm)，按值裁剪用 torch.nn.utils.clip_grad_value_(parameters, clip_value)。两者都必须在 loss.backward() 之后、optimizer.step() 之前调用。如果你在理解原理后想自己造轮子，上面的公式就是全部实现指南。

手动实现按范数裁剪只需三步：遍历所有参数求梯度平方和开方得到总范数，计算 max_norm 与总范数的比值，比值小于 1 时对所有梯度原地乘上该比值。按值裁剪更简单：对每个梯度张量执行 clamp_。理解这三行逻辑，API 对你就不再是黑盒。

工具越趁手，越要记住它的安装位置。装错顺序（在更新之后裁剪）等于在减压阀下游放水，毫无意义。把这段代码背下来，你就拥有了稳定训练的基本盘。

∥g∥2=∑p=1P∑i=1npgp,i2\displaystyle \|\mathbf{g}\|_2 = \sqrt{\sum_{p=1}^{P} \sum_{i=1}^{n_p} g_{p,i}^2}
这是代码中 clip_grad_norm_ 内部计算总范数的数学表达：先对每个参数张量内的梯度元素平方求和，再把所有参数张量的结果累加，最后开方。
  1. 参数张量遍历遍历网络中所有含梯度的参数张量。
    ∑p=1P\displaystyle \sum_{p=1}^{P}
  2. 张量内元素求和对第 p 个张量内所有梯度元素平方累加。
    ∑i=1npgp,i2\displaystyle \sum_{i=1}^{n_p} g_{p,i}^2
  3. 整体开方对全局总和开平方，得到与 max_norm 比较的总范数。
    ⋅\displaystyle \sqrt{\cdot}

实战应用建议

最后分享一份阀门巡检笔记。管网的哪些位置最容易爆？根据供水抢修记录：长距离管线和水流湍急的枢纽。对应到深度学习，长距离管线就是 RNN——时间步展开后反向路径极深；枢纽就是 Transformer——注意力与深层堆叠叠加了巨大的梯度方差。

阈值怎么设？一个实用套路是：第一轮不裁剪，打印每次迭代的梯度范数，观察它的分布。把阈值设在“绝大多数正常范数之下、少数尖峰之上”的位置，通常从 max_norm=1 起步，若 loss 曲线抖动则调小，若收敛变慢则调大。

梯度裁剪不是孤军奋战。把它与学习率预热、层归一化、合理的权重初始化组合使用，稳定效果远好于单打独斗。尤其在大模型训练中，裁剪与 Adam 系优化器搭配几乎成为标配。

拧阀门的手感，是在一次次巡检中养成的。梯度消失是另一端的问题，而此刻，你已经握住了防止爆炸的那只阀。

g^=c∥g∥g⏟norm clipvsg^i=clip⁡(gi,−c,c)⏟value clip\displaystyle \underbrace{\hat{\mathbf{g}} = \frac{c}{\|\mathbf{g}\|} \mathbf{g}}_{\text{norm clip}} \quad \text{vs} \quad \underbrace{\hat{g}_i = \operatorname{clip}(g_i, -c, c)}_{\text{value clip}}
两种阀门放在一起对比：左边总阀整体缩放保方向，右边支路阀逐点限幅可能改方向。选哪只阀，取决于水压故障模式。
  1. 范数裁剪整体缩放梯度整体乘以系数，长度受限而方向不变。
    g^=c∥g∥g\displaystyle \hat{\mathbf{g}} = \frac{c}{\|\mathbf{g}\|} \mathbf{g}
  2. 值裁剪逐元素截断每个梯度元素独立限幅，方向可能改变。
    g^i=clip⁡(gi,−c,c)\displaystyle \hat{g}_i = \operatorname{clip}(g_i, -c, c)

AI 应用场景

大语言模型全参数微调

阶段：模型训练与调优

解决的问题：LLM 微调时，batch 内出现超长或异常样本，梯度范数骤然飙升，loss 出现尖峰甚至变成 NaN，训练中断。传统做法只能不断降低学习率，效率低下。在 backward() 后加梯度裁剪，可一次拦住尖峰，允许使用更高学习率稳定训练。

具体案例：某团队用全参数微调 7B 模型做代码生成，当 batch 里混入超长上下文时 loss 从 1.2 跳到 NaN。加入 clip_grad_norm_(max_norm=1.0) 后，训练曲线平稳收敛，省去了反复回滚检查点的代价。

RNN 长序列语言模型训练

阶段：模型训练

解决的问题：RNN 按时间步展开的 BPTT 反向传播路径极深，长序列下梯度连乘指数爆炸，这是 NLP 领域的老牌难题。梯度裁剪是其标配手段，相当于在超长管线上加装总阀。

具体案例：训练一个 3 层 LSTM 的字符级语言模型，序列长度 512 时梯度范数周期性冲到 1e3 量级，loss 频繁尖峰。设置 max_norm=5 后，训练曲线平滑，困惑度稳步下降。

语音识别声学模型训练

阶段：训练稳定性治理

解决的问题：深层 CNN 与 RNN 混合的声学模型中，卷积层和循环层连接处易产生梯度尖峰；多卡并行时梯度累积进一步放大数值。裁剪与梯度累积的组合能显著提升稳定性。

具体案例：某语音团队训练流式 ASR 模型时，每训练 200 步出现一次 loss 尖峰，怀疑是特征序列中静音段导致的梯度离群值。加入按值裁剪 clip_value=0.3 后尖峰消失，识别准确率提升约 1.5 个点。

Python 演示

python88 行
import torchimport torch.nn as nn torch.manual_seed(42)  class TinyNet(nn.Module):    def __init__(self):        super().__init__()        self.fc1 = nn.Linear(16, 16)        self.fc2 = nn.Linear(16, 1)     def forward(self, x):        return self.fc2(torch.relu(self.fc1(x)))  def total_grad_norm(model):    total = 0.0    for p in model.parameters():        if p.grad is not None:            total += p.grad.norm().item() ** 2    return total ** 0.5  def clip_by_norm(model, max_norm):    # 手动实现按范数裁剪: 保持方向, 等比缩放    total = 0.0    for p in model.parameters():        if p.grad is not None:            total += p.grad.norm().item() ** 2    total = total ** 0.5    coef = max_norm / (total + 1e-6)    if coef < 1:        for p in model.parameters():            if p.grad is not None:                p.grad.mul_(coef)    return total  def clip_by_value(model, clip_value):    # 手动实现按值裁剪: 每个元素限制在 [-clip_value, clip_value]    for p in model.parameters():        if p.grad is not None:            p.grad.clamp_(-clip_value, clip_value)  def build_model():    model = TinyNet()    with torch.no_grad():        for p in model.parameters():            p.mul_(8.0)  # 放大权重模仿深层网络的梯度爆炸    return model  def make_grad(model):    x = torch.randn(4, 16)    y = torch.randn(4, 1)    loss = (model(x) - y).pow(2).mean()    model.zero_grad()    loss.backward()    return loss.item()  if __name__ == "__main__":    m1 = build_model()    loss = make_grad(m1)    print(f"无裁剪 | loss={loss:.4f} | 梯度范数={total_grad_norm(m1):.4f}")     m2 = build_model()    loss = make_grad(m2)    before = total_grad_norm(m2)    clip_by_norm(m2, max_norm=1.0)    after = total_grad_norm(m2)    print(f"按范数裁剪 | loss={loss:.4f} | 前={before:.4f} | 后={after:.4f}")     m3 = build_model()    loss = make_grad(m3)    before = total_grad_norm(m3)    clip_by_value(m3, clip_value=0.5)    after = total_grad_norm(m3)    print(f"按值裁剪 | loss={loss:.4f} | 前={before:.4f} | 后={after:.4f}")     m4 = build_model()    loss = make_grad(m4)    before = total_grad_norm(m4)    nn.utils.clip_grad_norm_(m4.parameters(), max_norm=1.0)    after = total_grad_norm(m4)    print(f"PyTorch接口 | loss={loss:.4f} | 前={before:.4f} | 后={after:.4f}")
目的：用一个小型全连接网络模拟梯度爆炸场景，对比“无裁剪、按范数裁剪、按值裁剪、PyTorch 内置接口”四种情况下的梯度范数变化。
  1. p.grad.norm().item() ** 2计算单个参数张量梯度的 L2 范数平方，再逐参数累加
  2. total ** 0.5对所有平方和开方，得到整网梯度总范数，相当于总水压表读数
  3. coef = max_norm / (total + 1e-6)求等比缩放系数，加 1e-6 防止除零
  4. p.grad.mul_(coef)原地缩放每个参数的梯度，这是按范数裁剪的核心动作
  5. p.grad.clamp_(-clip_value, clip_value)把每个梯度元素限制在阈值区间内，这是按值裁剪的核心动作
  6. nn.utils.clip_grad_norm_(m4.parameters(), max_norm=1.0)调用 PyTorch 内置按范数裁剪接口
  7. p.mul_(8.0)放大权重，人为制造梯度爆炸的测试环境

常见误区

误区我担心裁剪梯度会把有用的信息也砍掉，让模型学不到东西，所以不敢设置太小的阈值。

正解梯度裁剪只在梯度超过阈值时才干预，正常范围内的梯度完全不受影响。它像减压阀，水压正常时不动作，只有超压时才放水。而且按范数裁剪只是等比缩放，方向信息完整保留，不会丢失知识。

为何常见：把“裁剪”理解为“删减”，混淆了 clip 与 dropout、剪枝等“丢弃信息”技术的区别。

误区既然梯度爆炸很危险，那把裁剪阈值设成很小比如 0.01，肯定最安全。

正解阈值过小会让几乎所有梯度都被缩放，相当于把学习率大幅缩小，训练会变得极慢甚至停顿。阈值应设在一个能拦下“少数极端尖峰”的位置，让绝大多数正常梯度自然通过。小阈值不等于安全，等于效率损失。

为何常见：把“安全”与“保守”画等号，忽略了步长过小同样导致训练失败。

误区我用上梯度裁剪后 loss 还在抖动，说明裁剪没用，或者我用的方法不对。

正解梯度裁剪只解决“梯度数值过大”这一类问题。学习率过高、数据分布异常、初始化不当、标签噪声等同样会引起不稳定，需要 warmup、归一化、调整学习率等手段配合。把裁剪当万金油是常见的工程误区。

为何常见：单一工具成功解决一个问题后，人们容易把它推广到所有场景。

误区两种裁剪都是限制梯度大小，反正结果差不多，随便用哪个都行。

正解两者行为有本质差异：按范数裁剪保持梯度方向、整体缩放，适用于梯度整体普遍偏大的情况；按值裁剪逐元素截断，会改变梯度向量方向，适用于个别极端离群值。选错会导致收敛行为异常。

为何常见：只看到“限制大小”的表面共同点，忽略了梯度方向在优化中的关键作用。

面试题

Q1. 训练时 loss 突然变成 NaN，最常见的直接原因是什么？

单选题 · easy

  • A.学习率设置得过小
  • B.梯度爆炸数值溢出← 正确答案
  • C.数据集样本太少
  • D.模型层数不够多

答案：B。梯度爆炸时浮点数溢出，loss 会输出 NaN。学习率过小只会让 loss 收敛慢，不会变成 NaN；样本太少和层数太少都不会直接导致数值溢出。就像水压爆表时压力表直接失灵，NaN 就是失灵的读数。

Q2. 反向传播中导致梯度变大的核心机制是？

单选题 · easy

  • A.特征图通道增加
  • B.梯度逐层连乘← 正确答案
  • C.损失函数改变
  • D.卷积核尺寸变大

答案：B。反向传播按链式法则逐层连乘，因子大于 1 时梯度指数增长，这是爆炸的直接机制。通道数、损失函数、卷积核尺寸变化都不构成连乘放大路径。相当于每节管道都在放大的级联供水线。

Q3. 按值裁剪将每个梯度元素限制在哪个区间？

单选题 · easy

  • A.限制在大于零的区间
  • B.限制在正负阈值之间← 正确答案
  • C.限制在小于零的区间
  • D.限制在固定常数值上

答案：B。按值裁剪把每个梯度元素限制在 [-clip_value, clip_value] 区间内，正负阈值对称。其他三个区间的描述都不完整或错误。就像一个支路阀只允许水压落在安全区间内。

Q4. 按范数裁剪时，梯度范数超过阈值后会怎样？

单选题 · mid

  • A.乘上缩放系数 c/||g||← 正确答案
  • B.全部置零并停止更新
  • C.只保留最大的梯度元素
  • D.整体加上一个常数偏移

答案：A。范数裁剪在范数超阈值时整体乘上 c/||g||，长度缩到 c 而方向不变。清零、取最大元素、加常数都会破坏方向或不符合范数裁剪定义。总阀以同一比例关小所有支路。

Q5. 关于按范数裁剪，下列说法正确的是？

单选题 · mid

  • A.缩放后梯度方向会改变
  • B.缩放后梯度方向不变← 正确答案
  • C.所有梯度变成同一个值
  • D.只对最后一层梯度生效

答案：B。按范数裁剪是对整个梯度向量乘一个统一标量，方向完全不变。其余说法均与定义矛盾。总阀限压时各支路相对比例不改变，这就是“方向不变”的直观含义。

Q6. 梯度裁剪应在训练循环的哪一步调用？

单选题 · mid

  • A.前向计算开始之前
  • B.反向传播后更新前← 正确答案
  • C.损失函数计算之前
  • D.验证集评估之后

答案：B。裁剪必须作用于反向传播算好的梯度，因此在 backward 之后、step 之前。前向之前梯度还不存在，损失计算之前尚未回传，验证之后已经晚了。阀门要装在压力产生之后、用水之前。

Q7. 关于“裁剪后再乘学习率”，下列理解最准确的是？

单选题 · extreme

  • A.裁剪后更新步长上限为 η×c← 正确答案
  • B.裁剪会覆盖学习率的所有作用
  • C.学习率必须和裁剪阈值相等
  • D.学习率对裁剪后的梯度无效

答案：A。按范数裁剪保证 ||g|| ≤ c，再乘学习率后更新量 ||η·g|| ≤ η·c，所以裁剪与学习率共同决定最大步长。B、C、D 都夸大了裁剪对学习率的替代作用。相当于减压阀和水龙头（学习率）都在限制最终流量。

Q8. 以下哪些场景更容易出现梯度爆炸？

多选题 · mid

  • A.训练深层循环网络 RNN← 正确答案
  • B.训练超深 Transformer← 正确答案
  • C.训练单层线性回归模型
  • D.训练只有两层的简单网络

答案：AB。RNN 的 BPTT 路径深、Transformer 层数深且方差大，都容易爆炸。单层线性回归和两层简单网络梯度路径短，几乎不会爆。级联管段越长越容易超压。

Q9. 关于梯度裁剪的阈值选择，以下说法正确的是？

多选题 · hard

  • A.阈值过大会让裁剪几乎失效← 正确答案
  • B.阈值过小会明显拖慢训练← 正确答案
  • C.阈值设置后完全不能调整
  • D.阈值通常需要实验来调优← 正确答案

答案：ABD。阈值太大时尖峰都拦不住，等于没裁剪；太小则正常梯度也被压缩，训练变慢；阈值可以靠实验调，也可以在训练过程中动态调整。减压阀的限压值需要根据实际水压分布设定。

Q10. 关于按范数裁剪和按值裁剪的区别，正确的是？

多选题 · hard

  • A.范数裁剪保持梯度方向一致← 正确答案
  • B.值裁剪会逐元素独立限幅← 正确答案
  • C.两种裁剪的效果完全相同
  • D.范数裁剪改变梯度方向

答案：AB。范数裁剪统一缩放、保持方向；值裁剪逐元素截断、方向可能改变。两种效果并不相同，这就是总阀限压和支路限压的本质区别。