想象你是城里最负盛名的大厨，掌管着一家米其林三星餐厅。你的拿手菜依赖一系列精密工具：精确到0.1克的电子秤、恒温恒湿的发酵箱、程序控温的炉灶。可总部突然通知：你要被调去一家街头小馆，那里只有一只普通量杯、一个火候难控的老式煤气灶。你的菜还能保持水准吗？ AI模型在部署时面临的正是这个困境——模型在32位浮点精度下被“喂养”得炉火纯青，放到手机、摄像头、汽车芯片上，却被要求用8位整数甚至更低精度运行。精度骤降，性能自然打折。量化感知训练（Quantization-Aware Training，QAT）就是给模型安排的一场“简陋厨房排练”：在训练阶段就提前模拟量化带来的限制，让模型学会在“工具简陋”的情况下依然交出好作品。 而排练怎么安排，就是训练策略的学问：学习率怎么调（迈步的节奏）、量化参数怎么初始化（量杯刻度怎么定）、量化怎么引入（一口气换工具还是分阶段换），再加上防止“烧焦”的收敛保障和最后的“开张试菜”评估。这篇文章把QAT训练策略的每一招都拆开讲透。

岗位关联

掌握QAT训练策略，是AI工程师把模型高效部署到手机、机器人等端侧设备的核心技能，直接影响产品落地的性能与用户体验。

目录
  1. 可视化演示
  2. QAT基础概念
  3. 学习率调整
  4. 量化参数初始化
  5. 渐进量化策略
  6. 训练收敛保障
  7. 评估与部署
  8. AI 应用场景
  9. Python 演示
  10. 常见误区
  11. 面试题

可视化演示

演示量化感知训练策略：伪量化展示前向插入量化-反量化节点模拟低精度误差；渐进量化展示从全精度到INT8/INT4的比特缩减；精度恢复对比QAT与PTQ在训练中的精度恢复过程。

本节配有交互动效（进入视口后自动加载，约 3KB）。

伪量化节点 前向量化-反量化 Q→DQ 模拟低精度表示的误差

QAT基础概念

大厨在米其林后厨用精密工具做菜，突然被调去只有量杯和煤气灶的街头小馆。AI模型也一样：训练时用32位浮点精度，部署时硬件却只支持8位整数。量化（Quantization）就是把32位浮点参数压缩成8位整数，相当于把“精确到0.1克”的电子秤换成“大约一勺”的量杯。压缩必然带来精度损失——调料稍微多一点少一点，菜的味道就变了。

如果模型训练完再量化（PTQ），就像大厨到新厨房才第一次摸量杯，难免手忙脚乱。QAT则是在训练阶段就模拟量化：前向传播时把权重压成8位整数再还原，让模型“亲身感受”量化误差，于是训练中就学会了自动补偿。这就像大厨每天在简陋厨房里练一遍自己的拿手菜，每天记下“这口锅火偏大、这个量杯一勺约8克”，反复调整手法。

QAT的关键难题是：取整函数是“不可导”的。你没法对一个“四舍五入”的操作求梯度，就像你没法精确告诉大厨“你刚才手抖的那一下，应该往哪个方向改”。直通估计器（Straight-Through Estimator，STE）的解决办法很直接：前向照样取整，反向时假装取整不存在，让梯度原样通过。

就这样，在一次次的“假装取整”排练中，模型逐渐适应了简陋厨房的工具误差。训练结束后，导出的模型已经是在“整数量杯”约束下磨练过的成熟厨师——部署到端侧设备时，味道依然在线。

∂L∂w≈∂L∂q⋅1∣w∣≤1\displaystyle \frac{\partial L}{\partial w} \approx \frac{\partial L}{\partial q} \cdot \mathbb{1}_{|w| \le 1}
  1. 前向量化替代把浮点权重按步长 s 取整到最近的整数网格，模拟部署时的精度损失。
    q=round⁡(w/s)q = \operatorname{round}(w / s)
  2. 梯度直通反向传播时让损失对量化值的梯度原样复制给浮点权重，避免梯度消失。
    ∂L∂w≈∂L∂q\frac{\partial L}{\partial w} \approx \frac{\partial L}{\partial q}
  3. 范围限制当权重超出阈值时梯度被阻断，防止量化范围无限扩大。
    1∣w∣≤1\mathbb{1}_{|w| \le 1}

学习率调整

大厨学一道新菜时，每步尝试的幅度不能太大——盐多放一勺，整锅报废。学习率就是模型“每步迈多大”的尺度。QAT的损失曲面比全精度训练更“崎岖”：量化误差像路上的小石子，步伐太大容易偏离路线，甚至滚下山崖（训练发散）。所以QAT的学习率通常比全精度训练小一个数量级——全精度用1e-3，QAT就用1e-4甚至更小。

这就是“小步慢走原则”：在粗糙的地面上，小碎步才能走稳。但学习率也不是越小越好，太小了训练半天还在原地打转。于是工程师们发明了各种调度策略，其中最常用的是余弦退火（Cosine Annealing）——让学习率按余弦曲线从大到小平滑衰减，前期大胆探索，后期精细收敛。

大厨练新菜时，前期大胆试味道，后期小心调细节，最后端出的成品自然稳定。余弦退火也一样——它让模型在训练早期快速探索参数空间，在后期精细打磨，这正是QAT在“崎岖山路”上最舒服的节奏。

ηt=ηmin⁡+12(ηmax⁡−ηmin⁡)(1+cos⁡(tTπ))\displaystyle \eta_t = \eta_{\min} + \frac{1}{2}(\eta_{\max} - \eta_{\min})\left(1 + \cos\left(\frac{t}{T}\pi\right)\right)
  1. 训练进度归一化把当前训练轮次折算成0到1之间的进度值。
    p=tTp = \frac{t}{T}
  2. 余弦权重计算根据进度算出0到1之间的衰减系数，进度0时取1，进度1时取0。
    c=12(1+cos⁡(πp))c = \frac{1}{2}(1 + \cos(\pi p))
  3. 学习率插值在最大与最小学习率之间按系数插值。
    ηt=ηmin⁡+(ηmax⁡−ηmin⁡)⋅c\eta_t = \eta_{\min} + (\eta_{\max} - \eta_{\min}) \cdot c

量化参数初始化

量杯的刻度必须跟食材用量匹配——如果量杯量程是1升，而你每次只放10毫升，刻度的利用率极低，每一格的误差占比就会很大。量化参数（scale和zero-point）就像量杯的刻度。scale决定浮点数值到整数之间的映射步长，zero-point决定整数零点对应浮点数的哪个位置。初始化不好，量化范围要么溢出（数值超出刻度），要么浪费精度（刻度太粗）。

怎么确定刻度？大厨不会凭空猜，他会先看看自己常用的食材量。同理，工程师会用一小部分校准数据（比如训练集的子集）统计权重和激活的实际数值范围。最常见的做法是记录训练过程中的min/max，再代入公式算出scale。但训练中数值范围会漂移，所以更聪明的做法是用EMA（指数移动平均）在训练中持续更新观测值——相当于大厨每周重新量一次常用食材的量，动态修正刻度。

量杯刻度定好了，大厨在简陋厨房里才有据可依。量化范围如果设得合理，8位整数的精度就能被充分利用——每个刻度都代表真实分布中的一个有效数值，误差自然最小化。

s=xmax⁡−xmin⁡2b−1,xema←m⋅xema+(1−m)⋅xobs\displaystyle s = \frac{x_{\max} - x_{\min}}{2^{b} - 1}, \qquad x_{ema} \leftarrow m \cdot x_{ema} + (1 - m) \cdot x_{obs}
  1. 数值范围统计统计权重或激活的实际最大最小值。
    r=xmax⁡−xmin⁡r = x_{\max} - x_{\min}
  2. 量化刻度数b比特量化产生2^b个整数刻度，间隔数为2^b-1。
    n=2b−1n = 2^b - 1
  3. 缩放系数把范围等分为n份，每份跨度就是scale。
    s=r/ns = r / n
  4. EMA平滑更新训练中按动量m滚动更新观测范围。
    xema←m⋅xema+(1−m)⋅xobsx_{ema} \leftarrow m \cdot x_{ema} + (1 - m) \cdot x_{obs}

渐进量化策略

如果大厨必须彻底适应简陋厨房，聪明的做法是每天换一样工具——第一周只换量杯，第二周只换煤气灶，最后一周全部换掉。一下全换，菜会完全失控。渐进量化（Progressive Quantization）正是这个思路：不在一开始就全量化，而是把量化比例α从0逐步增大到1，训练前期参数以高精度学习，后期才完全量化。

这样做的好处是，模型在前半段先用“精密工具”把菜的大致做法学好，后半段逐步接受“简陋工具”的约束，边学边调整，而不至于一上来就被量化误差淹没。实践中可以按层分阶段：先量化权重，再量化激活，最后全量化；也可以用一个混合公式让量化比例平滑过渡。

大厨慢慢换工具，每换一样都来得及重新找到手感，最后全换时依然稳。模型也一样——渐进量化让它在“全精度”和“全量化”之间搭了一座缓坡，而不是一道悬崖。

w^=α⋅q(w)+(1−α)⋅w\displaystyle \hat{w} = \alpha \cdot q(w) + (1 - \alpha) \cdot w
  1. 量化分量量化后的权重乘以比例α，α为0时不引入量化。
    α⋅q(w)\alpha \cdot q(w)
  2. 原始分量原始浮点权重乘以(1-α)，α为1时不保留原始信息。
    (1−α)⋅w(1 - \alpha) \cdot w
  3. 加权混合两部分相加，让模型在过渡中逐渐适应量化。
    w^=α⋅q(w)+(1−α)⋅w\hat{w} = \alpha \cdot q(w) + (1 - \alpha) \cdot w

训练收敛保障

排练时最怕“烧焦”——火候失控，一锅好菜全废。QAT训练中，损失值突然飙升、精度指标崩溃，就是“烧焦”信号。为什么QAT更容易烧焦？因为量化误差会让梯度异常放大或剧烈波动：取整操作像给参数撒了一把噪声，噪声经过多层传播，梯度可能爆炸。所以训练策略必须配好“防火设施”。

第一道保险是梯度裁剪（Gradient Clipping）：给梯度的大小设一个阈值c，超过阈值就按比例缩回来，防止一步迈出悬崖。第二道保险是损失曲线监控：如果loss突然异常升高，立即暂停训练、回滚到最近的checkpoint。第三道是早停机制：验证集精度连续多个epoch不提升就提前收工，节省训练成本。

有了这层保险，大厨在简陋厨房里胆大心细，火候再猛也烧不坏菜。训练发散不是QAT的宿命，而是可以靠策略防住的意外。

g←min⁡(1,c∥g∥)⋅g\displaystyle \mathbf{g} \leftarrow \min\left(1, \frac{c}{\|\mathbf{g}\|}\right) \cdot \mathbf{g}
  1. 梯度范数计算所有梯度的L2范数。
    ∥g∥=∑igi2\|\mathbf{g}\| = \sqrt{\sum_i g_i^2}
  2. 裁剪系数范数超过阈值c时，系数小于1；否则保持1。
    λ=min⁡(1,c∥g∥)\lambda = \min\left(1, \frac{c}{\|\mathbf{g}\|}\right)
  3. 缩放梯度原梯度乘以系数，整体缩放到阈值内。
    g←λ⋅g\mathbf{g} \leftarrow \lambda \cdot \mathbf{g}

评估与部署

新厨房的一切准备就绪，正式开张前先请老食客试菜——味道跟原来差多少？上菜速度快了吗？评估量化模型的核心是回答这两个问题。精度差距（量化模型 vs 全精度基线）决定“菜还是不是那道菜”，推理速度收益决定“这厨房换得值不值”。

如果精度差距在可接受范围内，速度提升明显，就可以导出部署了。典型流程是：加载训练好的checkpoint → 在验证集上对比FP32和INT8的精度 → 跑推理基准测试（延迟/吞吐量）→ 导出ONNX或TFLite格式 → 在目标硬件上做端侧验证。精度差距越小，说明QAT训练策略越成功。

试菜合格后，大厨正式在简陋厨房出菜——菜还是那道菜，效率却翻了倍。QAT训练策略的全部努力，最终都凝结在这一盘“量化后的菜”里：端侧设备上跑得动、跑得快，而且味道不打折。

Δacc=Accfp32−Accint8\displaystyle \Delta_{\text{acc}} = Acc_{\text{fp32}} - Acc_{\text{int8}}
  1. 全精度基线精度记录原始FP32模型在验证集上的准确率。
    Afp32=Acc(FP32 模型)A_{\text{fp32}} = Acc(\text{FP32 模型})
  2. 量化模型精度记录INT8量化模型在同一验证集上的准确率。
    Aint8=Acc(INT8 模型)A_{\text{int8}} = Acc(\text{INT8 模型})
  3. 精度差距两者相减，差距越小说明量化损失越低。
    Δ=Afp32−Aint8\Delta = A_{\text{fp32}} - A_{\text{int8}}

AI 应用场景

移动端AI相册的图像分类

阶段：模型压缩与端侧部署

解决的问题：传统做法是训练完FP32模型直接用PTQ量化，精度可能从92%掉到85%，产品体验大打折扣。QAT在训练阶段模拟量化，让模型在有限的精度范围内重新适应，通常能把掉点控制在1%以内。

具体案例：某相册App的人像分类模型，原始FP32精度92.0%，直接PTQ掉到85.3%，用户反馈照片分类经常出错。改用QAT训练策略后，配合余弦退火学习率和渐进量化三阶段，最终INT8模型精度恢复到91.2%，推理速度提升2.3倍，模型体积从50MB压缩到13MB。

大语言模型的低比特推理

阶段：推理优化与显存节省

解决的问题：大语言模型（LLM）参数量动辄数十亿，FP16推理显存占用巨大，单张消费级显卡根本跑不起来。QAT/QLoRA把权重压到4bit，配合训练策略的精细调校，让模型在保持对话质量的同时大幅降低显存需求。

具体案例：一个70亿参数的对话模型，FP16需要14GB显存，4bit量化后仅约4GB，可以在消费级显卡上流畅运行。工程师在QAT阶段用1e-5学习率配合余弦退火，并分阶段引入4bit量化，最终困惑度只上升了0.3，对话流畅度几乎无感变化。

自动驾驶感知模型的实时检测

阶段：车规级端侧推理

解决的问题：自动驾驶对感知延迟极其敏感，车规芯片算力有限，FP32模型根本跑不满帧率。直接量化又会导致检测精度下降，威胁行车安全。QAT让检测模型在保证精度的前提下完成INT8加速。

具体案例：某自动驾驶公司用QAT训练策略优化分割模型，量化参数初始化采用EMA动态更新，渐进量化分四阶段引入，最终INT8模型帧率从15fps提升到30fps，满足实时要求，同时mIoU只下降0.8%，远优于PTQ的3.5%下降。

Python 演示

python47 行
"""简化版QAT训练策略演示: 学习率调整 + 渐进量化 + 梯度裁剪"""import numpy as np  def cosine_annealing_lr(epoch, total_epochs, lr_max, lr_min):    """余弦退火学习率"""    t = np.pi * epoch / total_epochs    return lr_min + 0.5 * (lr_max - lr_min) * (1 + np.cos(t))  def quantize_and_mix(w, scale, alpha):    """模拟渐进量化: alpha从0到1逐渐增加量化比例"""    w_q = np.round(w / scale) * scale    return alpha * w_q + (1 - alpha) * w  def train_qat(X, y, epochs=100):    """用QAT策略训练线性模型"""    np.random.seed(42)    w = np.random.randn(1) * 0.1    b = np.zeros(1)    scale = 0.1    for epoch in range(epochs):        lr = cosine_annealing_lr(epoch, epochs, lr_max=0.05, lr_min=0.001)        alpha = epoch / (epochs - 1)        w_eff = quantize_and_mix(w, scale, alpha)        pred = X * w_eff + b        loss = np.mean((pred - y) ** 2)        grad_w = np.mean(2 * (pred - y) * X)        grad_b = np.mean(2 * (pred - y))        grad_norm = np.sqrt(grad_w ** 2 + grad_b ** 2)        max_norm = 1.0        if grad_norm > max_norm:            grad_w *= max_norm / grad_norm            grad_b *= max_norm / grad_norm        w -= lr * grad_w        b -= lr * grad_b        if epoch % 20 == 0 or epoch == epochs - 1:            print(f"epoch {epoch}: loss={loss:.4f} lr={lr:.4f} alpha={alpha:.2f}")    return w, b  if __name__ == "__main__":    X = np.linspace(0, 10, 100)    y = 1.5 * X + 0.5 + np.random.normal(0, 0.5, 100)    w, b = train_qat(X, y)    print(f"learned w={w[0]:.3f}, b={b[0]:.3f}")
目的：用线性回归模拟QAT训练全过程，展示余弦退火学习率、渐进量化比例递增和梯度裁剪三个核心策略如何协同工作。
  1. lr = cosine_annealing_lr(epoch, epochs, lr_max=0.05, lr_min=0.001)每个epoch按余弦曲线计算学习率，前期大后期小。
  2. alpha = epoch / (epochs - 1)渐进量化比例从0线性增长到1，模仿“分阶段适应量化约束”。
  3. w_eff = quantize_and_mix(w, scale, alpha)把量化权重与原始权重按alpha混合，这是渐进量化的核心代码。
  4. grad_norm = np.sqrt(grad_w ** 2 + grad_b ** 2)计算梯度范数，为梯度裁剪做准备。
  5. grad_w *= max_norm / grad_norm超过阈值就等比缩放梯度，防止训练发散。
  6. w -= lr * grad_w用缩放后的梯度更新权重，小步慢走。

常见误区

误区我全精度训练用1e-3效果很好，QAT也直接用1e-3，干嘛要改？改来改去多麻烦。

正解QAT的损失曲面比全精度训练崎岖得多，量化误差像路上的石子，大学习率容易让模型一步踏空甚至发散。正确做法是把学习率缩小到原来的1/10甚至1/100，再配合余弦退火平滑衰减。就像大厨在简陋厨房里试新菜，不能像在精密厨房里那样大胆颠勺。

为何常见：人们习惯沿用已有的超参数，没意识到量化噪声会放大梯度波动，让“原来合适的步子”变得危险。

误区把量化范围设大一点，数值肯定不会溢出，多留点余量总没错。

正解量化范围每扩大一倍，步长scale也变大，量化误差会指数上升。范围太大等于量杯刻度太粗，小分量食材根本量不准。应该根据权重/激活的实际分布来设定，用校准数据统计min/max，而不是拍脑袋留余量。

为何常见：直觉上“留余地”是安全的，但在量化这个场景里，范围大=刻度粗=误差大，与直觉正好相反。

误区最终目标就是INT8，不如训练一开始就全量化，一步到位最省事。

正解训练初期模型还在学习关键特征，突然全量化会让梯度剧烈震荡，极易发散。渐进量化把量化比例从0慢慢涨到1，相当于让大厨一件一件换工具，每换一件都有时间适应。实验证明渐进量化比一步到位收敛更快、最终精度更高。

为何常见：图快心理，忽略了模型适应新约束需要过渡期。

误区全精度训练时loss像滑梯一样平滑下降，QAT的loss一跳一跳的，是不是哪里写错了？

正解QAT的loss天生比全精度训练波动大，因为量化误差像随机噪声一样叠加在梯度上。正确看法是关注整体趋势和最终收敛精度，而不是逐轮抖动。可以用EMA平滑loss曲线来观察趋势，就像大厨试菜时不会因为一次手抖就否定整锅菜。

为何常见：用全精度训练的平滑loss标准来要求QAT，忽略了量化噪声的固有影响。

误区宣传上说QAT能做到“几乎无损”，那我做完QAT肯定跟FP32精度一模一样。

正解QAT只是尽量逼近全精度，实际部署中通常仍有0.5%到2%的精度损失，取决于模型结构、量化位宽和训练策略。必须部署前做严格的评估对比，必要时还要调学习率、增加训练轮次、优化量化参数初始化才能达到可接受水平。

为何常见：被“无损量化”的宣传口号误导，忽略了实际工程中模型结构多样性和硬件差异带来的影响。

面试题

Q1. 在QAT中，直通估计器STE的核心作用是什么？

单选题 · easy

  • A.增大模型的表达能力
  • B.让梯度穿过取整操作← 正确答案
  • C.减少训练所需数据量
  • D.替代反向传播算法

答案：B。STE在前向传播时正常取整模拟量化，反向传播时让梯度“直通”过去，绕开取整函数不可导的问题。它并没有改变模型容量，也没有减少数据或替代反向传播，只是解决了量化训练中的梯度传递障碍。

Q2. QAT相比训练后再量化的PTQ，主要优势是什么？

单选题 · easy

  • A.不需要任何训练数据
  • B.训练中模拟量化保精度← 正确答案
  • C.模型训练速度更快速
  • D.模型体积能压缩更小

答案：B。QAT在训练阶段就模拟量化误差，让模型学会在低精度下保持性能，精度通常远高于PTQ。PTQ是训练完再量化，不需要重新训练但掉点更严重。答案B正确，其他选项都不符合QAT的本质特征。

Q3. 余弦退火学习率策略的主要特点是什么？

单选题 · mid

  • A.保持学习率恒定
  • B.从大到小平滑衰减← 正确答案
  • C.从小到大逐渐攀升
  • D.让学习率随机变化

答案：B。余弦退火让学习率沿余弦曲线从最大值平滑衰减到最小值：前期下降快、探索充分，后期下降慢、收敛精细。它不是恒定、攀升或随机的，而是符合QAT“小步慢走”原则的确定性调度。

Q4. 量化参数scale的初始化应该依据什么来设定？

单选题 · mid

  • A.固定设为数值1.0
  • B.采用随机初始化
  • C.依据权重激活范围← 正确答案
  • D.由学习率大小决定

答案：C。scale的本质是浮点范围与整数区间的映射步长，必须依据权重和激活的实际数值范围来设定。固定值或随机值会导致范围溢出或精度浪费，与学习率也无关。就像量杯刻度要跟食材量匹配，先统计min/max再算scale。

Q5. 以下哪些属于渐进量化策略的要点？

多选题 · mid

  • A.分阶段引入量化← 正确答案
  • B.量化比例从0到1渐进← 正确答案
  • C.一次性全量化所有层
  • D.逐步适应量化约束← 正确答案

答案：ABD。渐进量化的核心是给模型一个适应过程：分阶段引入、比例从0到1、逐步适应约束。一次性全量化正是渐进量化要避免的做法，会让模型训练震荡甚至发散。

Q6. QAT训练中发现损失值突然飙升，最合理的首要操作是什么？

单选题 · hard

  • A.增大学习率继续训练
  • B.回滚检查点并排查← 正确答案
  • C.删除异常的训练数据
  • D.关闭梯度裁剪保护

答案：B。loss飙升通常是量化噪声叠加导致梯度异常的发散信号，最稳妥的做法是暂停训练、回滚到最近正常的checkpoint，再排查学习率是否过大、量化范围是否合理。增大学习率或关闭梯度裁剪会让情况更糟，删除数据与发散没有直接关系。

Q7. QAT训练发散的可能原因包括哪些？

多选题 · hard

  • A.学习率定得太大← 正确答案
  • B.量化范围初始化不当← 正确答案
  • C.梯度爆炸未经裁剪← 正确答案
  • D.训练轮次定得偏少

答案：ABC。发散是QAT训练中最怕的问题，主要原因是学习率过大导致步伐失控、量化范围不合理造成误差累积、梯度爆炸没有被裁剪。训练轮次偏少只会导致欠拟合，不会引发发散。

Q8. QAT训练的学习率通常应该比全精度训练如何设置？

单选题 · easy

  • A.比全精度训练更大
  • B.比全精度训练更小← 正确答案
  • C.与全精度训练相同
  • D.和全精度训练无关

答案：B。QAT的损失曲面更崎岖，量化噪声让梯度波动更大，大学习率容易发散。经验法则是用全精度学习率的1/10甚至1/100，配合余弦退火调度，小步慢走反而能更快稳定收敛。

Q9. 关于EMA更新量化范围，下列说法正确的是哪些？

多选题 · hard

  • A.使用指数移动平均平滑观察值← 正确答案
  • B.动量因子通常接近1← 正确答案
  • C.完全忽略最新观测值
  • D.训练中动态调整范围← 正确答案

答案：ABD。EMA用动量m平滑历史观测值，m通常取0.99这样的接近1的值，意味着历史信息占主导但会吸收最新观测。它并没有完全忽略最新值，而是按权重混合，让量化范围在训练中动态适应数值漂移。

Q10. 关于直通估计器STE的实现细节，正确的是哪一项？

单选题 · extreme

  • A.前向取整，反向恒等映射← 正确答案
  • B.前后全部不可导运算
  • C.反向传播梯度恒为零
  • D.前向浮点，反向取整映射

答案：A。STE的正确实现是前向传播阶段执行取整量化，反向传播阶段梯度按恒等映射直通，既不让梯度消失也不改变方向。选项B/C都让训练无法更新参数，选项D把前后方向搞反了。