量化感知微调QAT：量化后精度恢复方法

可视化演示

展示量化感知微调分层冻结策略（冻结/敏感/训练）、STE直通估计器前向fake量化与反向梯度传递机制及精度恢复曲线（PTQ到QAT渐进恢复）。

QAT原理基础

大厨在露营厨房的第一天发现了三个问题：量勺刻度太粗、炉火温度不稳、砧板不够快。他没有慌，而是先冷静分析：这三样分别影响哪些菜、哪些环节？他很快判断出，真正影响招牌菜口感的，主要是调味精度和火候控制，刀工反而是次要的。这个“问题定位”思路，正是 QAT 的第一步——先搞清楚量化到底伤在哪里。

预训练模型以 32 位浮点（FP32）保存权重，好比大厨常用的精密工具。为了在手机和嵌入式设备上运行，业界把权重压缩为 8 位整数（INT8），模型体积缩小到原来的四分之一，推理速度大幅提升。但代价是大量“精细刻度”被四舍五入丢掉，输出精度随之下滑。QAT（Quantization Aware Training，量化感知微调）就是在量化模拟环境中对预训练模型做少量训练，让模型适应这种粗糙工具。它与 PTQ（训练后量化）最大的区别是：PTQ 量化完直接部署，QAT 则先用少量训练步骤把精度换回来——好比大厨先练两天再出摊。

QAT 的优化目标可以写成一个带约束的优化问题：模型权重应尽量贴近预训练时的值，同时适应量化后的参数分布。它优化的是量化模拟模型在原任务上的损失，外加一个正则项防止权重偏离原始值太远：

这个公式翻译成大厨的语言就是：你可以在露营厨房里微调手法，但菜的配方（核心知识）不能推翻重来。正是这种“保留底子、适应环境”的思路，让 QAT 能用极小的训练成本，把量化后的精度拉回高位。

量化模拟机制

大厨要练习，首先得有一个和露营厨房一模一样的训练场。他不能等到出摊那天才第一次摸到粗刻度量勺，那太冒险了。于是他把量勺、炭火炉原样搬进练习室，每天都在完全一致的模拟环境里做菜。QAT 里的这个“训练场”，就叫伪量化（Fake Quantization）。

伪量化的思想很直接：训练前向传播时，真实模拟量化-反量化的全过程——先把浮点权重按缩放因子缩放到整数域并四舍五入，再缩放回浮点域。这样模型在训练时能“亲身感受”量化误差。但要注意，训练时权重仍以浮点保存，并没有真正变成整数，否则梯度就无法更新了。

伪量化中最常用的是对称量化。给定一个浮点张量 $x$，先根据它的最大绝对值算出缩放因子 $s$，然后执行缩放、取整、截断、反缩放：

伪量化训练场最重要的特点就是“逼真”：训练时就让你在粗刻度量勺下做菜，出摊时才不会手忙脚乱。但这个训练场有个大麻烦——四舍五入函数像一架坏掉的秤，数学上不可导，梯度根本传不过去。这就引出了 QAT 最关键的 STE 技术。

STE梯度传递

大厨遇到了一架“坏掉的秤”：它能告诉你食材的重量范围（前向结果），却给不出精确的手感反馈（梯度）。深度学习的反向传播依赖精确梯度来更新参数，而量化里的四舍五入函数处处是台阶，在台阶上求导处处为零——梯度传到这里就断了。

STE（Straight-Through Estimator，直通估计器）的想法非常朴素：既然秤给不出精确反馈，那就按“手感估算”传个方向感回去。具体做法是，前向传播照常走量化的台阶，反向传播则把梯度直接透传过舍入函数，仿佛它根本不存在。这个近似在经验上极其有效，成为 QAT 的基石。

在数学上，STE 对 $\operatorname{round}$ 的梯度近似为 1，同时配合一个截断条件：

大厨把这套方法总结为“手感直通”：秤虽然坏了，但做菜的大方向心里有数。遇到刻度太粗的地方，用手背感受大致重量，照样能把调料加对。不过方向感也不是处处可靠——如果食材重量远超量程，他会果断丢弃这次反馈，这就是梯度截断存在的意义。

敏感层定位

大厨练习了几天发现：有的环节换个粗勺子就完全不是味儿，有的环节闭着眼做都不会出差错。不同环节对工具的敏感程度天差地别，他决定把精力集中在最敏感的环节上，这就是“时间花在刀刃上”。

神经网络也有同样的特点。Transformer 模型的某些层对量化极其敏感，比如注意力层的 QKV 投影、LayerNorm 后的输出；而另一些层（如部分 MLP 层）量化后几乎无损。QAT 实践中，工程师会先做敏感度分析：逐层单独量化，观察每一层造成的精度损失。损失大的层就是“敏感层”。

敏感度可以用量化前后的损失差异来度量：

定位敏感层后，大厨的训练计划一下子清晰了：刀工完全不用重练（冻结不敏感层），全力打磨调味和火候（重点训练敏感层）。这正是 QAT 能省下大量训练成本的根本原因——每一分钟练习都花在最影响出品的地方。

微调训练策略

练习营正式开营。大厨给自己定下几条规矩：每天只练两个钟头，绝不熬夜加练；每次只动最关键的环节；每次练习都对照原版菜谱校对，防止走偏。这些规矩看似简单，却暗含了 QAT 的三大训练策略。

第一，小学习率。预训练阶段的学习率通常是 $10^{-3}$ 量级，QAT 微调一般降到 $10^{-5}$ 到 $10^{-4}$，防止大幅扰乱已有权重。第二，训练步数控制。QAT 只需几百到几千步，太多反而会遗忘预训练学到的通用知识。第三，数据选择。用与目标任务分布一致的少量数据即可，无需海量数据，因为模型早已学会了任务本身。

还有一个容易被忽视的技巧是“防遗忘刹车”——训练参数不是全量，而是由敏感度阈值决定的子集：

两周后，大厨把训练成本一算：总练习时长还不到原先学艺的百分之一，但出品分数已经从 85 分回到了 95 分。这靠的不是苦练，而是“精准练习 + 保护底子”的策略组合。

部署效果评估

练习结束，真正的大考来了：大厨要在露营厨房里出摊，接受客人的实际检验。客人关心的只有三件事——快不快、贵不贵、好不好吃。对应到量化部署，就是推理速度、内存占用和精度。三者缺一不可。

QAT 的效果最终要在真实部署中验证。精度方面，把 QAT 微调后的模型与 PTQ 模型在验证集上对比准确率；性能方面，测 INT8 模型与 FP32 模型的推理时延、吞吐和内存占用。常见的两个指标是推理加速比和模型压缩率：

除了数值指标，部署还要看硬件兼容性。同一份 INT8 模型，在支持 Tensor Core INT8 加速的 GPU 和支持 DOT 指令的移动端 NPU 上，加速效果可能截然不同。工程师需要分别记录各硬件平台的时延和精度，形成一张“精度-性能”对照表，这也是 QAT 在 AI 编译器与系统软件栈中的重要价值——一份经过 QAT 的模型，能被多种推理引擎安全承接。

大厨收摊后盘点：同样的菜，出餐时间减少 60%，露营厨具的购置成本只有专业厨房的三成，客人的满意度从 85 分回到了 95 分。他感慨：练习两天的投入，换来长期出摊的底气。这正是 QAT 让无数量化模型安心走向生产环境的理由。

AI 应用场景

Python 演示

import torchimport torch.nn as nnimport torch.optim as optim  class FakeQuantize(torch.autograd.Function):    """伪量化: 前向模拟INT8舍入误差, 反向用STE直通梯度"""    @staticmethod    def forward(ctx, x, scale, bits=8):        n = 2 ** (bits - 1) - 1        x_q = torch.clamp(torch.round(x / scale), -n, n) * scale        ctx.save_for_backward(x, scale)        ctx.n = n        return x_q     @staticmethod    def backward(ctx, grad_output):        x, scale = ctx.saved_tensors        mask = (x.abs() <= ctx.n * scale).float()        return grad_output * mask, None  class QuantLayer(nn.Module):    """带伪量化的线性层, 模拟量化后模型的精度变化"""    def __init__(self, in_f, out_f, bits=8):        super().__init__()        self.fc = nn.Linear(in_f, out_f)        self.bits = bits        self.scale = 0.05     def forward(self, x):        w_q = FakeQuantize.apply(self.fc.weight, self.scale, self.bits)        return nn.functional.linear(x, w_q, self.fc.bias)  def qat_finetune(model, x, y, steps=60):    opt = optim.SGD(model.parameters(), lr=0.005)    loss_fn = nn.MSELoss()    for i in range(steps):        opt.zero_grad()        loss = loss_fn(model(x), y)        loss.backward()        opt.step()        if (i + 1) % 20 == 0:            print("step %d loss %.4f" % (i + 1, loss.item()))    return loss.item()  if __name__ == "__main__":    torch.manual_seed(0)    model = QuantLayer(4, 1)    x = torch.randn(128, 4)    y = x.sum(dim=1, keepdim=True)    final_loss = qat_finetune(model, x, y)    print("QAT final loss:", round(final_loss, 4))

1. class FakeQuantize(torch.autograd.Function)自定义一个可参与反向传播的伪量化算子，核心是同时定义前向与反向逻辑。
2. x_q = torch.clamp(torch.round(x / scale), -n, n) * scale伪量化核心四步：缩放、取整、截断、反缩放，完整模拟 INT8 误差。
3. mask = (x.abs() <= ctx.n * scale).float()生成梯度截断掩码：超出量化范围的输入不给梯度。
4. return grad_output * mask, NoneSTE 的实现：梯度近似直通，同时返回 None 表示 scale 不接收梯度。
5. w_q = FakeQuantize.apply(self.fc.weight, ...)对权重做伪量化后再参与线性运算，模拟部署时的 INT8 权重。
6. opt = optim.SGD(model.parameters(), lr=0.005)用很小的学习率做微调，避免破坏预训练权重。

常见误区

面试题