模型量化 Quantization 原理与实战

可视化演示

量化基本概念

想象衣帽间里每件衣服都有一根专属衣架，FP32 就像这种宽敞的豪华间：32 个二进制位记录一个数，精确到小数点后 7 位。但手机、摄像头、耳机这些端侧设备只有“登机箱”那么大的空间。量化要做的事，就是给每个数换一个小格子：把 FP32 的 4 字节压成 INT8 的 1 字节，甚至 INT4 的 4 个二进制位——模型参数数量不变，体积却可缩到四分之一或八分之一。

神经网络的数字记忆并不需要每个参数都精确到一亿分之一。大量实践表明，参数和激活值的分布通常集中在一个狭窄区间；把过长的尾巴剪掉，把小数部分舍去，模型依然能完成分类、检测、生成等任务。量化不是“重新发明数字”，而是换一把更粗的尺子：实数世界的一个小区间，用一个整数代号表示。

工程收益很直接：模型文件变小，内存占用下降，数据搬运变快；如果硬件支持 INT8 计算，乘加运算还可以在更短的时钟周期内完成。代价是舍入误差和截断误差——好比把 173.46 厘米报成 173 厘米，单看一条数据误差微不足道，但经过几十层网络层层传递，可能被放大成明显掉点。

衣服叠好只是第一步，下一步要解决一个关键问题：如何保证每个整数代号都能还原到原来的位置？这就要靠量化的核心公式。

量化核心公式

折叠衣服需要一条刻线，否则叠出来的方块大小不一。量化的刻线由两个参数决定：缩放因子 scale 和零点偏移 zero point。scale 决定一个整数格子代表多少实数，zero point 决定浮点 0 落在整数标尺的哪个刻度。

对一个张量统计出最小值 \(x_{\min}\) 和最大值 \(x_{\max}\)，b 位整数可表示 \(2^b\) 个值（INT8 是 256，INT4 是 16）。把区间 \([x_{\min}, x_{\max}]\) 均匀切成 \(2^b - 1\) 段，每段的高度就是 scale。为了防止负数在四舍五入后越界，先加 zero point，再做 clip（夹紧到边界内）。

这把折叠尺就是所有量化工具的通用语言。下一步要决定：是给整件大衣用一把尺，还是给每个口袋各配一把。

量化粒度与校准

逐张量量化，是整层张量共用一套 scale 和 zero point，像把整柜衣服压成一个方块；参数少、部署简单，但数值分布不均匀时误差会集中。逐通道量化，是每个输出通道独立计算尺度，像每件衣服单独叠；体积略大，却更贴身材，精度通常更好。

尺度不能凭空拍脑袋定。训练后量化需要一个校准数据集：通常是 100 到 1000 条有代表性的训练或验证样本，跑一次前向，统计每一层激活的最小值、最大值或直方图。如果校准数据与真实数据差异太大，等于拿夏装清单给冬装打包，箱子一上路就会散架。

校准还要小心离群值。用 min 和 max 会把范围撑得很大，整数刻度被拉宽，中间区域的精度因此下降；改用百分位或 KL 散度截断两端极端值，往往能换回更好的整体精度。

粒度和校准解决的是“怎么量”，接下来要回答“用多粗的尺子”——INT8 还是 INT4。

INT8与INT4

INT8 是经济舱：256 个刻度，大多数模型掉点可控制在 1 到 3 个百分点以内；INT4 是睡袋位：只有 16 个刻度，体积再砍一半，但精度风险显著上升。选哪个，取决于模型对误差的敏感度和业务允许的精度下限。

INT8 通常把 FP32 体积降到四分之一，INT4 降到八分之一。对图像分类这类冗余度高的任务，INT8 几乎无感；对需要细粒度输出的小模型或检测任务，INT4 可能让边界框抖动明显。可以通过误差分析逐层观察：有些层对量化特别敏感，就保留 FP16 或更高精度，形成混合精度。

另一个决定因素是硬件指令。x86、ARM、NPU 往往有成熟的 INT8 加速指令，但 INT4 不一定原生支持；如果硬件不支持，INT4 反而要先反量化成 FP16 再算，推理未必更快。所以不要问“哪个精度最好”，要问“目标设备支持哪种打包方式”。

尺子选好了，接下来看两条落地路线：不训练的 PTQ，和把训练融进去的 QAT。

PTQ训练后量化

PTQ 全称是 Post-Training Quantization，训练后量化。它是“行李已经装好，再抽一遍真空”：不重新训练模型，只对权重和激活做离线转换。流程像一份四步清单：准备校准数据、统计数值范围、计算 scale 和 zero point、替换浮点算子。

PTQ 最大的优点是没有训练资源门槛：几百张图片、几分钟跑前向，就能得到 INT8 模型。它适合大多数已经上线的模型，尤其适合大模型——重新训练成本太高，离线压一压就能部署。

PTQ 的挑战在于误差不可控。模型越小、激活的离群值越多，量化误差越容易被放大。常见补救方法是逐通道量化、按百分位截断范围，或对敏感层保留浮点运算。如果补救后精度仍不达标，就该考虑 QAT。

PTQ 是快但糙的打包方案；当箱子被压坏，就需要一边打包一边调整——这正是 QAT 的用武之地。

QAT量化感知训练

QAT（Quantization-Aware Training）的核心，是让模型在训练时就“预演”被折叠后的样子。做法是在前向计算里插入伪量化节点：输入先量化成整数刻度，再反量化回浮点，网络实际看到的已经是带误差的数值；反向传播时用直通估计器近似梯度，让参数适应这种误差。

为什么要直通估计器？因为 round 的导数几乎处处为 0，常规反向传播会把梯度杀光。STE 的做法是：前向老老实实过这个“凹凸不平”的台阶，反向却假装它是一条平路，把梯度直接传回。

QAT 的训练流程是：从预训练模型开始，在权重和激活之后插入伪量化节点；用普通损失函数继续训练若干 epoch；收敛后把伪量化节点替换成真正的 INT8 kernel。QAT 精度通常比 PTQ 高，代价是需要 GPU 时间和调参经验。

QAT 让模型学会与褶皱共处。最后，把两条路线放进真实项目里走一遍。

实战落地流程

实战流程可以总结成“先量体，再装箱，后验收”。第一步记录 FP32 基线的精度、模型大小和延迟，作为对照；第二步选择工具，PyTorch、ONNX Runtime、TensorRT 都提供量化 API；第三步先走 PTQ，看掉点是否可接受；第四步若不可接受，做逐通道或敏感层分析，仍不行再上 QAT；第五步在目标硬件上测真实延迟、内存峰值和功耗，而不是只看理论压缩率。

工具选择要看部署链条：PyTorch 适合研究和导出，ONNX Runtime 适合跨平台移动端，TensorRT 适合 NVIDIA GPU。同一模型在不同工具下的量化算法和算子支持不同，精度和速度都可能不一样。

验收标准要量化：精度下降必须在业务容忍范围内；延迟要跑数百次取 p50 和 p95；还要检查异常输入下的稳定性。至此，行李箱真正装上车，量化才算落地。

从 FP32 的豪华衣柜到 INT8/INT4 的真空袋，折叠一定会掉精度，但有了刻度、校准和训练这三件法宝，掉点可以被控制在可接受范围。

AI 应用场景

Python 演示

import numpy as np def quantize(tensor, bits=8):    t_min = float(tensor.min())    t_max = float(tensor.max())    levels = 2 ** bits    scale = (t_max - t_min) / (levels - 1)    if scale == 0:        scale = 1.0    zero_point = np.round(-t_min / scale).astype(np.int32)    quantized = np.round(tensor / scale).astype(np.int32) + zero_point    quantized = np.clip(quantized, 0, levels - 1)    return quantized, scale, zero_point def dequantize(quantized, scale, zero_point):    return (quantized - zero_point).astype(np.float32) * scale def main():    np.random.seed(42)    weights = np.random.randn(64, 64).astype(np.float32) * 0.2    q8, scale8, zp8 = quantize(weights, bits=8)    d8 = dequantize(q8, scale8, zp8)    q4, scale4, zp4 = quantize(weights, bits=4)    d4 = dequantize(q4, scale4, zp4)    mse8 = np.mean((weights - d8) ** 2)    mse4 = np.mean((weights - d4) ** 2)    print("INT8 还原误差:", mse8)    print("INT4 还原误差:", mse4) if __name__ == "__main__":    main()

1. scale = (t_max - t_min) / (levels - 1)把实数范围均匀切成 \(2^b-1\) 份，得到每个整数格子的高度。
2. zero_point = np.round(-t_min / scale).astype(np.int32)计算浮点 0 在整数标尺上的位置，避免负数被切掉。
3. quantized = np.round(tensor / scale).astype(np.int32) + zero_point先缩放取整，再加零点，完成量化。
4. quantized = np.clip(quantized, 0, levels - 1)把越界值夹紧到整数可表示范围内。
5. return (quantized - zero_point).astype(np.float32) * scale反量化回浮点值，但已经无法恢复被舍去的小数。
6. np.mean((weights - d8) ** 2)计算均方误差，直观看到 INT4 的还原误差通常远大于 INT8。

常见误区

面试题