GPTQ分组量化：误差补偿保精度

可视化演示

展示GPTQ逐层量化流程、Hessian误差补偿机制及分组量化策略，直观理解INT4压缩如何在保持精度的同时降低模型体积。

量化基础概念

新家空间只有原来的四分之一，师傅掏出真空压缩袋。原本每个参数都占 16 格抽屉（FP16），现在只能给 4 格抽屉（INT4）。4 格抽屉只有 16 种状态（2 的 4 次方），而一个浮点数本来有无数种取值，现在只能“就近塞进”16 个格子之一。这就是量化最朴素的样子：把连续的浮点数字，投射到离散的整数盒子里。

要让这个投射尽可能公平，需要定两把尺子：缩放因子 s（每个整数代表多大的浮点跨度）和零点 z（整数坐标轴的偏移）。有了它们，0.7321 这样的数会被映射成整数 5 或 6，反量化时再乘回 s、减去 z，得到约 0.7031 或 0.8594。跟原值一比，差的那一点，就是量化误差。

量化误差从哪来？一是表示范围有限，超出区间的极端值被生硬截断；二是格子太大，落在格子中间的小数只能四舍五入。误差有多大，直接决定模型输出会不会走样，这也是后面所有精密补偿要解决的问题。

压缩袋把羽绒服压扁了，但保暖性还在；如果压缩袋尺寸不合适，拉链就拉不上——对应极端权重没处放。所以，量化的第一步，就是找到合身的袋子。

误差度量原理

师傅不会凭感觉说“压得还不错”，而是拿出搬家前后的对比照片逐件检查：沙发还能不能坐、桌子稳不稳。GPTQ 的“对比照片”是量化前后整个层的输出——它不关心权重本身变没变形，只关心最终输出差别大不大。这个思路非常重要：权重变了一点没关系，只要模型的回答依然靠谱就行。

技术地讲，设该层原始权重为 $W$，量化造成的权重改动为 $\delta$，输入激活为 $X$（从校准数据里采样一小批样本）。量化前后的输出分别是 $WX$ 和 $(W + \delta)X$。GPTQ 的优化目标，就是找一个最小的 $\delta$，让这两个输出矩阵每个元素的误差平方和最小。

更妙的是，用泰勒展开还能预判：如果我们对权重施加扰动 $\delta$，损失变化量约等于一阶梯度项加上 $\frac{1}{2}\delta^{T}H\delta$。对于“让输出不变”这个目标来说，主要盯住二阶项就够——这为后面的 Hessian 矩阵埋下了伏笔。

误差度量相当于搬家验收清单，量的是“功能是否完好”，不是“外形是否一致”。有了这张清单，师傅才知道当前压缩方案离完美还差多少。

Hessian逆矩阵

有了验收清单，师傅还需要一张承重地图：知道哪面墙不能拆、哪面墙可以微调。这张地图就是 Hessian 矩阵。它由输入激活算出来：$H \approx 2XX^{T}$。矩阵对角线上的元素告诉每个权重有多“敏感”——一碰就坏的承重墙；非对角线元素告诉权重之间相互影响——墙和墙之间的连接关系。

当量化到第 $q$ 列权重时，它的取值从浮点 $w_q$ 变成格点 $\hat{w}_q$，产生误差 $e = w_q - \hat{w}_q$。如果只是硬着头皮接受这个误差，输出就会偏；GPTQ 的聪明之处在于，把这个误差“分摊”到还没量化的列 $F$ 上，让它们各自做出微小调整把误差吸收掉。调整的方向和幅度，由 Hessian 逆矩阵的对应元素决定——这就是误差补偿机制。

直觉上：谁的敏感度低，谁就多承担一点补偿；谁的敏感度高，就尽量别动它。这就像搬家时宁可挪一挪不承重的纸箱，也不去碰承重墙。

误差没有神秘消失，它只是从承重墙转移到了纸箱上。对整体结构来说，这已经是最优解。

分组量化策略

如果师傅把整屋家具当成一个整体来压缩，一床席梦思和一把折叠椅混在一起，压缩袋必然迁就最大的那个，导致大部分家具都被压得很难受。聪明的做法是分区打包：卧室归卧室、客厅归客厅，每区用独立尺寸的箱子。

分组量化正是这个思路：把权重矩阵按通道方向分成小组，比如每 128 个通道为一组（group_size=128）。每组独立计算自己的缩放因子 $s_g$ 和零点 $z_g$，组与组之间互不干扰。这样，如果某一组里出现了极端异常值，它只影响自己所在的组，不会带偏全局的尺子。

这里有一个权衡：组越小，缩放因子越多，拟合越精细，但额外存储开销也越大；组越大，参数开销小，却容易被异常值污染。GPTQ 在实践中最常用的就是 group_size=128 或 64，在精度和压缩率之间取得平衡。

分区打包让每组都有合身的箱子，异常值这只“不听话的猫”被单独关进一间房，不会把整个屋子搅乱。分组量化是 GPTQ 在工程上落地的关键一步。

GPTQ算法流程

正式开工。师傅的流程并不复杂：一个房间一个房间收拾——对应 GPTQ 的逐层量化。每层里，一件一件地处理权重，每压好一件家具，就看看周围的家具需不需要挪一挪——对应误差补偿更新，让整面墙始终严丝合缝。

在某一层内部，GPTQ 维护一个 Hessian 逆矩阵，然后反复执行三步操作：选列、量化、补偿。选列时采用贪心策略——优先处理“现在量化最不心疼”的权重列；量化时把它就近取整到整数格点；补偿时用 Hessian 逆更新所有还没量化的列，让它们吸收这次量化产生的误差。每次迭代后，已量化列的误差被摊到未量化列上，所以整个过程是自适应的。

“最不心疼”怎么度量？GPTQ 用一个近似代价公式：该列量化误差的平方，除以两倍的 $[H^{-1}]_{qq}$。代价越小，说明这一列现在量化造成的伤害越小，越适合先处理。这个公式保证了每一步都在聪明地推进。

每放一件家具就微调邻居位置，等房间收拾完，整体墙面依然平整如初——这正是“误差补偿保精度”这七个字的由来。

部署价值与挑战

箱子终于运到新家。INT4 的箱子只有 FP16 的四分之一，却能装下同样能用的家具。在语言模型的困惑度评测中——“困惑度”可以理解为模型预测下一句时的错愕程度，越低越好——GPTQ 的 INT4 模型与 FP16 的差距通常只有 1%~3%，但模型体积直接砍掉 75%。这意味着曾经需要双卡才能跑的模型，现在单卡甚至手机都能扛下来。

关键收益有两个：一是显存和存储节省约 4 倍，16GB 的 FP16 模型变成约 4GB 的 INT4；二是推理时访存带宽压力减小，同等硬件下批处理量大约也能提升 4 倍，吞吐和延迟双双受益。短板也很明显：极个别敏感层在量化后仍可能出现可感知的退化，因此实际部署常搭配少量校准数据或在关键层保留 FP16，做混合精度保护。

空间省下来的同时功能仍然完好，这正是 GPTQ 一直以来的追求。端侧部署不再是“拆东墙补西墙”，而是真正把大模型塞进小设备的实用方案。

AI 应用场景

Python 演示

import numpy as np  def quantize_group(w, bits=4):    """将一组权重线性量化到 bits 位, 返回整数及缩放/零点."""    qmax = 2**bits - 1    wmin, wmax = w.min(), w.max()    if wmax - wmin < 1e-12:        return np.zeros_like(w, dtype=np.int32), 1.0, 0.0    s = (wmax - wmin) / qmax    z = np.round(-wmin / s)    q = np.clip(np.round(w / s) + z, 0, qmax)    return q.astype(np.int32), s, z  def dequantize(q, s, z):    """反量化: 从整数还原回浮点."""    return s * (q - z)  def plain_quantize(W, bits=4):    """朴素方案: 逐列独立量化, 不做任何补偿."""    Wp = np.zeros_like(W, dtype=np.float64)    for c in range(W.shape[1]):        q, s, z = quantize_group(W[:, c], bits)        Wp[:, c] = dequantize(q, s, z)    return Wp  def gptq_layer(W, X, bits=4):    """GPTQ 风格逐列量化 + Hessian 逆误差补偿的教学简化版."""    rows, cols = W.shape    H = 2 * (X @ X.T) + 1e-4 * np.eye(cols)    Hinv = np.linalg.inv(H)    Wq = W.copy().astype(np.float64)     for col in range(cols):        w = Wq[:, col]        q, s, z = quantize_group(w, bits)        dq = dequantize(q, s, z)        err = dq - w        if col < cols - 1 and abs(Hinv[col, col]) > 1e-12:            update = np.outer(err / Hinv[col, col], Hinv[col, col + 1:])            Wq[:, col + 1:] -= update    return Wq  if __name__ == "__main__":    np.random.seed(42)    rows, cols = 64, 256    W = np.random.randn(rows, cols) * 0.1    X = np.random.randn(cols, 64)     W_plain = plain_quantize(W, bits=4)    W_gptq = gptq_layer(W, X, bits=4)     err_plain = np.mean((W - W_plain) ** 2)    err_gptq = np.mean((W - W_gptq) ** 2)    print(f"朴素逐列量化 MSE: {err_plain:.6f}")    print(f"GPTQ 量化+误差补偿 MSE: {err_gptq:.6f}")    print(f"误差降低比例: {(1 - err_gptq / err_plain) * 100:.1f}%")

1. H = 2 * (X @ X.T) + 1e-4 * np.eye(cols)用输入激活构造 Hessian 的近似，并加阻尼保证可逆，相当于画出该层的“承重地图”。
2. err = dq - w量化前后该列的差值，即“被压缩袋挤压产生的形变量”。
3. update = np.outer(err / Hinv[col, col], Hinv[col, col + 1:])把形变量按敏感度比例分摊到尚未量化的列上，这是误差补偿的核心一步。
4. Wq[:, col + 1:] -= update真正执行“挪邻居”的操作，让剩余权重吸收量化误差。

常见误区

面试题