大模型INT4与INT2量化方案：把“大象”装进“迷你行李箱”

可视化演示

展示权重量化压缩过程、不同比特精度对比及分组量化策略，通过权重分布直方图与精度衰减曲线直观呈现极低比特量化的效率与挑战。

量化基石：为什么要把包装盒拆掉？

家里的衣柜塞不下行李，我们开始拆包装盒。在FP16时代，每件衣服都用16层气泡膜裹着——每个权重占16位。一件大衣就要占半个行李箱。为了在更小的显卡上放下越来越大的模型，先拆到8层膜（INT8），再压到4层膜（INT4），甚至只留2层膜（INT2）。拆得越多，空间越省，衣服也越容易皱。

这个“拆包装”的过程，在大模型领域叫量化：把原本用FP16（16位浮点数）存储的权重，换成用更少的整数位存储。为什么必须省？因为模型越来越大：70B参数的模型，光FP16权重就要140GB。哪怕租8张24GB的GPU也紧张。而位宽降到4，立刻变成35GB——一张消费级显卡就装下了；降到2，更是只要17.5GB。

当推理受显存带宽限制时，低比特不仅省空间，还能加速：读一次权重的数据量变小，计算单元更快拿到参数，延迟随之下降。可以说，量化是“用一点点精度换空间与速度”的工程交易。

拆包装时我们都小心翼翼——不是所有衣服都能压，也不是所有模型都能暴力降到2位。接下来我们看看打包工具（INT4/INT2量化）具体怎么工作。

INT4量化原理：十六格台阶

收纳师会把衣服按“尺码”分档：S、M、L、XL……总共16个档。每一件衣服先对照尺码表，找出自己属于哪个档位，然后把档位编号（一个4位二进制数）记在标签上；穿的时候，再按尺码表还原。这就是INT4量化的直觉：连续的身高被投影到16级离散台阶上。

映射需要两个参数：缩放因子 scale（每级台阶代表多少数值跨度）和零点 zero_point（哪个整数档位对应数值0）。量化时，原始浮点权重 r 除以 scale，再四舍五入取整，得到整数 Q；推理时，用 Q 乘以 scale 反量化回浮点。整个过程可以理解为“存尺码、穿时还原”。

实际工程中，4位有符号整数只能表示-8到7这16个值。为了让这16个档位覆盖住权重的真实分布，需要让最大权重对到7，最小权重对到-8，中间均匀切分。多数框架还会用对称量化（令 zero_point 固定为0）来简化计算，让推理更高效。

这就是“尺码表”的用法——存尺码（整数），穿时按表还原，只在档位跨度上有一点误差。16档的尺码表还算精细，但如果把档位砍到只剩4档呢？

INT2极限压缩：四格抽屉

收纳师发现16个尺码档还是太占标签空间，于是把档位缩减到4个：XXS、X、L、XXL。所有衣服只能塞进这四格抽屉。压缩率确实拉满了——从FP16到INT2整整16倍，但翻出来穿时，大多数衣服都“大了或小了一号”，腰围肩宽只剩下个大概。

INT2有符号整数只能表示-2、-1、0、1四个值。要让连续权重落入这四格，量化步长（每格跨度的粗细）比INT4整整大了4倍。一个原本取值在0到0.8之间的权重，在INT4下还能分到十多级高度，在INT2下可能全部被压进同一个"0"档——信息几乎被抹平。

因此INT2量化几乎不会单独使用，它必须配合强大的保护策略。它最大的价值在于证明“物理极限”：当位宽低于4时，量化不再是对曲线的“微调”，而是一场剧烈的降维打击。

省下的空间令人心动，但“四格抽屉”带来的损失也触目惊心。压缩到极致的代价，正是下一节要面对的精度危机。

精度危机：压扁的玻璃杯

搬家时把东西压得太狠，再打开时玻璃杯碎了、衣服皱巴巴、名牌上的字看不清。极低比特量化正是如此：把权重从几万个细腻的档位压缩到几级粗糙台阶，模型输出的质量会断崖式下跌，甚至开始“胡言乱语”。

第一个杀手是离群值。某些权重格外大（比如个别权重高达3.2，而大多数只有±0.05）。如果按全局最大绝对值算缩放因子，这个“巨人”会把台阶跨度拉得极大，导致普通权重全部被挤进零档附近，分不出区别。第二个杀手是动态范围缩小：FP16能表示的数值组合有六万多种，INT2只有4种，能容纳的细节天然有限。第三个表现是输出质量下降：困惑度上升、生成重复、逻辑断裂。

所以量化不是“压得越低越好”，而是“在崩溃边缘找平衡”。量化误差与步长成正比，理论上是这样：

面对这些危机，聪明的收纳师不再“一刀切”地打包，而是分区保护——这正是GPTQ分组量化要解决的问题。

GPTQ分组量化：每个抽屉独立尺码表

有经验的搬家师傅不会让全家共用一把卷尺。他们会按抽屉分区：孩子的衣服按孩子的身高定尺码，大人的衣物按大人的尺码定制。GPTQ就是这个思路——把权重矩阵切成很多小组（比如每128个权重一组），每组独立计算自己的scale和零点，让离群值只影响它所在的抽屉，而不拖累全局。

但GPTQ比朴素的分组量化更进一步。它不只是每组分尺码表，还会在被量化后“抚平褶皱”：每量化完一组权重，就计算这次量化引入的误差，然后用近似二阶Hessian矩阵（可以理解为“模型对每个权重的敏感度地图”）估计：这些误差接下来会对未量化的权重造成多大影响，并在后续量化时把误差反向补偿回去。这就是所谓的“渐进式重建”。

公式中的关键在于利用Hessian逆矩阵的第j列，把当前量化误差分配到剩下所有未量化的权重上，让整体输出尽量不变。逐个权重、逐列地做，误差被不断对冲，最终找到一组低比特权重，让模型的输出和原始FP16版本尽量接近。

每次叠完一件衣服，马上把“多出来的褶皱”抚平到剩下衣服上，让行李箱整体更合身。但GPTQ一视同仁地量化所有权重——如果还有几件祖传玉佩呢？这就轮到AWQ登场。

AWQ感知量化：给贵重的玉佩单独加保险

搬家前，收纳师会检查每件物品的价值：一件大衣可以随意压扁，但祖传玉佩必须单独放进保险箱。AWQ（Activation-aware Weight Quantization，激活感知量化）的核心发现正是：神经网络里不同权重的重要性天差地别，而“谁是VIP”可以由激活值的统计来识别。

激活值就是某个神经元被输入“点亮”的强度。AWQ观察训练数据流过各层时的激活值分布：如果某一通道的激活值普遍巨大，说明模型非常依赖这条通道，它的权重就是“玉佩”，不能粗暴压缩。AWQ的做法很聪明：不直接把这些通道留成高精度，而是给它们的权重乘上一个缩放因子 s，同时给对应激活除以 s——理论上输出完全不变，但权重被放大后，再量化时量化误差相对变小了。用最小的改动，保住最关键的精度。

不是所有权重都值得压扁。保护VIP物品之后，另一个问题浮出水面：同一个模型里，哪些层该用保险箱，哪些层可以塞压缩袋？这就说到了混合精度。

混合精度策略：保险箱、拉链袋与压缩袋

搬家时我们不会只用一种箱子：贵重物品放防震保险箱（FP16），常用衣物用拉链袋（INT8），毛巾袜子随便塞压缩袋（INT4），不怕皱的旧T恤再卷成压缩卷（INT2）。混合精度策略，就是给模型的不同部分分配不同位宽的“箱子”。

哪些层是“贵重物品”？大量的实测经验表明：首层嵌入层（embedding）和末层输出层最敏感，因为它们的误差会直接影响词表映射；注意力机制中的QKV投影层也很敏感，因为自注意力对数值差特别较真；而MLP的中间层相对宽容，更适合低比特。按层分配位宽后，你可以把70B模型中80%的层压到INT2，20%的敏感层留在INT8或FP16，平均位宽只有3比特左右，质量却接近INT4全局量化的水平。

计算整体收益时，我们关心平均位宽：

用多种箱子搭配，兼顾空间和质量。当所有策略组合在一起时，我们终于可以算一笔总账：这头“大象”到底是怎么被塞进“迷你行李箱”的？

部署收益与选型：大象装箱的总账

一切打包的最终目的，是让行李箱装进车厢、顺利到达目的地。INT4和INT2量化带来的收益非常直观：70B模型FP16权重需要140GB，INT4只要35GB，INT2只要17.5GB——一张24GB的消费级显卡就能本地跑大模型，这在两年前是不敢想象的。

除了显存，推理延迟也显著下降。现代大模型推理高度依赖显存带宽，权重越短，每生成一个token需要搬运的字节数越少，吞吐量随之上升。对小团队来说，这直接意味着：不用租8卡A100，一台带4090的工作站就能做微调后的部署验证，推理成本下降一个数量级。

但选型必须理性：INT4是当前“精度/速度”的甜点位，绝大多数开源模型（如Llama 3、Qwen）都有成熟的INT4版本，误差可控；INT2则适合对生成质量不敏感的任务，比如文本分类、检索粗排，或者作为混合精度中的“填充角色”。最稳妥的工程路径是：先用INT4跑通业务，再逐步压到INT2并评测质量，直到精度出现不可接受的下滑。

行李箱装得下，目的地还能用，这才是好方案。判断标准永远是“先测质量，再选位宽”——INT4是稳妥甜点，INT2是勇敢者的游戏。

---

AI 应用场景

Python 演示

import numpy as np def symmetric_quantize(weights, bits):    qmin = -(2 ** (bits - 1))    qmax = 2 ** (bits - 1) - 1    scale = np.max(np.abs(weights)) / (2 ** (bits - 1))    q = np.clip(np.round(weights / scale), qmin, qmax)    deq = q * scale    return q, scale, deq def group_quantize(weights, bits, group_size=128):    flat = weights.reshape(-1)    n_groups = flat.shape[0] // group_size    q_out = np.empty_like(flat, dtype=np.int8)    scale_out = np.zeros(n_groups)    for g in range(n_groups):        seg = flat[g * group_size:(g + 1) * group_size]        q, scale, _ = symmetric_quantize(seg, bits)        q_out[g * group_size:(g + 1) * group_size] = q        scale_out[g] = scale    deq = q_out.astype(np.float32) * scale_out.repeat(group_size)    return deq.reshape(weights.shape) def main():    np.random.seed(42)    W = np.random.normal(0, 0.05, (512, 512)).astype(np.float32)    W[100, 300] = 3.2  # 离群值     _, _, deq4_global = symmetric_quantize(W, 4)    deq4_group = group_quantize(W, 4, group_size=128)    deq2_group = group_quantize(W, 2, group_size=128)     err4_global = float(np.mean((deq4_global - W) ** 2) / np.var(W))    err4_group = float(np.mean((deq4_group - W) ** 2) / np.var(W))    err2_group = float(np.mean((deq2_group - W) ** 2) / np.var(W))    print("INT4 global rel err: {:.4f}".format(err4_global))    print("INT4 group rel err:  {:.4f}".format(err4_group))    print("INT2 group rel err:  {:.4f}".format(err2_group))    print("Group reduces err by {:.1f}%".format(        (err4_global - err4_group) / err4_global * 100)) if __name__ == "__main__":    main()

1. symmetric_quantize(weights, bits)核心量化函数：计算scale → 缩放 → 取整 → 反量化，完整复现文章中的量化流水线。
2. qmin = -(2 ** (bits - 1)); qmax = 2 ** (bits - 1) - 1确定有符号整数范围，INT4为-8到7，INT2为-2到1。
3. scale = np.max(np.abs(weights)) / (2 ** (bits - 1))用最大绝对值计算每级台阶跨度，离群值会拉大全局scale。
4. group_quantize()分组量化：把权重切成长度128的小组，每组独立算scale，对应“每个抽屉独立尺码表”。
5. W[100, 300] = 3.2人为注入一个离群值，模拟真实模型中少数异常大的权重。
6. (err4_global - err4_group) / err4_global量化误差的相对下降率，展示分组量化带来的改善。

常见误区

面试题