INT4/INT8/FP16量化精度对比与适用场景

可视化演示

展示INT4/INT8/FP16量化在精度、显存和速度三个维度的权衡：精度损失折线图、显存压缩对比（4x压缩比）、推理速度提升（3.8x加速），通过模式切换理解量化选型策略。

量化原理

搬家前，你得先学会“把大件变小件”。量化就是干这件事：把模型里密密麻麻的浮点数，用更少位数重新编码。就好比把家里形状不规则的贵重物品，统一改造成纸箱能装下的标准形状——有改造，就有损耗，但这个损耗是可控的。

技术上，量化要做的是把浮点数映射到有限的整数集合。比如把 -1 到 1 之间的连续数字，均匀切分成 256 个格子（INT8）或 16 个格子（INT4）, 每个原始值落到哪个格子，就用格子的编号表示。这个过程叫“数值映射”, 而落在两个格子之间的值只能就近取整，这就是“精度截断”。

回到搬家的比喻：量化就像量好每件家具的尺寸，统一改造成标准纸箱。纸箱越小，能装的件数就越多，但每件被“改造”的程度也越大。接下来我们看看三款纸箱——FP16、INT8、INT4——各自的性格。

FP16高保真

FP16是搬家时最“稳妥”的选择。它像一只标准纸箱，把你的物品原样摆放，只做了最轻的整理。相比FP32的32位浮点，FP16用16位表示一个数，把存储减半，但数值的“长相”基本没变。

FP16的内部结构很有讲究：1位符号决定正负，5位指数决定数量级，10位尾数决定精确数字。这种“科学计数法”式的设计，让FP16既能表示很大很大的数，也能表示很小很小的数，动态范围非常广。尾数10位能提供约3位十进制有效数字，对大多数推理任务来说已经是“以假乱真”的精度。

但FP16有个短板：压缩能力有限。相比FP32它只省了一半空间，相比INT8/INT4, 它的“省空间”能力就相形见绌了。标准纸箱虽好，但装不了太多东西——当你想把整个衣柜塞进一辆小车时，它就力不从心了。

INT8均衡点

既然标准纸箱不够用，我们试试压缩收纳袋——这就是INT8。它用8位表示一个数，把连续的浮点空间切成256个格子。听起来丢了很多信息，但配合良好的校准策略，大多数模型的精度损失能被控制在1%以内。

INT8之所以成为“均衡点”, 是因为它在三个维度上都表现优秀：精度上，256个级别足以表达大部分权重分布的主要形态；存储上，每个数只占1字节，比FP16又少一半；速度上，几乎所有的GPU、CPU、NPU都内置了INT8加速指令，硬件“认识”这种格式，能飞快地计算。

在工程实践中，INT8是云端推理的“默认选择”: 显存减半、速度加倍、精度几乎无损。就像压缩收纳袋，把被子抽成薄片，蓬松感稍减，但保暖性几乎不变——性价比极高，人人都爱用。

INT4极限压缩

当搬家车特别小，或者东西特别多，你就得请出终极武器——真空压缩袋，也就是INT4。它每个数只占4位，只有16个离散取值。这个压缩力度，相当于把羽绒服压成一张硬纸板，空间省到极致，但衣服的蓬松感和柔软度必然大打折扣。

INT4量化的精度损失明显增大，平均相对误差可能达到6%~12%, 尤其当模型权重中存在一些“离群大值”时，这些极端值最容易在压缩中被截断或扭曲。为了缓解这个问题，工程师们发明了分组量化：把挨在一起的多个权重当作一组，每组共享一个缩放因子，这样至少组内还能保持相对的“秩序”。

INT4的定位很明确：它不是用来讨好所有任务的，而是为资源极度受限的端侧设备（手机、耳机、摄像头）准备的。当你需要在算力和内存都紧张的地方塞进一个能用的模型，真空压缩袋就是唯一的选择——皱点的衣服总比没衣服穿强。

对比权衡

现在我们有三款打包工具了：标准纸箱FP16、压缩收纳袋INT8、真空压缩袋INT4。该用哪个？先看看三者放在桌上的对比。

从精度看，FP16最接近原始值，相对误差约0.1%; INT8误差约1%, 肉眼几乎看不出区别; INT4误差约6%~12%, 仔细端详还是能发现“变形”。从存储看，FP16每个数2字节，INT8是1字节，INT4是0.5字节；同样装下70亿参数的模型，FP16要14GB, INT8只要7GB, INT4只要3.5GB。

速度维度则要加上“硬件”这位裁判。INT8在多数GPU/CPU上都有专门的加速单元，实际吞吐可能比FP16快2~4倍; INT4的加速效果则完全取决于平台——有些端侧NPU为INT4做了优化，而很多云端GPU对INT4支持不友好，甚至需要反量化回FP16再算，反而变慢。这就好比真空压缩袋虽然省空间，但如果没有大功率抽气泵，用手动气筒抽气反而更累。

场景选型

知道了三款工具的优缺点，最后一步就是“看菜下饭，按需装箱”。选型没有标准答案，只有权衡结果。三个关键问题是：模型有多大？任务对精度多敏感？跑在什么硬件上？

第一，模型规模。 如果你的模型只有1亿参数，FP16才200MB, 大部分设备都无压力，何必冒险用INT4? 但如果模型有70亿甚至上千亿参数，那就必须精打细算——FP16的14GB只有高端显卡才扛得住，INT8的7GB能覆盖主流推理卡，INT4的3.5GB才有机会上手机。

第二，精度需求。 医疗诊断、金融风控、法律文书这类应用，一字之差就是重大事故，宁可多花存储也要保精度，选FP16或INT8; 而闲聊机器人、内容分类、语音识别等容错率高的任务，INT4完全可以接受。

第三，硬件支持。 查清楚目标平台的指令集：英伟达GPU对FP16和INT8支持极佳，移动端骁龙/天玑的NPU则对INT8/INT4都做了专门优化。硬件不支持，再好的精度选择也白搭。

把所有“行李”装进正确的箱子，这场“模型搬家”就算大功告成。记住：没有最好的精度，只有最合适的精度。选对了，模型在手机里也能跑得飞快；选错了，再贵的GPU也救不了内存爆炸的尴尬。

AI 应用场景

Python 演示

def quantize(values, bits):    """Map float values to quantized integers."""    bound = 2 ** (bits - 1)    scale = (bound - 1) / max(abs(v) for v in values)    q_values = []    for v in values:        q = max(-bound, min(bound - 1, round(v * scale)))        q_values.append(q)    deq_values = [q / scale for q in q_values]    return q_values, deq_values  def evaluate(values, bits):    """Quantize then report avg error and storage bytes."""    q, deq = quantize(values, bits)    errors = [abs(a - b) / max(abs(a), 1e-6)              for a, b in zip(values, deq)]    avg_err = sum(errors) / len(errors)    storage = len(values) * bits / 8    return avg_err, storage, q  def main():    # simulate a row of neural weights, range about -1 to 1    weights = [0.532, -0.891, 0.124, -0.315, 0.771,               -0.208, 0.463, -0.667, 0.892, -0.148]    print("FP32 weight row:", ["%.4f" % w for w in weights])    print("FP32 storage: %d bytes" % (len(weights) * 4))    print("-" * 42)    for bits in (16, 8, 4):        avg_err, storage, q = evaluate(weights, bits)        print("INT%d quantization" % bits)        print("  q values:", q)        print("  storage: %.0f bytes" % storage)        print("  save vs FP16: %.1f%%" % ((1 - bits / 16) * 100))        print("  avg error: %.4f" % avg_err)  if __name__ == "__main__":    main()

1. scale = (bound - 1) / max(abs(v) for v in values)计算缩放因子，把最大绝对值映射到整数边界
2. q = max(-bound, min(bound - 1, round(v * scale)))量化并截断到合法整数范围，防止溢出
3. errors = [abs(a - b) / max(abs(a), 1e-6) ...]逐元素计算相对误差，即“物品在压缩中被改变了多少”
4. storage = len(values) * bits / 8将位宽换算成字节数，得到实际存储占用
5. save vs FP16: %.1f%%打印相对FP16的存储节省比例，直接引出“省空间”的量化动机

常见误区

面试题