混合精度量化敏感度分析

可视化演示

动态演示混合精度量化敏感度分析的核心机制，通过采集/分析/决策/反馈四种模式展示关键概念与交互流程。

量化基础认知

一支登山队要攀登珠峰，后勤组长发现背包总重量超了预算。最简单的减负方案是：所有人每天的口粮都砍掉一半。结果领队饿得看不清地图，全队迷路——这就像把模型所有层一刀切成 4bit，精度直接崩盘。

登山队的第一个常识是：口粮有“位宽”之分。在量化里，位宽就是一个权重用多少个比特来表示。8bit 有 255 个档位，4bit 只有 15 个档位，档位越多，表示同一个数值就越精细。把 32bit 浮点权重压到 8bit 或 4bit，模型体积立刻缩到原来的四分之一或八分之一，这是端侧部署最常用的“减负”手段。

量化的核心是一个缩放步长 s，它决定每个档位代表多大的数值区间：

回到登山队：先弄清楚“每份口粮精细到什么程度”，才能讨论谁多谁少。8bit 是可以精确到每块饼干的细粮，4bit 是按把抓的糙粮。有了这个前提，混合精度方案才有意义。

敏感度本质

登山队里，领队负责读地图，医生负责急救，搬运工负责扛帐篷。同样饿一天，领队出错全队迷路，搬运工少扛两件行李问题不大。不同队员对断粮的“敏感度”天差地别。

神经网络也如此。有的层（如注意力层、靠近输出的分类层）的量化误差会被后续层逐级放大，成为“致命伤”；有的层（如冗余的中间层）产生的误差在传播中被稀释，几乎不影响最终结果。敏感度就是衡量这种差异的指标。权重的统计分布也会影响敏感度：分布集中平坦的层，少几个档位损失不大；分布存在大量离群值的层，4bit 的粗分档会把极端值“切”得很惨。激活值的波动幅度同样重要，若激活范围剧烈变化，量化步长很难兼顾所有输入。

怎么度量“敏感度”？把第 i 层单独压到低比特，其他层保持全精度，测一次模型损失，敏感度定义为损失偏移量：

就像试饿之前要给每个队员建一份“体质档案”，敏感度分析就是给每一层建档案：谁一碰就碎，谁糙得很，后续分配口粮全看这份档案。

逐层扫描方法

找敏感层的方法像“逐个试饿”：一天只克扣一个队员的口粮，记录全队的行军进度，第二天恢复他的口粮再试下一个。循环往复，一张“谁不能饿”的名单就出来了。

工程上这叫逐层敏感度扫描：固定其他层为全精度，单独把第 i 层量化到目标位宽，在验证集上测精度或损失；遍历每一层后，把所有损失增量排列成一条“敏感度曲线”。

为了横向比较，把绝对损失增量归一化到同一尺度：

试饿时还要设“对照组”：往权重里撒一点随机噪声，看模型自然掉多少点。如果某层量化掉的点跟噪声差不多，说明它其实不敏感——只是量化这个动作本身会带来一点不可避免的损伤。

位宽分配策略

试饿结束，后勤组长摊开名单：领队、医生——一人两盒饭（8bit）；搬运工、炊事员——一盒饭（4bit）。这就是“按敏感度分配位宽”。

做法是设定一个敏感度阈值 τ。敏感度高于 τ 的层，量化会显著伤害精度，必须分配 8bit；低于或等于 τ 的层，4bit 就够用。阈值通常先取全模型中位数，再根据验证集精度微调。

阈值 τ 怎么取？第一版常用敏感度中位数，再根据部署验证结果微调，也可以设两个阈值分三档。但核心思想不变：把宝贵的比特留给最不能饿的层。

混合量化实现

分饭单定好了，接下来是执行。登山队不能领队吃两盒、搬运工吃一盒就乱套——大家还得同步行军，在同一个时间点集合。混合精度量化也一样：不同层用不同位宽，但层与层之间必须无缝衔接。

实现上，每个量化层要单独配置量化器，包括缩放步长 scale 和零点 zero_point。先通过一小批校准数据统计激活范围，前向时把权重量化成整数，再反量化回浮点传给下游层，保证输入范围对齐。模型整体仍是完整的计算图，端侧算子需要支持混合位宽。

从全局看，混合精度量化是一个组合优化问题：在精度损失不超过 ε 的前提下，最小化模型总比特数：

这相当于后勤组的总目标：登山队总负重最小，但没有任何一个关键队员掉链子。

精度压缩平衡

账算到最后，要回答两个问题：粮食总共省了多少？队员状态怎么样？对应到模型上就是两个指标：压缩率和精度损失。

压缩率的定义是统一 8bit（或全精度）总比特数除以混合精度总比特数。混合 4/8 分配通常能比全 8bit 再多压缩 20% 到 40%，而精度损失往往小于 0.5%。

找到平衡需要迭代：先用中位数阈值分配，量化并测试精度；若掉点超标，把最接近阈值的敏感层升回 8bit；若压缩率不足，把最皮实的 4bit 层再降级。最后在真实部署数据集上做精度回退检测，确认达标后才能发布。

最终画面：登山队背着轻了三分之一的背包，全员按时登顶——这就是混合精度量化最好的结局：压缩率和精度，两个目标都赢了。

AI 应用场景

Python 演示

import torchimport torch.nn as nn torch.manual_seed(42) model = nn.Sequential(    nn.Linear(28 * 28, 128), nn.ReLU(),    nn.Linear(128, 64), nn.ReLU(),    nn.Linear(64, 10)) def quantize_weights(w, bits):    # 均匀量化权重到 bits 位后再还原为浮点, 模拟量化误差    w_min, w_max = w.min(), w.max()    scale = (w_max - w_min) / (2 ** bits - 1)    q = torch.round((w - w_min) / scale)    return q * scale + w_min def evaluate(x, y):    with torch.no_grad():        pred = model(x).argmax(dim=1)    return (pred == y).float().mean().item() def scan_sensitivity(x, y, bits=4):    # 逐层单独量化, 返回每层的精度损失    ref_acc = evaluate(x, y)    sens = []    for name, layer in model.named_modules():        if not hasattr(layer, "weight"):            continue        w_orig = layer.weight.data.clone()        layer.weight.data.copy_(quantize_weights(w_orig, bits))        acc = evaluate(x, y)        layer.weight.data.copy_(w_orig)        sens.append((name, round(ref_acc - acc, 4)))    return ref_acc, sens def train(x, y, steps=200):    loss_fn = nn.CrossEntropyLoss()    opt = torch.optim.SGD(model.parameters(), lr=0.1)    for _ in range(steps):        opt.zero_grad()        loss = loss_fn(model(x), y)        loss.backward()        opt.step() def main():    x = torch.randn(512, 28 * 28)    y = (x @ torch.randn(28 * 28, 10)).argmax(dim=1)    train(x, y)    ref_acc, sens = scan_sensitivity(x, y, bits=4)    threshold = float(torch.median(torch.tensor([s for _, s in sens])))    bits_assign = [8 if s >= threshold else 4 for _, s in sens]    layers = [l for l in model if hasattr(l, "weight")]    total_full = sum(l.weight.numel() * 8 for l in layers)    total_mix = sum(l.weight.numel() * b for l, b in zip(layers, bits_assign))    print(f"ref_acc: {ref_acc:.3f}")    for (name, s), b in zip(sens, bits_assign):        print(f"{name}: sens={s:.4f} -> {b}bit")    print(f"threshold: {threshold:.4f}, compression: {total_full / total_mix:.2f}x") if __name__ == "__main__":    main()

1. scale = (w_max - w_min) / (2 ** bits - 1)计算量化步长，把权重范围均匀切成 2^bits−1 格。
2. q = torch.round((w - w_min) / scale)把连续浮点权重就近归一到最近的整数档位，这一步产生量化误差。
3. return q * scale + w_min把整数档位还原成浮点值，模拟量化后在端侧实际使用的权重。
4. layer.weight.data.copy_(quantize_weights(w_orig, bits))只替换当前层的权重，还原“单层扰动注入”的扫描条件。
5. layer.weight.data.copy_(w_orig)扫描完立刻把权重恢复原状，保证下一层的测试不会被污染。
6. threshold = float(torch.median(torch.tensor([s for _, s in sens])))取所有层敏感度的中位数作为分配阈值。
7. bits_assign = [8 if s >= threshold else 4 for _, s in sens]敏感度高于阈值的层分配 8bit，其余分配 4bit。
8. total_full = sum(l.weight.numel() * 8 for l in layers)统计统一 8bit 时的总比特数，作为压缩率分子。
9. total_mix = sum(l.weight.numel() * b for l, b in zip(layers, bits_assign))统计混合精度下的总比特数，两者相除即压缩率。

常见误区

面试题