想象你即将踏上远行，衣柜里有 32 件精心搭配的衣服，却只发到一个仅有四分之一大的行李箱——这正是 FP32 模型被压成 INT8 的时刻。你硬把衣服塞进去：拉链崩开、礼服压皱、香水瓶漏液。量化（quantization）后的模型就像这口箱子，“精度丢失”就是那些褶皱与破损。别急，量化精度恢复技术是一套“把行李打理回原样”的方法：量化感知微调教你带着箱子的限制重新折叠，知识蒸馏让资深旅行家手把手带新手，逐层敏感度分析像开箱体检一样揪出最怕压的贵重物品。读完这篇，你将理解这些方法如何协同作战，让低精度模型恢复接近全精度的推理水平，最终轻装出行——更小的体积、更快的推理、更低的成本。

岗位关联

对 AI 从业者而言，掌握量化精度恢复等于摸清了模型压缩与部署的最后一公里：它直接决定压缩后的模型能否上线，是“会训练”走向“能落地”的必修课。

目录
  1. 可视化演示
  2. 精度流失根源
  3. 量化感知微调
  4. 知识蒸馏
  5. 敏感度分析
  6. 效果评估验证
  7. 部署与收益
  8. AI 应用场景
  9. Python 演示
  10. 常见误区
  11. 面试题

可视化演示

动态展示量化感知训练中伪量化与梯度补偿机制、QAT/PTQ策略对比、精度恢复效果(PTQ 70%→QAT 75%)及校准-训练-验证实践流程。

本节配有交互动效（进入视口后自动加载，约 3KB）。

精度流失根源

出发前你面对的是一个装得满满当当的大衣柜——FP32 模型里每个权重都像量身定制的衣物，精确到厘米。可机场只允许你带一只四分之一大的行李箱：32 位浮点必须压成 8 位整数。你硬塞进去，拉链崩开、袖口挤出箱外，到达时衣服皱成一团——这就是量化带来的精度流失。

褶皱不是无缘无故的。压缩时，原本连续的“任何尺寸”被强制改成有限的档位：小数被舍入、超长的礼服裙摆被截断、个别特别夸张的装饰（离群权重）把整个箱子的空间都挤歪。工程上把这些统称为量化误差，而误差会在神经网络的每一层里像雪球一样越滚越大。

最常见的是对称均匀量化：一个尺度因子 \(s\) 把权重映射到整数网格。一步量化同时包含舍入与截断两类误差——舍入对每个数都有微小伤害，截断则专门袭击极端值。

所以在动手恢复精度之前，得先弄明白衣服到底是在哪个环节被压坏的：是普遍起皱（舍入），还是某件大礼服把箱子撑变形（离群值），又或是层层堆叠后褶皱被放大（误差累积）。诊断清楚，后面的恢复手段才能对症下药。

xq=clip⁡(round⁡(xs), −128, 127),s=max⁡∣x∣127\displaystyle x_q = \operatorname{clip}\left(\operatorname{round}\left(\frac{x}{s}\right),\ -128,\ 127\right), \qquad s = \frac{\max |x|}{127}
一句话：箱子越小、档位越粗，误差越大；少数极端权重还会让误差雪上加霜。
  1. 尺度因子 s把全精度权重除以缩放因子 \(s\)，映射到整数网格上。
    s=max⁡∣x∣127\displaystyle s = \frac{\max |x|}{127}
  2. 舍入 round取距离最近的整数，这一步产生了无法还原的舍入误差。
    x′=round⁡(xs)\displaystyle x' = \operatorname{round}\left(\frac{x}{s}\right)
  3. 截断 clip数值超出 \([-128, 127]\) 的权重被强制砍到边界，产生截断误差。
    xq=clip⁡(x′, −128, 127)\displaystyle x_q = \operatorname{clip}(x',\ -128,\ 127)
  4. 反量化重建按 \(x \approx s \cdot x_q\) 还原，每层误差逐步传下去。
    x≈s⋅xq,e=x−s⋅xq\displaystyle x \approx s \cdot x_q, \qquad e = x - s \cdot x_q

量化感知微调

聪明的旅行者会在出发前就“为小行李箱而折叠”——量化感知训练（QAT）就是这个思路：让网络在训练时就穿上量化的“紧身衣”，不断适应压缩后的生存环境。

具体做法是在前向传播中插入一个“伪量化”算子：它表演一次完整的量化过程，但权重仍然以全精度存储与更新。这样损失函数就能“看见”量化噪声，梯度信号才有机会告诉模型该往哪个方向微调。

问题来了：舍入运算不可导，梯度传到这里就断了。工程师用直通估计器（STE）绕过这堵墙——反向时假装舍入的导数是 1，于是梯度可以无视台阶、直接回到权重。

有了伪装量化和 STE，再用很小的学习率微调几轮，模型就会像反复练习折叠的旅行者一样，逐渐学会“在压缩状态下依然保持判断力”。到达目的地时，衣服虽然还压在小箱子里，但已经不再皱得没法见人。

x^=s⋅clip⁡(round⁡(xs), −128, 127),∂x^∂x≈1\displaystyle \hat{x} = s \cdot \operatorname{clip}\left(\operatorname{round}\left(\frac{x}{s}\right),\ -128,\ 127\right), \qquad \frac{\partial \hat{x}}{\partial x} \approx 1
STE 像“隔着毛玻璃做检查”：前方是量化后的世界，但梯度这条线依然畅通无阻地拉回权重。
  1. 前向伪量化训练时把激活和权重“假装”量化一次，让网络体验部署时的噪声。
    x^=s⋅clip⁡(round⁡(xs), −128, 127)\displaystyle \hat{x} = s \cdot \operatorname{clip}\left(\operatorname{round}\left(\frac{x}{s}\right),\ -128,\ 127\right)
  2. 反向直通舍入不可导，STE 用恒等梯度近似，让梯度正常回传。
    ∂x^∂x≈1\displaystyle \frac{\partial \hat{x}}{\partial x} \approx 1
  3. 权重保持全精度训练参数仍是 FP32，只有前向被“烙上”量化痕迹。
    wt+1=wt−η∇L\displaystyle w_{t+1} = w_t - \eta \nabla \mathcal{L}
  4. 小学习率微调用很小的 \(\eta\) 微调，避免破坏预训练学到的知识。
    ηQAT≪ηpretrain\displaystyle \eta_{\text{QAT}} \ll \eta_{\text{pretrain}}

知识蒸馏

自己摸索折叠技巧太慢，不如请一位资深旅行家手把手教——知识蒸馏的“教师模型”就是那位全精度旅行家，“学生模型”就是量化后的新手。教师把自己丰富的搭配经验（预测分布）讲给学生听。

如果只告诉学生“正确答案是什么”（硬标签），学生学到的只是结论；教师真正的财富在于“模棱两可”——比如一张图既像猫又像狗，教师会说 70% 猫、25% 狗。这份软标签里藏着类间关系的知识，正是压缩时最容易丢失的“手感”。

温度 \(T\) 控制软化的程度：\(T>1\) 时分布被摊平，暴露出更多相似性信息。蒸馏损失用 KL 散度衡量学生分布与教师分布的差距，再与任务损失加权求和。

资深旅行家示范、新手跟着叠，\(T^2\) 系数让温度带来的梯度量级保持稳定。量化学生模型虽然箱子小，但在教师软标签的引导下，能找回不少被压缩掉的“搭配手感”。

qi=exp⁡(zi/T)∑jexp⁡(zj/T),L=α LCE+β T2 KL⁡(qt ∥ qs)\displaystyle q_i = \frac{\exp(z_i / T)}{\sum_j \exp(z_j / T)}, \qquad \mathcal{L} = \alpha\, \mathcal{L}_{\text{CE}} + \beta\, T^2\, \operatorname{KL}(q_t \,\|\, q_s)
蒸馏的精髓：教师不只给答案，而是把“思考的倾向”也传给了学生。
  1. 温度软标签教师输出的 logits 除以温度 \(T\)，得到携带类间关系的软分布。
    qi=exp⁡(zi/T)∑jexp⁡(zj/T)\displaystyle q_i = \frac{\exp(z_i / T)}{\sum_j \exp(z_j / T)}
  2. 学生软目标学生以同样的温度计算自己的分布，向教师分布看齐。
    pi=exp⁡(vi/T)∑jexp⁡(vj/T)\displaystyle p_i = \frac{\exp(v_i / T)}{\sum_j \exp(v_j / T)}
  3. KL 散度对齐衡量两个概率分布的差距，作为蒸馏损失。
    DKL(q ∥ p)=∑iqilog⁡qipi\displaystyle D_{\text{KL}}(q \,\|\, p) = \sum_i q_i \log \frac{q_i}{p_i}
  4. 双损失加权任务损失保持硬标签监督，蒸馏损失传递软知识。
    L=αLCE+β T2DKL(q ∥ p)\displaystyle \mathcal{L} = \alpha \mathcal{L}_{\text{CE}} + \beta\, T^2 D_{\text{KL}}(q \,\|\, p)

敏感度分析

到了目的地，先别急着出门——开箱体检。逐层敏感度分析就像把每件物品单独往地上摔一下，看它碎不碎：有的层（如相机镜头）一摔就废，有的层（如 T 恤）摔了也无所谓。

做法是“隔离实验”：一次只量化其中一层，其余层保持全精度，测一遍准确率，再与全精度基线对比。准确率掉得越多的层，就是对量化越敏感的“贵重物品”。

把每层的敏感度排序，按阈值 \(\tau\) 分成两组：高敏感层分配更高比特，低敏感层继续压低比特。这就是混合精度量化，把宝贵的比特预算花在刀刃上。

就像不把香水瓶和硬壳行李箱一起挤压，混合精度把有限的比特预算花在最怕压的层上。高敏感层用 8 位“软包裹”，普通层用 4 位“暴力压缩”，整体体积不变，精度却大幅回升。

Δi=Acc⁡full−Acc⁡quant(i),bi={8,Δi≥τ4,Δi<τ\displaystyle \Delta_i = \operatorname{Acc}_{\text{full}} - \operatorname{Acc}_{\text{quant}(i)}, \qquad b_i = \begin{cases} 8, & \Delta_i \ge \tau \\ 4, & \Delta_i < \tau \end{cases}
敏感度分析回答了一个关键问题：同样的 4 倍压缩，该把空间留给谁。
  1. 逐层扰动一次只量化一层，其余保持全精度，制造“隔离实验”。
    Acc⁡quant(i)=只量化第 i 层时的准确率\displaystyle \operatorname{Acc}_{\text{quant}(i)} = \text{只量化第 } i \text{ 层时的准确率}
  2. 敏感度指标用全精度基线减去该层量化后的准确率，差值越大越敏感。
    Δi=Acc⁡full−Acc⁡quant(i)\displaystyle \Delta_i = \operatorname{Acc}_{\text{full}} - \operatorname{Acc}_{\text{quant}(i)}
  3. 排序与分档把所有层的 \(\Delta\) 从大到小排列，取前若干层为高敏感层。
    Δ(1)≥Δ(2)≥⋯≥Δ(N)\displaystyle \Delta_{(1)} \ge \Delta_{(2)} \ge \cdots \ge \Delta_{(N)}
  4. 混合比特分配敏感层用 8 位、普通层用 4 位，体积累积变小精度保持。
    bi={8,Δi≥τ4,Δi<τ\displaystyle b_i = \begin{cases} 8, & \Delta_i \ge \tau \\ 4, & \Delta_i < \tau \end{cases}

效果评估验证

恢复工作做完了，怎么判断“衣服到底恢复了几成”？到达目的地后拍一张全家福，和出发前的照片并排对比——这就是精度评估与验收环节。

工程上不能只凭肉眼看一两张图，要在同一套基准测试集上分别跑全精度模型和恢复后模型，记录准确率；还要做端到端推理验证，看真实业务链路（识别、检测、生成流程）的输出是否正常。回归测试集则用来防止“修好这边、弄坏那边”。

相对精度损失把差值归一化，便于不同任务之间横向对比；配合回归测试与迭代流程，构成“测-调-再测”的恢复闭环。

如果全家福还是差得远，就回到开箱体检（敏感度分析）、重新折叠练习（QAT）或向老师请教（蒸馏），再测一轮。直到两张照片几乎看不出差别，才放心把这个轻装模型送上生产线。

R=Acc⁡full−Acc⁡quantAcc⁡full×100%\displaystyle R = \frac{\operatorname{Acc}_{\text{full}} - \operatorname{Acc}_{\text{quant}}}{\operatorname{Acc}_{\text{full}}} \times 100\%
验收标准通常把相对精度损失控制在 1% 以内，才敢说“恢复成功”。
  1. 统一基准在相同测试集上分别评估全精度与恢复后模型的准确率。
    Acc⁡full,Acc⁡quant\displaystyle \operatorname{Acc}_{\text{full}}, \quad \operatorname{Acc}_{\text{quant}}
  2. 绝对差值计算两者之差，反映量化造成的绝对伤害。
    δ=Acc⁡full−Acc⁡quant\displaystyle \delta = \operatorname{Acc}_{\text{full}} - \operatorname{Acc}_{\text{quant}}
  3. 相对损失差值除以全精度准确率，消除不同任务基线差异。
    R=δAcc⁡full\displaystyle R = \frac{\delta}{\operatorname{Acc}_{\text{full}}}
  4. 验收与迭代\(R\) 超过阈值就回到敏感度分析、QAT 或蒸馏调整，形成闭环。

部署与收益

一切顺利的话，你终于可以轻装出行了：同样的任务，行李从 32 件精装衣物压缩成 8 件基础款，体积只有原来的四分之一——这正是 INT8 相对 FP32 的 4 倍存储收益。

收益不止体积。整数运算在 CPU、GPU、NPU 上比浮点更快更省电，推理延迟下降、吞吐提升；小体积还让模型能塞进手机、摄像头等边缘设备，甚至让大模型在单卡上跑起来。

从工程链路看，INT8 模型配合统一格式导出（如 ONNX），就能在不同推理框架和硬件间互操作，而精度恢复技术是这一切不翻车的保障。

至此，从硬塞行李的狼狈，到学会折叠、拜师学艺、开箱体检、拍照验收，再到轻装出发，量化精度恢复的完整旅程画上了句号。下次遇到“模型太大、跑不动”的问题时，你不再只会叹气，而是有一整套把精度找回来的方法论。

SizeINT8=SizeFP324,Speedup=TFP32TINT8\displaystyle \text{Size}_{\text{INT8}} = \frac{\text{Size}_{\text{FP32}}}{4}, \qquad \text{Speedup} = \frac{T_{\text{FP32}}}{T_{\text{INT8}}}
量化的终极目标：体积 1/4、速度翻倍、精度不减——三者同时成立才算成功。
  1. 位宽换算每个权重从 32 位降到 8 位，理想压缩比为 4。
    328=4\displaystyle \frac{32}{8} = 4
  2. 体积收益模型文件大小变为原来的四分之一。
    SizeINT8=SizeFP324\displaystyle \text{Size}_{\text{INT8}} = \frac{\text{Size}_{\text{FP32}}}{4}
  3. 计算加速整数矩阵乘比浮点更快更省电，延迟下降、吞吐提升。
    Speedup=TFP32TINT8\displaystyle \text{Speedup} = \frac{T_{\text{FP32}}}{T_{\text{INT8}}}
  4. 收益闭环恢复精度达标后，小体积、高速度、高精度三者同时成立。

AI 应用场景

场景 1：手机端人脸识别模型瘦身上线

阶段：模型压缩与部署（量化感知训练 → 精度恢复 → 推理引擎集成）

解决的问题：原始 FP32 模型约 480MB，手机装不下、跑不动；直接训练后量化（PTQ）虽然让体积降到 120MB，人脸检出率却掉了 8 个百分点。用本文的方法：先做逐层敏感度分析定位“高敏感层”，对这些层保留 8bit、其余压到 4bit，再配合量化感知微调恢复精度。

具体案例：某安防 App 的活体检测模块，光线变化敏感的卷积层被判定为高敏感层；工程师用软标签蒸馏 + 混合比特方案，把检出率从 PTQ 的 89% 拉回 96.5%，夜间误检率下降 40%。

场景 2：大模型服务降本增效

阶段：推理服务优化（INT8 权重量化 + KV cache 量化 + 精度恢复）

解决的问题：7B 参数的 LLM 在单卡上放不下，服务成本居高不下。传统做法直接把权重转 INT8，长对话场景下生成质量明显下降；通过知识蒸馏（教师为学生提供软标签）与敏感度分析结合，恢复对话流畅度。

具体案例：某公司给客服机器人做 INT8 量化后，单卡吞吐提升 2.1 倍，首 token 延迟下降 43%，而基于一套人工评测集的回复质量分与全精度模型仅有 1.2% 差距。

场景 3：跨框架异构部署

阶段：模型导出与互操作（INT8 导出 → 精度回归 → 多端上线）

解决的问题：同一个 ONNX 的 INT8 模型在 TensorRT、OpenVINO、TFLite 上的推理结果存在浮点差异，某些层偏差被放大。用逐层敏感度分析与端到端回归测试集做精度对齐，保证各框架输出一致。

具体案例：某自动驾驶团队把感知模型量化后导出到车机 NPU，逐层对比中间张量最大误差，锁定 3 个高敏感层改用 8bit 并做偏置校正，最终各框架输出误差低于 \(10^{-3}\)。

Python 演示

python86 行
import torchimport torch.nn as nnimport torch.optim as optim torch.manual_seed(0)  def make_data(n=256):    x = torch.rand(n, 4) * 2 - 1    y = (torch.sin(x[:, 0] * 6.28) + x[:, 1] * x[:, 2] - x[:, 3]) > 0.2    return x.float(), y.float().view(-1, 1)  class Net(nn.Module):    def __init__(self):        super(Net, self).__init__()        self.fc1 = nn.Linear(4, 16)        self.fc2 = nn.Linear(16, 1)     def forward(self, x):        h = torch.relu(self.fc1(x))        return self.fc2(h)  class SteQuant(nn.Module):    def __init__(self, bits=4):        super(SteQuant, self).__init__()        self.bits = bits     def forward(self, x):        s = x.abs().max() / (2 ** (self.bits - 1) - 1)        q = torch.clamp(torch.round(x / s), -(2 ** (self.bits - 1)), 2 ** (self.bits - 1) - 1)        return x + (q * s - x).detach()  def quantize_weights(model, bits=4):    for name, param in model.named_parameters():        if 'weight' not in name:            continue        s = param.abs().max() / (2 ** (bits - 1) - 1)        q = torch.clamp(torch.round(param / s), -(2 ** (bits - 1)), 2 ** (bits - 1) - 1)        param.data.copy_(q * s)  def accuracy(model, data):    x, y = data    with torch.no_grad():        pred = torch.sigmoid(model(x)) > 0.5    return (pred.float() == y).float().mean().item()  x, y = make_data()full = Net()opt = optim.Adam(full.parameters(), lr=1e-2)loss_fn = nn.BCEWithLogitsLoss()for _ in range(150):    opt.zero_grad()    loss = loss_fn(full(x), y)    loss.backward()    opt.step()acc_full = accuracy(full, (x, y)) model = Net()model.load_state_dict(full.state_dict())quantize_weights(model, bits=4)acc_ptq = accuracy(model, (x, y)) ste = SteQuant(bits=4)opt = optim.Adam(model.parameters(), lr=1e-3)  def forward_qat(batch):    h = torch.relu(ste(model.fc1(batch)))    return model.fc2(h)  for _ in range(150):    opt.zero_grad()    loss = loss_fn(forward_qat(x), y)    loss.backward()    opt.step() acc_qat = accuracy(model, (x, y))print('full precision acc: %.3f' % acc_full)print('naive int4 acc:     %.3f' % acc_ptq)print('qat recovered acc:  %.3f' % acc_qat)
目的：用 PyTorch 在合成数据上完整走一遍“全精度训练 → 朴素 INT4 量化（精度暴跌）→ 量化感知微调恢复”的流程，直观看到 STE 伪量化把精度拉回来。
  1. s = param.abs().max() / (2 ** (bits - 1) - 1)用权重的最大绝对值计算尺度因子，把浮点权重映射到整数网格。
  2. q = torch.clamp(torch.round(x / s), -(2 ** (self.bits - 1)), 2 ** (self.bits - 1) - 1)舍入并截断，让激活只能落在有限的整数档位上。
  3. return x + (q * s - x).detach()前向输出量化后的值，反向让梯度恒等直通，这是 STE 的核心一行。
  4. param.data.copy_(q * s)反量化回浮点范围，模拟部署后的量化权重。
  5. loss = loss_fn(forward_qat(x), y)QAT 前向必须穿过伪量化，损失才能真正感知量化噪声。
  6. acc_qat = accuracy(model, (x, y))评估恢复后的效果，与 acc_ptq 对比验证恢复程度。

常见误区

误区模型量化完准确率下降，我就拿原始数据照着原来的方式再训练几百轮，总觉得“练得越多恢复得越好”。

正解普通微调根本不知道量化噪声的存在，梯度仍然按照“全精度世界”的规则更新权重。QAT 的前向必须经过伪量化算子，反向用直通估计器，梯度才能“看见”量化台阶，权重才会学会为小行李箱折叠。盲练的结果往往是精度原地踏步。

为何常见：直观上“多练就好”很自然，但人们忽略了舍入运算不可导，普通训练无法把量化误差写进优化目标。

误区既然要保护精度，那就看哪层参数多就给它留高比特，大层肯定最重要。

正解敏感度由“该层输出对最终预测的影响”决定，跟参数量没有必然关系。有些小层处在信息通路的关键位置（如残差连接处的投影层），一压就崩；有些大层冗余度高，压到 4bit 也纹丝不动。必须逐层做扰动实验，用数据排名说话。

为何常见：把“体积大”误当成“重要”是人脑的直觉偏差，忽略了神经网络层与层之间的非线性耦合。

误区我让学生模型的输出直接去拟合教师的输出，觉得拟合得越像，恢复效果就越好。

正解蒸馏的精髓在“软标签的温度”——概率里相对大小关系承载了“哪些类别长得像”的知识，这正是压缩时最容易丢的信息。还要注意温度 \(T\) 的选择、特征图对齐，以及任务损失与蒸馏损失的配比。单纯一比一对齐反而可能忽略硬标签的任务信息。

为何常见：只看到“模仿”的表面，没理解软分布在概率空间承载的额外信息量。

误区工具箱里的方法全上一遍，一股脑同时训练，觉得手段越多越保险。

正解每个模型的误差结构不同：有的误差来自激活分布的离群值，有的来自 BN 统计量漂移，有的来自特定层的权重截断。正确流程是先用敏感度分析定位病灶，再针对性用药——该混合比特的混合比特，该蒸馏的蒸馏，该做偏置校正的做偏置校正。盲目叠加既浪费算力，还可能互相干扰。

为何常见：拿到“工具箱”就急着全用，缺少“先诊断再开药”的工程流程思维。

面试题

Q1. 8 位整数量化相比 32 位浮点，理想存储压缩比是多少？

单选题 · easy

  • A.2 倍
  • B.4 倍← 正确答案
  • C.8 倍
  • D.16 倍

答案：B。\(32 / 8 = 4\)，就像把 32 件精装衣物压进 8 件的空间，体积缩为四分之一。其余选项都是对位宽比例的错误换算。

Q2. 直通估计器（STE）在量化感知训练中的核心作用是什么？

单选题 · mid

  • A.令前向传播不经过量化节点
  • B.让反向梯度绕过舍入节点继续传播← 正确答案
  • C.通过增大学习率来加速收敛
  • D.把权重从全精度转换为低精度

答案：B。舍入不可导，梯度传到量化节点会断掉。STE 在反向时把舍入的导数近似为 1，让梯度“直通”回权重，前向依然执行量化。A 与伪量化思想相反，C、D 都与 STE 无关。

Q3. 知识蒸馏中把温度 T 调高（T > 1），会带来什么效果？

单选题 · mid

  • A.输出概率分布变得更加尖锐
  • B.输出分布更平滑且暴露类间相似关系← 正确答案
  • C.教师模型本身的准确率因此提升
  • D.学生模型的网络参数量随之增多

答案：B。温度升高的作用是“摊平”分布，让概率之间的相对大小关系更明显，学生因此学到“猫和狗比猫和汽车更像”。T 越大分布越平滑而非尖锐，且不影响教师准确率与学生参数量。

Q4. 逐层敏感度分析的正确做法是什么？

单选题 · mid

  • A.按参数量从大到小依次量化压缩
  • B.同时量化所有层并观察总精度损失
  • C.逐层单独量化并测量该层的精度损失← 正确答案
  • D.随机挑选若干层进行量化与评估

答案：C。敏感度分析讲究“隔离变量”：一次只量化一层，其余层保持全精度，精度损失才能归因到该层。同时量化所有层无法区分谁在捣乱，按参数量或随机挑选都缺乏因果依据。

Q5. 下列哪些属于量化精度恢复技术？

多选题 · mid

  • A.使用量化感知微调技术← 正确答案
  • B.使用知识蒸馏技术← 正确答案
  • C.进行逐层敏感度分析← 正确答案
  • D.随机梯度裁剪操作

答案：ABC。量化感知微调、知识蒸馏、逐层敏感度分析是恢复精度的“三板斧”，对应文中打包比喻的折叠、拜师与开箱体检；随机梯度裁剪属于训练优化技巧，与精度恢复无关。

Q6. 关于伪量化算子的前向与反向行为，下列说法正确的是？

单选题 · hard

  • A.前向量化而后向按真实量化梯度更新
  • B.前向保持全精度而后向模拟量化
  • C.前向量化而后向用直通近似梯度← 正确答案
  • D.前后向均完全跳过舍入运算过程

答案：C。正确姿势是前向执行完整量化让损失感知噪声，反向用直通估计器近似梯度。A 中“真实量化梯度”不存在（舍入不可导）；B 会导致训练与部署不一致；D 完全跳过舍入则失去量化感知的意义。

Q7. 混合精度量化中，高敏感层通常如何分配比特？

单选题 · easy

  • A.更低比特位宽
  • B.更高比特位宽← 正确答案
  • C.直接移除该层
  • D.随机比特位宽

答案：B。高敏感层就像相机镜头，怕压易碎，要多给比特“软包裹”（8bit），普通层才压到 4bit。反过来必然导致精度崩盘，移除层更会破坏网络结构。

Q8. 关于量化误差在网络中的传播，以下说法正确的有哪些？

多选题 · hard

  • A.越深层误差越可能被逐层放大← 正确答案
  • B.残差连接可缓解误差累积传播← 正确答案
  • C.所有网络层的误差影响完全相同
  • D.BN 统计量失准会加剧分布偏移← 正确答案

答案：ABD。误差像滚雪球，越深放大风险越大；残差连接给梯度开“捷径”，能有效缓解累积；BN 统计量若沿用全精度模型的均值和方差，分布漂移会让输出变形。C 说所有层影响相同，恰恰违背了敏感度分析的基本前提。

Q9. 精度恢复验收时，“相对精度损失”如何计算？

单选题 · mid

  • A.量化前后的准确率直接相减
  • B.差值除以全精度准确率再乘百分百← 正确答案
  • C.差值除以量化后准确率来评估
  • D.量化后准确率除以全精度准确率

答案：B。相对精度损失 \(R = (\text{Acc}_{\text{full}} - \text{Acc}_{\text{quant}}) / \text{Acc}_{\text{full}} \times 100\%\)，归一化后不同任务间可比。A 是绝对损失受基线影响；C、D 的变形会得到含义完全错误的值。

Q10. INT8 量化在部署环节带来的收益包含哪些？

多选题 · easy

  • A.模型体积缩小到原来的四分之一← 正确答案
  • B.推理延迟降低且吞吐量提升← 正确答案
  • C.模型精度在量化后必然提升
  • D.低端边缘设备部署成为可能← 正确答案

答案：ABD。INT8 带来体积缩小 4 倍、整数运算加速、边缘可部署等收益；但精度恢复需要 QAT、蒸馏等手段配合才能实现，量化本身只会损失精度而不会“必然提升”，C 是常见错觉。