想象你是一位混音师，要把一场高保真演唱会录音压进一张小小磁带里。每一条音轨都像神经网络的一层，浮点32位动态范围巨大，而磁带只有8位刻痕，也就是256个音量台阶。推子推太大，鼓点会削波失真；推子太小，吉他的泛音又被磁带噪声吞没。你不可能听完所有曲目，只能挑几首有代表性的歌反复试听，盯着电平表，把推子放在一个既不严重削波、又不浪费动态的位置。这个过程，就是“校准”（Calibration）。 TensorRT 的 INT8 Calibration 做的正是同一件事：用一小段代表性数据跑一遍网络，统计每一层激活值的“音量分布”，为每一层寻找合适的缩放因子，把浮点激活映射到256个整数刻度上。校准准了，INT8 推理又快又稳；校准糊了，模型就像一台跑了调的收音机。接下来，我们沿着这条“调音台之路”，一步步看懂 TensorRT 的 INT8 Calibration。

岗位关联

对 AI 从业者而言，掌握 INT8 Calibration 意味着在部署阶段用最小的精度代价换取数倍推理加速，这正是把模型从“能跑”推向“能上线”的关键技能。

目录
  1. 可视化演示
  2. INT8量化基础
  3. 校准概念
  4. 激活分布
  5. 校准方法
  6. TensorRT校准器
  7. 校准流程
  8. 精度速度
  9. 部署实战
  10. AI 应用场景
  11. Python 演示
  12. 常见误区
  13. 面试题

可视化演示

展示FP32激活值分布直方图量化阈值选择、KL散度校准流程寻找最优量化缩放因子及FP32与INT8精度性能对比三种核心模式，直观呈现TensorRT量化校准机制。

本节配有交互动效（进入视口后自动加载，约 3KB）。

激活值分布与量化 FP32激活值构建2048-bin直方图记录幅值分布 量化阈值截断离群值映射到INT8范围 scale = threshold / 127 阈值选择决定量化精度与覆盖范围平衡

INT8量化基础

回到演唱会现场。录音棚里每条音轨都是高保真的 32 位浮点信号，而你要把它们压进只有 256 个台阶的 8 位磁带。直接硬压会爆音，所以混音师需要一个“音量推子”，让信号的动态范围恰好落进 256 格刻度里。在深度学习中，这个“音量推子”就是缩放因子（Scale）：把某一层的浮点激活值，按统一的尺度缩放到合适的区间，再取整成 INT8 整数。

理论上，量化就是把浮点数 x 除以缩放因子 s，然后四舍五入并限制在 [-128, 127] 的整数范围内。s 的选择决定了量化的分辨率：s 太小，很多值会超过上限被截断；s 太大，256 个台阶之间的间隔太大，细小的特征差异就被抹平了。因此，s 是整个 INT8 推理精度最直接的“旋钮”。

对混音师来说，推子位置决定了磁带里保留多少“动态”；对 TensorRT 来说，缩放因子决定了每一层保留多少“信息”。量化误差虽然无法消除，但只要推子调得好，听众几乎听不出区别。

q=round⁡(clamp⁡(xs,−128,127))\displaystyle q=\operatorname{round}\left(\operatorname{clamp}\left(\frac{x}{s},-128,127\right)\right)
这个公式用一句话说：把浮点数除以缩放因子，再四舍五入并夹紧到 INT8 的整数区间。
  1. 缩放因子s 是关键参数，它把浮点动态范围折算成“每格代表多少音量”。
    s=max⁡∣x∣127\displaystyle s=\frac{\max|x|}{127}
  2. 归一化x/s 把浮点数缩放到 INT8 能表达的尺度附近。
    y=xs\displaystyle y=\frac{x}{s}
  3. 限幅取整clamp 把超出范围的值截断，round 得到最终的整数。
    q=round⁡(clamp⁡(y,−128,127))\displaystyle q=\operatorname{round}(\operatorname{clamp}(y,-128,127))

校准概念

混音师不可能凭感觉一次就把推子调到位，他需要先用几首有代表性的歌“试音”。这些歌就是校准数据集。校准的根本目标，不是修改模型权重，而是用一小段真实数据跑一遍网络，观察每一层激活值的范围，为每一层挑一个最合适的缩放因子。

试音的诀窍在于“代表性”：如果试音只听轻柔的钢琴曲，真正演出时突然响起电吉他，推子就会把信号削成方波。校准数据集必须尽可能覆盖真实部署时遇到的输入分布，比如自动驾驶要放白天和夜晚的路况，语音识别要放不同口音和噪音。TensorRT 的校准器拿到校准数据后，会执行一次前向推理，同时记录每一层的激活值统计，最后生成一份量化缓存（Calibration Cache）。

“先试音、再定推子”是混音师的直觉，也是 TensorRT 校准的数学表达。有了代表性和目标函数，校准就不再是拍脑袋，而是一个可优化的过程。

s∗=arg⁡min⁡s  L(Qs(Dcal))\displaystyle s^*=\arg\min_{s} \; \mathcal{L}\left(Q_s(\mathcal{D}_{\text{cal}})\right)
这个公式说明：校准就是遍历候选的缩放因子，找到让量化损失最小的那个“最优推子”。
  1. 校准数据集D_cal 是用于试听的一小段代表性数据。
    Dcal={x1,x2,…,xN}\displaystyle \mathcal{D}_{\text{cal}}=\{x_1,x_2,\dots,x_N\}
  2. 量化器Q_s 表示用缩放因子 s 把一组浮点激活量化为整数。
    Qs(x)=round⁡(x/s)\displaystyle Q_s(x)=\operatorname{round}(x/s)
  3. 最优目标argmin 表示在多个候选 s 中，选出使量化损失 L 最小的那个。
    s∗=arg⁡min⁡sL(Qs(Dcal))\displaystyle s^*=\arg\min_{s} \mathcal{L}(Q_s(\mathcal{D}_{\text{cal}}))

激活分布

混音师调音时盯着的电平表，就是每一路信号的音量分布图。神经网络每一层的激活值分布差异很大：某些层输出集中在零附近，像安静的钢琴段落；某些层存在少数极端大的值，像突然炸裂的军鼓。如果只看最大值，往往会被离群点牵着鼻子走，导致刻度太粗；如果只看平均值，又会忽略动态范围。

TensorRT 在校准时，会把一层激活值的浮点范围切成许多小箱子（bin），然后统计每个箱子里落了多少个值，形成直方图。这个直方图就是“音量分布”，它告诉校准器：大多数能量集中在哪个区间，有多少需要被裁剪的“尖峰”。

电平表上的“音量柱”就是直方图。看清了分布，混音师才知道推子该放在哪里：太靠左会削掉动态，太靠右会浪费刻度。激活分布，就是校准的决策依据。

hi=1N∑j=1N1[iB≤xj<(i+1)B]\displaystyle h_i=\frac{1}{N}\sum_{j=1}^{N}\mathbb{1}\left[iB\le x_j<(i+1)B\right]
这个公式表示：把激活值按区间分成多条“音量柱”，每条柱的高度代表落在这个区间的样本比例。
  1. 分箱把浮点范围按宽度 B 切成相邻的小区间。
    bini=[iB,(i+1)B)\displaystyle \text{bin}_i=[iB,(i+1)B)
  2. 落入计数对每个样本 x_j 判断它落在哪个箱子中。
    1[⋅]={1条件成立0否则\displaystyle \mathbb{1}[\cdot]=\begin{cases}1&\text{条件成立}\\0&\text{否则}\end{cases}
  3. 归一化除以样本总数 N，得到频率而非绝对数量。
    hi=落入第 i 箱的样本数N\displaystyle h_i=\frac{\text{落入第 }i\text{ 箱的样本数}}{N}

校准方法

不同的混音师有不同的推子风格，TensorRT 也提供了多种校准方法。

MinMax 法最保守：它直接取激活值的绝对最大值作为动态范围上限，保证所有样本都不溢出。演唱会上如果有一个异常响亮的爆破音，MinMax 就会把推子压得很低，让整首歌都变得“软绵绵”，浪费了大量 8 位精度。百分位法则稍微聪明一点：它去掉最极端的 0.1% 或 1% 的值，再确定动态范围，就像混音师说：“那一下爆音是演出事故，不能让它毁掉整首歌。”熵校准更精细，它关注量化前后的分布差异，允许少量溢出，但让绝大多数数据保留最佳分辨率。

MinMax 是“绝不削波”的硬派混音师，百分位是可以容忍意外爆音的务实派，熵校准则是追求整体听感最优的学院派。方法没有绝对好坏，关键看模型和数据的脾气。

sminmax=max⁡{∣x∣}127\displaystyle s_{\text{minmax}}=\frac{\max\{|x|\}}{127}
这个公式是 MinMax 校准的核心：直接用最大绝对值的 127 分之一作为缩放因子。
  1. 取最大值收集一层全部激活样本，取绝对值最大的一个。
    M=max⁡x∈Dcal∣x∣\displaystyle M=\max_{x\in D_{\text{cal}}}|x|
  2. 除以 127INT8 正方向最大能表示 127。
    s=M127\displaystyle s=\frac{M}{127}
  3. 物理含义所有激活值都被 256 个整数级覆盖，但极端值占用了大量刻度。
    动态范围=[−M127,M127]\displaystyle \text{动态范围}=[-\frac{M}{127},\frac{M}{127}]

TensorRT校准器

TensorRT 把这些校准方法封装成了几个现成的“调音台插件”，官方称为校准器类。最常用的是 IInt8EntropyCalibrator2，对应熵校准；IInt8MinMaxCalibrator 对应 MinMax；IInt8LegacyCalibrator 则是老版本的兼容方案。程序员只需在自己写的校准器类里实现三个核心逻辑：给定校准数据批次、从引擎回调中取得激活值、最终返回缩放因子。

熵校准之所以是官方推荐的首选，是因为它用KL 散度度量“原始分布”和“量化后分布”之间的信息损失，找到损失最小的阈值。它允许在长尾部分多一点裁剪，换取主体区间更高的分辨率，这通常能让模型精度更好。

选对调音台，等于省去大量手动调参。TensorRT 的校准器正是把复杂的分布比较压缩成了几行接口调用，让工程师把精力留给更重要的业务。

DKL(P∥Q)=∑iP(i)log⁡P(i)Q(i)\displaystyle D_{\text{KL}}(P \| Q)=\sum_i P(i)\log\frac{P(i)}{Q(i)}
这个公式是熵校准的“听感指标”：数值越小，说明量化后的分布和原始分布越接近。
  1. 两个分布P 是原始浮点激活分布，Q 是量化后重建的分布。
    P={p1,p2,… },Q={q1,q2,… }\displaystyle P=\{p_1,p_2,\dots\},\quad Q=\{q_1,q_2,\dots\}
  2. 对数比逐箱计算两个分布的比值取对数，反映分歧方向。
    log⁡P(i)Q(i)\displaystyle \log\frac{P(i)}{Q(i)}
  3. 加权求和按原始概率加权，最终得到总的信息损失。
    ∑iP(i)log⁡P(i)Q(i)\displaystyle \sum_i P(i)\log\frac{P(i)}{Q(i)}

校准流程

校准的过程像一次完整的“彩排试音”。首先，你要准备一段有代表性的输入数据，并指定一个校准器；然后，在构建 TensorRT 引擎时告诉它“开启 INT8，使用我的校准数据”。TensorRT 会执行一次特殊的校准前向推理，逐层收集激活值统计信息，就像录音师逐个推子检查每一条音轨的电平。校准完成后，所有缩放因子会被写入校准缓存文件。

这份缓存文件非常宝贵。下次构建相同模型、相同输入尺寸的引擎时，TensorRT 可以直接读取缓存，跳过耗时且重复的校准过程。这相当于把调好的混音方案存成工程文件，下次演出直接加载，不用重新试音。

“一次试音，多次复用”是校准流程的核心价值。缓存文件让构建引擎变得可重复，也让部署流水线更稳定。

Ol=CalibLayer⁡l(Ol−1)\displaystyle O_l=\operatorname{CalibLayer}_l\left(O_{l-1}\right)
这个公式表示：校准就像让数据一层层流过网络，每一层在前向计算的同时“顺手”记录激活分布。
  1. 上一层输出O_{l-1} 是第 l-1 层输出的激活值。
    Ol−1∈RN×C×H×W\displaystyle O_{l-1}\in\mathbb{R}^{N\times C\times H\times W}
  2. 当前层校准CalibLayer_l 在计算第 l 层输出的同时收集统计量。
    Ol=Fl(Ol−1), 并记录 histl\displaystyle O_l=F_l(O_{l-1}), \text{ 并记录 } \mathrm{hist}_l
  3. 逐层串联从输入到输出逐层传递，最终形成全网络的分布画像。
    O1→O2→⋯→OL\displaystyle O_1\to O_2\to\cdots\to O_L

精度速度

调音时最纠结的就是“削波”与“动态”的平衡。推子推太高，信号溢出，声音失真；推子太低，信号太轻，细节淹没在底噪里。INT8 量化也面临同样的取舍：量化总能显著加快推理，但精度多少会受一点影响。

好消息是，精度损失通常很小，而收益很可观。INT8 推理可以使用 Tensor Cores 等专用硬件，计算更快、带宽占用更低。更重要的是，不同层对量化的敏感度不同：有些层像是定海神针，一点误差就导致结果崩盘；有些层则大大咧咧，怎么量都不太影响最终精度。TensorRT 允许对敏感层做针对性回退，让这些层保持 FP16 或 FP32 计算，其余层继续用 INT8，从而把损失压到最低。

没有免费的午餐，但也完全不必因噎废食。只要校准认真做，敏感层回退安排得当，INT8 就是那个让模型“又快又稳”的调音方案。

Speedup=TFP32TINT8\displaystyle \text{Speedup}=\frac{T_{\text{FP32}}}{T_{\text{INT8}}}
这个公式很直白：用 FP32 的推理时间除以 INT8 的推理时间，得到加速倍数。
  1. 原始时间T_FP32 是浮点模型单次推理耗时。
    TFP32=latency(FP32)\displaystyle T_{\text{FP32}}=\text{latency}(\text{FP32})
  2. 量化时间T_INT8 是 INT8 模型单次推理耗时。
    TINT8=latency(INT8)\displaystyle T_{\text{INT8}}=\text{latency}(\text{INT8})
  3. 加速比两者相除，大于 1 说明变快了。
    Speedup=TFP32TINT8\displaystyle \text{Speedup}=\frac{T_{\text{FP32}}}{T_{\text{INT8}}}

部署实战

真正的演出前，混音师会打开工程文件，再快速核对一遍音量推子，确认每一条音轨都正常。部署 INT8 模型也是如此：首先要管理好校准缓存文件，它必须和模型结构、输入分辨率、校准器类型严格匹配；其次是批量大小，校准时的 batch 和实际推理的 batch 如果不一致，某些缩放因子可能不再适用；最后是效果验收，用真实场景数据测试精度和延迟，决定是否上线。

如果测试发现某个业务场景精度下降明显，可以回到校准环节，换一份更贴合的校准集，或者调整校准器类型。这种“试音-调音-演出-复盘”的循环，就是 INT8 部署的持续迭代过程。

部署不是把模型丢到服务器就结束，而更像一场需要彩排和验收的演出。校准缓存管好了，批量设置对齐了，评测指标过关了，INT8 才能真正成为你手中的那把“高性价比推子”。

Ratio=MINT8MFP32≈14\displaystyle \text{Ratio}=\frac{M_{\text{INT8}}}{M_{\text{FP32}}}\approx\frac{1}{4}
这个公式说明：INT8 权重每个只占 1 字节，模型体积约为 FP32 的四分之一。
  1. 存储量M 表示模型权重的总存储字节数。
    MFP32=4×Nweights\displaystyle M_{\text{FP32}}=4\times N_{\text{weights}}
  2. INT8 存储每个权重只需 1 字节。
    MINT8=1×Nweights\displaystyle M_{\text{INT8}}=1\times N_{\text{weights}}
  3. 体积比相除后得到约四分之一。
    MINT8MFP32≈14\displaystyle \frac{M_{\text{INT8}}}{M_{\text{FP32}}}\approx\frac{1}{4}

AI 应用场景

云端视频审核平台

阶段：模型推理部署与性能优化

解决的问题：视频审核模型在高并发流量下使用 FP32 推理，GPU 资源紧张，延迟超标。传统做法是上更多 GPU，但成本太高；借助 INT8 校准，可以在不显著损失审核准确率的情况下把推理吞吐提高 2-3 倍。

具体案例：某内容安全平台使用 YOLOv5 检测违规画面。团队准备一万张覆盖白天、夜晚、室内、遮挡等真实场景的图片作为校准数据集，调用 TensorRT IInt8EntropyCalibrator2 完成校准并生成缓存。上线后模型 mAP 下降不足 0.5%，单卡吞吐从 200 QPS 提升到 520 QPS。

智慧工厂质检相机

阶段：边缘端模型压缩与部署

解决的问题：生产线上部署的工业相机只有小型 GPU 或专用加速卡，浮点模型无法满足实时检测要求。INT8 校准让模型可以塞进边缘设备，延迟从 80ms 降到 25ms。

具体案例：某面板缺陷检测项目使用 ResNet-18 分类模型。校准数据来自真实产线拍摄的玻璃面板图片，包含轻微划痕、气泡等缺陷样本。工程师用百分位校准去掉偶尔出现的反光噪点，量化后准确率只下降 0.2%，成功通过产线验收。

语音助手实时转写服务

阶段：在线推理服务资源调优

解决的问题：语音识别 ASR 模型需要低延迟响应，但大并发时 CPU/GPU 占用过高。通过 INT8 校准，模型体积缩小为四分之一，推理延迟显著降低，同时保证字错误率几乎不变。

具体案例：某智能客服系统部署 Wav2Vec2 语音识别模型，离线用数千条真实客服对话音频完成校准。上线后平均延迟从 1.2s 降至 0.6s，而字错误率仅上升 0.3%，最终支撑了双十一期间的高峰流量。

Python 演示

python58 行
import numpy as np def minmax_scale(x):    return float(np.max(np.abs(x))) / 127.0 def percentile_scale(x, percentile=99.9):    lim = np.percentile(np.abs(x), percentile)    return float(lim) / 127.0 def entropy_scale(x, nbins=2048):    hist, edges = np.histogram(x, bins=nbins)    probs = hist / hist.sum()    best_kl = None    best_t = None    for t in range(1, nbins):        p = probs[:t].copy()        p_tail = probs[t:].sum()        if p.sum() < 1e-9:            continue        p = p / p.sum()        stride = t / 127.0        target = np.zeros_like(p)        for qidx in range(127):            left = int(qidx * stride)            right = max(int((qidx + 1) * stride), left + 1)            right = min(right, t)            if right > left:                target[left:right] = p[left:right].sum() / (right - left)        target[-1] = target[-1] + p_tail / p.sum()        kl = float((p * np.log((p + 1e-9) / (target + 1e-9))).sum())        if best_kl is None or kl < best_kl:            best_kl = kl            best_t = t    return float(edges[best_t]) / 127.0 def quantize(x, s):    q = np.clip(np.round(x / s), -128, 127)    return q * s def eval_snr(x, s):    y = quantize(x, s)    noise = x - y    snr = 20 * np.log10(np.linalg.norm(x) / (np.linalg.norm(noise) + 1e-12))    return snr if __name__ == "__main__":    rng = np.random.default_rng(0)    x = np.concatenate([        rng.normal(0, 1, 9000),        rng.normal(6, 0.5, 100)    ])    for name, func in [        ("minmax", minmax_scale),        ("percentile", percentile_scale),        ("entropy", entropy_scale)    ]:        s = func(x)        print(f"{name}: scale={s:.4f}, SNR={eval_snr(x, s):.2f} dB")
目的：模拟一个带离群点的激活分布，分别用 MinMax、百分位和熵校准选择缩放因子，并通过量化信噪比比较三种方法的优劣。
  1. x = np.concatenate([rng.normal(0, 1, 9000), rng.normal(6, 0.5, 100)])生成主体正态分布加少量离群值，模拟真实激活分布的长尾。
  2. s = func(x)三种校准方法都从同一个校准集中计算缩放因子。
  3. q = np.clip(np.round(x / s), -128, 127)执行 INT8 量化，并还原到浮点空间。
  4. snr = 20 * np.log10(np.linalg.norm(x) / (np.linalg.norm(noise) + 1e-12))计算量化信噪比，SNR 越高代表误差越小。
  5. for name, func in [("minmax", minmax_scale), ...]统一循环调用三种校准方法，方便对比结果。

常见误区

误区我以为校准数据集像训练数据一样，越多越好，把整个训练集都丢进去跑校准，结果构建引擎特别慢。

正解校准的目的是“摸清分布”，不是“记住样本”。几百到几千张具有代表性的图片通常就够了。盲目塞入海量数据，不仅耗时，还可能让离群噪声干扰阈值选择。就像试音不需要把整场演唱会都放一遍，听几段关键副歌就够调推子了。

为何常见：很多人把校准和训练混淆，觉得数据量决定质量，却忽略了校准关心的是分布而非拟合。

误区我总担心量化时溢出会丢失信息，所以尽量选很大的动态范围，确保所有激活值都不被截断。

正解完全无溢出往往不是最优解。MinMax 可能被离群值拉大动态范围，让主体数据分辨率下降。熵校准允许少量长尾溢出，换取主体区间更精细的量化，整体精度反而更高。就像混音时允许偶尔削掉一点点尖峰，换来的整体响度更饱满。

为何常见：直觉上“丢失信息 = 不好”，但量化误差是离散化造成的，合理裁剪长尾能让总量化误差更小。

误区我害怕 INT8 会毁掉模型效果，所以一直不敢开启 INT8 推理，即使速度很慢也硬扛着。

正解只要校准数据有代表性、校准器选得合适，并在必要层做 FP16 回退，大部分模型精度损失可以控制在 0.5% 以内。有些模型甚至只下降 0.1%。真正的问题不是“能不能用 INT8”，而是“怎么把校准做对”。

为何常见：大家看多了量化误差的夸张案例，却忽略了 TensorRT 优化过的量化套件和敏感层回退能力。

误区我以为校准缓存文件生成后，以后不管怎么改模型都不需要重新校准，直接加载旧缓存就行。

正解校准缓存和模型结构、输入分辨率、校准器类型、预处理流程强绑定。只要网络结构改了，输出通道变了，或者输入从 224×224 改成 512×512，旧缓存就不能直接用。修改模型后必须重新校准，否则缩放因子对不上，精度会崩。

为何常见：缓存文件看起来像个“黑盒”，很多人想当然地认为它通用，忽略了它本质上只是某一版模型和数据的统计快照。

面试题

Q1. INT8 量化最直接的好处是什么？

单选题 · easy

  • A.推理速度提升且内存占用降低← 正确答案
  • B.模型精度必然显著提升
  • C.模型训练时间大幅缩短
  • D.部署时不再需要任何GPU

答案：A。INT8 将 FP32 权重和激活压到 8 位整数，计算更快、带宽更省，因此推理速度和内存占用都受益。精度通常会有小幅下降，所以 B 错误；量化不改变训练流程，C 错误；GPU 依然需要，D 错误。

Q2. 校准数据集在 INT8 校准中的作用是什么？

单选题 · easy

  • A.重新训练网络权重
  • B.统计激活值分布以确定缩放因子← 正确答案
  • C.直接替换模型的测试集
  • D.生成新的训练标签

答案：B。校准集让数据前向流过模型，用来统计各层激活分布。它不更新权重，不做反向传播，也不负责模型测试，因此 A、C、D 都不对。

Q3. 熵校准和 MinMax 校准的核心区别是什么？

单选题 · mid

  • A.熵允许少量溢出以换取整体精度← 正确答案
  • B.MinMax 允许大量溢出
  • C.两者没有任何区别
  • D.熵校准不需要校准数据

答案：A。MinMax 以绝对最大值定边界，保证不溢出但可能浪费精度；熵校准通过 KL 散度比较分布，允许长尾少量溢出，让主体区间分辨率更高，所以选 A。

Q4. TensorRT 官方最推荐的初始校准器是哪一个？

单选题 · mid

  • A.IInt8LegacyCalibrator
  • B.IInt8EntropyCalibrator2← 正确答案
  • C.IInt8MinMaxCalibrator
  • D.完全手动设置每个缩放因子

答案：B。IInt8EntropyCalibrator2 是官方推荐的熵校准实现，通常比 MinMax 和 Legacy 获得更好精度。手动设置缩放因子既不现实也容易出错。

Q5. 下列哪些情况会导致已有校准缓存失效？

多选题 · mid

  • A.修改网络结构← 正确答案
  • B.更换输入分辨率← 正确答案
  • C.更换具有代表性的新校准数据集← 正确答案
  • D.只调整服务端请求批次数

答案：ABC。网络结构、输入尺寸和校准数据分布都会直接影响激活统计，因此需要重新校准。只调整请求批次数一般不影响校准结果，除非 batch 相关层改变。

Q6. 校准数据的“代表性”最准确的理解是什么？

单选题 · mid

  • A.覆盖真实部署时的输入分布← 正确答案
  • B.样本数量越多越好
  • C.全部来自训练集
  • D.必须是公开的 ImageNet 数据集

答案：A。代表性指数据形态、环境、类别分布与线上部署接近。数量大但不贴合真实场景，反而可能引入噪声；训练集和公开数据集不一定代表实际业务分布。

Q7. 降低 INT8 精度损失的常见策略有哪些？

多选题 · mid

  • A.做逐层敏感度分析← 正确答案
  • B.对敏感层启用 FP16 回退← 正确答案
  • C.使用整套训练集做校准
  • D.按通道进行量化← 正确答案

答案：ABD。敏感度分析能找到“动不得”的层，对这些层回退到 FP16 可以稳住精度；per-channel 量化也让每通道更均衡。整训练集校准并不一定提升精度。

Q8. 激活分布存在明显长尾时，MinMax 校准的主要缺点是什么？

单选题 · hard

  • A.动态范围过大导致有效精度降低← 正确答案
  • B.模型精度反而因此提升
  • C.推理速度变得更慢
  • D.不再需要生成缓存

答案：A。长尾中的极端离群值会把动态范围拉得很大，使 256 个 INT8 刻度主要被浪费在少数离群值上，主体数据的有效分辨率下降，导致累积量化误差变大。

Q9. 校准缓存文件的核心作用是什么？

单选题 · hard

  • A.避免每次构建引擎都重复校准← 正确答案
  • B.存储训练好的模型权重
  • C.代替测试集做精度评估
  • D.替代 TensorRT 引擎文件

答案：A。缓存把校准得到的缩放因子和分布参数落盘，下次构建相同模型时直接复用，省去重复试音。它不存权重、不评测模型、也不能替代引擎。

Q10. 关于 KL 散度校准，下列说法正确的是？

多选题 · extreme

  • A.比较原始分布和量化后分布的信息损失← 正确答案
  • B.必须保证所有激活值都不被截断
  • C.只统计单层激活且忽略其他层
  • D.通过选择阈值来最小化 KL 散度← 正确答案

答案：AD。熵校准用 KL 散度作为“听感指标”，比较原始分布 P 与量化后分布 Q，并搜索阈值使 KL 最小。它允许少量裁剪长尾，所以 B 错；校准覆盖每一层，C 也错。