想象你是一位老练的现场调音师。歌手的声音绝大多数时间都落在中低音区，但偶尔会失控飙出一个刺耳的高频尖峰。你面前只有一个256格的音量表，必须把整场演出最动听的部分完整记录下来。如果为了包住那声尖峰把量程拉到最大，正常的人声会被压缩成几乎相同的几格，整场演出听起来索然无味。聪明的做法是：先录下彩排中所有音量的分布，找一个既能让主体声音占满刻度、又舍得把极少数尖峰削掉一点的量程。TensorRT的INT8精度校准做的正是这件事。模型原本用FP32浮点数表达每一个权重和激活，精度极高但开销也大；INT8量化把它们压进256个整数档，从而实现近4倍的推理加速和大幅内存节省。而“精度校准”就是那个决定量程（缩放因子）的过程：TensorRT提供了MinMax和Entropy两种算法，前者老老实实包住所有极值，后者像资深调音师一样用统计分布信息做取舍。

岗位关联

掌握INT8精度校准是从“能跑通模型”进阶到“能干好部署”的分水岭：它用近乎无损的代价换来数倍推理加速，是AI推理优化工程师面试和实战都绕不开的核心技能。

目录
  1. 可视化演示
  2. 量化基础概念
  3. 校准流程
  4. 校准数据集
  5. MinMax校准
  6. 熵校准算法
  7. 量化参数应用
  8. 验证与调优
  9. AI 应用场景
  10. Python 演示
  11. 常见误区
  12. 面试题

可视化演示

动态演示TensorRT精度校准的核心机制，通过概览/流程/对比/趋势四种模式展示关键概念与交互流程。

本节配有交互动效（进入视口后自动加载，约 3KB）。

TensorRT精度校准：INT量 INT8量化校准的原理与激活值 Entropy校准算法的KL散 核心机制可视化 TensorRT精度校准整体架构与关键组件

量化基础概念

调音台上的音量表刻度决定了你能分辨多细微的声音变化。FP32浮点就像专业调音台，可以表达2的32次方种数值，细腻但存储和计算都贵；INT8只有256个刻度，廉价高效。量化要做的，就是把真实的浮点数值翻译到这256个刻度上，而“一格代表多大音量”正是由缩放因子（scale）决定的。

模型的权重和激活原本都是FP32浮点数，每个占4字节。INT8量化把它们映射到-128到127的整数，核心参数是缩放因子 s。正向映射是除法取整，反向重建就是乘回 s。TensorRT推理时用INT8算子做整数乘加，数据量变为原来的四分之一，内存带宽压力和算术单元吞吐都大幅改善，因此通常能获得近4倍加速。

TensorRT的INT8默认采用对称量化，即正负范围对称，无需额外的零点偏移。权重分布相对平稳，通常直接按范围量化；激活的分布则千差万别，这正是校准要重点统计的对象。

调音师一旦确定音量表刻度，每一刻音量都能快速对号入座；同理，s 一经校准确定，推理时所有浮点值只需一次除法就完成映射，这正是INT8引擎能够高效运行的前提。

q=round⁡(rs),r≈s×qq=\operatorname{round}\left(\dfrac{r}{s}\right),\qquad r \approx s \times q
量化公式就像一个翻译官：浮点值 r 除以缩放因子 s 后四舍五入成整数 q，用的时候再乘回 s 还原近似值。
  1. r（原始浮点数值）FP32权重或激活的真实值，例如某个卷积层输出的 0.37。
    r=0.37\displaystyle r=0.37
  2. s（缩放因子）校准得到的正数，表示INT8一格代表多大的浮点范围，例如 s=0.0021。
    s=0.0021\displaystyle s=0.0021
  3. round()（四舍五入）把浮点除法结果取为最近整数，保证映射后仍是整数。
    0.370.0021≈176.19  ⇒  round⁡(⋅)=176\displaystyle \frac{0.37}{0.0021} \approx 176.19 \;\Rightarrow\; \operatorname{round}(\cdot)=176
  4. q（量化整数）最终存入INT8张量的值，上限127、下限-128，超出即截断。
    q=round⁡(rs)=176\displaystyle q=\operatorname{round}\left(\frac{r}{s}\right)=176

校准流程

正式演出前，调音师会先做彩排——播放几首有代表性的曲子，逐首记录音量曲线，而不是边唱边调。TensorRT的校准就是模型的一次“彩排”：不更新任何权重，只是让模型跑一遍数据，安静地旁听每一层输出的数值特征。

校准的完整流程分四步：第一步准备一个与部署场景同分布的校准数据集；第二步让FP32模型以校准模式做一次完整前向推理；第三步由TensorRT逐层统计激活值的分布，记录成直方图或极值；第四步根据所选算法（Entropy或MinMax）为每一层算出缩放因子 s，并用这些 s 构建INT8推理引擎。

工程实现上，开发者只需要继承 TensorRT 的校准器类（如 Int8EntropyCalibrator2），实现 getBatchSize() 和 getBatch() 两个接口，框架会自动完成数据喂入、统计收集和参数计算。校准是“测量”而非“学习”，所以耗时远小于训练，通常几分钟就能完成。

彩排结束后，调音师手里有了完整的音量曲线图，正式演出时照图设置音量；校准结束后，引擎拿着各层的 scale 去执行量化推理，校准阶段的历史使命也就完成了。

s=rmax⁡−rmin⁡qmax⁡−qmin⁡\displaystyle s=\frac{r_{\max}-r_{\min}}{q_{\max}-q_{\min}}
校准的本质是确定一层激活的动态范围：范围越宽，每个整数档分摊的浮点宽度越大，量化就越粗糙。
  1. r_max 与 r_min（激活极值）校准中观察到该层输出的最大、最小值，两者之差就是动态范围。
    rmax⁡=0.92,rmin⁡=−0.85\displaystyle r_{\max}=0.92,\quad r_{\min}=-0.85
  2. q_max 与 q_min（整数档边界）INT8能表达的整数范围，通常取127与-128。
    qmax⁡−qmin⁡=127−(−128)=255\displaystyle q_{\max}-q_{\min}=127-(-128)=255
  3. s（缩放因子）每个整数档对应的浮点宽度，动态范围越宽、档位越粗。
    s=0.92−(−0.85)255≈0.00694\displaystyle s=\frac{0.92-(-0.85)}{255} \approx 0.00694

校准数据集

彩排曲目不能随便选——如果只播一首摇滚，正式演出却是民谣专场，音量设置必然跑偏。校准集必须代表真实使用场景，这正是校准数据集的第一原则：样本来自与部署同分布的分布，而不是随意找来的数据。

校准集规模通常不需要很大，几百到一千张图片（或几百条文本、语音）就足够。校准统计的是分布的“形状”而非学特征，样本太少会漏掉某些数值区间，样本太多只是反复估计同一个分布，边际收益趋零。更重要的是多样性：不同类别、光照、角度都要覆盖，信息熵是衡量这种覆盖均衡度的常用指标。

实践中一般直接取验证集的一部分，或从真实业务日志中采样，并且绝不能与测试集重叠，否则评测结果虚高。输入预处理（尺寸、归一化）也要和正式推理完全一致，否则统计出来的分布与线上不符。

一场彩排如果翻来覆去只有三首歌，调音师对真实演出的音量判断必然失真；校准集的分布越贴近线上真实数据，算出的 scale 就越可靠，量化掉点也就越小。

H(D)=−∑ipilog⁡2pi\displaystyle H(D)=-\sum_{i} p_i \log_2 p_i
信息熵衡量校准集分布的均衡程度：熵越大，各类样本覆盖越全面，校准出的量程越可靠。
  1. p_i（第i类样本占比）校准集中第i类样本出现的概率，由该类样本数除以总数得到。
    pi=niN\displaystyle p_i=\frac{n_i}{N}
  2. log2(p_i)（信息量）某个类别出现带来的信息量，稀有类别的信息量更大。
    I(pi)=−log⁡2pi\displaystyle I(p_i)=-\log_2 p_i
  3. H(D)（信息熵）对各类信息量按概率加权求和，熵越大说明样本越均衡、覆盖越全面。
    H(D)=−∑ipilog⁡2pi\displaystyle H(D)=-\sum_i p_i\log_2 p_i

MinMax校准

最保守的调音师会这样调音量：量程开到能包住全场最高分贝，谁都不许削。好处是绝不会削掉任何响度，坏处是如果彩排时有人不小心碰了一下麦克风、爆出一声刺耳尖峰，整场演出都被这个尖峰绑架——正常音量在表上只占几个格子，几乎听不出层次。

MinMax校准就是这位保守的调音师：校准过程中记录每层激活值的最小值和最大值，把整个 [min, max] 范围线性映射到INT8的整数档。它实现最简单、计算最快，而且保证一定不会出现“削波”，所以很多工程师喜欢用它做兜底。

但MinMax对极端尖峰（离群值）非常敏感：只要校准集里出现一个异常大的值，动态范围就被拉宽，绝大多数正常激活只能落到少数几个整数档上，量化噪声随之放大。因此MinMax通常更适合分布平稳的权重量化，用于激活量化时则要警惕分布中的长尾。

MinMax像那位保守的调音师，对所有人都友善，却被一声意外的爆音绑架了整场音质。这正是熵校准要登场的原因——它愿意为整体音质做出更聪明的取舍。

s=max⁡(∣rmin⁡∣,∣rmax⁡∣)127,q=round⁡(rs)\displaystyle s=\frac{\max\left(|r_{\min}|,|r_{\max}|\right)}{127},\qquad q=\operatorname{round}\left(\frac{r}{s}\right)
对称MinMax取正负两侧绝对值较大的边界，再把 127 个整数档均匀铺满这个范围。
  1. max(|r_min|, |r_max|)取正负两侧绝对值较大者作为对称边界，保证任何值都不会超出整数档。
    max⁡(∣−0.85∣, ∣0.92∣)=0.92\displaystyle \max(|-0.85|,\,|0.92|)=0.92
  2. s（缩放因子）127档均匀分担0到0.92的范围，每一档约0.00724。
    s=0.92127≈0.00724\displaystyle s=\frac{0.92}{127}\approx0.00724
  3. q（整数映射）r除以s再取整，落在[-127,127]内。
    q=round⁡(0.370.00724)=51\displaystyle q=\operatorname{round}\left(\frac{0.37}{0.00724}\right)=51

熵校准算法

资深调音师的思路完全不同：先录下整场彩排的音量分布，再逐个尝试不同的量程，心里默默比较“用这个量程录出来的效果和原声差多少”，最后挑选差异最小的那个。他乐意削掉那声爆音，因为爆音对音乐本身毫无意义。

熵校准（Entropy Calibrator，也称KLD校准）是TensorRT默认且最常用的激活校准算法，流程分四步：第一步用校准集做前向推理，把每层激活的绝对值统计成直方图（如2048个bin）；第二步对每个候选阈值T，把超过T的样本质量合并到边界bin，形成参考分布P；第三步模拟把[0,T]范围量化成128个整数档、再展开回原直方图的分布Q；第四步计算KL散度 D_KL(P‖Q)，选择KL最小的T作为该层的量化边界。

KL散度衡量两个分布之间的信息损失，值越小代表量化前后分布越接近。相比MinMax，熵校准把更多量化档位分配给分布主体，代价是偶尔截断极端尖峰，实践上大多数模型的精度掉点都能控制在1%以内。

和资深调音师一样，熵校准在意的是整体声音的保真度，而不是某一个尖峰能否原样重现；它用极小的截断代价，换来了分布主体最细腻的量化表现。

\displaystyle D_{KL}(P\,\|\,Q)=\sum_i P(i)\ln\frac{P(i)}{Q(i)},\qquadT^{*}=\arg\min_{T}\;D_{KL}\left(P_T\,\|\,Q_T\right)
KL散度像一把“听感标尺”：它逐格比较原声与量化后声音的差异，熵校准就是拿着这把标尺遍历候选量程、挑最不失真的那个。
  1. P(i)（参考分布）把直方图截在阈值T处、尾部质量并入边界格后归一化，代表“原声”。
    P(i)=hist(i)∑j≤Thist(j)\displaystyle P(i)=\frac{\text{hist}(i)}{\sum_{j\le T}\text{hist}(j)}
  2. Q(i)（重建分布）先将[0,T]压成128个整数档、再展开回原直方图格，代表“量化后的声音”。
    Q=unquantize(quantize128(P))\displaystyle Q=\text{unquantize}\left(\text{quantize}_{128}(P)\right)
  3. 求和项（逐格损失）对每个格子求 P(i)·ln(P(i)/Q(i))，量化破坏越大数值越大。
    ∑iP(i)ln⁡P(i)Q(i)\displaystyle \sum_i P(i)\ln\frac{P(i)}{Q(i)}
  4. T*（最优阈值）遍历所有候选T，取KL散度最小的那个作为该层量化边界。
    T∗=arg⁡min⁡TDKL(PT∥QT)\displaystyle T^{*}=\arg\min_{T}D_{KL}(P_T\|Q_T)

量化参数应用

调音师不会整场演唱会只用一个音量设置——不同乐器、不同段落需要不同的量程。量化参数也是这样：可以给整层一个统一的scale，也可以细分到每个输出通道，后者的精细度往往带来精度上的惊喜。

scale的粒度直接决定量化精度。逐张量（per-tensor）模式下整层共享一个s，实现最简单、额外开销最小；逐通道（per-channel）模式下每个输出通道拥有独立的s_c，更贴合各通道数值范围差异大的情况，在8-bit权重量化中通常能显著降低精度损失。TensorRT的INT8采用对称量化，没有零点偏移，反量化就是一次乘法。

推理引擎会把输入和权重都按各自的scale映射到INT8，在整数域做乘加，再把结果乘回浮点。逐通道量化意味着每个输出通道多一个乘数，硬件上几乎不增加成本，却能明显减少量化误差，是实战中优先尝试的选项。

好的调音师给每个乐器分别调音，而不是全场一个音量；per-channel就是这种“分轨调音”的思路，代价极小、收益可观，是量化部署中性价比最高的精细调节手段。

r≈s×q,r(c)≈s(c)×q(c)\displaystyle r \approx s\times q,\qquad r^{(c)} \approx s^{(c)}\times q^{(c)}
统一scale像全场一个音量，逐通道scale像分轨调音：吉他、人声、鼓组各调各的，效果自然更好。
  1. s（统一缩放因子）per-tensor时整层共享一个scale，实现最简。
    r≈s×q\displaystyle r \approx s\times q
  2. s^(c)（逐通道缩放因子）per-channel时第c个输出通道有独立的scale，贴合各通道数值分布。
    r(c)≈s(c)×q(c)\displaystyle r^{(c)} \approx s^{(c)}\times q^{(c)}
  3. q（INT8整数）推理时实际参与乘加的是整数q，计算后再乘回scale得到近似浮点结果。
    q=round⁡(rs)\displaystyle q=\operatorname{round}\left(\frac{r}{s}\right)

验证与调优

调音师的最后一道工序是验收试听——正式演出前完整回放一遍，听真实效果而不是看仪表盘数字。INT8引擎构建完成后也要在验证集上“回放”，把它的精度指标与FP32版本放在一起比较。

用与校准集独立的验证集评估INT8引擎的准确率，若掉点在可接受范围（比如top-1准确率下降小于1%）就通过；若精度损失明显，就需要逐层排查：定位到对量化最敏感的若干层，将它们单独回退到FP32计算，其它层保持INT8，这就是混合精度策略。TensorRT允许对指定层单独设置精度，从而在保住吞吐的同时恢复精度。

工程调优的口诀是：先整网络INT8量化并验证；若掉点超限，用二分法逐层定位敏感层，再把这些层回退FP32。常见的敏感层特征包括：输出分布呈长尾、校准后KL仍偏大、层内存在大量离群值。

仪表盘上的数字再好看，也比不上现场听众的耳朵；验证集的精度才是量化的最终裁判，混合精度则是调音师手里的平衡旋钮，让速度与精度达成最优妥协。

Δacc=accFP32−accINT8\displaystyle \Delta \text{acc} = \text{acc}_{\text{FP32}} - \text{acc}_{\text{INT8}}
精度损失就是FP32与INT8两套引擎在验证集上的指标差距，它是量化是否成功的最终裁判。
  1. acc（准确率）在独立验证集上算出的任务指标，例如图像分类的top-1准确率。
    accFP32=88.4%\displaystyle \text{acc}_{\text{FP32}}=88.4\%
  2. Δacc（精度损失）两种精度引擎的指标差值，小于阈值（如1%）则量化可接受。
    Δacc=88.4%−88.1%=0.3%\displaystyle \Delta \text{acc} = 88.4\% - 88.1\% = 0.3\%
  3. 判定准则Δacc超阈值时，用逐层回退定位并修复敏感层。
    若 Δacc>1%  ⇒  敏感层回退 FP32\displaystyle \text{若 } \Delta acc > 1\% \;\Rightarrow\; \text{敏感层回退 FP32}

AI 应用场景

自动驾驶视觉模型部署

阶段：推理优化与模型部署

解决的问题：车载芯片算力、功耗和内存都极其有限，FP32模型难以实时处理多路摄像头画面。传统做法是裁剪模型或降低分辨率，但都会直接损失检测精度。AI做法：用真实路采图像（覆盖不同天气、光照、场景）组成约1000张的校准集，对检测/分割模型做熵校准INT8量化，精度掉点控制在1%以内，推理延迟大幅下降。

具体案例：某自动驾驶公司对夜间加雨雾场景做校准集采样，发现MinMax因路灯强反光产生极端亮斑，导致检测精度掉点2.3%；改用熵校准后掉点仅0.6%，检测帧率从30 FPS提升到115 FPS，且显存占用降至原来的四分之一，成功部署到车规级芯片。

大模型文本分类的边缘部署

阶段：模型压缩与服务化

解决的问题：大模型权重动辄数GB，单个FP32副本就占满显存，部署成本高昂。INT8量化把权重和激活压到256个整数档，显存占用降到四分之一，让模型能跑在单卡甚至边缘设备上。关键在于校准集必须来自真实用户query分布，而非通用语料。

具体案例：某客服机器人平台将历史用户query采样为校准集，对BERT分类模型做熵校准INT8量化，服务端并发能力提升3.8倍，AUC仅下降0.4%。随后启用per-channel权重量化，进一步把精度损失压到0.2%，推理成本显著下降。

视频流分析系统的持续校准

阶段：在线推理与模型维护

解决的问题：部署场景的数据分布会随时间漂移（如商场客流从夏装变为冬装），固定校准集算出的scale逐渐失真。AI做法：周期性从线上采样新数据重新校准，并对比新旧引擎在滚动验证集上的精度，自动决定是否发布新引擎。

具体案例：某智慧零售厂商每月从门店摄像头采样2000帧画面重新校准，发现换季时旧校准集令INT8引擎掉点从0.5%升至1.8%；重新校准后精度恢复，且无需重新训练模型，全程自动化完成。

Python 演示

python61 行
import numpy as np def collect_activations(n=50000):    rng = np.random.default_rng(42)    normal = rng.normal(1.0, 0.30, n)    spike = rng.normal(3.2, 0.10, int(n * 0.006))    return np.concatenate([normal, spike]) def minmax_scale(r):    return float(np.max(np.abs(r))) / 127.0 def kl_for_threshold(hist, i, levels=32):    p = hist[:i + 1].astype(np.float64).copy()    p[i] += hist[i + 1:].sum()    if p.sum() <= 0:        return np.inf    p /= p.sum()    q = np.zeros_like(p)    for k in range(levels):        a = k * (i + 1) // levels        b = (k + 1) * (i + 1) // levels        if b > a:            mass = p[a:b].sum()            q[a:b] = mass / (b - a)    eps = 1e-12    return np.sum((p + eps) * np.log((p + eps) / (q + eps))) def entropy_scale(r, bins=128, levels=32):    ra = np.abs(r)    hist, edges = np.histogram(ra, bins=bins)    best_i, best_kl = 0, np.inf    for i in range(levels, bins):        kl = kl_for_threshold(hist, i, levels)        if kl < best_kl:            best_kl, best_i = kl, i    t = float(edges[best_i + 1])    return t / 127.0, t def quantize(r, s):    q = np.clip(np.round(r / s), -127, 127)    return q * s def main():    r = collect_activations()    s_mm = minmax_scale(r)    s_en, t_en = entropy_scale(r)    rec_mm = quantize(r, s_mm)    rec_en = quantize(r, s_en)    dense = np.abs(r) <= t_en    dense_mm = float(np.mean((r[dense] - rec_mm[dense]) ** 2))    dense_en = float(np.mean((r[dense] - rec_en[dense]) ** 2))    total_mm = float(np.mean((r - rec_mm) ** 2))    total_en = float(np.mean((r - rec_en) ** 2))    clipped = float(np.mean(np.abs(r) > t_en) * 100)    print("MinMax scale : %.5f" % s_mm)    print("Entropy scale: %.5f (clips %.2f%% spikes)" % (s_en, clipped))    print("typical-value MSE  MinMax=%.6f  Entropy=%.6f" % (dense_mm, dense_en))    print("overall MSE        MinMax=%.6f  Entropy=%.6f" % (total_mm, total_en)) if __name__ == "__main__":    main()
目的：模拟一层含极端尖峰的激活值，用MinMax与熵校准分别计算缩放因子，对比两者在典型值域上的量化误差，直观展示熵校准“牺牲尖峰、保住主体”的原理。
  1. rng = np.random.default_rng(42)固定随机种子，保证实验可复现。
  2. spike = rng.normal(3.2, 0.10, int(n * 0.006))模拟偶发的极端尖峰，占样本0.6%。
  3. def kl_for_threshold(hist, i, levels=32):对某个候选阈值计算KL散度，内部模拟“量化再展开”。
  4. p[i] += hist[i + 1:].sum()把超过阈值的尾部质量并入边界bin，模拟参考分布的截断。
  5. q[a:b] = mass / (b - a)把每个整数档内的概率均匀回填到细粒度bin，模拟INT8量化后的重建分布。
  6. t = float(edges[best_i + 1])取KL散度最小的候选阈值对应的浮点值。
  7. s_en, t_en = entropy_scale(r)同时返回熵校准的scale和阈值，供后续误差对比使用。
  8. dense = np.abs(r) <= t_en定义“典型值域”，对比两种算法在主体数据上的量化误差。

常见误区

误区校准是统计任务，样本越多越准，干脆把全部训练集喂进去，反正校准很快。

正解校准统计的是分布形状而非特征规律，500到1000张代表性样本已经足够。样本太少会漏掉数值区间，样本太多只是反复估计同一个分布，边际收益趋零，校准时间却线性增长。好比调音师听三首代表作就能定音量，不需要听完整个曲库。

为何常见：把“数据越多训练越准”的直觉迁移到校准上，忽略了校准不是训练、不更新权重。

误区熵校准会截断极端值，等于主动丢信息；MinMax把全部数值都包进范围，应该更保真。

正解被截断的极端尖峰往往是异常输入产生的噪声，对任务精度几乎没有贡献。MinMax为了包住尖峰把量化步长拉大，主体数据只占据少数整数档，相当于“为了一声爆音牺牲整场音质”。实测大多数模型熵校准精度更高。

为何常见：把“数值范围全覆盖”误解为“信息保全”，忽略了量化精度取决于有效档位数而非覆盖范围。

误区跑完校准，模型就自动被压缩成INT8权重，可以直接拿去部署。

正解校准阶段跑的是FP32前向推理，只收集每层激活的直方图或极值，不改变任何权重。真正把权重和激活量化成INT8、生成INT8内核，发生在之后构建engine的阶段。校准的产出是一组量化参数。

为何常见：混淆了“量化的准备阶段”与“量化本身”，把校准当成了压缩动作。

误区测试集也是真实样本，顺手拿来做校准省事，精度指标还能更好看。

正解测试集是评估精度的标尺，用它校准等于考试前先看了答案，INT8引擎在测试集上成绩虚高，上线后真实性能立刻暴露。校准集应与训练集、测试集分离，并贴近部署场景的真实分布。

为何常见：图省事，把评测数据顺手喂给校准器，忽略了校准集和测试集必须隔离的原则。

误区INT8只有256个档，精度损失不可避免，追求性能不如直接换更强硬件。

正解经过熵校准、必要时叠加逐层回退，大多数CV/NLP模型掉点能控制在1%以内，同时获得近4倍加速和四分之一内存占用。只有少数分布极端长尾的层需要回退FP32，混合精度完全撑得住精度门槛。

为何常见：被少数未经调优的失败案例吓住，忽略了校准算法和混合精度工具链已经相当成熟。

面试题

Q1. TensorRT执行INT8量化的校准阶段，主要目的是什么？

单选题 · easy

  • A.训练时调整模型参数
  • B.统计激活分布并计算量化参数← 正确答案
  • C.直接压缩权重文件大小
  • D.手动指定所有层的缩放因子

答案：B。校准是量化的“设计阶段”而非训练，它通过统计激活分布推导scale。A是训练目标，C是文件压缩路径，D是人工经验做法，只有B准确描述了校准的本质，就像调音师先录彩排再定音量设置。

Q2. 校准完成后，一层激活值的动态范围通常由什么决定？

单选题 · easy

  • A.由校准算法统计得到← 正确答案
  • B.工程师手工敲定范围
  • C.由模型层数自动决定
  • D.由输入图片尺寸确定

答案：A。校准算法（MinMax或熵）跑完校准集后，根据统计结果得到激活值的动态范围，再算出scale。范围既不是人工拍脑袋，也不由模型结构或输入尺寸决定，而是完全由数据分布推导。

Q3. TensorRT默认使用的INT8激活校准算法是哪个？

单选题 · mid

  • A.MinMax校准
  • B.熵校准KLD← 正确答案
  • C.均匀量化法
  • D.随机舍入法

答案：B。TensorRT默认且最常用的是熵校准（EntropyCalibrator2，基于KL散度），它统计直方图后按KL最小选择阈值。MinMax是另一种可选算法而非默认，均匀量化和随机舍入都不是TensorRT内置的校准算法名称。

Q4. 关于校准数据集的选择，下列说法正确的有哪些？

多选题 · mid

  • A.使用与部署分布一致的样本← 正确答案
  • B.使用全量训练集样本
  • C.通常几百到一千张代表性图片← 正确答案
  • D.直接用测试集样本即可

答案：AC。校准集应代表部署分布且规模适中，几百到一千张足够。全量训练集耗时且边际收益趋零；用测试集校准会泄露评测结果，使线上性能虚高。因此选A、C。

Q5. MinMax校准算法的主要缺点是什么？

单选题 · mid

  • A.计算开销比较大
  • B.对极端尖峰值过于敏感← 正确答案
  • C.只能够用于量化权重
  • D.需要额外的训练过程

答案：B。MinMax记录min/max后线性映射，一旦校准集中出现极端尖峰，动态范围被拉宽，主体值只占少数整数档，量化噪声放大。A/C/D都不是它的主要缺点，它恰恰因简单快速而常被用作兜底方案。

Q6. 熵校准（KLD）算法的标准步骤包括哪些？

多选题 · hard

  • A.统计激活值分布直方图← 正确答案
  • B.对每个候选阈值计算KL散度← 正确答案
  • C.选择KL散度最小的阈值← 正确答案
  • D.直接取最大值作为阈值

答案：ABC。熵校准三步：先统计直方图，再逐个候选阈值计算KL散度，最后取KL最小者作为量化边界。直接取最大值是MinMax的做法，不属于熵校准流程，故选A、B、C。

Q7. 为什么INT8推理通常能带来约4倍加速？

单选题 · mid

  • A.计算吞吐更高内存压力更小← 正确答案
  • B.模型的层数变得更少
  • C.网络的输入尺寸变小
  • D.去掉所有的卷积层

答案：A。INT8数据量是FP32的四分之一，整数乘加单元吞吐更高，内存带宽压力更小，两者共同带来约4倍加速。B/C/D都改变了模型结构或输入，并非INT8量化的原理。

Q8. 某层经熵校准后精度仍然明显下降，最合适的处理方式是什么？

单选题 · single

  • A.换用MinMax校准方法
  • B.该层回退FP32混合精度← 正确答案
  • C.把校准集增大十倍
  • D.直接删除这一层

答案：B。单层精度严重受损时，将该层回退FP32（混合精度）最直接有效。换MinMax通常表现更差；增大校准集未必能解决该层分布问题；删除层会破坏网络结构。因此B是工程上标准做法。

Q9. 关于INT8量化参数的应用，下列说法正确的有哪些？

多选题 · hard

  • A.TensorRT通常采用对称量化← 正确答案
  • B.可以逐通道设置缩放因子← 正确答案
  • C.非对称量化需要零点偏移← 正确答案
  • D.校准后权重就是INT8文件

答案：ABC。TensorRT的INT8为对称量化、无需零点；scale既可逐张量也可逐通道设置；非对称量化确实需要zero-point，三者都正确。D错误——校准只产出量化参数，构建引擎时才真正量化权重，故选A、B、C。

Q10. INT8精度校准应该在哪个阶段进行？

单选题 · easy

  • A.在模型训练的早期
  • B.训练后构建INT8引擎前← 正确答案
  • C.部署运行时每帧都校准
  • D.仅在写测试报告时

答案：B。校准发生在训练结束之后、构建INT8引擎之前，它使用训练好的FP32模型收集激活统计量。训练中权重还在变化，校准结果无效；部署时逐帧校准会拖垮性能。因此B是唯一正确时机。