模型压缩：压缩效果评估

可视化演示

展示模型压缩前后多维度指标对比、精度-压缩率Pareto前沿分析与四步评估闭环流程，交互切换查看压缩效果评估核心机制。

核心压缩指标

小张第一次去健身房，教练让他做的第一件事是称体重、量腰围、测体脂。这三个数字构成了训练的“基线数据”。模型压缩评估的开端同样朴素：你先要知道模型有多大、参数有多少、计算量有多高。这三个数字合起来，就是压缩的“基础体检三项”。

压缩比是最直观的指标，它回答“模型小了多少”：原始模型体积除以压缩后体积。参数量则像健身房的“骨骼肌重量”，反映模型的“内在规模”。而 FLOPs（浮点运算次数）减少率回答的是“算得省了多少”——这相当于一次深蹲消耗的热量，是衡量计算开销减少的关键。

$$\displaystyle \text{CR} = \frac{S_{\text{orig}}}{S_{\text{comp}}}$$

1. $S_{\text{orig}}$（原始体积）：压缩前模型的存储体积，通常是模型文件在磁盘上的大小，单位可以是 MB。

$$\displaystyle S_{\text{orig}}$$

2. $S_{\text{comp}}$（压缩后体积）：经过剪枝、量化或蒸馏等压缩操作后，模型文件的新体积。

$$\displaystyle S_{\text{comp}}$$

3. $\text{CR}$（压缩比）：两者相除得到的倍数。CR 越大表示压缩得越狠，但必须配合精度等指标一起看，才能判断压缩是否“健康”。

$$\displaystyle \text{CR} = \frac{S_{\text{orig}}}{S_{\text{comp}}}$$

$$\displaystyle R_{\text{flops}} = \frac{\mathrm{FLOPs}_{\text{orig}} - \mathrm{FLOPs}_{\text{comp}}}{\mathrm{FLOPs}_{\text{orig}}} \times 100\%$$

1. $\mathrm{FLOPs}_{\text{orig}}$（原始计算量）：原始模型完成一次推理所需的浮点运算次数。

$$\displaystyle \mathrm{FLOPs}_{\text{orig}}$$

2. $\mathrm{FLOPs}_{\text{comp}}$（压缩后计算量）：压缩模型完成一次推理所需的运算次数。剪枝会让这个数字显著下降，纯粹的量化则可能变化不大。

$$\displaystyle \mathrm{FLOPs}_{\text{comp}}$$

3. 分子（减少量）：原始计算量减去压缩后计算量，得到被削减的运算量。

$$\displaystyle \mathrm{FLOPs}_{\text{orig}} - \mathrm{FLOPs}_{\text{comp}}$$

4. 除以原始值并乘 100%：将减少量相对化，得到“省了多少比例”的直观数字。例如 100G 降到 35G，减少率就是 65%。

$$\displaystyle \frac{\mathrm{FLOPs}_{\text{orig}} - \mathrm{FLOPs}_{\text{comp}}}{\mathrm{FLOPs}_{\text{orig}}} \times 100\%$$

回到健身房：体重秤告诉小张瘦了多少，体脂秤告诉他瘦的是脂肪而不是肌肉。压缩比和 FLOPs 减少率就是模型压缩的“体重秤”和“体脂秤”，两者互为补充，缺一不可。

精度保持评估

教练告诉小张，减脂期最怕的不是掉体重，而是掉肌肉。肌肉量一旦流失，基础代谢下降，后续更容易反弹，力量训练的表现也会断崖式下滑。对模型压缩来说，精度就是模型的“肌肉量”——压缩后模型在原任务上的表现就是“力量测试成绩”，它决定了这次压缩是健康减脂还是伤敌一千自损八百。

精度保持率是最核心的判断指标：压缩后模型精度除以原始模型精度。这个数字越接近 100%，说明压缩对模型“智力”的损伤越小。除了整体精度，还要针对具体任务对比指标：图像分类看 Top-1/Top-5 准确率，目标检测看 mAP，NLP 任务看 F1 或困惑度。不同的“考试科目”对应不同的计分方式。

$$\displaystyle \eta_{\text{acc}} = \frac{\mathrm{Acc}_{\text{comp}}}{\mathrm{Acc}_{\text{orig}}} \times 100\%$$

1. $\mathrm{Acc}_{\text{orig}}$（原始精度）：压缩前模型在验证集上的任务得分，作为对比基准。

$$\displaystyle \mathrm{Acc}_{\text{orig}}$$

2. $\mathrm{Acc}_{\text{comp}}$（压缩后精度）：压缩后模型在同一条验证集上的得分，测试条件必须完全一致。

$$\displaystyle \mathrm{Acc}_{\text{comp}}$$

3. 相除并转化为百分比：得到保持率。实践中通常设定一个阈值（如 95%），低于阈值就判定压缩“不合格”。

$$\displaystyle \eta_{\text{acc}} = \frac{\mathrm{Acc}_{\text{comp}}}{\mathrm{Acc}_{\text{orig}}} \times 100\%$$

就像小张每个月都要重新测一次握力和深蹲成绩一样，压缩后的模型也需要在每个任务指标上重新“考试”。如果精度保持率在可接受范围内（比如 ≥95%），这次压缩才算“肌肉量保住了”。如果跌破阈值，即便压缩比再高，这个模型也可能无法上线——毕竟，一个体重很轻但浑身肌肉衰退的“模特”，没法参加力量比赛。

推理性能评估

小张减脂三个月后，最直观的变化不是体重，而是跑 5 公里配速从 8 分钟进步到 6 分钟。对模型来说，“减脂成功”之后，跑得够不够快同样关键。推理性能评估回答的正是这个问题：压完之后的模型，在真实运行时到底快了多少。

推理延迟是最常用的性能指标：从输入进入模型到输出生成之间的耗时。测量时要特别注意“热身效应”——前几次推理可能因为缓存未命中而偏慢，应该预热若干轮后再多次测量取平均值，就像跑步前得先活动关节一样。除了单次延迟，高并发场景还关注吞吐量：单位时间内能处理多少个请求。而加速比则是压缩前延迟除以压缩后延迟，告诉业务方“用户体验提升了多少倍”。

$$\displaystyle S_{\text{pu}} = \frac{L_{\text{orig}}}{L_{\text{comp}}}$$

1. $L_{\text{orig}}$（原始延迟）：压缩前模型单次推理的平均耗时，单位通常为毫秒。

$$\displaystyle L_{\text{orig}}$$

2. $L_{\text{comp}}$（压缩后延迟）：压缩后模型在相同硬件、相同输入规模下的单次推理平均耗时。

$$\displaystyle L_{\text{comp}}$$

3. $S_{\text{pu}}$（加速比）：原始延迟除以压缩后延迟。大于 1 说明压缩后的模型更快，越大越好。

$$\displaystyle S_{\text{pu}} = \frac{L_{\text{orig}}}{L_{\text{comp}}}$$

$$\displaystyle T_{\text{put}} = \frac{N}{t}$$

1. $N$（处理请求数）：在测试窗口内模型成功完成的推理次数。

$$\displaystyle N$$

2. $t$（总耗时）：测试窗口的持续时间，单位是秒。

$$\displaystyle t$$

3. $T_{\text{put}}$（吞吐量）：两者相除得到“每秒处理多少个请求”。对于云端批量处理场景，这个指标通常比单次延迟更重要。

$$\displaystyle T_{\text{put}} = \frac{N}{t}$$

小张不再用“今天少吃了几碗饭”来评价自己，而是看“5 公里配速提了多少”。同样，推理性能评估把“模型缩了多少”转化为“用户等得快不快”——这是业务方真正感知得到的价值。

能耗与能效

健身房里小张注意到一个细节：同样是 40 分钟有氧，第一个月他累得气喘吁吁、心率飙升，第三个月却脸不红心不跳。身体在同样的工作强度下消耗的资源变少了，这就是“能效提升”。在边缘 AI 场景中，模型的“体力消耗”表现为功耗和能耗。

能耗评估最常见的做法是实测：在目标设备上运行模型，通过功率计读取推理期间的功耗（瓦特），再乘以运行时长得到总能耗（焦耳）。能效比则把能耗与性能结合起来，例如“每焦耳能完成多少次推理”，或者“每瓦特能支撑多少 FPS”。对于电池供电的设备——手机、可穿戴设备、传感器节点——能耗直接决定续航，这也是模型压缩在边缘端最重要的价值之一。

$$\displaystyle E_{\text{ratio}} = \frac{E_{\text{orig}}}{E_{\text{comp}}}$$

1. $E_{\text{orig}}$（原始能耗）：压缩前模型完成固定任务（如处理 1000 张图片）消耗的总能量，常用焦耳计量。

$$\displaystyle E_{\text{orig}}$$

2. $E_{\text{comp}}$（压缩后能耗）：压缩后模型完成相同任务消耗的总能量。注意测试任务量必须相同，否则对比无意义。

$$\displaystyle E_{\text{comp}}$$

3. $E_{\text{ratio}}$（能耗节约倍数）：两者相除得到倍数。3.2 倍意味着同样的电池电量，压缩后模型能处理 3.2 倍的数据量。

$$\displaystyle E_{\text{ratio}} = \frac{E_{\text{orig}}}{E_{\text{comp}}}$$

小张在同样的跑步机上跑同样的配速，心率带显示的数值下降，说明身体效率提高了。同理，能耗评估必须在“相同的推理任务量”这个跑步计划下进行，否则就像小张跑 3 公里和跑 10 公里比心率，数字失去了可比性。边缘设备的续航焦虑，也正靠这份“体能报告”来缓解。

设备适配评估

小张办了健身房年卡，但出差两周，只能在酒店房间里用弹力带训练——器械不同，动作也得跟着改。模型压缩的最终目标往往也是“换场地”：从云端 GPU 服务器搬到手机芯片、摄像头、智能音箱这类边缘设备上。设备适配评估就是要回答：压缩后的模型，在目标设备上真的跑得起来吗？

适配评估的第一步是列清目标硬件的“家底”：芯片算力、内存容量、是否支持 INT8 或 FP16 的量化加速指令。然后是评估内存峰值——模型推理过程中占用内存的最大值，它由模型参数所占内存和中间特征图内存共同决定。如果内存峰值超过了设备可用内存，模型就会像小张在拥挤的酒店房间抡不开弹力带一样，根本无法顺利执行。

$$\displaystyle M_{\text{peak}} = M_{\text{param}} + M_{\text{act}}$$

1. $M_{\text{param}}$（参数内存）：模型权重在数值精度（FP32、INT8 等）下占用的内存。量化之所以有效，正是因为它把每个参数从 4 字节压到 1 字节。

$$\displaystyle M_{\text{param}}$$

2. $M_{\text{act}}$（特征图内存）：推理过程中每一层产生的中间激活值占用的内存，在通道数大的层可能比参数内存还高。

$$\displaystyle M_{\text{act}}$$

3. 相加得到峰值：两者相加即为推理过程中的内存峰值。这个值必须小于目标设备的内存上限，否则推理会因内存不足而失败。

$$\displaystyle M_{\text{peak}} = M_{\text{param}} + M_{\text{act}}$$

压缩效果好不好，不能只看模型自己的“体检单”，还得看它去了目标设备后能不能“练得开”。一个在云端跑得飞快的模型，如果压完之后还是超出手机内存，就像小张把健身房的大杠铃搬进酒店房间——再重、再专业，使不开就是白搭。设备适配评估，正是压缩落地的“最后一公里”验收。

组合方法评测

小张的教练后来调整了计划：不再只做有氧，而是“有氧 + 力量 + 拉伸”三管齐下。他很快发现，单独做有氧时掉肌肉，单独练力量时减脂慢，但组合起来效果出奇地好——这就是组合训练法的协同效应。模型压缩的实践中，剪枝、量化、蒸馏等方法也常常叠加使用，组合效果评测因此变得至关重要。

评估组合方法的核心工具是消融实验（Ablation Study）：以一个完整方案为起点，逐个“拆掉”某个压缩方法，观察指标如何变化。每次移除一个方法后，当前结果与完整方案的差异，就是该方法的边际贡献。这样既能判断每个方法是否起了积极作用，也能发现方法之间是协同放大还是互相拖累。例如剪枝后参数变稀疏，量化时精度损失反而更小，这就是协同效应。

$$\displaystyle \Delta S_k = S_{\text{all}} - S_{\text{without } k}$$

1. $S_{\text{all}}$（完整方案评分）：所有压缩方法叠加后，模型在统一评估协议下得到的综合得分。

$$\displaystyle S_{\text{all}}$$

2. $S_{\text{without } k}$（移除某方法后的评分）：在完整方案中单独去掉第 $k$ 个方法，其余条件完全不变时重新评估得到的得分。

$$\displaystyle S_{\text{without } k}$$

3. $\Delta S_k$（边际贡献）：两者相减。若 $\Delta S_k$ 明显为正，说明该方法在组合中不可或缺；若 $\Delta S_k$ 接近零或为负，则考虑删掉它以免引入额外复杂度。

$$\displaystyle \Delta S_k = S_{\text{all}} - S_{\text{without } k}$$

组合方法评测的本质是用“拆解实验”理解“叠加效果”，就像小张通过分别停掉有氧、力量、拉伸各两周，来找出自己训练计划里真正起效的成分。组合压缩从来不是方法越多越好——有些方法叠加后收益增益极小，却在工程上显著增加部署难度，这时就该学会“做减法”。

标准化度量体系

小张换了一家健身房，新教练看着他的体检报告说：“这个体脂率的标准和上一家不一样，我看不懂。”原来，健身房 A 用的体脂秤型号、测量时间和计算模型都不同，两份报告完全没法横向比较。模型压缩评估也面临同样的困境：各家实验室用自己的数据集、自己的精度定义、自己的测试硬件，互相之间没法对话。

标准化度量体系就是为了让全行业“说同一种语言”。它包含三个层面：第一，统一基准数据集，所有压缩方法都在同一批公开数据集和任务上评测；第二，规范报告的实验配置，明确写出硬件型号、Batch Size、数值精度、预热轮次等，确保结果可复现；第三，定义综合收益指数，把多个指标归一化到同一尺度后按业务权重加权求和，形成单一可比较的总分。

$$\displaystyle \hat{s}_i = \frac{s_i - s_{\min}}{s_{\max} - s_{\min}}$$

1. $s_i$（指标原始值）：第 $i$ 个评估维度的原始数值，例如压缩比、精度保持率、加速比、能耗节约倍数。

$$\displaystyle s_i$$

2. $s_{\min}$ 与 $s_{\max}$（指标的最小值/最大值）：该指标在同类模型评测中已知的取值边界，用于确定缩放比例。没有上下界的归一化是没有意义的。

$$\displaystyle s_{\min}, \quad s_{\max}$$

3. $\hat{s}_i$（归一化得分）：原始值与最小值的差除以取值范围，得到 0 到 1 之间的无量纲分数。分数越接近 1，说明该维度表现越好。

$$\displaystyle \hat{s}_i = \frac{s_i - s_{\min}}{s_{\max} - s_{\min}}$$

标准化度量体系解决的是“苹果与橘子比较”的问题。只有当所有健身房用同一台体脂秤、同一个测量时间、同一套计算模型，小张跨店对比的体检报告才有意义。同样，只有当业界的基准数据集、实验配置和指标定义统一起来，不同团队产出的压缩模型才能真正放到同一张“排行榜”上分高下。

AI 应用场景

Python 演示

# -*- coding: utf-8 -*-"""模型压缩效果评估器示例: 输入原始与压缩后的五维指标, 输出综合评估报告"""  class CompressionEvaluator:    def __init__(self, name, orig_dict, comp_dict):        self.name = name                    # 模型名称        self.orig_dict = orig_dict          # 原始模型指标字典        self.comp_dict = comp_dict          # 压缩后模型指标字典        self.scores = {}                    # 各维度归一化得分     def compression_ratio(self):        """压缩比 = 原始体积 / 压缩后体积"""        return self.orig_dict['size_mb'] / self.comp_dict['size_mb']     def accuracy_ratio(self):        """精度保持率 = 压缩后精度 / 原始精度"""        return self.comp_dict['acc'] / self.orig_dict['acc']     def flops_reduction(self):        """FLOPs减少率: 计算量下降的比例"""        return (self.orig_dict['flops_g'] - self.comp_dict['flops_g']) / self.orig_dict['flops_g']     def speedup(self):        """推理加速比 = 原始延迟 / 压缩后延迟"""        return self.orig_dict['latency_ms'] / self.comp_dict['latency_ms']     def energy_ratio(self):        """能耗节约倍数 = 原始能耗 / 压缩后能耗"""        return self.orig_dict['energy_j'] / self.comp_dict['energy_j']     def composite_score(self, weights=None):        """综合评分 = sum(w_i * s_i), 默认权重: 压缩比30%, 精度30%, 加速20%, 能耗20%"""        if weights is None:            weights = {'cr': 0.3, 'ar': 0.3, 'su': 0.2, 'er': 0.2}        cr = self.compression_ratio()        ar = min(self.accuracy_ratio(), 1.0)        su = min(self.speedup(), 3.0) / 3.0        er = min(self.energy_ratio(), 3.0) / 3.0        self.scores = {'cr': cr, 'ar': ar, 'su': su, 'er': er}        total = (weights['cr'] * cr + weights['ar'] * ar +                 weights['su'] * su + weights['er'] * er)        return total     def report(self):        """输出标准化评估报告文本"""        lines = []        lines.append('模型: %s' % self.name)        lines.append('压缩比: %.2fx' % self.compression_ratio())        lines.append('精度保持率: %.1f%%' % (self.accuracy_ratio() * 100))        lines.append('FLOPs减少率: %.1f%%' % (self.flops_reduction() * 100))        lines.append('推理加速: %.2fx' % self.speedup())        lines.append('能耗节约: %.2fx' % self.energy_ratio())        return '\n'.join(lines)  if __name__ == '__main__':    orig = {'size_mb': 128.0, 'acc': 0.92, 'flops_g': 100.0,            'latency_ms': 45.0, 'energy_j': 0.8}    comp = {'size_mb': 32.0, 'acc': 0.89, 'flops_g': 35.0,            'latency_ms': 18.0, 'energy_j': 0.25}    ev = CompressionEvaluator('MobileNet-魔改小模型', orig, comp)    print(ev.report())    print('综合评分: %.3f' % ev.composite_score())

1. self.orig_dict['size_mb'] / self.comp_dict['size_mb']体积相除得到压缩比，本质是“体重秤读数之比”
2. return self.comp_dict['acc'] / self.orig_dict['acc']压缩后精度除以原始精度，是“肌肉量保持率”
3. (self.orig_dict['flops_g'] - self.comp_dict['flops_g']) / self.orig_dict['flops_g']计算量差值除以原始值，得到 FLOPs 减少率
4. min(self.accuracy_ratio(), 1.0)精度保持率上限截断为 1.0，防止异常数据把综合评分推高
5. min(self.speedup(), 3.0) / 3.0加速比超过 3 倍后归一化得分封顶，避免单个指标过度主导总分
6. weights = {'cr': 0.3, 'ar': 0.3, 'su': 0.2, 'er': 0.2}业务权重配置，不同场景可以替换这组数字
7. lines.append('压缩比: %.2fx' % self.compression_ratio())格式化输出，模拟标准化报告文本
8. if __name__ == '__main__':代码入口，直接运行即可看到评估报告示例

常见误区

面试题