张园丁的苹果园里有一棵“模型树”，枝繁叶茂，但真正能结果的枝条只占一小部分。每年入冬前，他都要修剪枝条——剪少了，养分被冗枝抢走；剪多了，明年果子暴跌。这棵树的每一根枝条，都对应着神经网络里的一个参数。模型剪枝，就是替这棵“模型树”瘦身：把不结果的冗枝锯掉，让模型变小、变快，同时尽量保住“苹果”——精度。 但剪多少？哪些枝能碰、哪些枝碰不得？剪完怎么施肥恢复、怎么验收？这一连串问题，就是今天要讲的“剪枝率选择策略与精度权衡”。我们将跟着张园丁，学会用敏感性分析给每根枝条做“折枝测试”，用全局剪枝率定总预算，用分层剪枝率区别对待花枝和老枝，再看懂那条“修剪力度 vs 苹果收成”的权衡曲线，最终在压缩率与精度之间找到恰到好处的平衡点。

岗位关联

对 AI 从业者而言，剪枝率选择是模型压缩落地中“性价比最高”的决策环节——选对比例，模型轻松瘦身一半且不掉点；选错，几周的精调努力付诸东流。掌握这套权衡方法，是从事边缘部署和性能优化的核心竞争力。

目录
  1. 可视化演示
  2. 剪枝率基础
  3. 敏感性分析
  4. 全局剪枝率
  5. 分层剪枝率
  6. 权衡曲线
  7. 剪后重训
  8. 评估验证
  9. 工程实践
  10. AI 应用场景
  11. Python 演示
  12. 常见误区
  13. 面试题

可视化演示

展示剪枝率-精度L型权衡曲线、层级敏感性分析和全局vs分层剪枝分配策略，拖动滑块观察不同剪枝率下的精度变化。

本节配有交互动效（进入视口后自动加载，约 3KB）。

剪枝率-精度权衡曲线 L型曲线：低剪枝率精度几乎无损 临界点：50%后精度加速下降 Acc(r) ≈ Acc₀(1-r)^α 找到L型曲线的拐点是关键

剪枝率基础

张园丁的“模型苹果树”枝繁叶茂，但每年修剪时，他只会留下固定数量的枝条，因为多余的枝条只会抢夺养分却不结果。这把剪刀上有个刻度盘，旋到不同位置，就决定了这次要砍掉百分之几的枝条——这个刻度，就是我们要说的“剪枝率”。

在神经网络里，参数就好比枝条。模型训练完成后，大量权重对最终输出的贡献趋近于零，属于冗余枝。模型剪枝，就是把这些参数剔除，换来一个“更瘦”的模型。剪枝率 \(r\) 是剪枝工作的第一步：到底从模型身上去掉多大比例的参数。它直接决定了压缩的力度，也决定了精度受伤的风险。

张园丁在动剪刀前，会先在笔记本上记下“剪掉几成、保留几成”。这个比例是一切修剪计划的起点——比例定错了，后面再精细的手法都白费。同样，剪枝项目的第一步，永远是冷静地写下目标剪枝率。

r=NprunedNtotal=1−NkeptNtotalr=\frac{N_{\mathrm{pruned}}}{N_{\mathrm{total}}}=1-\frac{N_{\mathrm{kept}}}{N_{\mathrm{total}}}
剪枝率等于被剪掉的参数占总参数的比例，也等于 1 减去保留比例。比如保留 60% 参数，剪枝率就是 40%。
  1. 剪除参数 \(N_{\mathrm{pruned}}\)被剪掉的权重个数，相当于园丁锯下的枝条数量，它是对剪枝动作的直接计数。
    Npruned=模型原始参数中不满足保留条件的参数个数N_{\mathrm{pruned}}=\text{模型原始参数中不满足保留条件的参数个数}
  2. 总参数 \(N_{\mathrm{total}}\)剪枝之前模型全部参数数量，相当于整棵树的枝条总量。
    Ntotal=模型全部权重与偏置的个数之和N_{\mathrm{total}}=\text{模型全部权重与偏置的个数之和}
  3. 两式等价剪掉一部分，剩下的自然就是总参数减去剪掉的部分，所以两个写法反映的是同一个事实。
    r=1−NkeptNtotalr=1-\frac{N_{\mathrm{kept}}}{N_{\mathrm{total}}}

敏感性分析

剪枝率定好了，但还缺一张“禁剪名单”。老园丁的做法是“折枝测试”：拿每根枝条轻轻弯折一下，如果整棵树立刻蔫了，说明这根枝是命脉；如果毫无反应，说明它是冗枝。这个测试，在模型压缩里叫敏感性分析。

具体做法是：对某一层单独施加一个固定比例的剪枝（比如剪掉它 20% 的参数），其他层保持原样，然后观察模型精度的下降幅度。如果把第 \(l\) 层剪了 20% 之后精度掉了一大截，说明这层极其敏感；如果精度几乎不动，说明这层冗余度高，可以放心大胆地剪。

做完一轮折枝测试，张园丁的笔记本上多了每根枝条的“脾气”：花枝碰不得，老枝随便剪，病枝直接锯。这份记录，正是后面分层剪枝率的决策依据。

Sl=Acc0−AccltestS_l=\mathrm{Acc}_0-\mathrm{Acc}_l^{\mathrm{test}}
敏感性 \(S_l\) 等于“未剪任何层时的基线精度”减去“只剪第 \(l\) 层固定比例后的精度”，差值越大，这层越不能碰。
  1. 基线精度 \(\mathrm{Acc}_0\)模型未做任何修剪时的验证集精度，相当于果园正常年份的收成基准。
    Acc0=原始模型在验证集上的准确率\mathrm{Acc}_0=\text{原始模型在验证集上的准确率}
  2. 测试精度 \(\mathrm{Acc}_l^{\mathrm{test}}\)只对第 \(l\) 层做一次固定比例剪枝后测得的精度，像是单独折了一根枝看看树的状态。
    Accltest=仅剪第 l 层20% 参数后的验证集准确率\mathrm{Acc}_l^{\mathrm{test}}=\text{仅剪第 }l\text{ 层}20\%\text{ 参数后的验证集准确率}
  3. 取差值两次精度之差就是这层的“疼痛指数”。
    Sl=疼痛指数, 值越大越敏感S_l=\text{疼痛指数, 值越大越敏感}

全局剪枝率

现在要算总账了：整棵树这次到底砍掉几成？砍少了，白费功夫；砍多了，收成暴跌。张园丁有个土办法——二分试探：先试着剪 30%，如果果子产量一点不减，下次就试 50%；如果减产严重，就在 30% 和 50% 之间折中再试。如此反复，锁定一个“临界大促销”。

这个总账在模型压缩里就是全局剪枝率，它定义了整个模型的稀疏目标，决定了压缩包的体积上限。常见经验是从 30% 起步：在这个比例下大多数模型都能靠微调恢复精度。如果精度完全不受影响，就上调；如果精度撑不住，就下调。逐轮逼近的过程，可以写成二分迭代。

这就像试洗澡水温：左拧一点太凉，右拧一点太烫，来回几次就能找到刚刚好的位置。全局剪枝率就是那个“刚刚好”的总预算，它给了后面所有分层决策一个锚点。

r(i+1)=rlow+rhigh2r^{(i+1)}=\frac{r_{\mathrm{low}}+r_{\mathrm{high}}}{2}
下一轮试验的剪枝率取当前可行下界与不可行上界的中点，用“精度是否达标”作为评判标准不断收窄区间。
  1. 下界 \(r_{\mathrm{low}}\)目前已知精度能接受的剪枝率，对应园丁“剪了没事”的最大力度。
    rlow=当前已知可行的剪枝率r_{\mathrm{low}}=\text{当前已知可行的剪枝率}
  2. 上界 \(r_{\mathrm{high}}\)目前已知精度崩盘的剪枝率，对应“减产严重”的红线。
    rhigh=当前已知不可行的剪枝率r_{\mathrm{high}}=\text{当前已知不可行的剪枝率}
  3. 取中点每次试中点的剪枝率，如果精度达标就把它设为新的下界，否则设为新的上界。
    r(i+1)=rlow+rhigh2r^{(i+1)}=\frac{r_{\mathrm{low}}+r_{\mathrm{high}}}{2}

分层剪枝率

如果所有枝条都按同一个比例修剪，花枝必然被误伤。聪明园丁的处方是：花枝基本不剪，老枝多剪，病枝全剪。每个部位各有各的比例，既不伤命脉，又能把瘦身效果拉满。

模型也是同样的道理。敏感性分析给出了每一层的“疼痛指数”，接下来就是把全局剪枝率这个总预算分配到各层：敏感度高的层分配低剪枝率甚至不剪，敏感度低的层分配高剪枝率。但分配不是拍脑袋，各层剪掉的总参数加起来，必须与全局目标一致。于是有了加权平均的校验公式。

拿到这份“按枝分配”的处方单，张园丁满意地点了点头：花枝保住了，老枝剪得干干净净，整棵树瘦了一圈，果子却不掉。分层剪枝率的精髓，就是让每个剪枝率都落在正确的枝条上。

rˉ=∑l=1LNl⋅rl∑l=1LNl\bar{r}=\frac{\sum_{l=1}^{L}N_l\cdot r_l}{\sum_{l=1}^{L}N_l}
分层的加权平均剪枝率等于各层参数数乘以该层剪枝率的总和，除以全部参数数。权重是每层的参数规模，层越大，对整体剪枝率的贡献越大。
  1. 每层参数 \(N_l\)第 \(l\) 层的权重个数，相当于这根枝条上叶片的数量，叶片越多，在“总量账本”里占的比重越大。
    Nl=第 l 层的参数个数N_l=\text{第 }l\text{ 层的参数个数}
  2. 单层剪枝率 \(r_l\)为第 \(l\) 层单独设定的剪枝比例，敏感层给 5%-10%，冗余层给 60%-80%。
    rl=第 l 层被剪掉的参数占该层参数的比例r_l=\text{第 }l\text{ 层被剪掉的参数占该层参数的比例}
  3. 分子求和把每一层剪掉的参数数加总，得到全局剪掉的总数。
    ∑l=1LNl⋅rl=全局剪除参数总数\sum_{l=1}^{L}N_l\cdot r_l=\text{全局剪除参数总数}

权衡曲线

修剪力度和苹果收成之间，藏着一条曲线。张园丁每年做实验：从轻到重记录不同修剪力度下的收成，然后把点连起来，得到一条“先平后陡”的曲线。这条曲线，就是剪枝率与精度的权衡曲线。

一开始剪枝，曲线几乎是一条水平线——剪掉大量冗余参数，精度纹丝不动，这是“免费午餐”区域。但随着剪枝率越过某个临界点，曲线突然急转直下，每多剪一点，精度就瀑布式下跌。这个转折点就是拐点，也是决策的分水岭。数学上，可以用精度对剪枝率的二阶导的绝对值来定位它。

过了拐点，剪刀每多剪一分，果子就掉一大片。张园丁的经验是：最佳平衡点永远选在拐点左侧不远——那里收益接近最大，代价还完全可控。这条曲线，就是整个剪枝决策的地图。

κ(r)=∣d2 Acc(r)dr2∣\kappa(r)=\left|\frac{\mathrm{d}^2\,\mathrm{Acc}(r)}{\mathrm{d}r^2}\right|
曲率 \(\kappa(r)\) 度量的是精度曲线的“弯折剧烈程度”。在剪枝率较低时它几乎为零；进入拐点区后急剧变大，说明精度正在加速崩坏。
  1. 一阶导 \(\mathrm{dAcc}/\mathrm{d}r\)剪枝率每增加一点，精度下降的速度，等于曲线在该点切线的陡峭程度。
    dAccdr=精度关于剪枝率的瞬时变化率\frac{\mathrm{d}\mathrm{Acc}}{\mathrm{d}r}=\text{精度关于剪枝率的瞬时变化率}
  2. 二阶导 \(\mathrm{d}^2\mathrm{Acc}/\mathrm{d}r^2\)下降速度本身的变化率，它捕捉的是“精度是不是越掉越快”。
    d2Accdr2=精度衰减加速度\frac{\mathrm{d}^2\mathrm{Acc}}{\mathrm{d}r^2}=\text{精度衰减加速度}
  3. 取绝对值无论是向上弯还是向下弯，只要弯得剧烈，绝对值就会变大，方便统一比较。
    κ(r)=∣精度衰减加速度∣\kappa(r)=\left|\text{精度衰减加速度}\right|

剪后重训

修剪完的树浑身是伤，不能扔在园里不管。张园丁会给它松土、施肥、浇水，让树慢慢缓过来。模型也一样，剪完参数后精度必然下降，必须重新训练——这个过程叫剪后重训，也叫微调。

微调的第一原则是学习率要小。如果把预训练时的学习率直接拿来用，相当于给刚做完手术的病人灌猛药，权重会被冲乱，精度反而更差。正确做法是用比正常训练小一个数量级的学习率，让模型在剪枝后的稀疏结构上“小心翼翼地找回”原来的表达能力。

水要一点一点浇，枝也要一点一点剪。老练的做法是“逐步剪枝”：先剪一小部分，微调恢复；再剪一部分，再恢复，循环逼近目标剪枝率。每轮只承受小扰动，模型恢复得又快又稳，最终还能在更高的总剪枝率下保持住精度。

θ←θ−η ∇θL(θ;D),η≪ηinit\theta\leftarrow\theta-\eta\,\nabla_{\theta}\mathcal{L}(\theta;\mathcal{D}),\qquad \eta\ll\eta_{\mathrm{init}}
微调更新规则与常规训练相同，但学习率 \(\eta\) 必须远小于初始训练的学习率，避免大幅扰动剪枝后的稀疏结构。
  1. 权重 \(\theta\)模型所有可学习的参数，相当于树上每一根枝条的状态。
    θ=剪枝后剩余参数组成的向量\theta=\text{剪枝后剩余参数组成的向量}
  2. 梯度 \(\nabla_{\theta}\mathcal{L}\)损失函数对参数的偏导方向，告诉模型该往哪个方向调整才能减少误差。
    ∇θL=损失关于参数的梯度\nabla_{\theta}\mathcal{L}=\text{损失关于参数的梯度}
  3. 小学习率 \(\eta\)每一步更新的步长取极小值，就像给树慢慢浇水而不是一盆泼下去。
    η≪ηinit\eta\ll\eta_{\mathrm{init}}

评估验证

修剪战役结束，到了验收环节。张园丁会做三件事：称苹果总重——精度有没有掉；数装了多少袋——模型体积缩了多少；掐秒表看采摘要多久——推理速度快了多少。三项数据摆在一起，才能判断这次修剪值不值。

模型的验收也要多维指标。精度必须在验证集上重新评测；模型体积和内存占用可以直接量出来；推理延迟要在真实硬件上跑计时。很多人只看参数数量减少就欢呼胜利，但实际上稀疏模型在普通硬件上未必能提速——这就要引入加速比进行评估。

剪完不上秤，等于白剪。张园丁把三张表钉在工具房墙上：精度、体积、延迟，任何一项不达标，下次修剪方案就得重做。数据不会说谎，它才是剪枝决策的最终裁判。

Speedup≈11−r\text{Speedup}\approx\frac{1}{1-r}
在理想的计算受限场景下，推理加速比约等于保留参数比例的倒数。剪枝率 50% 时加速比接近 2 倍，90% 时接近 10 倍。现实中受内存带宽和稀疏格式影响，实际值通常低于此。
  1. 保留比例 \(1-r\)剪枝后剩余参数占原来的比例，分母越小，每个参数分到的计算资源越集中。
    1−r=NkeptNtotal1-r=\frac{N_{\mathrm{kept}}}{N_{\mathrm{total}}}
  2. 取倒数计算量大致与保留参数成正比，所以耗时约等于保留比例的倒数。
    11−r=理想加速比的估计值\frac{1}{1-r}=\text{理想加速比的估计值}
  3. 现实修正硬件访问存储格式会造成额外开销，实际加速要打折扣，必须实测。
    Speedup实际≤11−r\text{Speedup}_{\mathrm{实际}}\le\frac{1}{1-r}

工程实践

张园丁的修剪手艺，最后凝结成了一本《果园修剪手册》。新来的学徒不用自己从头摸索，翻手册就能照着干活。模型剪枝的工程实践也一样，成熟框架和一套可复用的经验值，能让新人少踩无数坑。

常用的工具有 PyTorch 自带的 torch.nn.utils.prune、英特尔的 NNI、TensorFlow 的 Model Optimization Toolkit。经验值方面：全局剪枝率从 30%-50% 起步；敏感性极高的层给 5%-10%；冗余层可以上探 60%-80%。但每个模型脾性不同，手册只能给起点，不能给终点。最终要回到精度损失率这把尺子上来验收。

手册最后一页写着老园丁的俚语：“慢剪勤看，称过再算。”剪枝从来不是一锤子买卖，而是“定率、试敏、分配、验证、微调、再验证”的科学流程。张园丁的经验变成了系统的工程方法，每个后来者都能站在手册的肩膀上，剪出又快又不掉点的模型。

ηloss=1−AccprunedAccorig\eta_{\mathrm{loss}}=1-\frac{\mathrm{Acc}_{\mathrm{pruned}}}{\mathrm{Acc}_{\mathrm{orig}}}
精度损失率 \(\eta_{\mathrm{loss}}\) 等于 1 减去剪后精度与原始精度的比值。业界常用红线是损失率小于 1%-2%，在此范围内视为“无损压缩”。
  1. 剪后精度 \(\mathrm{Acc}_{\mathrm{pruned}}\)剪枝并微调完成后在验证集上测得的精度，相当于修剪后第二年的实际收成。
    Accpruned=剪后模型最终精度\mathrm{Acc}_{\mathrm{pruned}}=\text{剪后模型最终精度}
  2. 原始精度 \(\mathrm{Acc}_{\mathrm{orig}}\)未剪枝时模型的精度基线，代表果园正常年份的最高产量。
    Accorig=原始模型精度\mathrm{Acc}_{\mathrm{orig}}=\text{原始模型精度}
  3. 比值取补损失率越小越好，1%-2% 以内的损失通常可以接受。
    ηloss=1−AccprunedAccorig\eta_{\mathrm{loss}}=1-\frac{\mathrm{Acc}_{\mathrm{pruned}}}{\mathrm{Acc}_{\mathrm{orig}}}

AI 应用场景

手机端图像分类模型压缩

阶段：模型压缩与部署优化

解决的问题：一款图像分类 App 的模型原始体积 50MB，手机端加载慢、耗电高。传统做法是直接砍参数，结果准确率暴跌到不可用。用分层敏感性分析后，发现浅层卷积高度敏感、深层全连接大量冗余，于是对浅层只剪 10%、对深层剪 70%，全局剪枝率 45%，配合小学习率微调，模型体积降到 12MB，加载速度提升 3 倍，准确率仅下降 0.8%。

具体案例：一名移动端算法工程师拿到 100 类商品识别模型，先用 20% 测试剪枝率扫描每一层得到敏感性排序，再按“敏感低剪、冗余多剪”的原则分配各层比例，最后用 1e-4 学习率微调 5 个 epoch，顺利通过准确率红线评审并上架。

自动驾驶感知模型的安全剪枝

阶段：安全关键系统的模型优化

解决的问题：自动驾驶目标检测模型对精度极其敏感，一个点都不能掉。传统全局剪枝容易误伤浅层特征提取层，导致小目标漏检。通过敏感性分析识别出前三个卷积层为“保命层”，分配 0% 剪枝率，只对冗余的后段层剪枝，最终模型计算量下降 35%，实测帧率从 25 FPS 提升到 38 FPS，mAP 完全持平。

具体案例：感知团队用 NNI 对 YOLO 系列模型做逐层敏感性扫描，生成敏感性热力图，X 轴是层编号、Y 轴是剪枝率、颜色是精度损失。团队根据热力图把“红色区域”标为禁剪区，只在“蓝色区域”分配高剪枝率，并通过多轮逐步剪枝完成最终交付。

云端推荐系统的周期性剪枝

阶段：模型上线后的持续优化

解决的问题：推荐系统每天服务上亿请求，模型推理延迟直接决定成本。传统做法是每季度重训一个大模型，成本高昂。采用“全局二分搜索 + 分层分配 + 逐步剪枝重训”的组合拳后，用精度-延迟权衡曲线确定每月的最佳剪枝率，使模型体积缩小 40%，延迟降低 30%，线上 CTR 指标波动小于 0.1%。

具体案例：推荐团队为排序模型设定每月一次的“修剪日”，先用二分法快速定位当月可接受的全局剪枝率，再按各特征层的敏感度动态分配比例，最后以 1e-5 学习率进行三天的增量微调，全程自动化运行，每周节省 GPU 成本约 20 万元。

Python 演示

python39 行
import numpy as np def eval_model(prune_config):    """模拟评估函数: 按剪枝配置返回验证集精度"""    base = 0.92    drop = sum(0.3 * v for v in prune_config.values())    return base - min(drop, 0.8) def layer_sensitivity(layer, test_ratio=0.2):    """对单层做固定比例的敏感性测试, 返回精度下降值"""    return eval_model({}) - eval_model({layer: test_ratio}) def choose_ratios(sensitivities, param_counts, target_ratio, ratio_min, ratio_max):    """按敏感性倒数为权重, 迭代求分层剪枝率, 使加权平均对齐目标"""    inv = 1.0 / (np.array(sensitivities) + 1e-6)    inv = inv / inv.sum()    ratio = np.clip(target_ratio * inv * len(sensitivities) * 0.85, ratio_min, ratio_max)    for _ in range(200):        weighted = (ratio * param_counts).sum() / param_counts.sum()        if abs(weighted - target_ratio) < 1e-4:            break        ratio = np.clip(ratio * target_ratio / weighted, ratio_min, ratio_max)    return ratio def main():    layers = ["conv1", "conv2", "fc1", "fc2"]    param_counts = np.array([50, 160, 90, 20])    # 实际生产环境由 layer_sensitivity 离线测得, 此处用模拟值演示    sens = np.array([0.05, 0.015, 0.02, 0.10])    target = 0.4    ratios = choose_ratios(sens, param_counts, target, 0.05, 0.8)    print("per-layer pruning ratios:")    for name, r in zip(layers, ratios):        print("  %s: %.1f%%" % (name, r * 100))    final = (ratios * param_counts).sum() / param_counts.sum()    print("weighted average: %.1f%%, target: %.1f%%" % (final * 100, target * 100)) if __name__ == "__main__":    main()
目的：演示“敏感性分析 → 分层剪枝率分配 → 加权平均对齐全局目标”的完整决策流程，输出每一层应剪的比例。
  1. def layer_sensitivity(layer, test_ratio=0.2):定义单层敏感性测试函数，对比剪枝前后精度得到“疼痛指数”。
  2. sens = np.array([0.05, 0.015, 0.02, 0.10])模拟实测敏感性分值，数值越大表示该层越不能剪。
  3. inv = 1.0 / (np.array(sensitivities) + 1e-6)对敏感性取倒数，让敏感层获得低剪枝权重、冗余层获得高剪枝权重。
  4. inv = inv / inv.sum()归一化权重，使所有层权重之和为 1，方便后续换算比例。
  5. ratio = np.clip(target_ratio * inv * len(sensitivities) * 0.85, ratio_min, ratio_max)生成初始分层比例，并用上下限约束防止某些层被剪光。
  6. weighted = (ratio * param_counts).sum() / param_counts.sum()按每层参数数加权，计算当前方案对应的全局实际剪枝率。
  7. if abs(weighted - target_ratio) < 1e-4:判断加权结果是否收敛到目标剪枝率，达到精度阈值则提前退出迭代。
  8. ratio = np.clip(ratio * target_ratio / weighted, ratio_min, ratio_max)若偏差过大，按比例整体缩放各层剪枝率，使其向目标靠拢。

常见误区

误区剪枝率当然是越高越好，反正剪完可以重训练，精度应该能恢复回来。

正解重训练只能恢复“可恢复的伤”，当剪枝率越过权衡曲线的拐点后，模型的关键信息被不可逆地破坏，微调时间再长也无法复原。就像园丁把结果的花枝全锯了，施肥浇水再多也长不出苹果。正确做法是把剪枝率控制在拐点左侧，给微调留出足够的恢复空间。

为何常见：中等剪枝率下微调确实能近乎无损恢复精度，让人误以为重训练是万能药，忽略了信息论意义上的容量极限。

误区所有层都用 40% 的剪枝率，挺公平的，参数也剪得匀。

正解模型各层的敏感性差异极大，统一比例会让敏感层被拦腰剪断。正确流程是先做逐层敏感性分析，给每层单独“开处方”：敏感层只剪 5%-10%，冗余层可以剪到 60% 以上，最后用参数加权平均校验是否对齐全局目标。花枝和老枝永远不该用同一个比例下刀。

为何常见：均匀策略最直观、实现最简单，在小规模演示模型上精度损失不明显，掩盖了它在真实大模型上的破坏力。

误区剪完之后看到 FLOPs 降了 50%，就认定推理速度一定快了一倍。

正解FLOPs 是理论计算量，实际延迟还取决于硬件是否支持稀疏加速。非结构化稀疏在通用 CPU/GPU 上反而可能因为索引查表变得更慢。评估时必须上真机实测延迟、吞吐和内存带宽，用加速比而非 FLOPs 说话。

为何常见：论文里普遍用 FLOPs 作为指标，数据漂亮又好算，导致工程里也把理论值误当成实际收益。

误区直接一次性剪到 60%，然后从头训练一个新模型，不就行了吗？

正解一步到位会造成结构突变，权重分布被彻底打乱，重训练被迫从很差的状态重新爬坡。采用逐步剪枝——剪 10% 微调、再剪 10% 再微调——每轮只承受小扰动，模型恢复快，最终可达到的总剪枝率反而更高。这就像分期修剪，树每轮都能缓过劲来。

为何常见：从头训练是大模型训练的常规手段，人们直觉上以为“重新学一遍”能抹平剪枝伤害，忽略了稀疏结构本身对优化路径的限制。

面试题

Q1. 模型剪枝率 \(r\) 的定义是？

单选题 · easy

  • A.保留参数占总参数比例
  • B.剪除参数占总参数比例← 正确答案
  • C.剪除参数占保留参数比例
  • D.训练样本被丢弃比例

答案：B。剪枝率 \(r=N_{\mathrm{pruned}}/N_{\mathrm{total}}\)，即被剪掉参数占总参数的比例，它与保留比例互为补数。就像园丁说“剪掉四成枝条”，指的是剪除量相对于总量的比例。

Q2. 敏感性分析的主要目的是？

单选题 · easy

  • A.找出哪些层对精度影响小← 正确答案
  • B.测量模型推理显存占用
  • C.统计每层参数的稀疏度
  • D.计算整个模型训练时长

答案：A。敏感性分析通过逐层施加固定比例剪枝，测量精度下降量，从而找出“碰不得”的高敏感层和“可以大剪”的低敏感层，为分层剪枝率提供依据。

Q3. 全局剪枝率与分层剪枝率的关系是？

单选题 · mid

  • A.全局率必须等于每层率
  • B.全局率是分层的加权平均← 正确答案
  • C.全局率由学习率决定
  • D.分层率由全局率照抄

答案：B。全局剪枝率是所有层剪除参数数之和除以总参数数，等价于各层剪枝率按参数规模加权平均。就像果园总削减量是所有枝条削减量的总和，不是每根枝都剪同样比例。

Q4. 对敏感性高的层，合理的做法包括？

多选题 · mid

  • A.分配更低的剪枝率← 正确答案
  • B.优先保护该层参数← 正确答案
  • C.一律剪到相同比例
  • D.必要时不剪该层← 正确答案

答案：ABD。敏感层对精度影响大，应少剪、优先保护，极端情况甚至可以完全不剪。统一比例会误伤敏感层，属于错误做法。

Q5. 权衡曲线中“拐点”的含义是？

单选题 · mid

  • A.精度开始线性上升
  • B.剪枝收益快速增长区
  • C.精度衰减急剧加速处← 正确答案
  • D.训练损失降到最低点

答案：C。拐点附近精度二阶导绝对值剧增，表示剪枝率每提高一点，精度下降速度急速加快。最佳平衡点通常选在拐点左侧不远，既拿到大部分压缩收益，又避免精度崩盘。

Q6. 剪后重训的学习率策略是？

单选题 · mid

  • A.使用比预训练更大的学习率
  • B.使用较小学习率微调← 正确答案
  • C.冻结所有层不训练
  • D.学习率随剪枝率升高

答案：B。剪枝后的稀疏结构很脆弱，需要用小学习率慢慢微调恢复，就像手术后只能小口喝水。大学习率会冲乱剩余权重，冻结不训练则无法恢复精度。

Q7. 逐步剪枝相比一步到位的优势包括？

多选题 · hard

  • A.减少单次结构突变冲击← 正确答案
  • B.每轮微调恢复部分精度← 正确答案
  • C.总训练时间必然更短
  • D.更易发现每轮合适比例← 正确答案

答案：ABD。逐步剪枝每轮只做小幅修剪，结构扰动小，微调恢复快，还能在每轮验证中找到该阶段的最优比例。总训练时间通常更长，所以“必然更短”是错误的。

Q8. 二分搜索选择全局剪枝率时，若某一比例精度不达标，下一步应？

单选题 · easy

  • A.直接采用当前比例
  • B.缩小搜索区间选更低比例← 正确答案
  • C.提高该比例继续尝试
  • D.放弃所有剪枝方案

答案：B。精度不达标说明当前比例已超出安全范围，应把它作为新的上界，转而在下界与当前比例之间折中，继续寻找临界点。

Q9. 关于剪枝收益评估，下列说法正确的是？

多选题 · extreme

  • A.FLOPs 下降不等于实际延迟下降← 正确答案
  • B.需结合硬件核验推理时间← 正确答案
  • C.精度损失率小于阈值仍可用← 正确答案
  • D.剪枝率越高加速比一定越高

答案：ABC。FLOPs 是理论值，实际延迟受硬件稀疏支持和内存带宽影响，必须实测；精度损失率小于 1%-2% 通常视为可接受。剪枝率过高会因精度崩盘而失去意义，加速比也受硬件限制，并非越高越快。

Q10. 非结构化稀疏在实际部署中常受限的原因是？

单选题 · hard

  • A.通用硬件对不规则稀疏支持差← 正确答案
  • B.会显著减少模型参数量
  • C.一定提高模型泛化能力
  • D.必须配合知识蒸馏才能用

答案：A。非结构化稀疏的零值位置不规则，通用硬件难以高效利用，需要额外的索引存储和查表开销，有时反而更慢。所以工程上常采用结构化剪枝或配合专用稀疏硬件部署。