结构化剪枝与彩票假说实战

可视化演示

动态演示结构化剪枝与彩票假说实战的核心机制，通过全局/局部/动态/静态四种模式展示关键概念与交互流程。

剪枝价值总览

王师傅修剪果树，不是嫌树长得丑，而是为了让果子结得更好、让树在贫瘠的坡地上也能活。深度学习模型也一样——动辄上亿参数，就像一棵疯长的果树，枝叶间挤满了养分，部署到手机里直接把内存撑爆、把电池耗干。模型压缩技术，就是给神经网络“修剪园艺”。

所谓剪枝，本质是删除模型中“不重要”的权重或结构。为什么能删？因为神经网络训练时有大量冗余：许多参数对最终输出的贡献极小，删掉它们就像剪掉几根不结果的枝，果子反而更大。剪枝的价值体现在三处：体积变小（内存友好）、计算量降低（算力友好）、能耗减少（电池友好），这正是端侧大模型落地的前提。

剪枝按粒度分两大门派：非结构化剪枝（摘枯叶）和结构化剪枝（砍大枝）。前者灵活但硬件不买账，后者规整但需要精细设计。理解了这两派，你就拿到了果园修剪的第一把剪刀。

非结构化剪枝

枯叶的摘法，是每片叶子单独判断——如果这片叶子已经枯黄（权重值很小），就把它摘掉。非结构化剪枝正是如此：遍历网络中的每个权重，凡是绝对值低于某个阈值的，直接置为零。它不做任何“结构性”决策，只问一个问题：这个参数配不配活着？

这样剪出来的网络，参数矩阵变成了“稀疏矩阵”——大部分是零，只有少数非零值像零散的新芽。优点是灵活：剪枝粒度细到单个参数，理论上对精度的伤害最小，压缩率可以很高。但问题也在这里：稀疏矩阵是“不规则”的，像撒了一地的落叶，常规的 CPU/GPU 没法用整齐的矩阵乘法加速，要么用专用稀疏硬件（如 A100 的稀疏张量核），要么在存储上做特殊编码。

非结构化剪枝的直观度量是剪枝率——被剪掉的比例。如果网络有 N 个权重，剪完还剩多少非零，一目了然：

回到果园：你摘掉枯叶后，树看着可能稀疏了些，但树形结构一点没变，微风吹过还是原来那副骨架。非结构化剪枝的精髓，正是“叶落而枝不变”。

结构化剪枝

摘枯叶效率太低——真正让果园焕然一新的，是砍掉整根枝。结构化剪枝，就是直接删除网络的“大块结构”：通道级剪枝把某个卷积核对应的整个输出通道（channel）全部删掉，层级剪枝更狠，直接移除一个层。这意味着不是单个权重变零，而是把一整条枝干从模型里“锯掉”。

结构化剪枝最常用的选择准则，是看每个通道的权重绝对值之和（L1 范数）。如果某个通道的所有权重都很小，说明这条“枝”上果子少，留着纯浪费阳光，砍了也不心疼。计算每个通道的得分后，按分数从低到高排序，分数最低的那批通道就是被放弃的枝干。

被删除的通道在数学上如何表达？用一个掩码矩阵与原始权重逐元素相乘。掩码中对应被删通道的位置为 0，其余为 1：

砍完大枝，模型的宽度立刻收缩：下一层的输入通道数减少、上一层的输出通道数也跟着减少，计算量以平方级别下降。对比摘枯叶，这棵树真的“变小”了——骨架变了，结构规整，CPU/GPU 都能偷偷笑。

剪枝执行流程

修剪不是上来就砍。王师傅的做法很讲究：先让树长三年（预训练），再动剪子（剪枝），剪完还要施肥浇水（微调）。剪枝执行流程同样三步走：

第一步，预训练一个完整的模型——这是“底肥”，确保网络学到了足够好的特征。第二步，按某种准则剪枝：可以用通道的 L1 范数、BN 层的缩放因子、或者泰勒展开估计的损失敏感度，选出“最不重要的枝干”删除。第三步，对剪过的模型微调（fine-tune）若干个 epoch，让剩下的权重重新适应，把精度捞回来。

剪枝很少一步到位。实际工程中常用“迭代剪枝”：每轮剪一小部分（比如 20%），微调恢复，再剪下一批。这种“少食多餐”的策略，比一步剪掉 80% 温和得多。迭代 k 轮后，剩余参数比例是每一轮剩余率的乘积：

园丁的经验是“宁可多剪几轮，不要一次剪秃”。迭代剪枝给模型留出了适应期，精度曲线从陡降变成缓降，是高压缩率下保持精度的首选方案。

彩票假说原理

王师傅发现一个奇事：同样两棵苗，一棵剪完后恢复得很好，另一棵怎么施肥都蔫蔫的。差别不在剪法，而在“种子的基因”——有些随机初始化天生就藏着优秀的子网络。这正是彩票假说的核心洞察：在一个随机初始化的网络中，存在一个子网络（记住它的掩码和初始权重），即使从头独立训练，也能达到甚至超过原网络的精度。

为什么叫“彩票”？因为初始化相当于买彩票。每张彩票（随机初始化）上都印着一串号码（各层权重），只有少数号码组合会中奖。常规训练像是把整张彩票拿去刮，而剪枝像是提前刮开几个位置——如果这个初始化恰好内含一个“中奖子网络”，那么保留这些位置、剪掉其他位置，再重新训练，就能用更小的“票面”赢下同样的奖金。

彩票假说的数学表达，是一个带掩码的训练过程。设掩码为 m（由剪枝决定哪些位置保留），初始化权重为 W₀，完整训练过程只在掩码覆盖的子网络上进行梯度更新：

$$\displaystyle \eta \sum_{k=1}^{t} abla \mathcal{L}(\mathbf{W}_k)$$

$$\mathbf{W}_t = \mathbf{m} \odot \left( \mathbf{W}_0 - \eta \sum_{k=1}^{t} abla \mathcal{L}(\mathbf{W}_k) \right)$$

果园里最朴素的经验得到理论印证：修剪的价值不仅在于“去掉冗余”，更在于“发现天赋”——找到那棵天生会结果的树，然后全力培养它的核心枝干。

假说验证方法

发现了中奖彩票，怎么验证它真的能中奖？研究者提出了经典的 IMP 算法（Iterative Magnitude Pruning，迭代幅度剪枝），像做“对照实验”一样严格验证：每轮训练后，把所有权重按绝对值排序，剪掉最小的 p%；然后把剩余权重重置到初始值，重新训练。重复这个过程。

关键在于“权重复绕”（weight rewinding）——剪完枝，不是保留训练后的数值，而是回到这张彩票最初的号码（初始权重）。为什么要回去？因为彩票假说断言“中奖号码是印在票面上的”，训练只是把号码刮清楚。如果复绕到剪枝前的迭代（如第 k 轮）而非初始值，就是更温和的“重绕变体”，能进一步提升精度。

IMP 的每一步都很清楚：训练到收敛 → 按幅度剪枝 → 剩余权重恢复为初始值 → 再训练。每轮都能找到一个更小的“中奖子网络”，几轮迭代后，子网络通常小到原来的 10%~20%，却能保持接近原始网络的精度。这就是“先刮票，再兑奖”的实证流程：

验证完成后，王师傅手里就有了一棵“验证过基因”的树苗。它不是普通剪枝，而是在剪之前就知道这棵树会中奖——这种确定性，给了工程师针对某个具体任务定制微型网络的信心。

精度恢复策略

修剪后的树元气大伤，需要精心调理。模型剪枝后同样面临精度下滑，恢复策略是落地不可缺的一环。最基础的是重训练：用较小的学习率在剪枝后的模型上继续训练若干个 epoch，让幸存权重重新协调配合。这就像给树浇水施肥，让它把养分重新分配到剩下的枝干上。

进阶策略是知识蒸馏。大模型（教师网络）在剪枝前是“满状态的果园”，剪枝后的模型（学生网络）可以向老师学习。学生不仅要学老师的硬标签（正确答案），还要学老师的“软标签”——老师对各类别的置信度分布。软标签里藏着类别间的相似关系，比如“猫”和“狗”比“猫”和“火箭”更接近，这些信息能大幅补偿剪枝损失的知识。

蒸馏损失由两段加权合成：学生跟真实标签的差距（硬损失），加上学生与教师软输出的差距（软损失）：

另外两个实用技巧：学习率调度——剪枝后的重训练用余弦退火，比固定学习率恢复得快；渐进剪枝——把大剪枝拆成多轮“剪一点、恢复一点”，避免断崖式精度下跌。总之，恢复策略的目标是让剩下的枝干长得更壮，而不是急着再砍。

部署落地收益

果园的最终收成，是又小又甜的果子。结构化剪枝 + 彩票假说的组合拳，落地到端侧，收益非常直接：模型体积从几百 MB 缩到几十 MB，手机内存松了一口气；单次推理的 FLOPs（浮点运算量）下降数倍，高帧率不再烫手。

为什么结构化剪枝对部署这么关键？因为通道数减少是“结构性”的——编译器可以提前规划内存布局，算子可以改用更小的矩阵乘法，缓存命中率也大幅提升。非结构化稀疏则很难在各端侧推理框架（如 MNN、NCNN、TFLite）中获得同等的加速收益。配合层级剪枝，整个模块（如 Attention 中的某个 head）都能移除，进一步节省计算。

计算量的收益可以用公式量化：假设剪枝后第 l 层的输入输出通道数分别从 Cᵢ、Cₒ 变为 Cᵢ'、Cₒ'，则整网 FLOPs 下降比例为：

王师傅的果园故事到这里收尾：剪枝不是破坏，而是删繁就简、激活天赋。从摘枯叶到砍大枝，从凭经验到认“彩票基因”，最终收获的是小而美的模型——它跑得飞快，精度却毫不含糊。

AI 应用场景

Python 演示

import numpy as np def make_data(n=240, d=12, seed=42, noise=0.2):    """生成线性回归合成数据，真实权重随机，便于观察训练效果"""    rng = np.random.default_rng(seed)    X = rng.normal(size=(n, d))    w_true = rng.normal(size=d)    y = X @ w_true + rng.normal(scale=noise, size=n)    return X, y  def train(X, y, w_init, mask=None, lr=0.05, epochs=80):    """带掩码的梯度下降训练。mask 为 None 表示全量训练，否则只在非零位置更新"""    w = w_init.copy()    history = []    for _ in range(epochs):        grad = 2 * X.T @ (X @ w - y) / len(y)        if mask is not None:            grad = grad * mask        w -= lr * grad        history.append(np.mean((X @ w - y) ** 2))    return w, history  def prune(w, rate=0.5):    """按权重绝对值幅度剪枝：把最小的 rate 比例置零，返回掩码"""    k = int(rate * len(w))    idx = np.argsort(np.abs(w))[:k]    mask = np.ones_like(w, dtype=float)    mask[idx] = 0.0    return mask  def main():    X, y = make_data()    rng = np.random.default_rng(7)    w0 = rng.normal(size=X.shape[1])  # 彩票初始权重     # 1. 完整网络正常训练（对照组）    w_full, hist_full = train(X, y, np.zeros(X.shape[1]))    full_loss = hist_full[-1]     # 2. 标准剪枝：训练后直接剪掉 50%，不再训练    mask = prune(w_full, 0.5)    w_pruned_only = w_full * mask    pruned_loss = np.mean((X @ w_pruned_only - y) ** 2)     # 3. 彩票假说：剪枝后重绕到初始权重，再带掩码训练    w_rewind = w0 * mask    w_lth, hist_lth = train(X, y, w_rewind, mask=mask)    lth_loss = hist_lth[-1]     # 4. 随机重初始化对照组：相同掩码，但用新随机权重训练    w_random = rng.normal(size=X.shape[1]) * mask    w_random_trained, hist_rand = train(X, y, w_random, mask=mask)    rand_loss = hist_rand[-1]     print(f"完整网络   MSE = {full_loss:.4f}")    print(f"剪枝不训练 MSE = {pruned_loss:.4f}")    print(f"彩票重绕   MSE = {lth_loss:.4f}")    print(f"随机重训   MSE = {rand_loss:.4f}")    print(f"可见彩票假说优于随机重初始化，逼近完整网络精度")  if __name__ == "__main__":    main()

1. mask = np.ones_like(w, dtype=float); mask[idx] = 0.0用 0/1 掩码标记被剪枝的位置，这就是“砍枝清单”。
2. grad = grad * mask梯度乘以掩码，只有保留位置的权重能被更新，其余位置被“圈外”。
3. w_rewind = w0 * mask保留位置重绕到初始权重，这是彩票假说最核心的一步。
4. w_random = rng.normal(size=... ) * mask对照组用新的随机权重，证明“初始权重本身”是中奖关键。

常见误区

面试题