结构化与非结构化剪枝方法对比

可视化演示

通过结构化与非结构化稀疏矩阵对比、Filter/Channel/Layer三级剪枝粒度、以及N:M半结构化稀疏的硬件加速效果三个模式，展示模型剪枝方法的核心差异与选择策略。

剪枝基本概念

仓库里看似满当当的货物，其实很多并不常被取用。一个训练好的神经网络也是这样，大量权重参数对最终判断的贡献很小。它们可能只是“陪跑”选手，留着只会增加搬运负担。剪枝要做的，就是把这些低价值的货物找出来并清走，让仓库变小。

在技术层面，剪枝通常会先评估每个权重的重要性，再生成一个与权重形状相同的掩码。掩码就像每格货架上的“保留”或“清空”标签：1 表示保留，0 表示清空。把掩码和原有权重相乘后，不重要的权重就变成了 0。接下来，我们用稀疏率来量化清理程度：稀疏率越高，表示清出的空位越多。

有了稀疏率这个尺子，我们就能横着比较不同剪枝方法的“清理程度”。但仓库整理的关键从来不是空位多不多，而是整理之后，搬运路线到底有没有缩短。这也是接下来要区分两种剪枝方式的起点。

非结构化剪枝

非结构化剪枝很像“零散丢箱子”：在每一排货架上挑出那些最碍事、最不常用的单个箱子扔掉。它不关心货架结构，只看单个货物有没有价值。于是清理完之后，仓库的骨架还是原来的样子，只是很多格子里出现了零散的空位。

在神经网络里，这种剪枝的粒度是一单个权重。判断标准通常很简单：权重绝对值越小，说明它对输出的影响越小，越可以被归零。只要设定一个阈值，绝对值低于阈值的权重就被清掉，高于阈值的保留。

非结构化剪枝的优点是灵活，几乎每个权重都能被单独评价，所以可以达到很高的稀疏率。但问题是，空位分布毫无规律，货架还是原来的货架，搬运路线并不会自动变短。想真正受益，需要专门的稀疏存储格式和稀疏算子来跳过这些零，而这些支持在普通硬件上往往并不齐全。

结构化剪枝

结构化剪枝是另一种思路：不零散地丢单件货物，而是直接判定“哪一排货架整体没用”，然后整排撤走。剩余货物重新码放后，仓库本身就是个更小的仓库。在模型里，这个“一排货架”对应的就是一组卷积核或一个输出通道。

要判断一排货架的价值，不能只看其中一个箱子，而要看这一整排所有箱子的综合贡献。常见做法是计算一个通道内所有权重的平方和，平方和越大，说明这一组卷积核整体越重要，越应该保留。

按通道剪掉低价值的整组卷积核后，模型的通道数变少，权重矩阵的维度也真正变小了。这就像仓库从“12排8层”变成“8排8层”，后续所有搬运和计算都可以在一个更小的空间里完成。当然，整排货架被撤走，对模型的“信息结构”冲击更大，所以剪完之后通常需要微调，让剩余通道学会弥补被清走部分的功能。

硬件加速差异

仓库整理完，能不能真的跑得更快，最终要看搬运设备认不认这种整理方式。普通叉车按固定路线工作，不管货架上有没有空位，它都会一格一格走完。在硬件里，这种“普通叉车”就是稠密矩阵算子。它对零散空位视而不见，即使权重有一半是 0，计算量仍然不变。

结构化剪枝则不同，它把仓库整体改小了。剩下的是一个小而密的仓库，普通叉车可以直接少跑很多排，所以不需要特殊硬件也能获得加速。非结构化剪枝要想提速，必须等专门认识空位的“智能叉车”出现，也就是支持稀疏计算的算子。

从公式能看出，非结构化剪枝并没有改变 \(C_{\text{out}}\)、\(C_{\text{in}}\)、\(K\) 这些结构因子，所以稠密算子执行的计算量几乎不变。而结构化剪枝直接砍掉一部分输出通道，\(C_{\text{out}}\) 变小，整条计算链路的规模也随之缩小。这就像普通叉车面对重新规划过的小仓库，天然就能少走路。

效果对比

很多人一看到“稀疏率 90%”就觉得模型一定快了十倍。可惜，参数少和真正跑得快是两回事。非结构化剪枝可以把稀疏率做得很高，模型体积也能显著下降，但如果没有配套的稀疏算子，推理延迟几乎不会变。结构化剪枝虽然不像非结构化那么“狂野”，却能稳定地把通道数降下来，让实际计算量同步下降。

我们还需要关注算力利用率。它反映的是“硬件干的有效活”占“硬件实际干的活”的比例。结构化剪枝把需要计算的矩阵缩小了，硬件做的几乎都是有效计算；非结构化稀疏在普通稠密算子下，硬件仍然要遍历所有位置，有效计算占比很低。

从精度影响看，非结构化剪枝保留的“零散空位”对模型结构破坏小，但过度剪也会让信息碎片化；结构化剪枝一次性砍掉整组通道，初始精度下降可能更明显，但通过微调和结构重建，往往能找回更多精度。所以选型不能只看压缩比，要看最终在目标设备上测出的延迟、功耗和精度。

部署选择策略

回到仓库现场，库管员决定用哪种整理方式，先要问一句：手里的叉车支持哪种仓库？如果设备只有普通 CPU 和稠密算子，那非结构化稀疏做得再漂亮，推理时叉车依然要走完整条过道，等于白剪。这种情况下，应该优先考虑通道结构化剪枝，把仓库整体改小。

如果目标是减少模型占用的存储空间，而非追求极致加速，那么非结构化剪枝配合稀疏存储格式是合理的。如果硬件支持 2:4 结构化稀疏，比如 NVIDIA 的 Ampere 及后续架构，那么把权重按“每四个保留两个”的规则剪枝，既能享受较高稀疏率，又能触发硬件加速。

这套决策逻辑放在端侧设备上同样适用。手机 CPU、嵌入式 NPU 大多喜欢规整的通道结构，因为内存访问连续、算子实现简单。于是边缘计算里，通道剪枝往往是第一选择；只有遇到专门支持稀疏计算的加速器时，非结构化路线才真正有发挥空间。

工具与生态

好消息是，两类剪枝都不是从零手写。PyTorch 提供了权重剪枝工具，可以按阈值或比例生成掩码，适合快速搭建非结构化剪枝流程。社区里也有针对通道剪枝的开源库，能帮助我们把卷积层、批归一化层和全连接层的通道对齐裁掉，从而得到真正可部署的小模型。

在硬件生态方面，NVIDIA 提供了 2:4 结构化稀疏的支持。这种模式要求权重矩阵每四个连续元素里恰好保留两个非零，硬件可以据此设计高效的稀疏计算单元。它像一种“标准规格的半空托盘”，既保留了一定稀疏度，又让叉车能按固定规律跳过空位。

不同推理框架对稀疏的支持也参差不齐。TensorRT 对 2:4 结构化稀疏有专门优化，而许多轻量级框架仍然只擅长稠密计算。因此，工具选型必须跟着部署硬件走：先确认推理引擎认哪种稀疏模式，再决定训练时用结构化还是非结构化剪枝。

AI 应用场景

Python 演示

import numpy as np def unstructured_prune(weight, ratio):    # 按绝对值大小给所有权重排序    flatten = np.abs(weight).ravel()    # 找出裁掉 ratio 比例的阈值    cutoff = np.percentile(flatten, ratio * 100)    # 高于阈值保留，低于阈值置零    mask = np.where(np.abs(weight) > cutoff, 1.0, 0.0)    pruned = weight * mask    return pruned, mask def structured_prune_by_channel(weight, keep_ratio, axis=0):    # 计算每个输出通道的 L2 范数    norm = np.sqrt((weight ** 2).sum(axis=tuple(range(1, weight.ndim))))    # 用分位数确定保留通道的阈值    threshold = np.percentile(norm, (1 - keep_ratio) * 100)    keep = norm >= threshold    pruned = weight.copy()    if axis == 0:        pruned[~keep, :, :] = 0    else:        pruned[:, ~keep, :] = 0    return pruned, keep def sparsity(mask):    # 统计零元素占比    return 1.0 - np.count_nonzero(mask) / mask.size if __name__ == "__main__":    np.random.seed(0)    # 模拟一个卷积层权重，16 个输出通道，32 个输入通道，3x3 卷积核    weight = np.random.randn(16, 32, 3, 3)    _, mask_u = unstructured_prune(weight, 0.8)    _, keep_s = structured_prune_by_channel(weight, 0.5, axis=0)    print("非结构化稀疏率:", sparsity(mask_u))    print("结构化保留通道数:", keep_s.sum(), "/", weight.shape[0])    print("非结构化后仍参与计算的矩阵形状:", weight.shape)    print("结构化后矩阵可直接缩成:", (int(keep_s.sum()), weight.shape[1], weight.shape[2], weight.shape[3]))

1. flatten = np.abs(weight).ravel()把权重矩阵展平，方便计算绝对值阈值。
2. cutoff = np.percentile(flatten, ratio * 100)找出“剪掉多少比例”对应的权重绝对值门槛。
3. mask = np.where(np.abs(weight) > cutoff, 1.0, 0.0)生成非结构化掩码，每个权重独立决定去留。
4. norm = np.sqrt((weight ** 2).sum(axis=tuple(range(1, weight.ndim))))按输出通道计算整组卷积核的综合重要度。
5. threshold = np.percentile(norm, (1 - keep_ratio) * 100)用分位数选出需要保留的通道。
6. pruned[~keep, :, :] = 0把低价值通道整组置零，体现结构化剪枝的“整排撤货架”。

常见误区

面试题