空洞卷积：不增加参数扩大感受野

可视化演示

通过动画直观理解空洞率如何扩大卷积核感受野，观察多层堆叠的指数级感受野增长以及网格效应的产生与消除。

困境与动机

在 C 村，村长让 9 名巡逻队员去检查麦田。普通 3×3 卷积就像队员们挤成一个紧密的方块，一次只能看到 9 块相邻的地。要想看得更远，要么把地图缩小，这对应池化操作；要么加派人手，这对应增加层数或通道数。缩小地图会损失细节，加派人手又会让预算升高。空洞卷积的想法很简单：不减地图、不加人，只让他们按更大的间距站，视野就出来了。

这个困境在卷积网络里经常出现。连续堆叠多个 3×3 卷积虽然能扩大感受野，但速度很慢；插进池化层能快速扩大，却会降低分辨率。尤其在语义分割这种“每个像素都要输出标签”的任务里，细节丢失非常致命。空洞卷积的出现，就是不依赖池化也能扩大感受野的关键手段。假设连续堆叠 N 层步长为 1 的 3×3 卷积，感受野的增长是线性的：

这个困境看似无解：想看得远要么堆更多层，要么引入池化。空洞卷积给出第三种答案——不缩小地图、不增加人手，只改变站位。

原理机制

假如村长让 9 个人站得更开，从“前后左右隔一格”变成一个大方阵，站在中间的人脚底仍有土地，只是他左右、上下、四角都隔着空地。这就是空洞卷积中的“洞”。人还是 9 个，但因为站位跨度变大，他们能同时观察到更大的矩形田块。在 CNN 里，所谓的“洞”就是卷积核中不参与计算的空位。

从数学上看，原始卷积核仍保存 9 个可学习权重。膨胀率 r 表示相邻有效权重之间隔着几个单位。r=1 就是普通卷积；r=2 时，权重不再落在相邻格点上，而是在跨度 5×5 的范围内按规律分布。中间那些没有权重的格子，就相当于被拉开的空地。把原始权重拷进一个更大的零矩阵，就是空洞卷积核的构造方式：

所以空洞卷积的“洞”不是把参数删掉，而是把参数之间的距离拉大。就像巡逻队没有少人，只是阵型变宽了。

空洞率设置

巡逻队拉开多大距离，直接决定能看多远。这个距离就是膨胀率 r。如果 r 取得小，队伍紧凑，适合观察近处细节；如果 r 取得大，队伍松散，能覆盖大片田地，但对脚下细小的庄稼变化可能不太敏感。工程上选择 r，就是在“看清局部”和“望得更远”之间做权衡。

对于一个卷积核大小为 K、膨胀率为 r 的空洞卷积，它单层能看到的范围有一个简洁公式：

实际使用中，通常不会只用一个大 r，而是让不同层或不同分支使用不同的 r。小 r 负责近处细节，大 r 负责远处结构，最后再把信息合并起来——这就是下一节的多尺度融合。

多尺度融合

村长发现，单靠一种间距没法同时看清蚂蚁和山。于是他把巡逻队分成几个小组，有的小组隔 1 垄站，有的隔 2 垄，有的隔 3 垄，最后把各组的观察报告拼成一张总图。空洞卷积也这样用：对同一输入特征图，并行跑多个不同膨胀率的卷积，再把结果沿通道方向拼接。这种并行多分支结构，就是多尺度感受野融合。

设输入特征图为 X，第 i 个分支使用膨胀率 \(r_i\) 的空洞卷积 \(f_{r_i}\)，那么多尺度融合后的特征可以写成：

这种设计在 DeepLab 系列中非常有名，叫 ASPP，也就是空洞空间金字塔池化。它让网络既能识别细小物体，又能理解大范围背景，是语义分割里的标准操作。

网格效应消除

如果所有巡逻队都按 r=2 等距站，几支队伍的位置会周期性地重合，结果有些田垄被反复检查，有些田垄却始终没人看。在特征图上，这种现象表现为棋盘格状的盲区，被称为“网格效应”。空洞卷积虽然扩大了感受野，但如果多个空洞卷积层使用相同的膨胀率堆叠，就容易漏掉局部信息。

为了消除这种漏检，研究人员提出混合空洞卷积，也就是 HDC。核心思路是：一组空洞卷积的膨胀率不要都选倍数关系，而是采用类似 r=1、2、3 的锯齿状设计，让不同层的采样点互相补位。一个常见的经验条件是：

所以，空洞卷积不是“拉开间距就完事”，还要让间距有节奏。就像多个巡逻队错峰值守，才能保证整片田没有死角。

语义分割应用

语义分割要回答的问题是：图像中每一小块土地分别是什么作物？这类任务被称为密集预测，因为它要求对每个像素都输出类别。如果使用池化来扩大感受野，图像的细节会变模糊，分割边界就会像毛边一样粗糙。空洞卷积恰好能在不缩小特征图的情况下扩大视野，让网络保留高分辨率细节。

DeepLab 系列把这一思想发挥到极致。ASPP 模块中，同一输入分别经过 1×1 卷积和膨胀率为 6、12、18 的 3×3 空洞卷积，再把结果拼起来。写成公式就是：

除了语义分割，空洞卷积也常用于音频处理。WaveNet 就在时间轴上用膨胀率 1、2、4、8 的堆叠，让模型不用降低采样率也能听到足够长的声音片段。实时检测中的 RFB 模块同样借鉴了这种多尺度思想。

实践实现要点

在代码中实现空洞卷积非常简单，但有几个细节值得注意。首先是参数账单：不管 r 取多大，原始卷积核里的权重数都不变。设输入通道数为 \(C_{in}\)，输出通道数为 \(C_{out}\)，卷积核大小为 K，则参数量为：

除参数量外，还要记得调整 padding。对于卷积核大小为 3、膨胀率为 r 的空洞卷积，通常设置 padding=r，才能让输出特征图保持原尺寸。PyTorch 里只需在 nn.Conv2d 中指定 dilation=r，框架会自动处理采样位置。使用空洞卷积时，既要享受大感受野的好处，也要像排兵布阵一样设计好膨胀率，才能真正做到不增参数、不留盲区。

AI 应用场景

Python 演示

import torchimport torch.nn as nn def effective_kernel(kernel_size, dilation):    return (kernel_size - 1) * dilation + 1 def main():    torch.manual_seed(0)    x = torch.randn(1, 3, 32, 32)     conv_std = nn.Conv2d(3, 8, kernel_size=3, padding=1)    conv_dil = nn.Conv2d(3, 8, kernel_size=3, padding=2, dilation=2)     out_std = conv_std(x)    out_dil = conv_dil(x)     params_std = sum(p.numel() for p in conv_std.parameters())    params_dil = sum(p.numel() for p in conv_dil.parameters())     print("标准卷积输出:", tuple(out_std.shape))    print("空洞卷积输出:", tuple(out_dil.shape))    print("标准卷积参数量:", params_std)    print("空洞卷积参数量:", params_dil)    print("等效感受野:", effective_kernel(3, 2)) if __name__ == "__main__":    main()

1. nn.Conv2d(3, 8, kernel_size=3, padding=2, dilation=2)创建一个空洞卷积层，膨胀率设为 2，padding 也设为 2 以保持输出尺寸。
2. effective_kernel(3, 2)用公式 (K-1)*r+1 计算等效感受野，得到 5。
3. sum(p.numel() for p in conv_dil.parameters())统计空洞卷积的所有参数数量，和普通卷积对比。
4. torch.manual_seed(0)固定随机种子，保证每次运行结果可复现。

常见误区

面试题