FPN：特征金字塔网络

可视化演示

多尺度难题

目标检测这栋大楼里，要抓的“人”有大有小：近处的行人像半身像，远处的人像芝麻点。只站在一层看，芝麻点倒是清楚，但你不知道它是人还是杂物；只站在顶楼看，你知道那是人，但芝麻点已经模糊成一团。单一特征层天然只能顾一头。如果只用最后一层高层特征，小目标在 1/32 比例下可能连一个像素都占不满；如果只用第一层低层特征，又缺少“这到底是不是目标”的全局判断。

朴素的做法是图像金字塔：把原图缩成好几个尺寸，分别塞进模型，如同让安保团队坐直升机在不同高度拍照。精度有提升，但计算量成倍增加，推理速度让很多落地项目无法接受。另一个思路是直接在多个特征层上做预测，也就是“多层预测雏形”，但高层语义没有真正回流到低层，低层依然缺少上下文，小目标容易被漏掉。

FPN 的解题思路完全不同：不重复计算整张图，只利用 CNN 天然逐层下采样形成的特征层级，再人为加一条自上而下的通路，把高层的全局语义“广播”到低层。这就是特征金字塔，而不是图像金字塔。像在每层楼安装信息管道，让顶层情报直达每个楼层的保安室，成本低，效果却脱胎换骨。

特征层级

CNN 本身就是一座天然的楼层。最早的卷积层像一楼大厅的保安，能看到每个人的鞋带、耳机线这些局部细节，但不知道这个人要去哪里；越往后的卷积层像越来越高层的指挥官，视野越来越宏观，能说出“这是一个人”，但细节轮廓越来越模糊。这就是特征层级：分辨率从高到低，语义信息从弱到强。

在 ResNet 这类骨干网络里，我们习惯把第 2 到第 5 个阶段的输出称为 C2、C3、C4、C5。C2 分辨率最高，比如原图的 1/4，保留大量边缘和纹理；C5 分辨率最低，比如原图的 1/32，但包含最完整的“目标是什么”的语义。问题是，分辨率与语义在这个天然金字塔里是反向的：想看清小目标，应该用高分辨率；想判断目标类别，应该用高语义。二者在一张特征图里难以兼得。

所以早期检测器往往强行选一层：选高层，大目标分类准，小目标检测差；选低层，小目标定位准，大目标理解差。FPN 的出发点很朴素：既然低层有细节、高层有语义，那就把它们连接起来，让每一层都拥有“高低搭配”的能力。

自顶向下路径

要让每一层都懂全局，首先得把高层的“城市摘要”送下来。想象顶楼会议室有一张巨大的城市全景图，现在要把这张图复印到下面每一层。由于楼层越高，对应的“地图”越小，往下走时必须把地图放大到和下一层相同尺寸。这就是自顶向下路径：从 P5 开始，反复使用上采样操作，把高层特征逐级放大。

横向连接

横向连接是 FPN 最关键的一步。电梯带来的是“模糊但懂全局”的语义地图，本层原始特征提供的是“清晰但不懂全局”的细节图。二者需要合并。但 C 层和 P 层的通道数往往不同，比如 ResNet 的 C5 可能是 2048 通道，而统一金字塔要求 256 通道，直接相加维度不匹配。于是先用一个 1x1 卷积做横向投影，把通道数对齐，再与上采样后的高层特征逐元素相加。

金字塔构建

有了电梯和走廊，整栋楼就形成了一个完整的 P2 到 P5 金字塔。每个 P 层对应一个步长，步长决定了原图中的一个小区域会被压缩成几个像素。P2 的步长是 4，P3 是 8，P4 是 16，P5 是 32，逐层减半，正好形成一座下宽上窄的楼。

小目标检测

小目标为什么难？因为目标尺寸一旦小于步长，下采样后可能只剩一个像素甚至消失。P5 的步长是 32，一个 32 像素高的小人在特征图上只有 1 像素，基本无法提取形状。而 P2 的步长是 4，同一个目标还有 8 像素，足够保留轮廓。FPN 的高明之处，就是让高分辨率的 P2/P3 也获得高层语义，不用再担心“看得清但看不懂”。

为了让小目标匹配到合适层级，FPN 给不同 P 层分配不同大小的锚框：P2 用最小的锚框，越往上锚框越大。基础锚框边长可以写成：

FPN与检测框架

FPN 不是一个独立检测器，而是一套可插拔的骨架方案。在 Faster R-CNN 中，骨干网络从“只输出最后一层特征”改成“输出 P2 到 P5 金字塔”，RPN 会在每一层上滑动生成候选框。每个 P 层共享同一套 RPN 头，只是锚框尺寸不同。这相当于每个楼层的保安都用同一套设备，但各自巡逻不同尺度的目标。

RPN 生成候选框后，还需要决定从哪个 P 层裁剪特征供分类回归。FPN 论文用了一个层级分配公式：

AI 应用场景

Python 演示

import torchimport torch.nn as nnimport torch.nn.functional as F  class SimpleFPN(nn.Module):    """A minimal FPN that accepts [C2, C3, C4, C5]."""     def init(self, in_channels_list, out_channels=256):        super().init()        self.lateral_convs = nn.ModuleList()        self.smooth_convs = nn.ModuleList()        for in_ch in in_channels_list:            self.lateral_convs.append(nn.Conv2d(in_ch, out_channels, 1))            self.smooth_convs.append(nn.Conv2d(out_channels, out_channels, 3, padding=1))     def forward(self, feats):        laterals = []        for conv, feat in zip(self.lateral_convs, feats):            laterals.append(conv(feat))         outs = []        prev = laterals[-1]        for i in range(len(laterals) - 1, -1, -1):            if i < len(laterals) - 1:                up = F.interpolate(prev, size=laterals[i].shape[-2:], mode='nearest')                prev = laterals[i] + up            outs.append(prev)        outs.reverse()        outs = [smooth(out) for smooth, out in zip(self.smooth_convs, outs)]        return outs  if name == "main":    torch.manual_seed(0)    fpn = SimpleFPN([64, 128, 256, 512])    inputs = [        torch.randn(1, 64, 56, 56),        torch.randn(1, 128, 28, 28),        torch.randn(1, 256, 14, 14),        torch.randn(1, 512, 7, 7),    ]    outputs = fpn(inputs)    for i, out in enumerate(outputs):        print("P%d: %s" % (i + 2, tuple(out.shape)))

常见误区

面试题