SegFormer语义分割的Transformer革新

可视化演示

动态演示SegFormer语义分割的的核心机制，通过采集/分析/决策/反馈四种模式展示关键概念与交互流程。

分割任务与CNN局限

测绘队最初的办法是步行勘测。测量员沿着街道走一步看一步，逐一记录每个小片区的用地属性。卷积神经网络在图像上做的事也很相似：用一组卷积核像手电筒一样在图上滑动，每次都只能照亮相邻的几块像素。这种“走一步看一步”的方式，能识别墙角、窗户等局部纹理，却很难判断眼前这片区域究竟属于商业区还是住宅区。

在语义分割任务中，模型要为图像中每一个像素打上一个类别标签，比如“道路”“建筑”“植被”。如果只看每个像素及其周围的一小撮邻居，就像测量员只盯着脚下的砖缝，很容易把同一栋楼标记成好几种用地性质。CNN为了扩大视野，只能堆叠更多卷积层或使用空洞卷积，成本不断上升，信息也在层层传递中被稀释，于是大目标上常出现割裂和空洞。

卷积网络的视野变化可以用感受野公式表达：

这种“一步一景”的勘测方式终究有天花板——城市越大，步行效率越低。测绘员们开始仰望天空：如果有一双眼睛能同时看到整座城市，该有多好？

Transformer全局建模

无人机升空的那一刻，视野豁然开朗。从高空俯瞰，左上角的公园和右下角的商业街尽收眼底，这正是Transformer自注意力机制的核心气质：让图像中的每一个位置，都能与全图其他所有位置建立直接联系。传统CNN的信息传递像测量员的脚步，必须一步步靠近；而自注意力是上帝视角，任意两个像素之间都能“直线通话”，距离不再是障碍。

SegFormer的编码器接住输入后，会先把图像切成一个个patch小块，每个patch被映射成三个向量：Query（查询）、Key（键）、Value（值）。Q负责发出“我在找什么”的信号，K负责回应“我有什么”，V则携带真正的内容信息。Q与K的点积决定了两个patch之间该互相投入多少关注，V则把这些关注汇总成上下文。多个注意力头并行执行这个过程，让模型能在不同子空间里捕捉丰富的关系——比如分割行人时，模型会自动把目光投向远处的车辆和楼宇，以判断整个场景的语义。

自注意力的标准公式如下：

有了“上帝视角”，分割模型第一次真正摆脱了局部视野的束缚。但无人机拍到的画面仍然太“平”——不同高度的航拍信息还没有被组织起来，这引出了下一个关键设计。

层级特征提取

拥有全局眼光的测绘队没有只派一架无人机，而是组织了一个编队：低空机贴着街道飞，拍清每一处建筑细节；中空机负责街区轮廓；高空机俯瞰整座城市的骨架。SegFormer的四个Transformer阶段正是这样的编队，它们逐层降低分辨率、扩大通道数，形成1/4、1/8、1/16、1/32四个尺度的特征金字塔。

每架无人机起飞前需要先完成“编组”，对应模型中的Patch嵌入。图像先被切分成一个个小patch，每个patch压缩成一个特征向量，供Transformer处理。这里的巧妙之处在于重叠patch嵌入：SegFormer不是简单地切成互不重叠的方块，而是用卷积核大于步长的方式切分，让相邻patch之间保留重叠区域。这就像低空无人机的航拍照片互相交叠一部分，拼接时不会有裂缝和错位。

重叠patch嵌入可以写成：

四组不同高度的“照片”已经就绪，但还有一个隐患：传统Transformer必须为每一张照片标注固定网格坐标才能拼接，如果城市照片的尺寸变了，坐标纸还能用吗？SegFormer给出了一个大胆的答案。

位置编码创新

传统航拍拼接依赖印满编号的网格坐标纸——每张照片必须对准网格线才能拼出整图。一旦换了更大画幅的相机，旧坐标纸就彻底作废。ViT等标准Transformer正是这样：给每个patch注入固定的正弦位置编码，这个编码按“序号”固化下来。训练时输入的图片是224×224，推理时换成1024×1024，位置序号超出了训练见过的长度，模型就会发懵，必须做复杂的插值操作来补救。

SegFormer做了一个非常大胆的决定：完全不使用位置编码。patch嵌入之后，特征直接进入Transformer，不注入任何额外的位置信号。为什么这行得通？因为零位置编码的设计并非“丢掉位置”，而是让位置信息以隐式方式保留：重叠patch嵌入和卷积操作天然携带了邻接关系，patch在序列中的排列顺序也隐含了空间格局；再加上注意力本身能够根据内容推断相对位置，模型并不依赖那份脆弱的“坐标纸”。

传统固定位置编码的公式长这样：

扔掉网格纸之后，SegFormer终于可以放飞自我：训练时用小图，推理时直接上大图甚至4K影像，分辨率不再成为模型的枷锁。接下来，最后一间轻便工坊登场——它要负责把四组航拍照片拼成一张完整地图。

轻量MLP解码器

地图绘制的最后一步，是把四组不同高度的航拍照片合成为一张标注清晰的城市地图。过去的分割模型往往配备重型解码器：多层卷积、注意力模块、反卷积层层叠加，复杂度甚至超过编码器本身。SegFormer的MLP解码器却朴素得像一间简易工坊：先用几个1×1卷积把四层金字塔特征各自压缩到统一通道，再把它们上采样到相同尺寸，沿通道方向拼接，最后用一个简单的MLP直接输出每个像素的类别。

这个“轻”是刻意的设计。编码器负责提取丰富多尺度特征，解码器只做轻量融合，模型整体的参数和算力因此大幅下降，训练和推理都更加高效。

MLP解码器的融合过程可以表示为：

值得注意的是，SegFormer全程没有使用显式的“掩码操作”。传统方法里有时需要预测掩码、再做条件随机场后处理，而SegFormer直接从特征图端到端输出像素级类别概率，训练和推理一气呵成，就像打印机从一张电子设计稿直接输出成品图纸，无需人工反复修修补补。

性能与部署

有了无人机编队和轻便工坊，这张“城市地图”终于可以大规模投入生产。训练时，SegFormer使用AdamW优化器配合线性学习率调度，不需要复杂技巧就能稳定收敛。为了发挥多尺度优势，工程上常采用“小图预训练+大图微调”的策略：先在224×224上训练，再切换到目标分辨率微调。由于零位置编码的设计，这个切换过程极为顺滑，模型不会因为分辨率突变而崩溃。

在部署选型上，SegFormer提供了B0到B5多个版本，参数量和算力逐级递增：B0轻巧快速，适合嵌入式设备和移动端；B4、B5精度更高，适合服务器GPU。配合量化与剪枝，SegFormer在实际推理框架中表现出良好的实时性，尤其适合自动驾驶、遥感分析这类对分辨率和延迟“双高要求”的场景。

训练过程的损失函数是标准的逐像素交叉熵：

至此，从步行勘测到无人机航拍，从厚重工坊到轻便打印，SegFormer完成了整个分割流程的革新。它在精度、分辨率灵活性和部署效率之间找到了精妙的平衡，成为语义分割领域一个不可忽视的里程碑。

AI 应用场景

Python 演示

import torchimport torch.nn as nnimport torch.nn.functional as F  class PatchEmbed(nn.Module):    """重叠patch嵌入：kernel大于stride，让相邻patch保留重叠区域"""     def __init__(self, in_ch, out_ch, kernel=7, stride=4, pad=3):        super().__init__()        self.proj = nn.Conv2d(in_ch, out_ch, kernel, stride, pad)        self.norm = nn.LayerNorm(out_ch)     def forward(self, x):        x = self.proj(x).permute(0, 2, 3, 1)        x = self.norm(x).permute(0, 3, 1, 2)        return x  class TransformerBlock(nn.Module):    """单个Transformer块：自注意力加MLP，含LayerNorm残差"""     def __init__(self, dim, heads=4, mlp_ratio=4):        super().__init__()        self.dim = dim        self.attn = nn.MultiheadAttention(dim, heads, batch_first=True)        self.norm1 = nn.LayerNorm(dim)        self.norm2 = nn.LayerNorm(dim)        self.mlp = nn.Sequential(            nn.Linear(dim, dim * mlp_ratio),            nn.GELU(),            nn.Linear(dim * mlp_ratio, dim),        )     def forward(self, x):        b, c, h, w = x.shape        x = x.flatten(2).transpose(1, 2)        x = x + self.attn(self.norm1(x), self.norm1(x), self.norm1(x))[0]        x = x + self.mlp(self.norm2(x))        return x.transpose(1, 2).reshape(b, self.dim, h, w)  class SegFormerHead(nn.Module):    """轻量MLP解码器：多尺度特征融合后直接输出像素类别"""     def __init__(self, in_chs=[32, 64, 128, 256], cls=6):        super().__init__()        self.fuse = nn.ModuleList([nn.Conv2d(c, 32, 1) for c in in_chs])        self.head = nn.Conv2d(32 * 4, cls, 1)     def forward(self, feats):        outs = []        for f, conv in zip(feats, self.fuse):            conv_f = conv(f)            outs.append(F.interpolate(conv_f, size=feats[0].shape[-2:], mode='bilinear'))        return self.head(torch.cat(outs, dim=1))  class SegFormer(nn.Module):    """极简SegFormer：层级Transformer编码器 + 零位置编码 + MLP解码器"""     def __init__(self, cls=6):        super().__init__()        self.embed1 = PatchEmbed(3, 32, 7, 4, 3)        self.embed2 = PatchEmbed(32, 64, 3, 2, 1)        self.embed3 = PatchEmbed(64, 128, 3, 2, 1)        self.embed4 = PatchEmbed(128, 256, 3, 2, 1)        self.blocks = nn.ModuleList([            TransformerBlock(32, 1),            TransformerBlock(64, 2),            TransformerBlock(128, 4),            TransformerBlock(256, 8),        ])        self.head = SegFormerHead([32, 64, 128, 256], cls)     def forward(self, x):        feats = []        for emb, blk in zip(            [self.embed1, self.embed2, self.embed3, self.embed4],            self.blocks,        ):            x = blk(emb(x))            feats.append(x)        return self.head(feats)  def main():    model = SegFormer(cls=6)    num_params = sum(p.numel() for p in model.parameters())    print("模型参数量:", num_params)    x = torch.randn(1, 3, 224, 224)    out = model(x)    print("分割输出形状:", out.shape)  if __name__ == "__main__":    main()

1. self.proj = nn.Conv2d(in_ch, out_ch, kernel, stride, pad)用卷积实现patch嵌入，kernel大于stride时相邻patch自然重叠。
2. self.norm = nn.LayerNorm(out_ch)对每个patch向量做层归一化，稳定训练。
3. x.flatten(2).transpose(1, 2)将特征图展平成序列，送入多头注意力。
4. self.attn(self.norm1(x), self.norm1(x), self.norm1(x))[0]Q、K、V都来自同一特征，实现自注意力。
5. F.interpolate(conv_f, size=feats[0].shape[-2:], mode='bilinear')将各级特征上采样到统一尺寸，供解码器融合。
6. self.head(torch.cat(outs, dim=1))拼接多尺度特征后，用1×1卷积输出每个像素的类别logits。

常见误区

面试题