FCN与U-Net语义分割

可视化演示

动态演示FCN与U-Net语义分割的核心机制，通过输入/处理/存储/输出四种模式展示关键概念与交互流程。

语义分割基础

刚接到涂色任务时，你面对的是整面灰墙。要动笔，首先得有个共识：墙上哪些区域算“房子”，哪些算“树”。同样，计算机在做语义分割前，必须先定义好“标签”——每个类别对应一种颜色。所谓语义分割，就是把图片里的每一个像素都归类到预定义的物体类别中，相当于逐像素地“涂上对应颜色”。

这和图像分类、目标检测有本质区别。分类只回答“这幅图里有什么”，像看一眼整面墙说“有房子有树”；检测要框出物体位置，像画个椭圆圈住房子再写个标签；而分割要精细到每个像素，像把墙上的每一块砖都判定归属。正因为分割输出的是像素级“涂色图”，它能为自动驾驶标注可行驶区域、为医生圈出病灶轮廓，是理解场景细节的关键技术。

要衡量涂色精度，最常用的是 mIoU（平均交并比）。它计算每个类别预测区域与真实标注区域的重叠程度。IoU 像两个涂色区域的“重合率”——你涂的房子轮廓和标准答案重叠越多，IoU 越高；把所有类别的 IoU 平均，就是 mIoU。

有了这把“评分尺”，接下来就能衡量两个涂色团队的功力高下了。

FCN设计思想

在 FCN 出现之前，给壁画涂色得先切成小碎片，一片片分类再拼回去。那时主流 CNN 结构末尾都有“全连接层”，它像一位只会写总结报告的助手：你把整幅画的像素数据给它，它只告诉你“这画里有房子”，却说不清房子在哪、有多少像素。因为全连接层把二维特征图压成了一维向量，空间位置信息全部丢光——这对分类足够，对分割是致命伤。

FCN 的“大刷子画家”提出了关键改革：把全连接层统统替换成卷积层。卷积操作天然在二维空间里滑动，输出仍然是带位置信息的特征图，就像画家不再写总结，而是直接拎着刷子在墙面上逐块涂刷。这一改造让网络能接收任意尺寸的输入，并输出同样尺寸的“涂色图”——实现了端到端的逐像素预测，这就是“全卷积网络”名字的由来。

不过问题也随之而来：网络经过多次池化下采样后，特征图变得又小又粗，像画家眯着眼只看得到大色块，细节全模糊了。于是 FCN 引入两步补救：一是用上采样把小特征图放大回原图尺寸，相当于把草图放大了再描边；二是用跳跃连接把浅层的高分辨率特征与深层的语义特征融合，相当于描边时不停对照原始线稿。这一“大刷子 + 对照原稿”的设计思想，为后来的 U-Net 铺平了道路。

卷积化的另一个额外好处是计算高效。全连接层参数动辄上亿，换成卷积后参数量骤减，训练和推理都快了不少。正是这一“简化却更聪明”的思路，让墙面涂色从“切碎拼接”进化成“一幅画直接画完”。

FCN网络结构

理解了思想，再看具体作品。FCN 有两个“刷子版本”要区分：基础版是 FCN-32s，融合版是 FCN-16s 和 FCN-8s。名字里的数字代表“最终预测相对于原图缩小的倍数”：32s 表示把 32 倍缩小的特征图直接放大 32 倍回到原图，8s 则从 8 倍缩小的特征图放大回来。

FCN-32s 的思路很直接：用 VGG16 作为骨干网络，经过 5 次池化后特征图缩小为原来的 1/32，此时用反卷积一次放大 32 倍，得到密集预测。这就像画家站在远处，用大刷子把墙面刷完——速度快，但边缘的细节全丢了，锯齿感严重。

FCN-16s 不甘心，决定中途停下来对照一下草图：把 1/32 的特征图上采样 2 倍，再与第 4 次池化得到的 1/16 特征图逐元素相加融合，然后整体放大 16 倍。FCN-8s 更进一步，在 16s 的基础上，再把融合结果上采样 2 倍，与第 3 次池化的 1/8 特征图相加，最终放大 8 倍。每多融合一次浅层特征，就相当于多对照了一版更精细的原始线稿，边缘自然更清晰。

除了跳跃连接，上采样方法也值得关注。FCN 中常用的反卷积（转置卷积）可以学习上采样参数，而线性插值则是固定规则的放大。反卷积像“能学习刷法的画笔”，插值像“按比例机械放大”，前者更灵活，后者更省心。实践中两者常搭配使用。

U-Net架构

如果说 FCN 是单枪匹马的大刷子画家，U-Net 就是一支分工明确的精装修团队。它的名字来自网络结构的"U"形：左边一路下采样收缩，右边一路上采样扩张，左右对称，像字母 U 的两条边。这个结构专为医学图像等小样本场景设计，2015 年提出后至今仍是医学分割的首选基线。

左边的编码器像搭脚手架：每次用两层卷积提取特征，再用最大池化把特征图缩小一半，如同从近距离观察一步步退到远距离俯瞰。随着“后退”，网络看到更宏观的语义，但牺牲了细节——第 4 层时特征图只有原图的 1/16，像站在楼顶看壁画，只能看清大致分区。最底部的瓶颈层则将信息压缩到最精华的语义表达。

右边的解码器是“下楼精修”：每一步先用转置卷积把特征图放大一倍，再与左边对应层“跳跃连接”过来的特征在通道维拼接，然后通过两层卷积融合提纯。关键是跳跃连接：它把编码器在对应尺度下的高分辨率细节直接“快递”到解码器，像装修师傅每修复一层墙面，就翻开原始设计图对照一次。这正是 U-Net 比 FCN 边缘更精细的根本原因。

U 形设计的精妙还在于对称性：编码器每一次下采样丢失的细节，解码器都能通过跳跃连接找回来；而 FCN 只做了深层的少数几次融合，相当于只在最后几步对照草图。另外，由于拼接后通道数翻倍，U-Net 参数量不小，但医学图像通常分辨率有限（如 512×512），训练依然可行——这也是它适合医疗场景的底气所在。

训练与优化

模型结构只是“画笔”，要让画笔听话地涂出漂亮壁画，还得靠训练。语义分割的损失函数最常用的是交叉熵损失——它逐像素比较模型预测的类别概率与真实标签，像老师逐个像素批改作业：预测错了就记一笔，错得越离谱惩罚越大。

对医学图像这类前景占比极小的场景，普通交叉熵会被大面积背景“淹没”；这时常用 Dice 损失或加权的交叉熵。Dice 损失直接衡量预测区域与真实区域的面积重叠程度，像校对两块涂色区域的重合面积，即使前景再小也能敏感捕捉。第 1 节讲的 mIoU 是评测指标，而 Dice 损失是训练目标，两者思路相近、各司其职。

数据增强是第二件法宝。医学图像样本常只有几十上百张，容易过拟合。通过随机旋转、翻转、缩放、弹性形变等手段，相当于把有限的几张草图变换出无穷多个练习版本，让画家见多识广。弹性形变尤其适合医学图像，因为器官组织天然有柔韧变形，增强后模型更抗造。

第三个技巧是迁移学习：用 ImageNet 上预训练好的权重初始化编码器，相当于让画家先跟着大师学配色构图，再回来刷你指定的墙。由于编码器提取的是通用边缘、纹理特征，迁移后只需训练解码器即可快速收敛。U-Net 在小数据集上的成功，正是“预训练 + 强增强 + 对称结构”三者合力的结果。

效果对比实战

两种团队各有拥趸，实战中怎么选？先看数据量：FCN 像依赖大量练习的速写师，需要充足标注才能发挥威力；U-Net 凭借跳跃连接和对称结构，几十张训练图也能练出可用模型，因此在医学图像这种小样本场景几乎是无冕之王。

再看精度需求：FCN-8s 虽然融合了三层特征，但边缘仍不如 U-Net 细腻。医学上圈定肿瘤边界，差几个像素可能影响手术方案，U-Net 的精细定位优势就成刚需。而自动驾驶需要实时感知，FCN 结构简单、推理快，配合轻量骨干网络能跑出更高帧率，在 Cityscapes 等场景理解任务中留下了浓墨重彩的一笔。

最后是工程权衡：U-Net 因为大量特征拼接，显存占用高于同深度的 FCN；FCN 则因代码简洁、部署方便而受工程派喜爱。如果资源有限又想要 U-Net 的效果，可以考虑 U-Net 的轻量变体，或者只在深层使用跳跃连接。没有绝对的好坏，只有“哪把刷子配哪面墙”。

想验证 Dice 损失的实际效果，下一篇的 Python 小节会给出一个可运行的 U-Net 骨架，让你亲手搭建一支“精装修小队”。

AI 应用场景

Python 演示

import torchimport torch.nn as nn class DoubleConv(nn.Module):    def __init__(self, in_ch, out_ch):        super().__init__()        self.conv = nn.Sequential(            nn.Conv2d(in_ch, out_ch, 3, padding=1),            nn.BatchNorm2d(out_ch),            nn.ReLU(inplace=True),            nn.Conv2d(out_ch, out_ch, 3, padding=1),            nn.BatchNorm2d(out_ch),            nn.ReLU(inplace=True)        )     def forward(self, x):        return self.conv(x)  class UNet(nn.Module):    def __init__(self, in_ch=3, out_ch=1, features=64):        super().__init__()        self.enc1 = DoubleConv(in_ch, features)        self.enc2 = DoubleConv(features, features * 2)        self.enc3 = DoubleConv(features * 2, features * 4)        self.enc4 = DoubleConv(features * 4, features * 8)        self.pool = nn.MaxPool2d(2)        self.bottleneck = DoubleConv(features * 8, features * 16)        self.up4 = nn.ConvTranspose2d(features * 16, features * 8, 2, stride=2)        self.dec4 = DoubleConv(features * 16, features * 8)        self.up3 = nn.ConvTranspose2d(features * 8, features * 4, 2, stride=2)        self.dec3 = DoubleConv(features * 8, features * 4)        self.up2 = nn.ConvTranspose2d(features * 4, features * 2, 2, stride=2)        self.dec2 = DoubleConv(features * 4, features * 2)        self.up1 = nn.ConvTranspose2d(features * 2, features, 2, stride=2)        self.dec1 = DoubleConv(features * 2, features)        self.out_conv = nn.Conv2d(features, out_ch, 1)     def forward(self, x):        e1 = self.enc1(x)        e2 = self.enc2(self.pool(e1))        e3 = self.enc3(self.pool(e2))        e4 = self.enc4(self.pool(e3))        b = self.bottleneck(self.pool(e4))        d4 = self.dec4(torch.cat([self.up4(b), e4], dim=1))        d3 = self.dec3(torch.cat([self.up3(d4), e3], dim=1))        d2 = self.dec2(torch.cat([self.up2(d3), e2], dim=1))        d1 = self.dec1(torch.cat([self.up1(d2), e1], dim=1))        return self.out_conv(d1)  if __name__ == '__main__':    model = UNet(in_ch=3, out_ch=1)    x = torch.randn(2, 3, 128, 128)    y = model(x)    print('input:', tuple(x.shape), 'output:', tuple(y.shape))

1. class DoubleConv(nn.Module):定义“双卷积”积木块，先卷积+归一化+激活，再来一遍，是 U-Net 的基础单元。
2. nn.Sequential(...)把两层卷积串成流水线，让特征逐层提炼。
3. self.enc1 = DoubleConv(in_ch, features)编码器第一层，提取原始输入的浅层边缘纹理。
4. self.pool = nn.MaxPool2d(2)最大池化下采样，尺寸减半，像退后一步看全局。
5. self.bottleneck = DoubleConv(features * 16, features * 16)最底部的瓶颈层，压缩语义精华。
6. self.up4 = nn.ConvTranspose2d(...)转置卷积上采样，让特征图尺寸翻倍。
7. torch.cat([self.up4(b), e4], dim=1)跳跃连接：把上采样结果和编码器 e4 在通道维拼接。
8. self.out_conv = nn.Conv2d(features, out_ch, 1)1×1 卷积输出每个像素的类别分数。

常见误区

面试题