语义分割：FCN全卷积网络

可视化演示

展示系统处理流水线、实时性能指标曲线及多方案对比分析，包含数据流转、吞吐延迟监控与方案评估。

问题背景：一张等待填色的城市地图

填色师小全第一次上岗就懵了：师父递给他一张 12×8 的格子地图，告诉他每个格子要么是道路、建筑、公园，要么是背景。小全原以为是做“找规律”游戏，结果发现每个格子的颜色和它周围的环境有关：左上角一大片绿色是因为那是公园区，中间横穿的浅灰色长带是因为那是主干道。只看单个格子，谁也猜不出它该是什么颜色。

这个“给每个像素贴标签”的任务，就是计算机视觉里的语义分割（Semantic Segmentation）。与图像分类只输出“这张图里有汽车”不同，语义分割要求输出一张与输入同尺寸的“标签图”，每个像素都标明自己的类别。它是自动驾驶、医学影像分析、遥感解译等场景的基础能力。

早期方法依赖人工设计的特征：颜色阈值、边缘检测、纹理滤波器。好比用固定的尺子在每一处丈量，稍微换个天气、换个光影就失效。深度学习带来的范式变革是端到端学习：不再手工设计规则，而是从大量标注数据中自动学习“什么格子该涂什么色”。用数学语言说，对每个像素，模型要估计它属于每个类别的概率，并选出最大者作为标签：

对小全来说，这个公式只是“目标”——最终要把每个格子都盖上正确的章。真正难的是如何让网络既看得清大局，又看得准细节。这正是后面几节要解决的问题。

CNN基础：填色师的观察课

师父给小全上了第一课：“先学观察。”观察分三步：一是用放大镜看局部纹理——柏油路有颗粒感，屋顶有棱线；二是眯起眼睛看整体——一片区域整体偏绿可能是公园；三是写一份总结报告——“这张图左上角是公园，中间是道路”。小全照做了，却发现第三步有大问题。

CNN 恰好就是这三步的机器版本。卷积层（Convolution Layer）用一组可学习的卷积核在图像上滑动，提取局部特征，相当于放大镜；池化层（Pooling Layer）对特征图做降采样，把分辨率减半，相当于眯眼拉远视角；全连接层（Fully Connected Layer）把二维特征图展平成一维向量，再映射成类别概率，相当于写总结报告。

卷积的数学本质是加权求和：卷积核覆盖的邻域像素与核权重逐项相乘累加，得到新特征图上的一点。池化则选择窗口内的最大值或平均值，保留“这里有没有重要特征”的信息，同时扩大感受野（Receptive Field）——即输出点能看到输入区域的尺寸。问题在于，全连接层把空间位置全部打散，地图变成了“一段话”，无法回到格子。

小全这才意识到：自己将来要交的是一张填好色的地图，不是一段“地图描述”。全连接层这种“总结报告”必须被改造——这正是 FCN 诞生的契机。

全卷积改造：扔掉总结报告，保留地图

小全做了一个大胆的决定：扔掉总结报告，随身带一盒印章。每走到地图的一个格子上，他就拿出所有类别的印章各试一下，看哪个颜色最合适，然后在原地盖一个章。这样，地图的形状一点没丢，每个位置都留下了自己的“类别记分”。

FCN 的关键一招，是把 CNN 末尾的全连接层全部替换成 1×1 卷积。1×1 卷积的卷积核只有 1×1 大小，它在每个空间位置上对通道做加权组合，本质上就是一个“逐像素的线性分类器”——对特征图上每个点，把 $D$ 个通道的值压缩成 $C$ 个类别的分数，完全不破坏空间排布。

改造之后，整个网络只剩卷积和池化，因此叫“全卷积网络”（Fully Convolutional Network）。网络输出的是一张 $C$ 通道的“分数图”，常被称为热力图（Heatmap）：每个位置对应原图一个区域，每个通道对应一个类别的置信度。由于没有全连接层对输入尺寸的固定要求，FCN 可以接受任意尺寸的输入图像，这在工程上非常灵活。

小全的印章办法奏效了：地图的空间结构保住了。可问题也随之而来——经过多次池化，特征图分辨率只剩原来的 1/32，好比一张大草图被缩成了邮票大小。他得把邮票重新放大回整张图纸。

上采样恢复：把缩小草图放大回原尺寸

师父给了小全两个放大草图的方案。方案一：用笔把颜色直接抹开，简单省力，但抹出来的边界是糊的，像水彩晕染；方案二：观察师父以前是怎么画的，学习“边缘如何补、纹理如何续”，有目的地重绘。小全自然选了方案二——这是能学习的上采样。

上采样（Upsampling）把低分辨率特征图恢复到高分辨率。最简单的办法是插值：双线性插值（Bilinear Interpolation）用周围四个点的加权平均填补新位置，计算快但没有新信息，相当于“抹颜色”；FCN 采用的可学习方案是转置卷积（Transposed Convolution），也叫反卷积（Deconvolution）——它按步长在输入元素之间插入零，再做普通卷积，权重由训练学出来，相当于“学着补细节”。

需要强调，转置卷积并不是卷积的严格逆运算，它不能把池化丢掉的像素复原，只能学到一个从低分辨率到高分辨率的映射。输出尺寸由步长、填充和卷积核共同决定，其中步长 $s$ 就是放大倍数。

小全把邮票放大回了整张图纸，颜色大致对了，但边界糊成一片：公园和道路交界处，绿色和灰色搅在一起。师父检查后说：“你只用了远看的印象，没结合近看的细节。”

跳连融合：大视角与细节的结合

师父翻开小全的素描本：“当初你眯眼看到的整体（深层特征）能告诉你'这一片是公园'，但你近看时记下的纹理（浅层特征）才能告诉你'边界在这里'。把两本笔记合起来看，边界才画得准。”

这就是跳连结构（Skip Connection）的动机。深层特征经过多次池化，语义信息强但分辨率低，边界被磨平；浅层特征分辨率高、细节丰富，但语义还不够抽象。把浅层特征与上采样后的深层特征融合，可以让分割图既分类正确又边界清晰。

具体做法是先对深层特征做上采样，使其与某个浅层特征图尺寸一致；再用 1×1 卷积把浅层特征的通道数对齐，最后逐元素相加。FCN 论文给出了三种尺度：FCN-32s 直接对 1/32 的特征图做 32 倍上采样，边界最粗糙；FCN-16s 融合一次浅层特征后上采样；FCN-8s 融合两次浅层特征，边界最精细，这也是效果最好的版本。

小全终于交出了满意的作品：大片的类别颜色正确，路缘、屋顶棱线也清晰利落。填色师出师了，但师父提醒他：“画得准不准，还要有一套批量校对的方法。”

训练优化：如何教填色师

师父规定，小全每画完一张地图，就要对照标准答案逐格打分：颜色相同记 0 分，不同记 1 分，然后把所有格子的分数做平均。分数越高说明画得越差，这叫“损失”。更特别的是，如果整张地图 90% 是道路，师父会额外强调：把公园画错了要扣双倍分，否则小全可能偷懒把所有格子都涂成道路。

语义分割训练最常用的损失是逐像素交叉熵（Cross Entropy）。对于每个像素，模型输出各类别的概率分布，交叉熵衡量预测分布与真实 one-hot 标签的差异，然后对所有像素取平均。类别不平衡（Class Imbalance）是分割任务的高频问题——背景像素往往远多于目标像素，直接用交叉熵会让模型偏向多数类，常见的解决办法是给不同类别设置权重。

训练上，FCN 通常先用 ImageNet 预训练的分类网络（如 VGG16）作为骨干，再把全连接层换成卷积并微调（Fine-tune）。端到端训练时整张图一次前向、一次反传，梯度从每个像素的损失回流到所有卷积层。为了训练稳定，学习率通常较小，并结合批量归一化等技巧。

有了这套“逐格校对 + 重点类别加权”的训练法，小全的填色水平稳步提升。出师考核的日子到了。

应用评估：从课堂走向真实城市

考核官不看单张作品的漂亮程度，而是用一把“重叠尺”来量：把预测涂色的区域和标准答案区域叠在一起，看重叠的部分占两者总和的多少。重叠越多，分数越高。这就是 IoU——交并比。

IoU 是语义分割最常用的评估指标。它与逐像素准确率不同：即使一张图 90% 是背景，只要把背景全涂对也能拿到 90% 准确率，而 IoU 会分别计算每个类别的重叠程度，对小类别更公平。

工程上，IoU 就是对每个类别计算预测集合与真实集合的交集大小除以并集大小，再对类别取平均（mIoU）。FCN 开辟了端到端像素分割的路线，直接催生了自动驾驶的道路分割、医学影像的病灶区划分（肿瘤、器官），以及遥感影像的土地利用分类。当然 FCN 也有局限：边界仍不够锐利、显存占用大、对小目标不敏感；后续的 DeepLab 空洞卷积、U-Net 编解码结构都是在这条路上的改进。

小全终于捧着证书走进了真实世界。从自动驾驶汽车辨认车道，到医生在 CT 片上圈出病灶，到处都是他这门手艺的身影。而这一切的起点，只是一张等填色的城市地图，和一个敢于扔掉总结报告、保留整张地图的学徒。

AI 应用场景

Python 演示

import torchimport torch.nn as nn  class SimpleFCN(nn.Module):    """A minimal FCN: conv features + 1x1 head + transposed conv upsample."""     def __init__(self, num_classes=3):        super(SimpleFCN, self).__init__()        self.features = nn.Sequential(            nn.Conv2d(3, 32, kernel_size=3, padding=1),            nn.ReLU(inplace=True),            nn.MaxPool2d(2),            nn.Conv2d(32, 64, kernel_size=3, padding=1),            nn.ReLU(inplace=True),            nn.MaxPool2d(2),            nn.Conv2d(64, 128, kernel_size=3, padding=1),            nn.ReLU(inplace=True),            nn.MaxPool2d(2),        )        self.head = nn.Conv2d(128, num_classes, kernel_size=1)        self.upsample = nn.ConvTranspose2d(num_classes, num_classes, kernel_size=8, stride=8)     def forward(self, x):        x = self.features(x)        logits = self.head(x)        return self.upsample(logits)  def make_batch(batch_size=2, size=32):    images = torch.randn(batch_size, 3, size, size)    masks = torch.zeros(batch_size, size, size, dtype=torch.long)    half = size // 2    masks[:, :half, :half] = 1    masks[:, half:, :half] = 2    return images, masks  def train_one_epoch(model, loader, optimizer, criterion):    model.train()    for images, masks in loader:        logits = model(images)        loss = criterion(logits, masks)        optimizer.zero_grad()        loss.backward()        optimizer.step()    return loss.item()  def main():    model = SimpleFCN(num_classes=3)    optimizer = torch.optim.Adam(model.parameters(), lr=1e-3)    criterion = nn.CrossEntropyLoss()    images, masks = make_batch()    loader = [(images, masks)]    for epoch in range(5):        loss = train_one_epoch(model, loader, optimizer, criterion)        print("epoch", epoch + 1, "loss", round(loss, 4))  if __name__ == "__main__":    main()

1. self.head = nn.Conv2d(128, num_classes, kernel_size=1)用 1x1 卷积替代全连接层，保留空间位置的同时把特征压成类别分数图。
2. self.upsample = nn.ConvTranspose2d(num_classes, num_classes, kernel_size=8, stride=8)用转置卷积做 8 倍上采样，把缩小 8 倍的特征图恢复回输入尺寸。
3. logits = self.head(x)前向传播中先提取特征再做逐像素分类。
4. images, masks = make_batch()构造合成小图：左上为类别 1、右上为类别 2、其余为背景类别 0。
5. loss = criterion(logits, masks)用逐像素交叉熵衡量预测分数与真实标签的差距。
6. loss.backward()反向传播，把损失梯度回传到所有卷积层。
7. optimizer.step()更新可学习参数，让模型朝损失下降的方向走一步。
8. print("epoch", epoch + 1, "loss", round(loss, 4))每轮打印损失，观察收敛情况。

常见误区

面试题