一个小Ne的自学成才：ConvNeXt 自监督预训练方法

可视化演示

展示ConvNeXt在自监督预训练中的应用流程，包括MAE掩码重建、MoCo对比学习、预训练迁移与有监督对比，直观理解视觉自监督表示学习。

主干现代化改造

老师发下一摞历代学霸的笔记。其中老牌学霸 ResNet 的笔记非常经典：整本都是 3×3 的小方格卷积反复堆叠，扎实但略显呆板。转学生小Win（Swin Transformer）的笔记则完全不同：他把内容先切成一块块的窗口，每块内部精读，块与块之间再互相交流（窗口注意力），还擅长把笔记先扩写再精简。小Ne（ConvNeXt）是个聪明的孩子，他拿起小Win的笔记对照着自己的抄了一遍——保留了自己“卷积走天下”的看家本领，吸收了对方的分块、大核、精简记录等优秀习惯。这个“抄作业再重构”的过程，就是 ConvNeXt 的现代化改造。

ConvNeXt 是 2022 年提出的纯卷积架构，它的口号很朴素：“把 Transformer 的设计哲学搬进 CNN”。改造不是发明全新算子，而是逐项升级 ResNet 中的经典设计：首先，把输入端原来的 7×7 大卷积替换成 4×4、步长为 4 的 patch 化卷积，模仿 ViT 把图像切成 token 的效果；其次，把模块里的大卷积换成 7×7 深度卷积（depthwise convolution），每个通道独立做空间卷积，大幅降低参数和计算量；再次，模块内部采用“逆瓶颈”结构——先升维再降维，让信息在更宽的通道空间里流动；最后，每个 stage 之间的下采样不再用池化，而改用步长为 2 的 3×3 卷积。训练配置方面也全面对标 Transformer：AdamW 优化器、GELU 激活、更强的数据增强。

改完笔记的小Ne，看书速度快了、重点记得牢了，而且还能同时吸收“窗口浏览”和“全局视野”两种模式的优点。正是这套现代化笔记法，为后面两项“不带答案的自学练习”打下了坚实的底子——没有好用的骨干，再好的自学方法也施展不开。

MAE掩码重建

新学期，老师开始训练小Ne的“上下文理解力”，方式很特别：完形填空。老师递给他一篇文章，随手用修正带盖住四分之三的字词，只留四分之一给他看，然后要求他凭这些零星的线索猜测被盖住的内容。刚开始小Ne全靠瞎猜，练了成千上万篇之后，他渐渐发现：“被盖住的部分其实藏在没被盖住的排列规律里。”这种从局部推断整体的能力，就是自监督学习中“重建式”任务的精髓。

MAE（Masked AutoEncoder，掩码自编码器）是 2021 年何恺明团队提出的生成式自监督方法。它把一张图像随机遮盖大部分 patch（图像块），让模型从可见 patch 重建被遮住的内容。MAE 最初搭配 ViT 使用效果惊艳，很多人以为“重建式自监督是 Transformer 的专利”，但 ConvNeXt 用行动证明：纯卷积网络只要做好 patch 化和残差设计，同样能把“完形填空”玩得转。

具体流程分为四步：第一步，用 patch 化卷积把图像切成 16×16 的 token；第二步，按 75% 的比例随机遮盖 patch；第三步，编码器只处理可见的 25% patch——这可是省计算量的关键，相当于做完形填空时只读保留的句子，不浪费时间盯着修正带；第四步，把编码结果交给一个很轻的解码器，让它还原出完整的图像。损失函数只在被遮盖的位置计算均方误差（MSE），没被遮的地方不参与监督，因为那些信息编码器“看得到”，不需要猜。

日积月累的完形填空，让小Ne的“上下文推理”能力大幅增强：他不再只盯着局部像素看，而是理解了图像整体的结构与纹理规律。这种对数据分布的深刻感知，正是后续做各类视觉任务时最重要的基础素养。

MoCo对比学习

除了完形填空，小Ne还喜欢玩一种叫“找相似”的卡牌游戏。老师发给他一沓卡片，每张卡片拍的是同一个物体在不同光线、不同角度下的样子，混在一起后还有别的物体混进来。小Ne的任务是：把同一物体不同视角的卡片归成一堆，其他物体的卡片踢出去。为了赢下游戏，他必须学会抓住每个物体的“本质特征”——而不是死记硬背某一张照片的光影。这种通过比较“谁和谁更像”来学习的方法，正是对比学习（contrastive learning）的思路。

MoCo（Momentum Contrast，动量对比）是对比学习的里程碑方法。它的具体玩法是：一张图片随机做两次数据增强，得到两个不同视角，视为正样本对；其他任意图片的增强结果就是负样本。模型要学一个特征空间，让正样本对在空间里靠得近，负样本对离得远。ConvNeXt 在这里的角色很自然——它可以无缝地作为 MoCo 的编码器骨干（backbone），负责把图片“翻译”成特征向量。

MoCo 的技术精髓在于两个设计：一是动量编码器（momentum encoder）。它用两套网络，一套叫 query 编码器，一套叫 key 编码器；key 编码器的参数不用梯度下降更新，而是由 query 编码器的参数做指数滑动平均（momentum update）慢慢“跟”出来。这样 key 特征在训练过程中保持稳定，不像孪生网络那样容易崩溃。二是大容量负样本队列。MoCo 维护一个存放历史负样本特征的队列，让每个 query 可以和上千个负样本比较，突破显卡显存的限制。最后用 InfoNCE 损失函数推动这种“拉近正样本、推远负样本”的学习。

经过千百次“找相似”游戏，小Ne心里渐渐浮现出一张高维的“语义地图”：同一类物体的特征彼此靠近，不同类物体互相远离。即便没有标签，他也对“事物之间的关系”有了敏锐的感觉——这是分类任务之外的一种更通用的能力。

双轨预训练对比

班里有两个同学代表两种学习路线。小Surf代表“有监督”，他每天抱着带标准答案的习题册刷题——每道题旁边都写着明确答案（人工标注）；小Self代表“自监督”，他没有答案册，只有一堆没写答案的百科全书，通过完形填空和找相似自己总结规律。两个人月考谁分数高？答案是：要看出题范围、题量和是否超纲。

有监督预训练的代表是 ImageNet-1K 上的分类任务，它需要 128 万张人工标注的图片，标注成本按“人·小时”计算。自监督预训练则只需要原始图像文件，标注成本几乎为零。研究者用两种标准协议来检验两者的差距：线性评估（linear probing）和端到端微调。线性评估是把预训练骨干完全冻结，只在特征之上训练一个线性分类头，用来衡量特征本身的线性可分性；微调则是放开全部参数，用下游任务数据继续训练。

从实验结果看，ConvNeXt 配合 MAE/MoCo 的自监督预训练，在线性评估上已经能逼近甚至追平有监督预训练；而在数据量较小的下游任务上，自监督往往更稳健。原因在于：有监督的分类目标会让特征偏向“区分类别专属的判别信息”，自监督的重建/对比目标则迫使模型保留更多通用结构信息。此外，自监督还有一个隐藏优势——数据效率。当你有 1000 万张无标签遥感图时，自监督可以放心地全量训练，而有监督只能望着标注预算叹气。

月考成绩揭晓：小Surf在训练过的题型上表现优异，但一遇到新科目、新题型立刻打折扣；小Self虽然开始慢热，却建立了一套更通用的认知框架，在没见过的题上反而更稳。这恰好点出自监督预训练的核心价值——它不追求在某一本练习册上拿满分，而要打造一个能应对各种新任务的通用大脑。

迁移下游任务

学完一个学期的通识课后，小Ne要参加分科考试了：数学考图像分类、物理考目标检测、生物考语义分割。如果每门课都从零开始翻课本，他得累死；聪明的做法是带着已经形成的“通用认知框架”，只花少量时间熟悉每个科目的出题套路。这个过程，在深度学习里叫迁移学习——把预训练阶段学到的通用视觉表示，适配到具体下游任务。

为什么 ConvNeXt 的自监督预训练模型能迁移得这么好？关键在于 MVCo/MAE 学到的是“图像的通用语法”：边缘怎么组织、纹理怎么分布、物体与背景怎么区分——这些都是所有视觉任务共享的基础。下游任务通常只有少量标注数据（几千张），如果从头训练大模型非常容易过拟合；而从预训练权重出发，模型只需要在已有基础上做小幅修改，就能用少量数据学好。

实际操作中有两种常用策略：冻结骨干 + 轻量头和全量微调。冻结骨干适合标注极少的场景，特征提取器完全不动，只训练一个简单的分类头或检测头，训练快、不易过拟合；全量微调适合数据比较充足的情况，让预训练权重在下游数据上继续适应，上限更高。ConvNeXt 自监督预训练模型在 Faster R-CNN 目标检测、U-Net 语义分割等任务上都表现不错，有力地证明了纯卷积骨干同样能通过自监督获得通用表示，而不是只有 Transformer 才能做到。

小Ne把通识课学到的思维框架迁移到每门分科考试后，每门课都轻松进入了班级前列。这说明预训练的价值不在于“记住了多少题”，而在于建立了可以复用的底层能力——这也是自监督预训练如今成为计算机视觉标配流程的根本原因。

预训练设置评估

小Ne能在月考中稳定发挥，除了天赋和方法，还离不开一份科学的训练计划表。老师每天给他规定学几个小时（训练轮数）、用什么题本（数据增强）、多久自测一次（评估协议）。自监督预训练也一样：方法对了还不够，配置没跟上，再好的模型也练不出理想效果。ConvNeXt 在自监督预训练时的种种“学习计划”细节，直接决定了最终特征质量的上限。

先看优化器。自监督预训练普遍采用 AdamW 优化器——它在 Adam 的基础上加入了权重衰减（weight decay），能有效抑制过拟合。学习率通常在 1e-4 量级，配合余弦退火策略逐步降低；batch size 则大胆用到 4096 甚至更大，因为对比学习特别需要足够多的负样本，重建任务也受益于大批量的稳定梯度。训练轮数方面，自监督普遍需要 300 到 800 甚至 1600 个 epoch——毕竟没有标签，模型要从数据里自己找规律，得多刷几遍才学得透。

数据增强策略同样关键。自监督训练通常采用 RandomResizedCrop（随机裁剪缩放）、RandAugment（自动增强）等强增强手段，迫使模型学习到对变形、遮挡、光照变化鲁棒的特征。预训练完成后，用两种协议验收：先做线性评估——冻结骨干训线性头，快速判断特征质量；再做端到端微调——看模型在具体下游任务上的最终表现。两个指标配合着看：线性评估反映特征的“通用度”，微调结果反映“可用度”，只有都达标才算真正合格的预训练模型。

有了科学的训练计划，小Ne的成绩单既稳定又可靠。这份“计划表”也提醒我们：自监督预训练不是简单地“拿去训练就行”，从优化器到数据增强、从轮数到评估协议，每一个环节都值得仔细调试——而这正是工程师发挥价值的地方。

AI 应用场景

Python 演示

import torchimport torch.nn as nnfrom torch.utils.data import DataLoaderfrom torchvision import datasets, transforms  class ConvNeXtBlock(nn.Module):    def __init__(self, dim, kernel=7):        super().__init__()        self.dw = nn.Conv2d(dim, dim, kernel,                           padding=kernel // 2, groups=dim)        self.ln = nn.LayerNorm(dim)        self.fc1 = nn.Linear(dim, 4 * dim)        self.fc2 = nn.Linear(4 * dim, dim)        self.act = nn.GELU()     def forward(self, x):        identity = x        x = self.dw(x)        x = x.permute(0, 2, 3, 1)        x = self.ln(x)        x = self.fc1(x)        x = self.act(x)        x = self.fc2(x)        x = x.permute(0, 3, 1, 2)        return x + identity  class SimpleMAE(nn.Module):    def __init__(self, dim=64, mask_ratio=0.75):        super().__init__()        self.patchify = nn.Conv2d(3, dim, kernel_size=4, stride=4)        self.encoder = nn.Sequential(*[ConvNeXtBlock(dim) for _ in range(4)])        self.unpatchify = nn.ConvTranspose2d(dim, 3, kernel_size=4, stride=4)     def forward(self, x, mask_ratio=0.75):        tokens = self.patchify(x)        B, C, H, W = tokens.shape        N = H * W        tokens = tokens.flatten(2).transpose(1, 2)        num_keep = int(N * (1 - mask_ratio))        noise = torch.rand(B, N, device=x.device)        keep_idx = noise.topk(num_keep, dim=1).indices        keep = torch.gather(tokens, 1,                            keep_idx.unsqueeze(-1).expand(-1, -1, C))        enc = self.encoder(keep)        out = torch.zeros_like(tokens)        out.scatter_(1, keep_idx.unsqueeze(-1).expand(-1, -1, C), enc)        out = out.transpose(1, 2).view(B, C, H, W)        return self.unpatchify(out)  def train_one_epoch(model, loader, opt, device):    model.train()    total = 0.0    for x, _ in loader:        x = x.to(device)        pred = model(x)        loss = ((pred - x) ** 2).mean()        opt.zero_grad()        loss.backward()        opt.step()        total += loss.item()    return total / len(loader)  def main():    device = "cuda" if torch.cuda.is_available() else "cpu"    model = SimpleMAE(dim=64).to(device)    opt = torch.optim.AdamW(model.parameters(), lr=1e-3)    ds = datasets.CIFAR10(        root="./data", train=True, download=True,        transform=transforms.ToTensor())    loader = DataLoader(ds, batch_size=64, shuffle=True)    for ep in range(3):        loss = train_one_epoch(model, loader, opt, device)        print(f"epoch {ep+1}: mse={loss:.4f}")  if __name__ == "__main__":    main()

1. self.dw = nn.Conv2d(dim, dim, kernel, padding=kernel // 2, groups=dim)深度卷积：每个通道独立做 7×7 空间卷积，是 ConvNeXt 大核感受野的基础，参数却只有普通卷积的 1/通道数。
2. x = x.permute(0, 2, 3, 1)把通道维度移到最后一位，这是为了配合 LayerNorm 在特征维度上做归一化。
3. self.fc1 = nn.Linear(dim, 4 * dim)逆瓶颈的升维层：把通道数放大 4 倍，给特征更多表达空间。
4. keep_idx = noise.topk(num_keep, dim=1).indices随机生成噪声并取前 k 个索引，实现“随机保留可见 patch”的掩码策略，对应 MAE 保留 25% 可见块。
5. out.scatter_(1, keep_idx.unsqueeze(-1).expand(-1, -1, C), enc)把编码器输出的可见 patch 特征“放回”完整序列的对应位置，其余位置保持为 0，供解码器补齐。
6. loss = ((pred - x) ** 2).mean()在整张图像上计算 MSE 重建损失。真实 MAE 会额外用掩码矩阵只统计被遮盖区域，这里做全局平均是简化版本。

常见误区

面试题