SimSiam：没有负样本的孪生自监督学习

可视化演示

动态演示SimSiam无负样本的孪生的核心机制，通过架构/数据/状态/性能四种模式展示关键概念与交互流程。

孪生网络结构

小思和小想是那对共享大脑的同卵双胞胎厨师。所谓共享大脑，指的是他们体内装的是同一套“厨艺神经网络”——一个编码器，两个身体共用。做菜时，同一盘鱼被拍成两张不同的照片：一张从正面拍，一张从侧面拍。这两张照片分别喂给小思和小想，他们用同一个大脑处理，但看到的细节不同。这就是孪生网络的直观图景：两个输入分支，一个共享的编码器。

所谓“孪生”，不是真的训练两个网络，而是把同一个网络分别作用在两个视图上。给定一张图片 \(x\)，先做随机数据增强得到两个视图 \(x_1\) 和 \(x_2\)，再送入共享编码器 \(f\_\theta\)，得到特征 \(z_1\) 和 \(z_2\)。这里的 \(f\_\theta\) 通常包含主干网络（如 ResNet）和一个投影 MLP，投影头把高维特征压到用于对比的向量空间。

这就像一个团队不需要两个大脑：小思和小想面对不同角度的菜，却用同一套判断标准。共享权重让 SimSiam 参数少、不易过拟合，也为后面的停止梯度打下了对称但不对称学习的舞台。

停止梯度机制

老板的店规里，最关键的一条是：每次练习时，小想这轮不许改配方。也就是说，当小思根据自己面前的摆盘，去预测小想会放多少盐时，小想给出的答案是一个“冻结的参考答案”。他不会因为小思猜错了而立刻改变自己——下轮他可能根据新的菜调整，但这轮他就是固定靶。这个“冻住”的操作，在 SimSiam 里就叫 stop-gradient（停止梯度）。

停止梯度的数学表达非常简单：前向计算时它等价于恒等映射，反向传播时梯度为 0。换句话说，被加上 \(\mathrm{sg}\) 的分支，在更新参数时彻底“隐身”了。这让优化过程中始终存在一个不对称关系：在线分支努力去拟合目标分支，而目标分支本轮不跟着变化。

小想被冻住，不是因为他做得不好，而是为了防止两个人互相模仿到最后都变得一模一样。停止梯度比动量编码器更激进：连慢更新都省了，直接把本轮目标固定住。这让 SimSiam 成为迄今为止最简单的防坍塌设计之一。

无负样本设计

很多餐厅会搞“品鉴会”，把自家菜和别家菜放在一起比，评出谁更好吃。这种拿“别人的菜”当反面教材的做法，在对比学习里就是负样本。SimSiam 很特别：它从不拉别的菜来对比，只让双胞胎互相预测。没有负样本，损失函数也异常简单——只需要最大化两个分支输出之间的相似度。

具体做法是：在线分支输出预测 \(p\)，目标分支输出被冻结的表示 \(\mathrm{sg}(z)\)，然后计算两者之间的负余弦相似度。为了让两兄弟都有学习机会，损失是对称的：小思预测小想一次，小想预测小思一次，两者取平均。整个损失不依赖 batch 里其他样本，所以不需要大 batch 也能工作。

没有负样本，意味着小思不用把整条街的菜都尝一遍才知道自己做得对不对。他只需要看着冻住的小想，把相似度拉高。这种简洁设计大幅降低了采样成本和 batch size 要求，但也把防坍塌的全部压力，交给了停止梯度和预测头。

表征坍塌问题

如果一家餐厅所有菜最终都被做成了同一锅汤，那菜品之间的差别就消失了，顾客无法分辨任何菜。对自监督学习来说，这就叫“表征坍塌”：不管输入是什么，编码器都输出同一个常量向量。奇怪的是，如果只追求两个视图相似，常量输出恰好是一个“完美解”——因为两个常量之间的相似度永远是 1，损失被压到最低。

假设网络对任意输入都输出常数 \(c\)，那么归一化后它与自身或其他常量向量的点积都是 1，于是 SimSiam 的损失达到最小值 \(-1\)。这说明仅仅最小化相似度是不够的：模型很容易“作弊”。过去，SimCLR 用负样本把不同输入推开来防作弊；而 SimSiam 没有负样本，它以停止梯度制造的不对称性来破局。

停止梯度为什么能挡住坍塌？因为当小想被冻住时，小思的预测头必须从“变化着的输入”中学会恢复“固定的目标”。如果所有输出都变成常量，这个“预测游戏”虽然也能得到低损失，但预测头会失去与输入的联系，下一次目标更新时便无法维持稳定。实验和理论都表明，停止梯度与预测头的组合，让平凡解变得不稳定，从而把模型推向有意义的表示。

与SimCLR对比

SimCLR 是较早流行的对比学习框架，它的思路是“品鉴会”：每道菜不仅要和自己的增强视图像，还要和店里其他所有菜不像。为了做到这一点，它在每个 batch 里采样大量负样本，并计算 InfoNCE 损失。这个损失像一场多选考试：模型要从一堆干扰项里找出真正的正样本。

InfoNCE 损失中，分子是正样本对的相似度，分母是包括负样本在内的所有相似度之和。它天然依赖 batch size：负样本越多，任务越难，学到的东西往往越好。这带来一个实际问题——要凑够几千个负样本，就得用很大的 batch，显存和计算开销也随之上涨。SimSiam 则完全不需要负样本，因此 batch size 可以大幅缩小。

如果用双胞胎厨师的比喻，SimCLR 是让小思在整整一条街的菜里认出小想做的菜；SimSiam 则是后厨里只有他们俩，小思只需直接猜小想这轮的配方。SimCLR 更谨慎但更费事，SimSiam 更简单，却在许多设定下也能取得接近甚至更好的效果。

与BYOL对比

BYOL 是另一个“不用负样本也能防坍塌”的方法，它看起来和 SimSiam 很像：也有孪生结构，也有预测头，也没有负样本。两者最大的差别在于“怎么让目标分支慢下来”。BYOL 给目标分支单独维护一套动量更新的参数：每次更新时，目标网络向在线网络“飘”一小步，像一位慢慢学习新菜谱的师傅。

动量更新公式里的 \(m\) 通常取 0.99 或 0.995，表示目标参数每步只更新千分之一左右。SimSiam 则更极端：它没有单独的目标网络，也没有动量系数，只是把其中一个分支的梯度直接截断。原本两个分支在同一轮完全一样，但因为 \(\mathrm{sg}\)，它们在一个更新步里扮演了“学习者”和“冻结者”两个角色。

BYOL 像给师傅加了“学习惯性”，SimSiam 则是“这轮师傅直接不动”。两种设计殊途同归，都用不对称更新破坏坍塌风险。SimSiam 更简单，也更容易复现，但没有动量缓冲，它对学习率等超参数会更敏感。

训练流程技巧

训练 SimSiam 的过程很像给双胞胎安排一堂标准的“互猜课”。第一步，从同一张图生成两个增强视图；第二步，共享编码器分别提特征；第三步，在线分支接预测头，目标分支接停止梯度；第四步，计算对称负余弦相似度损失；第五步，反向传播更新编码器和预测头。整个过程不需要任何其他样本。

一个常见的实验配置是：编码器用 ResNet-50，投影头用 3 层 MLP，预测头用 2 层 MLP，优化器用 SGD，学习率按批次大小线性缩放。由于没有负样本，batch size 可以从 SimCLR 的 4096 降到 256，甚至更小，训练成本显著下降。下面这个更新公式是所有深度学习的通用步骤：

小思和小想每天就这样互猜、更新、再互猜。因为目标分支被冻结，每一轮的“参考答案”其实是上一步模型的旧输出，这让优化过程形成了隐式的教师-学生交替机制。训练完成后，编码器 \(f\) 便可以作为下游任务的特征提取器。

应用与局限

SimSiam 最主要的应用是“无监督预训练”：在没有标签的大规模图片上先学会通用特征，然后在下游任务上微调。比如一家电商公司有几百万张商品图，但只有几百张有标签，这时候可以先让 SimSiam 在这些图上自监督学习，再用少量标注数据训练分类头，往往比直接从零训练效果好得多。

下游使用时，最经典的做法是冻结编码器，只训练一个线性分类器，这就是 linear probing。它用学到的特征 \(z\) 去预测标签，公式非常简单。由于特征是在无标签数据上学的，它天然具备较强的泛化能力，尤其在数据稀缺的医学影像、工业质检等场景很有价值。

不过 SimSiam 也有局限：它比较依赖数据增强的强度与类型，增强太弱容易坍塌，增强太强又可能丢失语义；理论上为什么停止梯度能完全避免坍塌，至今还没有一个公认的完整证明。双胞胎厨师的故事很美好，但要让每个后厨都稳定复制这道菜，还需要更多的实验与理论积累。

AI 应用场景

Python 演示

import torchimport torch.nn as nnimport torch.nn.functional as F  class Encoder(nn.Module):    def __init__(self, in_dim, proj_dim):        super().__init__()        self.net = nn.Sequential(            nn.Linear(in_dim, 256),            nn.ReLU(),            nn.Linear(256, proj_dim)        )     def forward(self, x):        return self.net(x)  class SimSiam(nn.Module):    def __init__(self, in_dim=64, dim=32):        super().__init__()        self.encoder = Encoder(in_dim, dim)        self.predictor = nn.Sequential(            nn.Linear(dim, dim),            nn.ReLU(),            nn.Linear(dim, dim)        )     def forward(self, x1, x2):        z1 = self.encoder(x1)        z2 = self.encoder(x2)        return z1, z2     def loss(self, z1, z2):        p1 = self.predictor(z1)        p2 = self.predictor(z2)        z1_stop = z1.detach()        z2_stop = z2.detach()        l1 = -F.cosine_similarity(p1, z2_stop, dim=-1).mean()        l2 = -F.cosine_similarity(p2, z1_stop, dim=-1).mean()        return (l1 + l2) / 2  def make_augmented_view(x):    noise = torch.randn_like(x) * 0.2    return x + noise  def main():    torch.manual_seed(42)    model = SimSiam(in_dim=64, dim=32)    optimizer = torch.optim.SGD(model.parameters(), lr=0.5, momentum=0.9)    for step in range(30):        x = torch.randn(16, 64)        x1 = make_augmented_view(x)        x2 = make_augmented_view(x)        z1, z2 = model(x1, x2)        loss = model.loss(z1, z2)        optimizer.zero_grad()        loss.backward()        optimizer.step()        if step % 5 == 0:            print(f"step {step}, loss {loss.item():.4f}")  if __name__ == "__main__":    main()

1. self.encoder = Encoder(in_dim, dim)唯一的编码器实例，两个输入视图共用这一套参数。
2. z1_stop = z1.detach()模拟 stop-gradient，目标分支不参与反向传播。
3. l1 = -F.cosine_similarity(p1, z2_stop, dim=-1).mean()用负余弦相似度让在线预测逼近冻结目标。
4. l2 = -F.cosine_similarity(p2, z1_stop, dim=-1).mean()对称地让另一分支也学习。
5. return (l1 + l2) / 2对称损失取平均，实现双向互猜。
6. loss.backward()只有未被 detach() 的分支和预测头会得到梯度。

常见误区

面试题