Contrastive Loss：让相似的靠得更近，让不相似的离得更远

可视化演示

展示Contrastive Loss如何通过成对样本的相似性度量优化特征空间，正对拉近负对推远。

度量学习基础

整理相册时，真正让你能把照片分开的不是“认识每个人”，而是“发现照片之间的内在规律”。你给每张照片记下几个关键印象——光影气质、轮廓走向、氛围色调——这些印象综合起来就构成了一张照片的“坐标”。同一个人在不同照片里，坐标总是倾向于接近；不同的人则相差较远。这种“用坐标表达相似性”的思路，就是度量学习的起点。

在深度学习中，这个“坐标”叫特征嵌入（embedding）。一个神经网络 $f_\theta$ 把原始输入映射成一个向量 $z$，向量的位置就代表输入在特征空间中的坐标。度量学习的全部目标，是让这个特征空间具有语义：距离近代表相似，距离远代表不相似。至于距离如何衡量、如何让模型学会这种空间排列，就要靠后面设计的损失函数来引导。

就像你给照片编上坐标后，凭坐标就能判断该把谁和谁摆在一起——度量学习要学的，正是这组合格的坐标系统。

损失函数原理

有了坐标系统之后，怎么告诉模型“摆得好不好”？你凭空发明了一张“抽查扣分表”：每次抽一对照片。如果是同一个人却离得很远，扣分；如果是不同的人却贴得很近，也扣分；但如果不同的人已经离得够远，那就不扣分，把精力留给真正需要调整的“危险邻居”。这张扣分表，就是对比损失。

对比损失的输入是一对样本 $(x_1, x_2)$ 和一个二元标签 $y$。$y=1$ 表示这对样本相似（正样本对），$y=0$ 表示不相似（负样本对）。设它们经过特征提取网络后的距离为 $D = \| f(x_1) - f(x_2) \|_2$，损失定义为：

这张“抽查扣分表”的妙处在于，它只惩罚真正出问题的样本对：同类离太远、异类离太近。已经安排妥当的区域不会被反复打扰，模型可以把梯度集中到最需要调整的摆放上。

距离度量选择

判断两张照片像不像，你既可以量鼻子到眼睛的“直线距离”，也可以比较两个人脸的“朝向角度”——不同办法各有适合的场合。在特征空间里，我们同样需要选择一把合适的尺子，最常用的是欧氏距离和余弦相似度。

欧氏距离最直观，就是特征空间中两个点之间的直线长度；余弦相似度则看两个特征向量的“方向”是否一致，不考虑长度。设两个特征向量为 $a$ 和 $b$，余弦相似度定义为：

尺子选得好，相册的布局才清晰：当特征模长没有意义时，用余弦看方向；当需要直观的物理距离时，用欧氏距离。归一化之后，两把尺子其实量的是同一件事。

孪生网络架构

为了让两张照片得到“同一把尺子”的度量，你必须保证它们经过的是同一台特征提取机。如果小明照片用机器 A 打坐标，小红照片用机器 B 打坐标，两台机器的坐标系不一致，算出来的距离就没有意义。更聪明的做法是：让所有照片都走同一台机器。

这个“同一台机器”在深度学习中叫孪生网络（Siamese Network）。它的结构是一对共享权重的分支：输入 $x_1$ 走分支一，输入 $x_2$ 走分支二，但两个分支的参数完全一样。无论照片从哪个入口进来，都被映射到同一个坐标空间。

孪生网络的精髓就是“一把尺子量到底”：共享权重不仅减少了一半参数量，更重要的是保证了语义映射的一致性——这是对比损失能够正确衡量相似度的前提。

困难样本挖掘

整理照片时，最让你头疼的是几种特例：一张几乎看不清的正脸，你差点把它归到别人那儿；小明戴帽子的侧脸，你也差点把他分出去。这些“差点出错”的照片对，才是真正提升你整理水平的教材。平均用力地核对每张照片，进步很慢；专门盯住那些“危险邻居”集中校正，效率才高。

在对比损失训练中，这些“危险邻居”叫困难样本。难负样本（hard negative）是指距离小于边界值 $m$ 的异类样本对——模型快要把它们误认成同类了；难正样本（hard positive）是指距离很大的同类样本对——模型没能认出它们是同一类。困难样本挖掘就是只挑这些样本对去算损失：

困难样本挖掘相当于请了一位“只改错题的老师”——它不浪费精力在已经做对的简单题上，而是反复针对最容易出错的题目进行训练，模型的区分能力因此提升更快。

采样策略设计

相册整理得如何，还取决于你每次抽查哪几张照片。如果你每次只抽小明一个人的照片，就永远不会发现小明和小华摆得太近的问题；如果你每次都抽最容易分辨的照片，整理水平提升也慢。样本对怎么配对、正负比例怎么控制，直接决定训练效果。

对比损失以“样本对”为单位训练，因此 batch 的构成方式至关重要。假设一个 batch 里有 $C$ 个类别、每类 $K$ 个样本，那么可以构造出的正负样本对数量分别为：

采样策略就像你决定“每次抽查哪些照片组合”：每批覆盖足够多的不同人物、刻意安排容易混淆的组合、控制相似与不相似照片的比例，这样训练出来的相册布局才真正经得起考验。

实际应用场景

相册整理术练成之后，你会发现“学会比较”这个能力可以迁移到很多地方：帮银行确认签名是不是本人写的，帮手机确认屏幕前的人是不是机主，甚至帮博物馆把从未见过的展品归到正确的风格流派。这些任务本质上都在问同一个问题：“这两个东西像不像？”

对比损失正是这些验证型 AI 任务的核心组件。它的工作方式很统一：训练阶段用成对样本学出一个好的特征空间；推理阶段只需要把两个输入映射成特征向量，算一下距离，再和阈值比较即可：

相册整理术的终极形态，是把它从“整理照片”升级为“判断任何两个东西像不像”的通用能力——签名、人脸、甚至从未见过的类别，都能用同一套对比损失的思路解决，这正是它成为度量学习基石的真正原因。

AI 应用场景

Python 演示

import torchimport torch.nn as nnimport torch.nn.functional as F  class ContrastiveLoss(nn.Module):    """Contrastive Loss: 正样本对拉近, 负样本对推远."""     def __init__(self, margin=1.0):        super().__init__()        self.margin = margin     def forward(self, z1, z2, y):        dist = F.pairwise_distance(z1, z2, p=2)        pos_loss = y * dist.pow(2)        neg_loss = (1 - y) * F.relu(self.margin - dist).pow(2)        return (pos_loss + neg_loss).mean() / 2  class SiameseNet(nn.Module):    """孪生网络: 两个输入共享同一套特征提取层."""     def __init__(self, input_dim, embed_dim):        super().__init__()        self.encoder = nn.Sequential(            nn.Linear(input_dim, 32),            nn.ReLU(),            nn.Linear(32, embed_dim)        )     def forward(self, x1, x2):        z1 = self.encoder(x1)        z2 = self.encoder(x2)        return z1, z2  def build_pairs(labels, num_neg=2):    """为每张样本配 1 个同类别正对和 num_neg 个异类别负对."""    pairs, targets = [], []    n = len(labels)    for i in range(n):        same = torch.where(labels == labels[i])[0]        same = same[same != i]        if len(same) > 0:            j = same[torch.randint(len(same), (1,))].item()            pairs.append((i, j))            targets.append(1)        diff = torch.where(labels != labels[i])[0]        for _ in range(num_neg):            j = diff[torch.randint(len(diff), (1,))].item()            pairs.append((i, j))            targets.append(0)    return pairs, targets  def main():    torch.manual_seed(0)    net = SiameseNet(input_dim=16, embed_dim=8)    criterion = ContrastiveLoss(margin=2.0)    optimizer = torch.optim.Adam(net.parameters(), lr=0.01)     inputs = torch.randn(30, 16)    labels = torch.randint(0, 3, (30,))     for epoch in range(5):        pairs, targets = build_pairs(labels, num_neg=2)        epoch_loss = 0.0        for i in range(0, len(pairs), 16):            batch_pairs = pairs[i:i + 16]            batch_targets = torch.tensor(targets[i:i + 16], dtype=torch.float32)            x1 = torch.stack([inputs[a] for a, b in batch_pairs])            x2 = torch.stack([inputs[b] for a, b in batch_pairs])            z1, z2 = net(x1, x2)            loss = criterion(z1, z2, batch_targets)            optimizer.zero_grad()            loss.backward()            optimizer.step()            epoch_loss += loss.item() * len(batch_pairs)        print(f"epoch {epoch} loss = {epoch_loss / len(pairs):.4f}")  if __name__ == "__main__":    main()

1. dist = F.pairwise_distance(z1, z2, p=2)计算两个嵌入向量的欧氏距离，这是损失函数的核心输入。
2. pos_loss = y * dist.pow(2)同类样本对（y=1）惩罚距离的平方，距离越大梯度越强。
3. neg_loss = (1 - y) * F.relu(self.margin - dist).pow(2)异类样本对在距离小于 margin 时惩罚，超过 margin 则 ReLU 置零。
4. self.encoder = nn.Sequential(...)用全连接层堆叠出特征提取器，把原始输入映射到 8 维嵌入空间。
5. z1 = self.encoder(x1)两份输入走同一个 encoder，体现共享权重的孪生网络结构。
6. def build_pairs(labels, num_neg=2)按类别构建正负样本对，每个样本搭配固定比例的负样本。
7. for epoch in range(5)每轮重新采样样本对，体现“动态对”思想，与在线难例挖掘一脉相承。
8. loss.backward()反向传播，梯度同时回传到两个分支共享的 encoder 参数。

常见误区

面试题