InfoNCE对比损失原理

可视化演示

展示正负样本对构建与嵌入空间拉近推远、温度系数对softmax分布的调节效果、InfoNCE损失计算全流程，通过模式切换理解对比学习核心机制。

样本对构建

接人之前，你手里有两样东西：一张目标照片（锚点），以及一批从出站口涌出来的旅客（候选样本）。要找的人叫阿伟，他是正样本；其他旅客是负样本。但问题来了——这张照片是阿伟三年前拍的，头发、穿搭都变了，光靠这一张照片根本不够。怎么办？聪明做法是：把照片做几个“变体”——调亮度、裁剪局部、镜像翻转，相当于同时拿着好几张不同角度的阿伟照片去认。这就是数据增强的直觉。

在对比学习中，没有人工标签，正样本必须“自己造”。对同一张图片施加不同的随机增强（随机裁剪、翻转、颜色抖动），得到两个视图，它们就是一对正样本；同一批次里其他图片的视图，自动成为负样本。模型的任务被设计成：在众多候选里，把同一张图的两个视图认出来。

这个设计迫使网络学会“即使外观变化，本质不变”的特征。比如一张猫的照片，无论被裁剪成头还是尾巴、颜色偏蓝还是偏黄，模型都要认出它们是同一只猫。

$$(x_i, x_i^+), \quad (x_i, x_j^-), \quad i \neq j$$

1. 锚点样本：$x_i$ 是要被查询的基准样本，相当于机场里你正在寻找的目标人物。

$$x_i$$

2. 正样本对：$(x_i, x_i^+)$ 表示锚点和它的增强视图，它们语义相同，是你想拉近的一对。

$$(x_i, x_i^+)$$

3. 负样本对：$(x_i, x_j^-)$ 表示锚点和批次里其他样本，它们语义不同，是你想推远的一对。

$$(x_i, x_j^-)$$

4. 不相交条件：$i \neq j$ 强调负样本不能是锚点自己，否则就没有对比意义了。

$$i \neq j$$

所以，照片不只是用来“看”的，还要靠“变体照片”制造训练信号。正样本给模型指明方向，负样本给模型施加压力，两者共同替代码写出了一场“认人训练”。

相似度度量

你扫过出站口每一个人时，心里其实在快速比对“这个人和照片里的五官、脸型像不像”。这不是一个非黑即白的判断，而是一个连续的分数。有人像七分，有人像三分。在神经网络里，我们也需要这样一把能量出“像不像”的尺子。

神经网络无法直接比较两张图片的像素，它会把每个样本压缩成一个向量（特征）。真正被比较的，是这些向量的方向是否一致。于是，余弦相似度登场了：它计算两个向量夹角的余弦值。夹角越小，方向越一致，相似度越高。更妙的是，把特征向量归一化到长度 1 之后，余弦相似度就简化为点积，计算速度更快，数值也更稳定。

在实现时，我们会把一个 batch 所有样本的特征两两点积，得到一张“相似度矩阵”。矩阵第 i 行第 j 列，就是第 i 个样本和第 j 个样本有多像。InfoNCE 的所有计算，都建立在这张矩阵之上。

$$\operatorname{sim}(u, v) = \frac{u^\top v}{\|u\|_2 \, \|v\|_2}$$

1. 点积：$u^\top v$ 把两个向量对应位置相乘再求和，结果既和方向有关，也和长度有关。

$$u^\top v$$

2. 向量范数：$\|u\|_2$ 是向量的欧几里得长度，用来把长度影响“归一化”掉。

$$\lVert u \rVert_2$$

3. 整体比值：除以两个长度后，结果只由夹角决定，取值范围在 $[-1, 1]$，这就是余弦相似度。

$$\frac{u^\top v}{\|u\|_2 \, \|v\|_2}$$

这把“尺子”还有个好处：它的输出天然适合做后续的 softmax。你不需要关心特征的绝对大小，只要关心“谁和谁方向更一致”，这正好贴合机场接人时“相对比较”的直觉。

InfoNCE公式

你把出站口所有人按“和照片的相似度”排成一排，然后问自己：阿伟站在队伍里的可能性有多大？如果阿伟排在最前面，你会很安心；如果阿伟被淹没在人群中，你会很焦虑。机器学习里有一个工具专门做这件事——softmax。它把一组相似度分数变成一组和为 1 的概率，分数高的自然获得更高的概率。

InfoNCE 做的正是这件事：把锚点和正样本的相似度作为分子，把所有候选样本（包括正样本和全部负样本）的相似度之和作为分母，得到一个“正样本被选中”的概率。然后取负对数，概率越高损失越低。模型训练的目标，就是让这个概率尽量接近 1。

公式里还有一层互信息的视角：InfoNCE 可以被理解为互信息的一个下界估计，所以它也常被用于“最大化输入与特征之间的共享信息”。这就像你每成功认出一次阿伟，你对“阿伟长什么样”的把握就更强一些——你从一堆混乱的视觉信息里，提取出了关于阿伟的关键信息。

$$\mathcal{L}_i = -\log \frac{\exp\big(\operatorname{sim}(z_i, z_i^+)/\tau\big)}{\sum_{j=1}^{N}\exp\big(\operatorname{sim}(z_i, z_j)/\tau\big)}$$

1. 编码特征：$z_i$ 是样本 $x_i$ 经过编码器后得到的特征向量，可以理解为神经网络对图片的“数字化描述”。

$$z_i$$

2. 相似度除以温度：$\operatorname{sim}(z_i, z_i^+)/\tau$ 将原始相似度按温度系数缩放，温度的作用会在下一节展开。

$$\operatorname{sim}(z_i, z_i^+)/\tau$$

3. 分子：$\exp(\cdot)$ 对正样本相似度做指数放大，相当于给“最像的人”加权重。

$$\exp(\operatorname{sim}(z_i, z_i^+)/\tau)$$

4. 分母：$\sum_{j=1}^{N}$ 累加所有样本的指数相似度，构成完整的概率归一化。

$$\sum_{j=1}^{N}\exp(\operatorname{sim}(z_i, z_j)/\tau)$$

5. 负对数：$-\log$ 把概率转换为损失，概率越接近 1，损失越接近 0。

$$-\log(\cdot)$$

这个公式本质上就是一个加了温度的 softmax 交叉熵。它把“机场接人”的概率模型写成了可微分的数学形式，让梯度下降能一步步优化模型的“认人能力”。

温度系数

如果你特别信任那张照片，看到九分像的人才肯认，你会调低温度；如果照片是十年前拍的，你愿意给七分像的人也发一张“嫌疑卡”，你会调高温度。温度系数 $\tau$ 就是这个“严格程度”旋钮。

温度系数出现在 softmax 的分母中。$\tau$ 很小时，相似度差异被指数放大，概率分布变得尖锐——几乎只有最像的那个人能得到高概率；$\tau$ 很大时，所有指数都接近相等，概率分布变得平滑——每个人得到的概率差不多，模型失去分辨力。这就像调“锐度”：太尖容易过拟合噪音，太平则学不到细节。

经典实验里，SimCLR 等模型把温度设为 0.07。这个值不是拍脑袋决定的：它让模型既能专注地惩罚“最难缠的负样本”，又不会因为只盯着一个样本而震荡。工程师调参时，$\tau$ 往往比学习率更敏感。

$$p_i = \frac{\exp(s_i / \tau)}{\sum_{j=1}^{N}\exp(s_j / \tau)}$$

1. 相似度分数：$s_i$ 表示锚点与第 $i$ 个候选样本的相似度。

$$s_i$$

2. 除以温度：$\tau$ 在分母上。$\tau$ 小则 $s_i/\tau$ 差距巨大，$\tau$ 大则差距被压缩。

$$\dfrac{s_i}{\tau}$$

3. 指数化：$\exp(s_i/\tau)$ 将缩放后的分数转为非负的权重，放大“胜者”的优势。

$$\exp(s_i/\tau)$$

4. 归一化：除以所有指数之和，得到第 $i$ 个样本被选中的概率。

$$\sum_{j=1}^{N}\exp(s_j/\tau)$$

温度太高，满眼都是嫌疑人；温度太低，稍微有点不像就错杀。找到一个合适的 $\tau$，才能在人群中又稳又准地锁定阿伟。

优化原理

每次认错人，你都会下意识地调整自己的“判断标准”：那个和阿伟长得很像的路人甲，下次要降低他的权重；真正的阿伟，下次要多给他几分。训练 InfoNCE 的过程，就是不断重复这个调整。

梯度下降把损失函数的“不满”传递回每个样本的相似度。正样本的相似度不够高时，梯度会给它一个“推力”，把它往上抬；负样本的相似度过高时，梯度会给它一个“压力”，把它往下压。关键在于，这个力的大小不是均匀的：某个负样本如果和正样本几乎一样像，它就会分走大量概率，从而收到最强的反向压力——这就是困难负样本被重点惩罚的机制。

用数学表达，InfoNCE 对正样本相似度 $s_i^+$ 的梯度是负的（拉近），对负样本相似度 $s_j^-$ 的梯度是正的（推远）。温度越小，这个梯度信号越强。最终，所有正样本被拉向锚点附近，所有负样本被推离，特征空间里同类聚成一团，异类彼此远离。

$$\frac{\partial \mathcal{L}_i}{\partial s_i^+} = -\frac{1}{\tau}\big(1 - p_i^+\big), \qquad \frac{\partial \mathcal{L}_i}{\partial s_j^-} = \frac{1}{\tau} p_j^-$$

1. 概率符号：$p_i^+$ 是正样本被 softmax 选中的概率，$p_j^-$ 是第 $j$ 个负样本的概率。

$$p_i^+$$

2. 正样本梯度：$-(1-p_i^+)/\tau$：当正样本概率低时，这个负梯度绝对值很大，把它强烈拉高。

$$-\frac{1}{\tau}\big(1 - p_i^+\big)$$

3. 负样本梯度：$p_j^-/\tau$：负样本概率越高，正梯度越大，把它强烈压下。

$$\frac{1}{\tau} p_j^-$$

4. 温度放大：$\frac{1}{\tau}$ 表示温度越小时，梯度整体越敏感，训练越“较真”。

$$\frac{1}{\tau}$$

一拉一推，正是对比学习名字的由来。模型不是去背“阿伟长什么样”，而是在一次又一次的“拉近正样本、推远负样本”中，提炼出真正有用的视觉特征。

优点与局限

机场接人这套方法有不少好处：你不需要给每个出站旅客建立档案，不用提前标注“这是谁”，只要凭一张照片就能练习认人。这正是自监督学习的魅力——InfoNCE 能在完全没有人工标注的数据上，训练出高质量的特征提取器。

它还有个很强的扩展性：不只适用于图像。文本、语音、视频、图文对，只要能构造出“正样本对”，就能用 InfoNCE 对齐。CLIP 把图片和文本各自编码，再用 InfoNCE 让语义一致的图文互相靠近，就是典型例子。

但它的软肋同样明显：负样本的“质”和“量”都很关键。一个批次只有 $B$ 个样本时，每个锚点只有 $B-1$ 个负样本。batch 太小，负样本不足，对比不充分；batch 太大，显存吃不消。更麻烦的是，如果负样本全是八竿子打不着的简单样本，模型很快就“躺平”；而困难负样本虽然最能训练模型，数量过多又容易引入噪音。工程上往往需要难例挖掘来配合。

$$N_{\text{neg}} = B - 1$$

1. 批次大小：$B$ 是一个训练批次中的样本总数，相当于同时出现在你面前的旅客数量。

$$B$$

2. 负样本数量：$B-1$：锚点自己不能当负样本，所以候选负样本数减一。

$$B - 1$$

3. 含义：batch 越大，负样本越多，对比越充分，但对显存和工程的要求也越高。

$$N_{\text{neg}}$$

InfoNCE 像一把能打开无标注数据大门的钥匙，但你需要准备好足够大的“旅客量”和合理的人群构成。钥匙虽好，也得配一把合适的锁。

AI 应用场景

Python 演示

import numpy as np def normalize(x, axis=-1):    return x / (np.linalg.norm(x, axis=axis, keepdims=True) + 1e-12) def info_nce_loss(feats, tau=0.07):    # feats: [N, D], row i and row i^1 are a positive pair    n = feats.shape[0]    sim = np.dot(feats, feats.T) / tau    labels = np.arange(n) ^ 1    exp_sim = np.exp(sim - sim.max(axis=1, keepdims=True))    probs = exp_sim / exp_sim.sum(axis=1, keepdims=True)    return -np.mean(np.log(probs[np.arange(n), labels] + 1e-12)) def numeric_grad(fn, x, eps=1e-3):    x = x.copy()    grad = np.zeros_like(x)    for idx in np.ndindex(x.shape):        orig = x[idx]        x[idx] = orig + eps        fp = fn(x)        x[idx] = orig - eps        fm = fn(x)        x[idx] = orig        grad[idx] = (fp - fm) / (2 * eps)    return grad np.random.seed(42)n, d = 8, 16feats = normalize(np.random.randn(n, d)) for step in range(30):    loss = info_nce_loss(feats)    if step % 5 == 0:        print("step %2d loss %.4f" % (step, loss))    grad = numeric_grad(lambda z: info_nce_loss(normalize(z)), feats)    feats -= 0.1 * grad feats = normalize(feats)print("final loss %.4f" % info_nce_loss(feats))

1. def info_nce_loss(feats, tau=0.07):定义 InfoNCE 损失函数，tau 是温度系数。
2. labels = np.arange(n) ^ 1让第 0 和第 1 个样本互为“两张增强视图”，即正样本对。
3. sim = np.dot(feats, feats.T) / tau一次性算出所有样本两两之间的相似度矩阵，再除以温度。
4. probs = exp_sim / exp_sim.sum(axis=1, keepdims=True)对每一行做 softmax，把相似度变成概率。
5. numeric_grad(lambda z: info_nce_loss(normalize(z)), feats)用数值梯度模拟反向传播，得到每个特征位置的更新方向。
6. feats -= 0.1 * grad沿梯度反方向更新特征，让损失下降，正样本对逐渐靠近。

常见误区

面试题