视觉语言预训练的前沿进展

可视化演示

动态演示视觉语言预训练的前沿进展的核心机制，通过概览/流程/对比/趋势四种模式展示关键概念与交互流程。

核心思想：给视觉和语言搭一座桥

“看图配对”游戏之所以有效，是因为它把一个复杂的感知问题变成了一个简单的距离问题。孩子不需要背下“猫”的定义，只需要在一次次配对中，让“猫的照片”和“猫的名字”在脑海里形成一种稳定的联想。CLIP 和 ALIGN 学的也是这件事：它们各自准备了一个图像编码器和一个文本编码器，把一张图和一句话分别变成一串数字，也就是“坐标”。

如果这对图文本来就应该匹配，那么它们的坐标应该靠得很近；如果本来就不匹配，坐标就应该离得很远。这个“坐标空间”就是多模态表示空间，也叫对齐空间。为了让模型学会这个空间，我们需要一个可微的相似度函数，最常用的是余弦相似度。

所以我们说，视觉语言预训练的核心，不是让模型“背诵图片”，而是让模型学会搭一座桥，让图片和文字在同一个空间里互相找得到对方。

模型架构：两座各司其职的塔

在配对游戏里，有两个角色缺一不可：一个负责“看”图片，一个负责“读”文字。它们不需要彼此干涉，但最后必须把各自得到的结论交到同一个房间里进行比对。这个设计在工程上被称为“双塔结构”。

图像塔通常是 ResNet 或 Vision Transformer，它把一张图片压缩成一个高维特征向量；文本塔通常是 Transformer，它把一句话压缩成另一个高维特征向量。这两个向量最初的维度可能不同，语义空间也不一致，因此需要两个“翻译官”，也就是线性投影层，把它们映射到同一个维度、同一个空间中。

除了线性投影，CLIP 还会对最终向量做 L2 归一化，让所有 embeddings 都落在单位球面上。这样后续计算相似度时，只关心方向，不关心向量长短，“翻译官”输出的答案才公平。

训练目标：对比学习的配对游戏

有了两座塔和共享空间，接下来就要定游戏规则。CLIP 采用的规则是“对比学习”：每一个训练批次里有 N 张图和 N 条文本，它们按顺序一一对应，形成 N 个正样本对；所有不在同一位置上的图文组合，都是负样本。

想象一次突击测验：老师把 16 张动物图片贴在黑板左边，把 16 张写着动物名字的卡片贴在右边，但卡片是打乱的。学生必须为每一张图片，从 16 张卡片里找出正确的那一张。接着还要反过来做一遍：给每一张卡片，从 16 张图片里找出正确的那一张。这就是对称的对比学习损失。

温度系数 $\tau$ 在这里扮演“评分严不严”的角色。$\tau$ 越小，softmax 越尖锐，模型对难负样本越敏感；$\tau$ 越大，分布越平滑，训练越稳定。CLIP 把 $\tau$ 当成可学习参数，初始值通常设为 $0.07$。

CLIP配方：数据、提示词与零样本分类

CLIP 的核心配方可以总结为三句话：用大规模图文对做预训练，用对比损失对齐向量，用提示词模板做零样本分类。OpenAI 收集了约 4 亿个“图片-文本”对，这些数据来自互联网，虽然不像人工标注那样干净，但胜在覆盖面广。

训练完成后，CLIP 能在没见过某个数据集的训练集时，直接完成分类任务。做法很简单：把候选类别名分别套进一个句子里，比如“一张 {} 的照片”，得到 K 条文本；再用文本编码器算出 K 个向量，与测试图片的向量做相似度比较，取最接近的类别。这个过程称为零样本迁移。

在 ImageNet 上，CLIP 的零样本 Top-1 准确率能达到约 76%，虽然仍低于经过监督微调的模型，但整个过程没有使用任何一张 ImageNet 训练图片的标签，这才是“零样本”的真正价值。

ALIGN路线：用噪声数据堆出规模

CLIP 已经证明了“图文配对游戏”的可行性，但收集 4 亿条干净配对数据仍然很贵。Google 的 ALIGN 换了一个更激进的策略：不追求干净，而是把整个互联网上“图片 + 旁边文字”的样本直接抓下来，甚至允许文本和图片只有弱关联。最终，ALIGN 使用了约 18 亿个噪声图文对。

这就像老师不再手动整理卡片，而是把整个幼儿园玩具房里的卡片全部倒出来，让学生用“题海战术”自己找规律。单张卡片可能写错了字，但当数据规模足够大时，正确的统计规律会盖过随机噪声。

ALIGN 的另一大特点是“编码器复用”：图像侧直接使用 EfficientNet，文本侧直接使用 BERT，不重新设计塔，而是把主要精力放在数据和训练策略上。最终它的零样本效果与 CLIP 基本相当，在某些检索任务上甚至更好，说明“规模换质量”是一条真实可行的路线。

工程实现：让配对游戏跑在超算上

前面讲的损失函数看起来简单，真正跑起来却有许多工程陷阱。对比学习非常依赖大批次，因为负样本来自同一个批次内部；如果批次太小，负样本就太少，模型很容易“偷懒”，随便找一个不匹配的文本就交差。所以训练时通常使用几十张 GPU，甚至几千张 TPU 协同工作。

在多卡训练中，每张卡计算自己的图文特征后，需要把特征收集到一起，拼成一个大矩阵，再计算全局对比损失。这就引出了最核心的工程公式：

工程上还需要配套高吞吐数据流水线，让 GPU 永远不饿着；推理解码时则把双塔拆成两个服务，图像向量和文本向量离线算好，存入向量数据库，线上只需做最近邻检索。性能调优时，可以优先调温度系数、投影维度和学习率，这些旋钮对最终指标的影响往往比换模型结构更明显。

应用边界：能做什么、不能做什么

经过大规模配对训练的模型，应用场景非常广泛。最直接的是图文检索：输入一句“夕阳下的海边公路”，系统就能从百万图片库中找回最匹配的视频帧；输入一张商品图，也能从商品库中找回相似商品。这种能力统称为开放词汇识别，因为模型不需要预先知道所有类别，只要给它文字描述，它就能去找。

在检索场景中，模型本质上是在做一次排序：

不过，配对游戏不等于真正的理解。CLIP 容易在“数数”“空间关系”“属性绑定”上犯错，比如“一只猫站在两只狗中间”这种组合性描述，它经常顾此失彼。同时，训练数据来自互联网，模型会放大社会偏见；如果训练数据里“护士”总是与女性图片同时出现，模型就可能固化这种偏见。因此，在实际产品中，我们通常把 CLIP / ALIGN 当作“多模态特征抽取器”，而不是最终的决策大脑。

AI 应用场景

Python 演示

import torchimport torch.nn.functional as F class CLIPContrastiveLoss:    def __init__(self, temperature=0.07):        self.temperature = temperature        self.loss_count = 0     def __call__(self, image_emb, text_emb):        image_emb = F.normalize(image_emb, dim=-1)        text_emb = F.normalize(text_emb, dim=-1)         logits = image_emb @ text_emb.T / self.temperature        labels = torch.arange(logits.shape[0])         loss_image = F.cross_entropy(logits, labels)        loss_text = F.cross_entropy(logits.T, labels)         self.loss_count += 1        return (loss_image + loss_text) / 2 if __name__ == "__main__":    torch.manual_seed(42)    batch_images = torch.randn(16, 64)    batch_texts = torch.randn(16, 64)     criterion = CLIPContrastiveLoss(temperature=0.07)    loss = criterion(batch_images, batch_texts)    print("对称对比损失:", loss.item())

1. image_emb = F.normalize(image_emb, dim=-1)把每个图像向量变成单位长度，避免向量长度干扰相似度。
2. logits = image_emb @ text_emb.T / self.temperature一次矩阵乘法算出 N 个图像与 N 个文本之间的相似度矩阵。
3. labels = torch.arange(logits.shape[0])对角线上的位置就是正样本，所以标签恰好是 0 到 N-1。
4. loss_image = F.cross_entropy(logits, labels)图像侧做“图像找文本”的分类任务。
5. loss_text = F.cross_entropy(logits.T, labels)文本侧做“文本找图像”的分类任务，两者取平均即为对称损失。

常见误区

面试题