ALIGN：大规模图文对齐预训练

可视化演示

动态演示ALIGN的核心机制，通过全局/局部/动态/静态四种模式展示关键概念与交互流程。

背景渊源

婚介所最缺的不是相亲点子，而是档案。CLIP 用 4 亿份人工精修档案把配对做成了，可谁都知道，请文书逐条核对“这张图配这段字对不对”要花多少钱？人工清洗数据的成本让绝大多数团队望而却步。老红娘看着仓库里从网页上扒下来的堆成山的“图片+旁边文字”随笔记账，心里琢磨：这些草稿虽然错漏百出、张冠李戴，但胜在量大——整个互联网就是一座没人整理过的档案金矿。

从技术上说，CLIP 已经证明了“图片和文字分别编码、再拉到一起比相似度”这条路走得通，但它被“高质量数据”锁住了想象力。真实世界里，网页图片旁几乎都自动带着一行图像替换文本（alt-text），它是给视障用户准备的读屏描述，恰恰成了免费的图文弱标注。与其花钱把数据洗得干干净净，不如直接用这些有点脏、有时甚至完全对不上的配对，让模型自己学会分辨真假。ALIGN 把训练集形式化地写成：

老红娘的账本上从此多了十个亿的“草稿档案”。她要做的不再是费力誊写，而是想办法从这些乱糟糟的纸条里把缘分规律挖出来——这正是 ALIGN 与 CLIP 分道扬镳的第一个岔路口。

双塔架构

老红娘请来了两位顾问。“图顾问”只接待图片嘉宾，扫一眼像素就能写出一张“缘分坐标卡”；“文顾问”只接待文字嘉宾，读一段描述也能写出一张同款坐标卡。两位顾问从不见面、从不聊天，但他们写出来的卡片必须能放进同一个坐标系里比对——这就是双塔架构的精髓。

在技术实现上，“图顾问”对应图像编码器，ALIGN 采用的是 EfficientNet 一族网络，把一张图压缩成一个固定长度的向量；“文顾问”对应文本编码器，用的是 BERT，把一句话也变成一个向量。两个向量被投射到同一个共享嵌入空间，就像所有嘉宾的坐标卡都采用统一的格式。接下来的问题只有一个：两张坐标卡有多像？答案是最常用的余弦相似度：

两位顾问虽然语言不通，但她们交上来的坐标卡格式统一、量纲一致。真配对的卡片自然会落在相近的位置上——这就是“双塔各干各的，最后空间里相见”的设计哲学。

噪声数据策略

档案既然不打算人工核对，那怎么收集？老红娘的办法简单粗暴：直接撕网页。每张网页图片旁边都自带一行“替换文本”（alt-text），本来是给读屏软件用的描述，如今被整条撕下来贴进档案袋。有的纸条写得准确：“一只橘猫躺在沙发上”；有的语焉不详：“点击查看”；还有的张冠李戴，驴唇不对马嘴。老红娘只做了极轻量的规则过滤——太短的纸条扔掉、重复的纸条合并、明显乱码的划掉——然后照单全收。

这套策略与技术上的数据构造一一对应：从 HTML 中提取 alt-text 或周边文本，经过最小化过滤后直接作为图文对。最终 ALIGN 拿到了超过十亿对弱标注图文对，而 CLIP 只有 4 亿对经过人工精心清洗的数据。噪声数据的构造可以写成：

老红娘把“宁缺毋滥”改成了“韩信点兵，多多益善”。虽然档案袋里混了不少废纸条，但她坚信：只要配对游戏规则设计得好，海量数据带来的统计优势足以盖过噪声的干扰。

对比损失函数

档案到位了，相亲会该怎么开？老红娘立下一条铁规矩：每场相亲会（一个 batch）里，每位嘉宾都要从全场异性中选出自己的真命天子，选对了有奖、选错了挨罚。换句话说，第 i 张图片要在 N 个文本候选里认出自己的搭档 \(T_i\)，而其他 \(N-1\) 个文本全是“陪跑者”（负样本）。这是一场 N 选 1 的考试，要让正样本的相似度在分数榜上排到第一。

技术上，这个“N 选 1 考试”用对比损失（InfoNCE 的一种变体）来实现。对第 i 个图文对，图像到文本方向的损失是：

光让图片认文本还不够，老红娘处世讲究公平——反过来也得让文本认图片。于是总损失把两个方向都算上再取平均，构成对称的双向损失：

老红娘把相亲会的规矩定为“双向奔赴”：图片要能一眼认出文字，文字也要能一眼认出图片。两个方向互为照妖镜，谁也别想偷懒，这就是 ALIGN 损失设计的对称之美。

大批量训练

相亲会办得越大，老红娘越高兴。为什么？因为人越多，陪跑者就越多，判断真配对的难度越大，一旦认对了，说明眼力是真的好。在对比学习里，负样本不会从天而降，它们就藏在同一个 batch 里——别的图文对，对当前样本来说就是天然负样本。batch 越大，负样本越丰富，模型学到的边界就越锐利。

具体算一笔账：假设一个 batch 里有 N 个图文对。对第 i 张图片来说，负样本包括另外 \(N-1\) 个文本；对第 i 段文本来说，负样本包括另外 \(N-1\) 张图片。因此在双向损失下，每个样本面对的负样本数量是：

大规模训练当然有代价：显存放不下怎么办？老红娘的办法是请来一整支“分店团队”——用分布式训练把大批次拆到多台机器上并行计算，梯度汇总后再统一更新。正因如此，ALIGN 才能把批次规模推到远超常规的量级，让每一场“相亲会”都热闹非凡，也让训练过程更加稳定高效。

跨模态检索

婚介所的名声传开后，新客户络绎不绝。神奇的是，老红娘不需要提前认识任何新嘉宾——图顾问看一眼照片就能写坐标卡，文顾问读一段介绍也能写坐标卡，两张卡往坐标系里一对，缘分立刻见分晓。这就是所谓的“零样本”能力：模型在预训练时从没见过这些具体类别，却能在共享空间里完成图文匹配。

检索系统的落地方式也很优雅：预训练结束后，把整个图库离线编码成一张“坐标索引表”，用户来查询时只需编码一次查询文本，然后在索引表里找最近邻即可。反过来，拿一张图搜文字也一样。评价这种排名质量最常用的指标是 R@K（Recall at K）：

ALIGN 靠着这套“即插即用”的检索能力，在 Flickr30K、MS-COCO 等标准基准上刷新了当时的纪录，对多语言文本也有不错的适应力。和 CLIP 相比，二者路线不同、数据策略各异，在评测上各有千秋——但老红娘证明了：不用精洗数据，也能办成大事。

ALIGN局限

故事讲到这里，也该说说老红娘的烦恼。档案库虽然海量，却天然有偏：互联网上热门的概念（猫、汽车、明星）资料堆积如山，冷门的、小众的、细分领域的内容却少得可怜。而且草稿档案大多是英文，其他语言的嘉宾明显被冷落。更让老红娘头疼的是，相亲会上的“粗配”看得准，真要计较细节——“左边第二只鸟是什么颜色”“背景里有几个人”——就抓瞎了，因为十亿份草稿档案里就没几个人会写这种细活。

用技术语言说，ALIGN 的训练数据分布与真实应用分布并不一致，这种分布偏移可以写成：

此外，ALIGN 虽然零样本很强，但要论在某个具体任务上的精雕细琢，通常仍比不过专门用有监督数据微调的模型。未来怎么补？方向很清晰：补充更均衡的数据、设计细粒度对齐目标、引入可控生成数据来填平分布鸿沟。老红娘的大档案例还有继续进化的空间。

AI 应用场景

Python 演示

import torchimport torch.nn as nnimport torch.nn.functional as F  class ImageEncoder(nn.Module):    def __init__(self, emb_dim=256):        super().__init__()        self.net = nn.Sequential(            nn.Conv2d(3, 32, 3, stride=2, padding=1),            nn.ReLU(),            nn.Conv2d(32, 64, 3, stride=2, padding=1),            nn.ReLU(),            nn.AdaptiveAvgPool2d(1)        )        self.proj = nn.Linear(64, emb_dim)     def forward(self, x):        h = self.net(x).flatten(1)        return F.normalize(self.proj(h), dim=-1)  class TextEncoder(nn.Module):    def __init__(self, vocab_size=5000, emb_dim=256):        super().__init__()        self.embed = nn.Embedding(vocab_size, emb_dim)        self.proj = nn.Linear(emb_dim, emb_dim)     def forward(self, x):        h = self.embed(x).mean(dim=1)        return F.normalize(self.proj(h), dim=-1)  class AlignModel(nn.Module):    def __init__(self, image_encoder, text_encoder, temperature=0.07):        super().__init__()        self.image_encoder = image_encoder        self.text_encoder = text_encoder        self.temperature = temperature     def forward(self, images, texts):        img_emb = self.image_encoder(images)        txt_emb = self.text_encoder(texts)        logits = img_emb @ txt_emb.t() / self.temperature        labels = torch.arange(logits.shape[0]).to(logits.device)        loss_i2t = F.cross_entropy(logits, labels)        loss_t2i = F.cross_entropy(logits.t(), labels)        return (loss_i2t + loss_t2i) / 2  def main():    torch.manual_seed(42)    model = AlignModel(ImageEncoder(), TextEncoder())    opt = torch.optim.Adam(model.parameters(), lr=1e-3)    for epoch in range(2):        imgs = torch.randn(8, 3, 32, 32)        texts = torch.randint(0, 5000, (8, 32))        loss = model(imgs, texts)        opt.zero_grad()        loss.backward()        opt.step()        print('epoch', epoch, 'loss', round(loss.item(), 4))  if __name__ == '__main__':    main()

1. self.net = nn.Sequential(...)图像塔用两层卷积提取视觉特征，池化后得到图片向量。
2. self.embed = nn.Embedding(...)文本塔先把词 ID 映射成词向量，再平均成句子向量。
3. F.normalize(self.proj(h), dim=-1)对输出向量做 L2 归一化，让点积直接等价于余弦相似度。
4. img_emb @ txt_emb.t() / self.temperature一次矩阵乘法算出 batch 内所有图文对的相似度矩阵。
5. labels = torch.arange(logits.shape[0])对角线上的位置就是真配对，作为分类任务的标准答案。
6. F.cross_entropy(logits, labels)对每张图片做 N 选 1，正确答案得分最高则损失最小。
7. loss_t2i = F.cross_entropy(logits.t(), labels)反向再做一次文本找图片，构成对称双向损失。

常见误区

面试题