CLIP：视觉-语言预训练里程碑

可视化演示

展示CLIP双塔编码器架构、对比学习相似度矩阵训练过程与零样本分类能力，直观理解视觉-语言预训练的核心机制。

双塔编码器

还记得那只导盲犬吗？它之所以能听懂“金毛犬”这个词，是因为它的大脑里有两个分工明确的“记忆区”：一个负责存储“看到过的画面”（金色毛发、摇尾巴的姿态），另一个负责存储“听到过的词汇”（“金毛”这个声音对应的含义）。当两个记忆区的信息反复配对，它就在两者之间架起了桥梁。CLIP 的双塔编码器架构，正是模仿了这种分工。

CLIP 由两个独立的编码器组成：“图像塔”和“文本塔”。图像塔负责把一张图片压缩成一个特征向量——你可以把它理解成“图片的身份证号”；文本塔负责把一段文字也压缩成一个特征向量——“文字的身份证号”。两个塔互不干涉，各自处理自己擅长的模态信号，但它们输出的向量被映射到同一个“语义空间”中，使得语义相近的图文对在这个空间里的距离很近。

图像塔采用 Vision Transformer（ViT）结构，将图片切成 16×16 的 patch 序列，像读句子一样从左到右编码像素块；文本塔则采用标准的 Transformer 编码器，把单词序列编码成句向量。最终，图像塔输出一个 d 维向量 \( \mathbf{v} \)，文本塔输出一个 d 维向量 \( \mathbf{w} \)，两个向量经过 L2 归一化后位于同一单位超球面上，用余弦相似度衡量图文匹配程度：

双塔结构的精妙之处在于“解耦”：图像塔和文本塔不需要共享任何参数，各自可以独立预训练。这就像导盲犬的视觉记忆区受损时，语言记忆区仍然完好，两者既独立又配合——这种松耦合设计让后续的零样本迁移和跨模态检索变得异常灵活。今天 Stable Diffusion 的文生图管线中，CLIP 的图像塔与文本塔各司其职，依然延续着这一架构思想。

对比学习目标

导盲犬是怎么学会配对图文信息的？靠的不是老师逐张教它，而是让它自己“找不同”——对比学习。想象你在一个聚会上，主人给你介绍一个陌生人：“这位是小明”。你不需要别人告诉你小明不是你认识的所有其他人，你只需要在那一刻，把“小明”这个名字和眼前这张脸绑定。CLIP 的训练目标也是类似的逻辑。

CLIP 的核心训练目标是对比学习，具体采用 InfoNCE 损失。在一个训练批次中，假设有 N 张图片和 N 条文本，它们一一对应形成 N 个正样本对（比如第 i 张图配第 i 条文本）。但模型并不知道这个对应关系，它需要从 N×N 的所有组合中，学会“认出”哪个文本属于哪张图——这就像一个“连连看”游戏，对角线上的配对是正确的，其他都是干扰项。

具体做法是：计算所有图片特征与所有文本特征之间的相似度矩阵 \( S \in \mathbb{R}^{N \times N} \)，其中 \( S_{ij} = \text{sim}(\mathbf{v}_i, \mathbf{w}_j) \)。训练目标是让对角线元素（正样本对）尽可能大，非对角线元素（负样本对）尽可能小。对每一行做 softmax 归一化，就得到对比损失：

对比学习的美妙之处在于，它把“语义对齐”这件事变成了一个相对简单的“配对游戏”。不需要人工标注图片的详细描述，只要能凑齐图文对即可。就像导盲犬在无数次主人介绍陌生人中学会了“名字—面孔”对应规则，CLIP 在 4 亿对图文数据中学会了“画面—语言”的语义映射。这种自监督式的学习信号，是大规模预训练得以实现的根本原因。

大规模训练

导盲犬之所以聪明，是因为它见过足够多的世面；CLIP 之所以强大，是因为它吞下了足以绕地球好几圈的图文数据。当时 OpenAI 从互联网上搜集了约 4 亿对图文数据，这些数据可不是精心策划的教科书，而是混杂着表情包、广告图、低分辨率缩略图的“野路子”数据。

4 亿对图文数据是 CLIP 成功的物质基础。此前的研究多使用人工标注的小规模数据集（如 ImageNet 的 128 万张分类图），而 CLIP 直接“薅互联网的羊毛”——从维基百科、社交媒体、新闻网站抓取图片及其附带的文本（如 alt 文本、标题、描述）。这些数据量级比传统数据集大两个数量级，且天然包含丰富的视觉-语言对应关系。虽然存在大量噪声（图片与文本不完全匹配），但惊人的数据量足以弥补质量缺陷。

CLIP 的训练策略也颇具匠心。它采用对比学习目标而非预测式目标，因为前者对噪声数据更鲁棒——即使某对图文的对应关系不完全精确，只要批量中大多数配对正确，模型依然能学到有意义的表征。训练时采用了大规模并行策略：两个塔分别部署在独立的计算设备上，通过梯度同步机制保持一致性。据统计，CLIP 的训练大约消耗了数百张 GPU 卡连续运行数周，这种算力投入在当年是“豪门级”的。

CLIP 的实验也证明了一个重要规律：模型性能与数据规模近似呈幂律关系——数据量翻倍，零样本性能稳定提升。这为后续 GPT-4、Gemini 等多模态大模型的“堆数据”路线提供了信心。

零样本迁移

训练完毕的导盲犬来到一个新的社区，它从来没有在这里生活过，但主人说“找一位穿红衣服的老奶奶”，它依然能出色地完成任务——因为它见过无数种“红色”和“老奶奶”的搭配。CLIP 最令人震撼的能力，正是这种零样本迁移：不需要针对新任务做任何训练，直接就能完成分类、检索等任务。

传统图像分类器的使用方式是“训练—微调—部署”三步走：每遇到一个新类别体系，就要重新标注数据、重新训练模型。而 CLIP 把“分类问题”巧妙地转化为“检索问题”。假设我们要做一个“猫 vs 狗”的二分类器，只需构造两个文本候选：“一张猫的照片”和“一张狗的照片”，分别送入文本塔得到两个文本特征；再把测试图片送入图像塔得到图像特征；最后计算图片特征与两个文本特征的相似度，相似度更高的那个类别就是预测结果：

这种零样本能力的本质是：CLIP 在预训练阶段已经“见过”了海量的（图片，文字）配对，学会了视觉概念与语言符号之间的丰富对应。因此当你给出一个新的文本描述时，它能在语义空间中定位到对应的视觉区域——无需任何梯度更新。在 ImageNet 上，CLIP 的零样本 Top-1 准确率达到 76.2%，与 2016 年有监督训练的 ResNet-50 相当，这在当时引爆了整个研究社区——“无需训练即可分类”从科幻变成了现实。

提示学习

同样是导盲犬，有的主人叫它“找红色的球”，它立刻行动；有的主人说“那个圆圆的、红红的东西，帮我叼过来”，它反而犹豫了。可见，指令的表达方式直接影响任务效果。CLIP 的零样本能力也高度依赖于文本提示（Prompt）的措辞——这就是提示学习（Prompt Learning）的用武之地。

用 CLIP 做分类时，“一张{类别}的照片”这样的模板通常效果不错，但有时会出现奇怪的失败案例：把“公共汽车”识别成“拖拉机”。研究者发现，问题的根源往往不在模型本身，而在提示模板没写对。例如，用“一张{类别}的照片”和“一张{类别}的图片”两种模板，效果就有差异。于是，“如何写出更好的提示”成了一门学问。

有效的提示策略包括：1）在类别词前后增加上下文描述，如“一张{类别}的照片，一种常见的物体”；2）集成多个提示模板，把每个模板的预测结果综合投票；3）为类别设计更具体的描述，如“一种毛茸茸的宠物猫”而非笼统的“猫”。在 ImageNet 上，精心设计的提示集成（如 80 个模板投票）比单一简单提示提升约 3-5 个百分点的准确率。

提示学习后续发展出了可学习的软提示（Context Optimization，CoOp），将提示词从人为设计的离散文本替换为可梯度更新的连续向量，进一步将零样本能力升级为少样本能力。不过，无论硬提示还是软提示，其核心思想都源于 CLIP 开创的“将分类转化为图文匹配”范式。对于今天的多模态 AI 工程师而言，掌握提示工程依然是与 CLIP 及其衍生模型协作的基本功。

多模态基石

导盲犬不仅自己聪明，它还能带着其他“服务犬”一起工作。比如帮盲人看路、帮聋哑人做手语翻译、帮独居老人报警——它的视觉能力成了其他服务的“感知底座”。CLIP 在多模态 AI 生态中的地位，正是这种“感知底座”。

CLIP 发布后迅速成为多模态 AI 的基础设施。最广为人知的当属 Stable Diffusion：这个文生图模型使用 CLIP 的文本编码器将用户的文字描述编码为条件向量，引导扩散模型生成匹配语义的图像——没有 CLIP，“画一张'宇航员骑马的油画'”这样的指令将无法被模型理解。此外，CLIP 还广泛用于图文检索（淘宝以图搜图）、图像描述生成（BLIP 等模型初始化视觉编码器用 CLIP）、视觉问答（Flamingo 等模型引入 CLIP 特征）等任务。

CLIP 之所以能成为基石，源于它的三个特性：1）通用性——CLIP 的特征不需要为每个下游任务重新训练；2）多模态对齐——CLIP 打通了视觉与语言两个模态的“巴别塔”；3）可组合性——CLIP 可以作为一个模块插入到更大的系统中，就像乐高积木一样与其他组件灵活拼接。

CLIP 开启了视觉-语言预训练的新范式。此前的视觉模型（如 ResNet）只处理图像，语言模型（如 BERT）只处理文本，而 CLIP 第一次在超大规模上实现了两种模态的统一表征。这一范式深刻影响了后续的 ALIGN、Florence、BEiT-3 等模型，甚至为 GPT-4V、Gemini 等原生多模态大模型铺平了道路。如今，几乎所有多模态系统的架构设计，都在某种程度上延续着“双塔编码 + 对比对齐”的 CLIP 基因。

回顾全文：从双塔编码器的分工协作，到对比学习目标的配对游戏，再到大规模训练的“见多识广”，最后到零样本迁移和提示学习的“灵活应用”——CLIP 用一套简洁优雅的方案，解决了“让机器理解图片和文字关系”这一根本问题。它不仅是视觉-语言预训练的里程碑，更是通往通用人工智能道路上的一块重要路标。

AI 应用场景

Python 演示

"""CLIP 零样本图像分类演示脚本"""import torchimport clipfrom PIL import Image def load_model():    device = "cuda" if torch.cuda.is_available() else "cpu"    model, preprocess = clip.load("ViT-B/32", device=device)    return model, preprocess, device def predict_image(model, preprocess, device, image_path, classes):    image = preprocess(Image.open(image_path)).unsqueeze(0).to(device)    text = clip.tokenize([f"a photo of a {c}" for c in classes]).to(device)     with torch.no_grad():        image_features = model.encode_image(image)        text_features = model.encode_text(text)     image_features /= image_features.norm(dim=-1, keepdim=True)    text_features /= text_features.norm(dim=-1, keepdim=True)     similarity = (100.0 * image_features @ text_features.T).softmax(dim=-1)    return {classes[i]: float(similarity[0][i]) for i in range(len(classes))} def main():    model, preprocess, device = load_model()    classes = ["cat", "dog", "bird"]    result = predict_image(model, preprocess, device, "test_cat.jpg", classes)    for cls, prob in sorted(result.items(), key=lambda x: -x[1]):        print(f"  {cls}: {prob:.2%}") if __name__ == "__main__":    main()

1. model, preprocess = clip.load("ViT-B/32", device=device)加载 OpenAI 官方开源的 CLIP 模型，ViT-B/32 是图像塔采用 ViT-Base 且 patch 大小为 32 的版本
2. preprocess(Image.open(image_path)).unsqueeze(0)对输入图片做归一化、缩放等预处理后增加 batch 维度，为送入模型做准备
3. clip.tokenize([f"a photo of a {c}" for c in classes])用 prompt 模板构造类别文本并 token 化，这是零样本分类的关键构造，把类别名变成模型能理解的 token 序列
4. model.encode_image(image)双塔中的图像塔前向计算，输出图片的语义特征向量
5. model.encode_text(text)双塔中的文本塔前向计算，输出文本的语义特征向量
6. image_features /= image_features.norm(...)L2 归一化，将向量投影到单位球面，便于计算余弦相似度
7. similarity = (100.0 * image_features @ text_features.T).softmax(dim=-1)计算相似度矩阵并做 softmax，得到每个类别的预测概率（100 为 temperature 缩放）

常见误区

面试题