CLIP零样本：分类与检索能力

可视化演示

展示CLIP三大零样本能力：零样本分类将图像与文本提示匹配、跨模态检索实现图文互搜、提示模板优化提升准确率，动态演示多模态共享语义空间工作原理。

CLIP工作原理

在成为“万事通”之前，这位图书管理员每天只做一件简单的事：翻阅4亿张“图文配对卡”。卡片左边是一张照片，右边是一句人话，比如一张金毛的照片配着“一只在草地上奔跑的金毛犬”。他一张张看，慢慢地，大脑里形成了一张神奇的“概念地图”——凡是语义相近的图片和文字，在地图上都挤在同一个街区。

CLIP的训练过程和这位管理员如出一辙。它由两个“器官”组成：图像编码器负责“看”图片，把一张图浓缩成一串数字（图片向量）；文本编码器负责“读”文字，把一句话浓缩成等长的向量（文本向量）。预训练时，CLIP做的是最朴素的“连线题”：面对一批图文对，把配对的图片和文本拉近，把不匹配的推远。

这道连线题的解题目标叫做对比学习损失。以一个小批次为例，里面有N张图片和N句文本，真实配对关系已知。对每张图，CLIP要“认出”自己真正对应那句文本，把它的相似度打分提到最高，同时压低其他N-1句“干扰文本”的分数。

就是这样日复一日地做了4亿道连线题，管理员大脑里的概念地图越来越精细。他并没有刻意背过“猫”长什么样，但猫的图片和“猫”的文字早已在地图上相互簇拥。这份“见过世面”的底子，正是他日后零样本表演的真正本钱。

零样本分类

有一天，馆长递给图书管理员一张新照片，问：“这上面是猫还是狗？”管理员没有翻教材、没有问同事，只是在心里默念两张“知识卡片”——“一张猫的照片”和“一张狗的照片”——然后把新照片往概念地图上一放，看看它和哪张卡片更“气味相投”。

这就是零样本分类的核心逻辑：分类根本不依赖任何标注图像。用户只需给出类别的名字，CLIP先把它套进一句自然语言模板里变成文本，比如"a photo of a cat"，再交给文本编码器得到类别文本向量。与此同时，待分类图片经过图像编码器得到图像向量。最后比较图像向量和每个类别向量的距离，谁最近，图片就属于谁。

形式化地说，设图片为I，类别集合为{c₁,……,c_C}，每个类别c对应的模板文本为T_c，预测结果就是相似度最大的那个类别。

整个过程就像管理员在地图上做了一次“就近落户”：新图片落在哪个街区的“邻居”最多，它就归入哪个街区。全程没有任何标注、没有任何训练，这就是“零样本”的含义——一次训练，处处可用。

零样本检索

馆长又从口袋掏出一张纸条，上面写着“下雨天窗边趴着的猫”，命令管理员：“去图库里把这张图找出来。”管理员扫了一眼纸条，把这句话翻译成一个坐标，飞身跃入概念地图，逐一与图库中每张图的坐标比对距离，最近的那张被一把抓住。

这就是零样本检索。与分类不同，检索面对的不是几个固定类别，而是一个开放式大图库。查询端是任意自然语言，候选端是成千上万张图片。CLIP把查询文本变成向量，再与所有图片向量批量计算相似度，按分值从高到低排序，返回最相关的K张图。反过来，给一张图片去搜文本描述，流程完全对称，这就是“双向检索”。

对每个候选图片p_i，模型给出它与查询q的匹配概率，常用softmax形式的相似度打分。

管理员“听描述找图”靠的是地图上的距离感，而“看图找描述”只是把探针换成了图片。同一张地图、同一套距离法则，只是方向换了，这就是跨模态检索最优雅的地方。

Prompt工程优化

时间久了，馆长发现一个规律：同一句话，说得越“像人话”，管理员找得越快。如果你只说“狗”，他还要犹豫一下；但如果你说“一只狗的彩色照片”，他几乎秒回。因为管理员当年读的4亿张卡片上，配文都是完整的句子，而不是孤零零的单词。

这个发现对应到CLIP上，就是Prompt Engineering（提示工程）。CLIP的文本编码器是在“完整句子”上训练的，直接喂一个裸标签“dog“，得到的向量不够稳定；套上模板”a photo of a dog”后，文本分布与训练时更接近，提取出的语义特征更可靠。

类别文本的构造可以抽象成模板公式。对通用场景，最常见的是“a photo of a {label}“；对专业领域，可定制前后缀，例如卫星图用”a satellite photo of a {}”。

就像跟管理员说话时，把“狗”扩展成“一只狗的彩色照片”，他会心领神会。Prompt的深意正在于此：它不是命令，而是与预训练模型“沟通”的说话方式——话说得越对路，模型越懂你。

跨模态检索原理

为什么管理员能在图片和文字之间自由穿梭？因为他脑海里那张概念地图有一个迷人的特性：猫的图片和“猫”这个词，在坐标上几乎重合；“下雨天窗边趴着的猫”和对应的照片，也紧紧相邻。图片和文本，两个原本毫不相干的模态，在共享空间里被“钉”在了一起。

跨模态检索的全部秘密，就是这份共享语义空间。CLIP训练时把配对的图文拉近、不配对的推远，最终使图像编码器和文本编码器输出的向量落在同一片空间里，让“文本向量与图像向量直接比较大小”成为可能。任何跨模态检索，本质上都是在这片空间里做最近邻查找。

两个向量接近程度的度量，最常用的是余弦相似度——它只看方向、不受向量长度影响。

所以CLIP检索的本质，不是“理解”句子，而是把句子和图片都翻译成同一坐标系里的坐标，然后在坐标系里丈量距离。管理员穿梭图文世界的“超能力”，不过是一张精密的语义地图加上一把刻度清晰的尺子。

性能对比分析

馆长身边有一些“专才图书员”，他们只负责认猫，在一个包含100万张猫图的资料库里训练了整整一个月，并在测试集上达到95%的准确率。馆长问管理员：“你从没受过猫图专项训练，敢和专才比比吗？”管理员笑了笑，接过同一批测试图。

比试结果很有意思。在ImageNet这样的大规模通用图像数据集上，CLIP零样本准确率达到76.2%，而经典有监督模型ResNet-50为76.3%——几乎持平！一个没做过专项训练的通才，与一个精心训练过的专才打平了。更令人惊讶的是，当图像分布发生偏移（比如换艺术风格、加噪声），通才的鲁棒性反而常常更好。

不过比分并非一边倒。在细粒度分类、医学影像等专有领域，CLIP零样本与专项有监督模型差距明显，因为这些类别的语义在预训练数据中出现得少。用相对准确率增益公式可以直观量化差距：

这场比试告诉我们：零样本不是万能神药，但它最大的价值在于“通用性”——在一个领域里攒下的见识，可以零成本迁移到无数新任务上。通才与专才，各有各的用武之地。

视觉应用构建

馆长终于决定建设一座新图书馆，从零搭建图片分类和搜索系统。按老办法，要先招募专才、花几个月标注数据、训练模型；但有了管理员，新馆只用了一天就上线了——因为管理员不需要培训，只需要“说清楚规则”。

这正是CLIP零样本能力在工程上的巨大价值：快速原型验证。当业务方提出“帮我识别图片里的车辆类型”或“让我用一句话搜公司内网图片”时，AI应用开发者不需要四处收集标注、不启动训练任务，直接用CLIP的零样本分类/检索接口即可交付可用MVP，验证需求后再决定是否训练专用模型。

搭建一个以文搜图系统，典型流程是：离线把图库所有图片过一遍图像编码器，得到向量后建立索引；在线将用户查询送入文本编码器，与索引向量计算相似度并取Top-K。评估系统质量常用Recall@K指标：

零样本能力的工程意义，是把“模型训练”从视觉应用的启动条件变成了可选项。管理员一个人就是一支成建制的部队，先让他顶上去，等业务规模验证了、标注数据攒够了，再训练专才也不迟。

AI 应用场景

Python 演示

import torchfrom PIL import Imagefrom transformers import CLIPProcessor, CLIPModel  class CLIPZeroShot:    """CLIP zero-shot classification and retrieval demo."""     def __init__(self, model_name="openai/clip-vit-base-patch32"):        self.model = CLIPModel.from_pretrained(model_name)        self.processor = CLIPProcessor.from_pretrained(model_name)     def classify(self, image_path, labels, template="a photo of a {}"):        image = Image.open(image_path)        texts = [template.format(label) for label in labels]        inputs = self.processor(text=texts, images=image,                                return_tensors="pt", padding=True)        with torch.no_grad():            logits = self.model(**inputs).logits_per_image[0]        probs = logits.softmax(dim=0).tolist()        return sorted(zip(labels, probs), key=lambda x: x[1], reverse=True)     def search(self, query, image_paths, template="a photo of a {}",               top_k=3):        images = [Image.open(path) for path in image_paths]        inputs = self.processor(text=template.format(query), images=images,                                return_tensors="pt", padding=True)        with torch.no_grad():            logits = self.model(**inputs).logits_per_text[0]        probs = logits.softmax(dim=0).tolist()        ranked = sorted(zip(image_paths, probs),                        key=lambda x: x[1], reverse=True)        return ranked[:top_k]  if __name__ == "__main__":    clf = CLIPZeroShot()    result = clf.classify("cat.jpg", ["cat", "dog", "bird"])    print(result)    hits = clf.search("a dog playing", ["cat.jpg", "dog.jpg", "bird.jpg"])    print(hits)

1. self.model = CLIPModel.from_pretrained(model_name)加载预训练好的CLIP模型，权重来自4亿图文对。
2. self.processor = CLIPProcessor.from_pretrained(model_name)处理器负责把图片和文字统一整理成模型需要的输入格式。
3. texts = [template.format(label) for label in labels]把每个类别标签套进prompt模板，生成类别句子。
4. inputs = self.processor(text=texts, images=image, return_tensors="pt", padding=True)图像和文本一起送入处理器，得到张量输入。
5. logits = self.model(**inputs).logits_per_image[0]得到图片与每个类别文本的匹配得分向量。
6. probs = logits.softmax(dim=0).tolist()把得分转成概率，方便排序比较。
7. ranked = sorted(zip(image_paths, probs), key=lambda x: x[1], reverse=True)检索时按相似度概率降序排列图片路径。

常见误区

面试题