以文搜图

可视化演示

展示CLIP双塔编码、对比学习训练和以文搜图检索全流程，交互切换三种模式观察文本与图像在共享嵌入空间中的匹配关系。

双塔编码架构

失物招领处开门的第一件事，是请两位翻译官上台。文字翻译官只收描述句子，把每一句话转写成标准符号；图片翻译官只收照片，把每一帧画面也转写成同一种符号序列。两个人不会互相偷看笔记，但手里都有同一本符号手册。

在 CLIP（Contrastive Language-Image Pre-training）这类模型中，两位翻译官被实现为两个独立的编码器：文本编码器和图像编码器。它们不共享网络参数，但都把各自的输入映射到同一个 d 维向量空间，这个空间就是共享嵌入空间。文本编码器通常基于 Transformer 处理词元序列，图像编码器则基于 ViT 或 CNN 处理像素张量。

训练之后，描述文本和对应图片会在嵌入空间里占据相近位置。\(E_t\) 是查询文本的嵌入向量，\(E_i\) 是某张候选图片的嵌入向量，它们既然同处一个向量空间，就可以直接计算相似度。

有了这套符号手册，两位翻译官才能在各自的笔记堆里互相找到对方。接下来要解决的问题是：这本手册是怎么练出来的？

对比学习训练

训练手册靠的是海量“结对卡片”。想象桌面上堆着几十万张卡片，一面是图片，一面是描述。图片和描述本来匹配的，叫正样本对；随机把一张图片和另一段描述拼在一起的，叫负样本对。

对比学习的目标很朴素：让正样本对的向量更近，让负样本对的向量更远。CLIP 训练时每次取一批图文对，把每条文本与同批次所有图像计算相似度，然后套用 InfoNCE 损失。这个名字听起来神秘，本质就是“正确配对要在所有配对中突出重围”。

InfoNCE 的分子把匹配对的相似度用指数放大；分母则对查询向量与同批次所有图像（包含正样本和负样本）的相似度求和。模型要让正样本分数在总分中的占比越来越大。温度参数 \(\tau\) 控制分布的软硬程度：\(\tau\) 越小，惩罚越强，模型越会把相似度差距放大。

经过几百万次卡片练习，翻译官不再死记硬背，遇到新描述也能凭直觉找到对应画面。这份“直觉”最终凝固成嵌入空间的几何结构。

嵌入空间映射

翻译官练成后，“世界语空间”就成形了。所有文本和图像无论来自哪个模态，都变成空间里的坐标点。语义越接近，点靠得越近；语义无关，点则相隔很远。“红色雨伞”的文字坐标和红伞照片的坐标会靠在一起，而和雪山照片相距很远。

衡量两个坐标方向是否一致，最常用的是余弦相似度。它先计算向量点积，再除以两个向量长度的乘积，结果只反映方向夹角，与向量绝对长度无关。这很符合直觉：我们关心“描述和画面在不在同一个方向上”，而不是“向量数字整体有多大”。

在具体实现中，模型一般会先对嵌入向量做 L2 归一化，再做点积。这样点积结果本身就等于余弦相似度，既方便计算，也方便聚类、索引等下游操作。

模态之间的天然差异——图像是像素阵列，文本是词元序列——在这里被压缩进同一种几何里。模态鸿沟没有消失，只是被“共享空间”这座桥临时连接起来。

向量索引构建

假设招领处仓库里堆着一百万张照片。如果每次查询都把整库照片重新过一遍编码器并逐张比较，产品不可能扛得住。所以必须先做“离线建库”：提前用图像编码器把整库图片全部转成向量，并按空间结构建索引。

常用方案是聚类倒排。把向量空间划分成很多个簇，每一簇有一个中心向量代表；中心向量对应的“桶”里存放该簇所有向量。查询到来时，先计算查询向量与所有中心的相似度，只进最接近的若干桶里细找。这样就把“全库搜索”缩小成“局部搜索”。

为了进一步节省存储和带宽，还会做降维压缩。比如把 1024 维降到 256 维，或用乘积量化把向量分成多个子段，逐段用码本编号代替浮点数。代价是原来的“精确相似度”变成“近似相似度”，但换来的是数十倍的效率提升。

这和失物招领处给照片按拍摄地分格存放一模一样。登记造册越细致，将来查找就越快。

召回排序流程

真正的查询流程分两步。第一步，大厅保安利用索引快速圈出几十个桶，这叫候选召回；第二步，专家鉴定师对候选细看，用更精确的相似度重新打分，这叫精排。召回阶段“宁多勿漏”，所以召回数量 \(K_1\) 往往设得很大；精排阶段“宁缺毋滥”，最终只保留前 \(K_2\) 个结果。

召回阶段常用 HNSW 图索引或倒排索引，追求毫秒级响应和足够高的召回率。精排阶段则会回到未压缩的原始向量，甚至叠加一个轻量排序模型，综合文本相关性、图像质量、点击率等信号做二次排序。

排序之外，阈值过滤是最后一道保险。任何文本查询和图像库之间都存在一个最高相似度，但这个最高值可能非常低。如果不设阈值，系统会把完全不相关的结果也当成 Top-1 返回；设了阈值，低置信度结果就被直接丢弃。

保安负责圈定楼层，鉴定师负责精挑细选，守门员再用相似度门槛拦下明显不符的结果——这就是检索闭环。

检索应用实践

整套系统运转起来后，失物招领处才算真正营业。最常见的落地场景是素材库管理：设计师记不清文件名，只记得“穿黄色雨衣的小孩在雨中踩水”。过去靠人工打标签很难搜到，现在以文搜图直接命中。

电商视觉搜索也走同一套链路。用户说不清商品名，只描述“蓝色领口带蝴蝶结的裙子”，系统把描述向量和商品图向量比对，再用点击率模型重排。更进一步的“多模态扩展”把语音、文本、图片组合成复杂查询，例如“视频里穿红色裙子直播的片段”。

评估这套产品不能只靠感觉。工程上常用 Recall@K：看前 K 个结果里有多少是人工标注的相关图片。这个指标直接反映召回阶段有没有把真正该找的图捞回来，也决定了用户的最终体验。

故事讲到这里，失物招领处已经能高效营业。你只需要把一句话交给文字翻译官，剩下的，都在世界语空间里自动完成。

AI 应用场景

Python 演示

import numpy as np # 模拟 6 张图片的 4 维归一化嵌入, 对应 CLIP 图像编码器的输出image_embeds = np.array([    [0.80, 0.55, 0.10, 0.20],  # 雪山星空    [0.10, 0.25, 0.90, 0.35],  # 沙滩日落    [0.75, 0.60, 0.15, 0.22],  # 石桥红伞    [0.20, 0.15, 0.30, 0.92],  # 城市夜景    [0.60, 0.65, 0.35, 0.30],  # 森林小鹿    [0.30, 0.85, 0.20, 0.40],  # 奔跑小猫], dtype=np.float32) # 图片文件名, 仅用于展示file_names = [    "snow_mountain.jpg",    "beach_sunset.jpg",    "bridge_red_umbrella.jpg",    "city_night.jpg",    "forest_deer.jpg",    "running_cat.jpg",] # 模拟 CLIP 文本编码器输出的查询向量query_embed = np.array([0.78, 0.58, 0.12, 0.20], dtype=np.float32) # 对向量做 L2 归一化, 这样点积就是余弦相似度image_embeds = image_embeds / np.linalg.norm(image_embeds, axis=1, keepdims=True)query_embed = query_embed / np.linalg.norm(query_embed) # 计算查询与所有图片的余弦相似度similarities = image_embeds @ query_embed # 按相似度降序排列order = np.argsort(similarities)[::-1] print("文本查询: 一座石桥, 有人撑着红伞")print("以文搜图 Top-K 结果:")for rank, idx in enumerate(order, start=1):    print(f"  top-{rank}: {file_names[idx]:<24} 相似度={similarities[idx]:+.4f}")

1. image_embeds = image_embeds / np.linalg.norm(image_embeds, axis=1, keepdims=True)对整张图片矩阵按行做 L2 归一化，保证点积等价于余弦相似度。
2. query_embed = query_embed / np.linalg.norm(query_embed)查询向量同样归一化，否则后续点积不能代表余弦值。
3. similarities = image_embeds @ query_embed矩阵乘向量的形式一次算出查询与全部图像的余弦相似度。
4. order = np.argsort(similarities)[::-1]将相似度从高到低排序，拿到图片编号的逆序索引，便于输出 Top-K 结果。

常见误区

面试题