多模态搜索：以图搜图与视频搜索

可视化演示

动态演示多模态搜索的核心机制，通过入门/进阶/实战/优化四种模式展示关键概念与交互流程。

视觉特征提取：给照片写“特征小抄”

寻宝猎人老周接到一单生意：顾客发来一件旧旗袍的照片，想在全市场找同款。老周不急着逛市场，他先掏出小本子记下三件事——颜色是“大红底”，花纹是“缠枝莲”，样式是“立领盘扣”。这张小抄，决定了他能在多大范围内锁定目标。以图搜图的第一步，就是给每张图做这样一张数字版“特征小抄”。

计算机没有“红”“花纹”这种直觉，它看到的只是密密麻麻的像素矩阵。于是研究者训练了卷积神经网络（CNN），让模型像老周一样一层层地看：先看边缘线条，再看色块纹理，最后组合出“这是一个物品”的高层语义。最终，一张图被压缩成一个固定长度的浮点数向量，比如 256 维。这个向量就是数字小抄，把颜色、纹理、形状的线索全部浓缩进了一串数字。

形式化地看，一张图 I 经过 CNN 变成特征向量 $f$，检索时再与商品库中的每个向量计算余弦相似度：

小抄写得越精准，老周找东西越省劲。CNN 训练得越充分，特征向量就越能扛住旋转、缩放、滤镜的干扰——即使顾客拍的是斜角照片，系统也能从“小抄”里认出同款。这正是以图搜图能“认脸”的根基。

跨模态对齐：训练一位“翻译官”

寻宝猎人不止会看图，还听得懂话。顾客常常口述：“我要红底白花的棉布。”老周能立刻把这句话翻译成自己心里的那套“小抄”暗号。为什么能对上？因为他脑子里有一本对照词典，能把文字里的“红”和图片里的“红”指向同一个概念。机器学习把这本词典叫作跨模态对齐。

模型要做的，就是把“图像空间”和“文字空间”通过映射函数放进同一个“语义空间”里。训练时，给模型看大量图文对——一张图配一段描述它的文字。匹配对要在空间里靠近，不匹配的要相互推开。最经典的训练方法是对比学习：每个批次里，配对的图文是正样本，其余全是负样本，模型要学着把正样本从一堆干扰项里挑出来。

对比学习常使用 InfoNCE 损失函数，公式如下：

有了翻译官，老周不再需要顾客提供专业描述——一句“像那种花的布”就够定位了。跨模态对齐让以图搜文、以文搜图变成同一件事：图像与文本在同一个空间里自由对话。

ANN 近似检索：旧货市场的分区导航

老周的市场有一百个摊位。如果目标布料的“小抄”要和每个摊位的布料从头到尾比对一遍，跑完得花一整天。聪明的做法是先给市场画一张分区导航图：布料去 2 区，瓷器去 8 区；2 区再细分纯色区、印花区。每次寻宝先锁定几个分区，再在分区内细看。索引的力量，就在于此。

在向量检索中，我们同样要为海量商品特征建立索引。最常用的是倒排索引：先对全库做聚类，得到几千个聚类中心作为“分区标志”，每个商品挂到最近的中心下。查询时只访问最近的几个分区，大幅减少比对次数。此外还有局部敏感哈希（LSH），让相近向量碰撞进同一个桶；HNSW 构建可导航的小世界图；乘积量化（PQ）负责压缩向量体积。这些方法统称近似最近邻（ANN）。

以 PQ 为例，它的压缩思路可以用下面的近似距离公式表达：

有了分区导航，老周不用再从头逛到尾，而是直奔 2 区再比对细节。ANN 正是牺牲一点点“可能漏掉最相似项”的代价，换来几十上百倍的提速——对千万级商品库来说，这是唯一可行的方案。

商品搜索：拍照搜同款的完整链路

顾客拍了一件外套的照片，说要找同款。老周的流程是：先做特征小抄（向量），再用分区导航快速圈定候选，接着只看“男装→外套”这一类，最后综合价格、销量等条件排出结果。这一套组合拳，就是电商以图搜同款的真实链路。

商品搜索和通用以图搜图不同，它必须结合类目信息。图里是一件男士牛仔外套，就不该去“女鞋区”比对。系统会先做类目预测或直接读取商品挂载的类目，用类目过滤掉无关候选，再做精细排序。最终排序分数通常不只看视觉，还要融合文本相关性、销量热度、价格区间等信号。

常见的融合排序公式如下：

老周找同款时，不仅求“像”，还求“对”。类目过滤和排序融合，相当于把顾客的潜台词——“是男款”“别太贵”“评价要好”——全部纳入考量。搜索系统把视觉信号和商业信号揉在一起，才真正从“眼力”升级为“生意”。

视频片段检索：把一段舞拆成帧来认

某天顾客发来一段 5 秒的舞蹈视频，问老周能不能找到出处。老周先把视频按每秒几帧拆成几十张画面，像翻连环画一样逐张看，最后锁定“这个转身动作在第 3 分 20 秒处”。视频检索的本质就在于此：把视频拆成帧，像以图搜图那样逐帧比对，再把帧级结果聚合成片段级结论。

工程上，视频片段检索通常先均匀抽帧，比如每秒 2 帧，或按场景切分取关键帧；然后每帧过一遍 CNN 得到帧向量。当查询图片或文字到达时，系统计算它与每一帧的相似度。一个片段与查询有多相关，可以取片段内所有帧相似度的最大值或平均值：取最大适合“片段里出现过就算数”，取平均则要求整体风格一致。

帧级最大相似度的公式如下：

老周能把一段“5 秒舞蹈”定位到“完整版第 3 分 20 秒开始”，靠的就是把动态视频变成一组静态小抄再连续比对。视频检索让“用内容找片段”成为可能，版权检测、影视搜索、直播回放定位都依赖它。

部署与优化：把寻宝铺子开成现代化商城

老周的生意越做越大，市场管理方请他把经验固化下来：建一个商品档案库（向量数据库），配上快速电梯（GPU 加速卡），再安排专人每天上新货（增量索引更新）。单机演示再漂亮，落地成服务才是真功夫。

线上以图搜图系统通常包括四层：特征抽取服务用 GPU 推理把入库图片实时转成向量；向量数据库（如 Milvus、Faiss）负责 ANN 检索；业务层做类目过滤和排序；最后是索引更新任务——新商品凌晨批量入库、下架商品及时删除。由于数据每天都在变化，索引不能一次性建完，需要用增量更新保证新鲜度。

衡量检索质量的重要指标是召回率：

老周的市场最终被改造成现代化商城：档案库（向量索引）让查找变快，电梯（GPU）让换层变快，每日上新（增量更新）让信息不过时。部署与优化的本质，是让实验室里“走得通”的寻宝术，变成每天能扛住百万次查询的扎实服务。

AI 应用场景

Python 演示

import timeimport numpy as np  class SimpleSearchEngine:    def __init__(self, dim=128, n_items=10000, n_centers=64):        self.dim = dim        self.n_items = n_items        self.n_centers = n_centers        # 模拟商品特征库 (真实场景中由 CNN 或 ViT 提取)        self.db = np.random.randn(n_items, dim).astype(np.float32)        self.db /= np.linalg.norm(self.db, axis=1, keepdims=True)        self.labels = np.random.randint(0, 10, n_items)        self.kmeans = None        self.cluster_ids = None        self.inverted_list = None     def extract_feature(self):        # 模拟视觉特征提取: 真实系统用 CNN/ViT 模型        v = np.random.randn(self.dim).astype(np.float32)        return v / np.linalg.norm(v)     def brute_force_search(self, query, top_k=5):        # 精确最近邻: 全库计算余弦相似度        sims = self.db @ query        idx = np.argsort(-sims)[:top_k]        return idx, sims[idx]     def build_inverted_index(self):        # 用 KMeans 聚类中心模拟倒排索引的分区        from sklearn.cluster import MiniBatchKMeans        self.kmeans = MiniBatchKMeans(n_clusters=self.n_centers,                                      random_state=42, batch_size=1024)        self.cluster_ids = self.kmeans.fit_predict(self.db)        self.inverted_list = {i: np.where(self.cluster_ids == i)[0]                              for i in range(self.n_centers)}     def ann_search(self, query, top_k=5, n_probe=4):        # 近似最近邻: 只检索最近的 n_probe 个分区        dist_to_centers = np.linalg.norm(self.kmeans.cluster_centers_ - query, axis=1)        probe = np.argsort(dist_to_centers)[:n_probe]        cand = np.concatenate([self.inverted_list[c] for c in probe])        sims = self.db[cand] @ query        order = np.argsort(-sims)[:top_k]        return cand[order], sims[order]  if __name__ == '__main__':    engine = SimpleSearchEngine()    q = engine.extract_feature()     t0 = time.time()    exact_idx, exact_sim = engine.brute_force_search(q)    t_exact = time.time() - t0     engine.build_inverted_index()    t0 = time.time()    ann_idx, ann_sim = engine.ann_search(q)    t_ann = time.time() - t0     overlap = len(set(exact_idx.tolist()) & set(ann_idx.tolist()))    print("exact top:", exact_idx, "sim:", exact_sim)    print("ann   top:", ann_idx, "sim:", ann_sim)    print("exact time: %.4fs | ann time: %.4fs | overlap: %d/5"          % (t_exact, t_ann, overlap))

1. self.db = np.random.randn(n_items, dim).astype(np.float32)用随机向量模拟商品特征库，真实场景中这些向量来自 CNN 对图片的编码。
2. self.db /= np.linalg.norm(self.db, axis=1, keepdims=True)把所有向量归一化成单位长度，之后一次内积直接等于余弦相似度。
3. sims = self.db @ query一次矩阵乘完成全库相似度计算，这是精确检索的核心。
4. self.kmeans = MiniBatchKMeans(n_clusters=self.n_centers, ...)用聚类中心模拟“分区”，每个聚类中心管理一批特征相近的商品。
5. probe = np.argsort(dist_to_centers)[:n_probe]查询只进入最近的几个分区，这就是 ANN 比暴力检索快几个数量级的原因。
6. overlap = len(set(exact_idx.tolist()) & set(ann_idx.tolist()))对比精确检索与 ANN 命中的重叠个数，直观观察召回损失。

常见误区

面试题