图文检索：细粒度图文检索

可视化演示

展示系统处理流水线、实时性能指标曲线及多方案对比分析，包含数据流转、吞吐延迟监控与方案评估。

细粒度检索的难题

回到失物招领处。货架上的四十双白球鞋，在你眼里只有一双是“你的”，但在工作人员眼里，它们都是“白色球鞋”。你着急，他也无奈——因为“白色球鞋”这四个字，根本没法区分这四十双鞋。这正是细粒度图文检索要解决的第一个问题：当候选物体属于同一个大类、外观高度相似时，检索系统能不能找到那个“对的它”。

把场景搬到AI世界，这就是图文检索（用文字去找图片）。你输入查询“白色网球鞋、荧光鞋带、后跟红色涂鸦”，系统从百万图片库中返回最匹配的图片。当查询和候选属于“同款不同型号”这种细粒度场景时——同样是白色球鞋，型号差异可能只在一个鞋带配色、一个后跟标志——传统粗粒度方法就束手无策了。细粒度检索的目标，正是让系统利用这些细微差异做精准匹配。

形式化地看，一张图片可以拆成 N 个局部区域，分别对应鞋带、鞋头、鞋跟；一段文本可以拆成 M 个词语，分别对应“荧光”“鞋带”“破洞”。细粒度检索不再用一个整体的模糊印象去匹配，而是先建立局部与词语的对应关系，再综合给出匹配分数：

$$\displaystyle s_{fine}(I, T) = \Phi(\{\mathbf{f}_i^I\}_{i=1}^{N}, \{\mathbf{f}_j^T\}_{j=1}^{M})$$

1. 图像区域特征：$\mathbf{f}_i^I$ 表示图片 I 第 i 个区域的特征向量，鞋带、鞋头、鞋跟各有各的向量，$N$ 是区域总数。

$$\mathbf{f}_i^I,\quad i=1,\dots,N$$

2. 文本词特征：$\mathbf{f}_j^T$ 表示文本 T 第 j 个词的特征向量，“荧光”和“鞋带”各有各的向量，$M$ 是词总数。

$$\mathbf{f}_j^T,\quad j=1,\dots,M$$

3. 对齐函数：$\Phi(\cdot,\cdot)$ 是将两组特征一一对应的函数，让每个词找到最像它的图像区域。

$$\Phi(\{\mathbf{f}_i^I\}_{i=1}^{N},\{\mathbf{f}_j^T\}_{j=1}^{M})$$

4. 匹配分数：$s_{fine}$ 是最终分数，数值越高表示这段描述与这张图越吻合。

$$s_{fine}(I,T)\in\mathbb{R}$$

所以细粒度检索的逻辑，和那个眼睛一亮的工作人员完全一致：你描述的每个细节都是一条线索，系统让每条线索在画面中找到各自的着落点。线索越细，判断越准。

全局匹配的困局

如果你只对工作人员说“我要一双白球鞋”，他看一眼整面墙，觉得每一双都符合——因为从“整体看”它们全是白色球鞋。这不是工作人员不认真，而是“整体”这个粒度承载不了多少信息。早期图文检索模型正是这样“只看整体”的：先把整张图编码成一个全局向量，把整段文字也编码成一个全局向量，再算两个向量的接近程度。

以 CLIP 为代表的全局方案，常把一张图的所有区域特征做平均池化，压成一个向量。这一步会把“荧光鞋带”和“红色涂鸦”的细节全部稀释掉——就像把整双鞋所有部位的颜色搅在一起，调成一杯“平均色”，荧光绿和红色都被大面积的白色盖住了。

数学上，全局特征和全局匹配可以写成：

$$\displaystyle \mathbf{v}_I = \frac{1}{N}\sum_{i=1}^{N}\mathbf{f}_i^I, \qquad s_{global}(I, T) = \cos(\mathbf{v}_I, \mathbf{v}_T)$$

1. 全局图向量：把 N 个区域特征做平均，得到图 I 的整体向量 $\mathbf{v}_I$——这一步让局部差异互相抵消。

$$\mathbf{v}_I=\frac{1}{N}\sum_{i=1}^{N}\mathbf{f}_i^I$$

2. 全局文向量：文本同样被平均成一个整体向量 $\mathbf{v}_T$。

$$\mathbf{v}_T=\frac{1}{M}\sum_{j=1}^{M}\mathbf{f}_j^T$$

3. 余弦比较：用余弦夹角衡量两个整体向量的接近程度，夹角越小分数越高。

$$\cos(\mathbf{v}_I,\mathbf{v}_T)=\frac{\mathbf{v}_I\cdot\mathbf{v}_T}{\|\mathbf{v}_I\|\ \|\mathbf{v}_T\|}$$

这就像把每双鞋都调成一杯“平均色”，四十杯都是差不多的白。全局匹配分不清谁是谁，因为它在动手之前，就已经把唯一能区分它们的细节扔掉了。

词与区域的对齐

工作人员终于学聪明了：他不再看整体，而是把你的描述拆成一个个词。“荧光鞋带”——他去看图片里鞋带那一条的位置；“红色涂鸦”——他去看后跟那一小块。每个词都只与对应的局部区域核对，这就是“词级与区域级对齐”的直觉。

技术上同样如此。细粒度模型不再把整张图压成一个向量，而是先把图像切成一个个 Patch（图像块，可以理解为把照片按网格切成小方块），每个 Patch 对应一个区域特征；同时把文本切成一个个词 Token（词块），每个 Token 对应一个词特征。

然后，模型计算每一个图像区域与每一个文本词之间的相似度，形成一个二维矩阵。矩阵的每个元素定义如下：

$$\displaystyle S_{ij} = \cos(\mathbf{f}_i^I, \mathbf{f}_j^T), \quad i=1,\dots,N,\ j=1,\dots,M$$

1. 区域-词配对：$S_{ij}$ 表示第 i 个图像区域与第 j 个文本词的匹配程度。

$$S_{ij}\in[-1,1]$$

2. 余弦公式：$\cos(\mathbf{f}_i^I,\mathbf{f}_j^T)$ 计算两个特征向量的夹角余弦，越接近 1 越匹配。

$$\cos(\mathbf{f}_i^I,\mathbf{f}_j^T)=\frac{\mathbf{f}_i^I\cdot\mathbf{f}_j^T}{\|\mathbf{f}_i^I\|\ \|\mathbf{f}_j^T\|}$$

3. 矩阵维度：所有 i、j 组合构成一个 N 行 M 列的矩阵 $S$，行对应图像区域、列对应文本词。

$$S=[S_{ij}]\in\mathbb{R}^{N\times M}$$

有了这个矩阵，“荧光鞋带”就只跟图片中鞋带那一块 Patch 较劲，不会被鞋跟、鞋底干扰；“红色涂鸦”也只会盯着后跟区域。词与区域一一对上号，找鞋就从“大海捞针”变成了“按图索骥”。

FILIP：训练一只火眼金睛

失物招领处的店员也不是天生会认鞋。新员工上岗前，主管会安排“认鞋训练”：一次给出四十位旅客的描述和四十双鞋，让新人把每段描述和正确的鞋配对，配错了就扣分。反复练上千次，新人就练出了“扫一眼细节就能锁定目标”的本领。

FILIP 模型（Fine-grained Interactive Language-Image Pre-training）就好比那个经过大量训练的新员工。它在预训练阶段用图文对比学习来训练：给一批图文对，让模型学会“匹配的图文对分数高、不匹配的图文对分数低”。关键是，FILIP 计算匹配分数时用的不是全局向量，而是前面那张 Token 级相似度矩阵的“细粒度聚合”。

FILIP 把矩阵两个方向的信息都利用起来：

$$\displaystyle s_{token}(I, T) = \frac{1}{2}\left(\frac{1}{N}\sum_{i=1}^{N}\max_{j} S_{ij} + \frac{1}{M}\sum_{j=1}^{M}\max_{i} S_{ij}\right)$$

1. 图像侧最大：$\max_{j} S_{ij}$ 表示第 i 个图像区域从所有文本词中挑出最像的那个词，取最高分。

$$\max_{j} S_{ij}$$

2. 图像侧平均：把 N 个区域各自的最优匹配分平均，得到图片侧综合匹配度。

$$\frac{1}{N}\sum_{i=1}^{N}\max_{j} S_{ij}$$

3. 文本侧最大：$\max_{i} S_{ij}$ 表示第 j 个文本词从所有图像区域中找出最匹配的区域，取最高分。

$$\max_{i} S_{ij}$$

4. 文本侧平均：把 M 个词各自的最优匹配分平均，得到文本侧综合匹配度。

$$\frac{1}{M}\sum_{j=1}^{M}\max_{i} S_{ij}$$

5. 双向综合：把两侧平均分再平均，兼顾“词找区域”和“区域找词”两个方向。

$$\frac{1}{2}\left(\frac{1}{N}\sum_{i=1}^{N}\max_{j}S_{ij}+\frac{1}{M}\sum_{j=1}^{M}\max_{i}S_{ij}\right)$$

注意这里的关键词是“最大”而不是“平均”。店员核对每条描述时，只需找到鞋上最吻合的位置，而不是把荧光鞋带的分数和鞋底颜色混在一起平均。逐词取最优、再汇总，保证每个细节都能真正“落地”。

相似度矩阵：店员的核对清单

一张 Token 级相似度矩阵，本质上就是店员手里的核对清单：行为图像区域（鞋头、鞋带、鞋跟），列为描述词（荧光、破洞、涂鸦），每个格子里写着“这个词和这块区域像不像”的分数。清单既要让“荧光-鞋带”格子高分，也要让“荧光-鞋底”格子低分——这就是训练过程要优化的目标。

怎么训练才能得到这样一张理想的清单？答案是对比学习。把正确的图文对应关系当作正样本，把同批次中错误的配对当作负样本，用 InfoNCE 损失函数去拉高正样本分数、压低负样本分数。其中的匹配分数 $s_{k,l}$ 就用上一节细粒度聚合得到的 $s_{token}(I_k, T_l)$。

$$\displaystyle \mathcal{L} = -\frac{1}{B}\sum_{k=1}^{B}\log\frac{\exp\left(s_{k,k}/\tau\right)}{\sum_{l=1}^{B}\exp\left(s_{k,l}/\tau\right)}$$

1. 批次配对：一个批次里有 B 对图文，第 k 张图和第 k 段文本是唯一正确配对。

$$(I_k,T_k),\quad k=1,\dots,B$$

2. 正样本分子：$s_{k,k}$ 是第 k 张图与第 k 段文本的匹配分数，目标是把分子撑大。

$$\exp(s_{k,k}/\tau)$$

3. 负样本分母：分母对第 k 张图与批次内所有文本的分数求和，其中绝大多数是错误配对。

$$\sum_{l=1}^{B}\exp(s_{k,l}/\tau)$$

4. 温度系数：$\tau$ 是温度参数，像灵敏度旋钮——$\tau$ 越小，对高分和低分的区分越敏感。

$$\exp(s/\tau),\quad \tau>0$$

5. 取负对数：$-\log(\cdot)$ 让正确配对的归一化概率趋近 1，从而变成可梯度下降的损失。

InfoNCE 就像一场“四十人同时认领鞋子”的团建游戏：每个人都必须从所有鞋里找出自己的那双，找对了奖励，找错了扣分。经过大量“团建”，模型自然学会了让每段描述精确命中它对应的图片——这就是店员火眼金睛的训练秘密。

工业落地：从失物招领处到亿级商品库

失物招领处这套“逐词描述、逐区域核对”的做法效果好，很快从机场推广到了全球各地的仓库、商场和电商平台。细粒度检索的精度优势，让它成为许多工业级多模态系统的关键组件。

在真实应用中，商品检索是最典型的场景：用户拍一张照片，或者写一句很细的描述“白色圆领T恤、胸口有小熊图案、袖口带条纹”，系统需要在千万级商品库中返回精准结果。细粒度检索在这里有两个硬指标优势：一是查找同款不同型号时精度显著高于全局方案；二是对用户描述的细节容忍度高，不用完整描述也能命中。

业界衡量这类系统最常用的指标是 Recall@K：

$$\displaystyle \text{Recall@K} = \frac{1}{|\mathcal{Q}|}\sum_{q\in\mathcal{Q}}\mathbb{1}\left[g(q) \in \text{Top}_K(q)\right]$$

1. 查询集合：$\mathcal{Q}$ 是评测查询集合，比如电商日志里抽出的十万条用户搜索描述。

$$\mathcal{Q}=\{q_1,q_2,\dots,q_{|\mathcal{Q}|}\}$$

2. Top-K结果：$\text{Top}_K(q)$ 表示对查询 q 返回相似度最高的 K 张候选图。

$$\text{Top}_K(q)\subset\text{图片库}$$

3. 命中指示：$\mathbb{1}[\cdot]$ 是指示函数，$g(q)$ 是查询 q 对应的正确图片，条件成立取 1，否则取 0。

$$\mathbb{1}\left[g(q)\in\text{Top}_K(q)\right]$$

4. 平均召回：对所有查询求和取平均，得到 Recall@K 数值，越高说明系统找得越准。

$$\frac{1}{|\mathcal{Q}|}\sum_{q\in\mathcal{Q}}\cdots$$

如今，从电商的“拍立淘”到工厂的缺陷分拣，都在用这套“失物招领处”的逻辑：把描述拆得足够细，让每个细节都在图片的对应区域找到归属。检索精度从“大概是这样”进化到“就是它”，正是一代代细粒度检索工程师努力的方向。

AI 应用场景

Python 演示

import numpy as np def normalize_rows(x):    """按行归一化，让每个向量模长为1"""    return x / np.linalg.norm(x, axis=-1, keepdims=True) def global_score(q_words, item_regs):    """全局匹配：把所有词/区域平均成一个向量再算余弦"""    q_avg = q_words.mean(axis=0)    i_avg = item_regs.mean(axis=0)    return np.dot(q_avg, i_avg) / (np.linalg.norm(q_avg) * np.linalg.norm(i_avg)) def token_score(q_words, item_regs):    """细粒度匹配：token级相似度矩阵 + 逐token取最大后平均"""    sim = item_regs @ q_words.T            # 相似度矩阵: (区域数, 词数)    img_best = sim.max(axis=1).mean()      # 每个区域找最像的词，取平均    txt_best = sim.max(axis=0).mean()      # 每个词找最像的区域，取平均    return 0.5 * (img_best + txt_best) def run_experiment():    rng = np.random.default_rng(42)    N_REG, N_WORD, DIM = 12, 4, 64    g_ok = t_ok = 0    n_trials = 300    for _ in range(n_trials):        # 目标商品: 12个区域特征        target = normalize_rows(rng.normal(size=(N_REG, DIM)))        # 干扰商品: 前8个区域完全相同, 关键4个区域被替换(同款异型号)        distractor = target.copy()        key_idx = rng.choice(N_REG, 4, replace=False)        distractor[key_idx] = normalize_rows(rng.normal(size=(4, DIM)))        # 查询: 描述目标商品的4个关键区域(带一点噪声)        q_words = normalize_rows(target[key_idx] + rng.normal(scale=0.1, size=(N_WORD, DIM)))        # 正确商品应获得更高分数        if global_score(q_words, target) > global_score(q_words, distractor):            g_ok += 1        if token_score(q_words, target) > token_score(q_words, distractor):            t_ok += 1    print(f"全局特征匹配   准确率: {g_ok / n_trials:.1%}")    print(f"细粒度Token匹配 准确率: {t_ok / n_trials:.1%}") if __name__ == "__main__":    run_experiment()

1. def normalize_rows(x):对特征矩阵按行归一化，让每个区域/词向量的模长为 1，这是计算余弦相似度的前提。
2. sim = item_regs @ q_words.T用一次矩阵乘法算出“区域数 × 词数”的整体相似度矩阵，等价于逐对计算余弦分数。
3. img_best = sim.max(axis=1).mean()每个图像区域先找最像的词（取行最大），再对所有区域平均，这是 FILIP 聚合的第一步。
4. txt_best = sim.max(axis=0).mean()每个词先找最像的区域（取列最大），再对所有词平均，这是聚合的第二个方向。
5. return 0.5 * (img_best + txt_best)把两个方向的平均分再平均，得到最终细粒度匹配分数。
6. target = normalize_rows(rng.normal(size=(N_REG, DIM)))随机生成目标商品的 12 个区域特征，模拟“鞋头、鞋带、鞋跟”等部位。
7. distractor[key_idx] = normalize_rows(rng.normal(size=(4, DIM)))干扰商品只替换 4 个关键区域，模拟“同款不同型号”的细微差异。
8. q_words = normalize_rows(target[key_idx] + rng.normal(scale=0.1, size=(N_WORD, DIM)))查询词由目标商品的关键区域加小噪声构成，模拟“荧光鞋带”这类细节描述。
9. rng = np.random.default_rng(42)固定随机种子，保证实验可复现，换种子结论不变。

常见误区

面试题