多模态检索：电商多模态搜索实践

可视化演示

演示以图搜物、图文混合查询与点击反馈优化三种多模态检索方式，展示图像编码、语义对齐与商品排序的完整链路。

多模态检索概述

云仓百货的导购台前常年摆着两样东西：顾客递来的照片，和顾客嘴里的描述。早年的导购只会“听”——顾客说“红裙子”，他就满仓库找标着“红裙子”的货签；后来聪明的导购学会“看”——顾客给图，他按图索骥；但真正顶尖的安姐是“连看带听”：照片定下风格基调，话语挑明属性偏好，两样一合，意图便清晰了。

电商搜索的演进正是这条“导购进化史”。最早的电商搜索只有文本模态，用户敲关键词，系统匹配商品标题；拍照搜索出现后，用户拍下实物找相似款，这是图像模态；而多模态检索把两者打通，允许“这张图＋这句话”共同构成一次查询——这就是拍照搜索与图文混合查询的由来。

让图像和文本能一起参与检索，关键在于“跨模态对齐”：用编码器把照片变成向量，把文字也变成向量，并让它们落在同一个向量空间里。这样“照片里的红裙”与文字里的“白色”“通勤”就可以直接比较、加权、融合。检索最终化简为一个朴素问题：在商品向量库中，找到与查询向量最相似的商品。

$$\text{sim}(\mathbf{q},\,\mathbf{p}) = \frac{\mathbf{q} \cdot \mathbf{p}}{\lVert \mathbf{q} \rVert \, \lVert \mathbf{p} \rVert} = \cos(\mathbf{q},\,\mathbf{p})$$

1. 查询向量 $\mathbf{q}$：由“照片＋文字”融合而成的查询意图向量，是后续各节模型的输出。

$$\mathbf{q} \in \mathbb{R}^{d}$$

2. 商品向量 $\mathbf{p}$：某件商品经过编码后得到的向量，相当于安姐脑中给每件商品贴的“坐标标签”。

$$\mathbf{p} \in \mathbb{R}^{d}$$

3. 点积 $\mathbf{q} \cdot \mathbf{p}$：两个向量逐维度相乘再求和，衡量二者在同一方向上的分量有多大。

$$\mathbf{q} \cdot \mathbf{p} = \sum_{i=1}^{d} q_i \, p_i$$

4. 模长归一化 $\lVert \cdot \rVert$：分母除以各自的模长，消除向量长度差异，只保留方向信息，得到余弦相似度。

$$\lVert \mathbf{q} \rVert = \sqrt{\sum_{i=1}^{d} q_i^{2}}$$

安姐能“秒懂”，并非天赋异禀，而是她脑中早把每件商品、每句需求都翻译成了同一套坐标——坐标越近，越是你要的那件。多模态检索的全部秘密，就藏在“翻译到同一空间”这八个字里。

商品图像编码

安姐看照片，从不盯像素，而是抓“轮廓、颜色、材质”这些关键线索：裙子的收腰线条、面料的哑光质感、领口的形状——几十个细节在零点几秒内汇成一句话：“这是一条正式场合的红色收腰连衣裙。”人的眼睛在「提特征」，机器也一样。

计算机的图像编码就是模仿这个“提炼气质”的过程。商品图像编码的第一步是图像特征提取：模型读入图片像素矩阵，通过卷积或注意力层逐层抽象，把视觉细节从“点、线、面”逐步压缩成一个稠密向量。这个向量不是照片本身，而是照片的“灵魂画像”。

工程上还要回答三个问题：视觉模型选型上，ResNet 性价比高、部署成熟，ViT 表达力强但更重，按算力预算取舍；向量表征学习上，用对比学习让“同款不同图”的向量尽可能拉近；多尺度融合上，把全局特征与局部区域特征拼在一起，兼顾“整体风格”与“领口花纹”这类局部细节。

$$\mathbf{v}_{img} = f_{\theta}(I), \qquad \mathbf{v}_{img} \in \mathbb{R}^{d}$$

1. 输入图像 $I$：商品图片的像素矩阵，包含高度、宽度和颜色通道。

$$I \in \mathbb{R}^{h \times w \times 3}$$

2. 编码器 $f_{\theta}$：ResNet、ViT 等视觉模型，通过卷积或注意力逐层抽象视觉语义。

$$f_{\theta}: \mathbb{R}^{h \times w \times 3} \to \mathbb{R}^{d}$$

3. 网络参数 $\theta$：模型的权重，在海量“图文对”上学到“什么样的像素对应什么样的风格”。

$$\theta = \arg\min_{\theta} \mathcal{L}(\theta)$$

4. 输出维度 $d$：图像向量的维度，实践中常见 128～768 维，兼顾表达能力与检索开销。

$$\mathbf{v}_{img} \in \mathbb{R}^{d}$$

这一步就是安姐的“火眼金睛”：一张照片压缩成几百个数字，却浓缩了整件衣服的神韵。向量不是照片的复印件，而是照片的灵魂画像——后面所有检索、比较，都用这幅画像进行。

属性文本融合

照片说得清“长这样”，却说不清“颜色淡一点”“上班能穿”。安姐把话里的属性——颜色、风格、场景、品牌——也翻译成数字，再和照片的气质捏合成一张完整的“心愿单”。这就是属性文本融合要解决的问题。

融合的第一步是文本特征编码：词嵌入把“白、通勤、自家品牌”这些词映射成文本向量。但“捏合”不能简单相加，因为这次搜索可能是“图更重要”（我就喜欢这个款式），下次可能是“字更重要”（款式无所谓，必须白色）——于是需要注意力式的门控融合来自动权衡。

门控融合的数学形式如下：模型把图像向量和文本向量拼接，经过一个 sigmoid 门计算出权重系数 λ，再用 λ 加权合成查询向量，最后做 L2 归一化。这样系统就能根据查询内容自适应地分配“看图”与“听话”的权重，这正是跨模态交互的精髓。

$$\lambda = \sigma \big( \mathbf{W}^{\top} [\,\mathbf{v}_{img};\, \mathbf{v}_{txt}\,] \big), \qquad \mathbf{v}_q = \lambda \, \mathbf{v}_{img} + (1 - \lambda) \, \mathbf{v}_{txt}$$

1. 拼接符号 $[\,;\,]$：把图像向量和文本向量首尾相接，合并成一个更长的向量，供门控打分。

$$[\,\mathbf{v}_{img};\, \mathbf{v}_{txt}\,] \in \mathbb{R}^{2d}$$

2. 变换矩阵 $\mathbf{W}$：可学习的权重，把拼接向量投影成一个实数得分。

$$\mathbf{W} \in \mathbb{R}^{2d \times 1}$$

3. sigmoid 函数 $\sigma$：把任意实数压到 0～1 之间，得到平滑可导的门控值。

$$\sigma(z) = \frac{1}{1 + e^{-z}}$$

4. 加权合成：λ 份图像特征加上 1−λ 份文本特征，融合后再做 L2 归一化，得到最终查询向量。

$$\mathbf{v}_q = \lambda \, \mathbf{v}_{img} + (1 - \lambda) \, \mathbf{v}_{txt}$$

门控 λ 就是安姐的“心眼”：顾客使劲看图时，她多看图；顾客反复强调“必须白色”时，她多听话。两只眼睛、两只耳朵的信息，最终汇成一单清晰的采购指令，这是多模态检索“懂人话”的关键一步。

点击反馈优化

安姐也有猜错的时候。但她有个职业习惯：顾客最终买了哪条裙子，她默默记下；下次遇到类似需求，她会优先把那条拿出来——她在用“结果”校正“判断”。点击反馈优化，做的正是这件事。

用户搜索后点击了某个商品，这个点击就是“隐式反馈”——虽然用户没说出口，但行为已经投票：“这个方向对了。”系统把点击数据收集起来，进入隐式反馈建模：让查询向量与被点击商品的距离更近，与同一批展示却没被点击的商品距离更远，从而不断修正向量空间。

三元组损失是训练这套空间关系的经典目标：对每个查询 q，取一个被点击的正样本 p⁺ 和一个未点击的负样本 p⁻，要求正样本距离比负样本至少近一个间隔 m。模型在线优化时用新日志持续微调向量；至于没有点击记录的新品，则用图文相似度做冷启动，让它们先“混个脸熟”。

$$\mathcal{L} = \max \big( 0,\; d(\mathbf{q},\,\mathbf{p}^{+}) - d(\mathbf{q},\,\mathbf{p}^{-}) + m \big)$$

1. 正样本 $\mathbf{p}^{+}$：本次查询下被用户点击的商品向量，代表“对的方向”。

$$\mathbf{p}^{+} \sim \text{clicked item}$$

2. 负样本 $\mathbf{p}^{-}$：同一批展示却没有被点击的商品向量，代表“不够对的方向”。

$$\mathbf{p}^{-} \sim \text{unclicked item}$$

3. 距离函数 $d$：常用余弦距离 $1 - \cos$，距离越小表示越相似。

$$d(\mathbf{q},\,\mathbf{p}) = 1 - \cos(\mathbf{q},\,\mathbf{p})$$

4. 间隔 $m$ 与 hinge 结构：$m$ 强制正负样本之间至少留出这么多距离；$\max(0, \cdot)$ 表示已经达标时损失为 0，不重复惩罚。

$$\max(0,\; \Delta + m)$$

每一次点击，都是安姐在“长记性”；几百万次记性累积起来，她对顾客的潜台词越来越有把握。这也是多模态检索“越用越聪明”的根本原因——向量空间不是建好就固定，而是被用户行为持续雕刻。

业务效果评估

老板不管安姐背了多少商品，只问两件事：顾客买了没有，顾客下次还来不来。搜索系统也一样，技术指标再漂亮，最终都要落到业务效果上——这就是评估环节存在的意义。

最核心的指标是转化率：点击了商品详情的用户里，有多大比例最终下单。同时还要度量用户体验：搜索耗时、二次搜索率、满意度问卷，都是“顾客心情”的晴雨表。算法团队通常先建离线评测体系，用标注好的相关性数据算召回率@K，快速筛选模型；上线前再跑线上 A/B 实验，让新旧两版在真实流量中同台竞技。

$$\text{Recall@}K = \frac{\left| \mathcal{R}_K(q) \cap \mathcal{G}(q) \right|}{\left| \mathcal{G}(q) \right|}$$

1. 标准答案集 $\mathcal{G}(q)$：人工标注或点击统计出的、与查询 $q$ 真正相关的商品集合。

$$\mathcal{G}(q) = \{ p \mid p \text{ is related to } q \}$$

2. 召回结果集 $\mathcal{R}_K(q)$：检索系统返回的前 $K$ 个商品组成的集合。

$$\mathcal{R}_K(q) = \{ \text{Top-}K \text{ results} \}$$

3. 交集与归一化：分子统计“召回的结果中正好命中的答案数”，分母为标准答案总数，得到 0～1 的召回率。

$$\text{Recall@}K = \frac{|\mathcal{R}_K(q) \cap \mathcal{G}(q)|}{|\mathcal{G}(q)|}$$

评估体系就是老板手里的考核表：既看“成交”（转化率），也看“顾客心情”（体验），还准备了两套考卷——离线指标和线上 A/B——确保每一个改动都经得起真实生意的检验。

技术挑战应对

云仓百货货架上躺着上亿件商品，客人站在台前，安姐必须在零点几秒内给出答案。她功夫再深，也不能挨个翻货架——这正是多模态检索最现实的压力：规模与速度的双重夹击。

压力来自四个方面。大规模向量检索：商品以亿计，逐一计算相似度不可行；实时性要求：用户等待超过几百毫秒就会流失；多模态异构：图像和文本的特征分布天差地别，融合不当反而互相干扰；数据稀疏性：大量长尾商品没有点击记录，模型学不好它们的表征。

先看复杂度账本。暴力检索要在 N 个商品上各做 D 维点积，共 N×D 次乘法，亿级规模无法承受；近似最近邻（ANN）通过“先粗筛、后精排”的两阶段结构，把查询复杂度压到近似对数级，用极小精度损失换回数量级的速度提升，这让大规模部署成为可能。

$$T_{\text{brute}} = O(N \times D) \quad \longrightarrow \quad T_{\text{ANN}} \approx O(\log N)$$

1. 商品数 $N$：候选商品总量，电商场景以亿计，是复杂度的基数。

$$N \sim 10^{8}$$

2. 向量维度 $D$：每个商品向量的维度，决定单次点积的运算量。

$$D \sim 10^{2}$$

3. 暴力检索复杂度：每个查询要对 N 个商品各做一次 D 维点积。

$$T_{\text{brute}} = O(ND)$$

4. ANN 近似检索：通过空间划分或图索引跳过绝大多数候选，把复杂度降到近似对数级。

$$T_{\text{ANN}} \approx O(\log N)$$

安姐能“秒回”，靠的不是蛮力，而是把仓库变成分区货架、把翻找变成查表。技术挑战的应对之道，永远是“用结构换速度”——这是多模态检索从论文走向生产的第一步。

工程优化策略

安姐之所以在超大仓库里游刃有余，靠三件装备：小本本（常见需求速查）、动线图（货架分区）、提前备货（热销品放前台）。工程系统也有对应的三板斧，让“安姐”不再是万里挑一的天才，而是可复制的标准配置。

第一招是向量索引加速：用 HNSW、IVF 等近似索引组织商品向量，召回延迟从秒级降到毫秒级；第二招是服务架构设计：把查询理解、向量召回、精排串成流水线，各环节独立扩容、互不拖累；第三招是缓存与降级机制：热门查询结果缓存复用，模型故障时自动降级为纯文本搜索，保证服务不中断。此外还有模型压缩部署，用量化和蒸馏让模型更小更快。

量化的收益一目了然：此前每个向量维度用 4 字节的 FP32 存储，压缩为 1 字节的 INT8 后，内存只有原来的四分之一，检索时的访存开销同步下降，延迟也随之改善。压缩的代价是精度略有损失，但配合精排阶段的重打分，可以做到基本无损。

$$M_{fp32} = 4\,N\,D \ \text{bytes} \quad \xrightarrow{\ \text{INT8 quantization}\ } \quad M_{int8} = 1\,N\,D \ \text{bytes}$$

1. FP32 存储：单精度浮点数每个向量维度占 4 字节，全库内存正比于商品数与维度。

$$M_{fp32} = 4\,N\,D$$

2. INT8 量化：把浮点向量缩放到 8 位整数，每个维度只占 1 字节。

$$M_{int8} = 1\,N\,D$$

3. 压缩比：内存与访存开销同步降为原来的四分之一。

$$\frac{M_{int8}}{M_{fp32}} = \frac{1}{4}$$

4. 精度代价：量化引入微小误差，但配合重排序环节可基本无损。

$$\text{Recall drop} < 1\%$$

工程优化的意义在于：它让“金牌导购”成为可以批量复制的标准品。索引是动线图，缓存是小本本，量化是提前备货——多模态搜索能走进千家万户的 App，靠的正是这些不起眼的“装备”。

AI 应用场景

Python 演示

import math  def l2_normalize(vec):    # 对向量做 L2 归一化, 使余弦相似度只由方向决定    norm = math.sqrt(sum(v * v for v in vec))    return [v / norm for v in vec]  def encode_text(color, style, brand):    # 模拟文本编码器: 将属性词映射为 8 维稀疏向量    color_map = {"red": 1.0, "white": -0.8, "blue": 0.2}    style_map = {"office": 1.0, "casual": -0.5, "sport": -1.0}    vec = [0.0] * 8    vec[0] = color_map.get(color, 0.0)    vec[1] = style_map.get(style, 0.0)    vec[2] = 1.0 if brand == "own" else -1.0    return l2_normalize(vec)  def encode_image(kind):    # 模拟图像编码器: 按商品类别返回固定的视觉特征向量    image_table = {        "dress": [1.0, 0.5, 0.8, 0.2, 0.0, 0.0, 0.0, 0.1],        "shirt": [0.6, 0.9, 0.1, 0.4, 0.0, 0.0, 0.0, 0.2],        "jeans": [0.1, 0.2, 0.3, 0.9, 0.3, 0.0, 0.0, 0.0],    }    return l2_normalize(image_table[kind])  def gate_fusion(v_img, v_txt):    # 门控融合: lambda 表示文本特征在当前查询中的权重    gate_sum = sum(v_txt) - sum(v_img)    lam = 1.0 / (1.0 + math.exp(-gate_sum))    fused = [lam * ti + (1.0 - lam) * ii for ii, ti in zip(v_img, v_txt)]    return l2_normalize(fused)  def cosine_sim(a, b):    # 余弦相似度: 越接近 1 表示两个向量方向越一致    return sum(x * y for x, y in zip(a, b))  def build_catalog(products):    # 为每个商品生成"图像+文本"融合后的向量, 相当于导购的记忆    catalog = []    for pid, kind, color, style, brand in products:        v_img = encode_image(kind)        v_txt = encode_text(color, style, brand)        catalog.append({"id": pid, "kind": kind, "vec": gate_fusion(v_img, v_txt)})    return catalog  def search(catalog, query_vec, top_k=3):    # 对候选商品逐一打分并排序, 取相似度最高的前 top_k 个    scored = [(cosine_sim(item["vec"], query_vec), item) for item in catalog]    scored.sort(key=lambda pair: pair[0], reverse=True)    return scored[:top_k]  def apply_click_feedback(catalog, clicked_id, boost=0.15):    # 点击反馈: 用户点击某商品后, 将该商品向量向查询方向微调    for item in catalog:        if item["id"] == clicked_id:            item["vec"] = [v + boost for v in item["vec"]]            item["vec"] = l2_normalize(item["vec"])  def main():    # (商品ID, 类别, 颜色, 风格, 品牌)    products = [        (101, "dress", "red", "office", "own"),        (102, "dress", "white", "casual", "other"),        (103, "shirt", "blue", "office", "own"),        (104, "jeans", "blue", "sport", "other"),    ]    catalog = build_catalog(products)     # 用户上传一张连衣裙的照片, 并输入文字"白色通勤款"    v_img = encode_image("dress")    v_txt = encode_text("white", "office", "own")    query = gate_fusion(v_img, v_txt)    print("=== 多模态检索 Top-3 ===")    for score, item in search(catalog, query):        print("  id=%d kind=%s score=%.4f" % (item["id"], item["kind"], score))     # 用户点击了第 102 号商品, 系统借此学习本次查询的真实意图    apply_click_feedback(catalog, 102)    print("=== 点击反馈后重检索 ===")    for score, item in search(catalog, query):        print("  id=%d kind=%s score=%.4f" % (item["id"], item["kind"], score))  if __name__ == "__main__":    main()

1. def gate_fusion(v_img, v_txt):定义门控融合函数，对应安姐“掂量图与话哪个更该信”。
2. lam = 1.0 / (1.0 + math.exp(-gate_sum))用 sigmoid 把差值压到 0～1 之间，算出文本权重。
3. catalog.append({"id": pid, "kind": kind, "vec": gate_fusion(v_img, v_txt)})为每件商品生成融合向量，相当于给仓库里的每件货贴上“坐标标签”。
4. scored.sort(key=lambda pair: pair[0], reverse=True)按相似度降序排列候选商品，完成召回排序。
5. apply_click_feedback(catalog, 102)模拟用户点击第 102 号商品后的反馈更新。
6. item["vec"] = [v + boost for v in item["vec"]]把被点击商品的向量向查询方向微调，让下次更易被命中。

常见误区

面试题