多模态检索：多模态RAG实现方案

可视化演示

演示多模态文档分块、跨模态索引构建与图文混合检索生成，理解检索增强在非文本知识源的应用。

多模态知识源与文档切分

博物馆策展的第一步，不是把展品堆进库房，而是先“盘点”：哪些是油画，哪些是雕塑，哪些是说明牌，再把一幅大画的画面按构图切分成几个视觉单元，同时把旁边的文字说明用夹子夹在画框旁。多模态RAG的第一步同样如此——处理多模态知识源。

真实的文档千奇百怪：PDF里有排版段落，PPT里有一页页图表，网页里嵌着产品图，还有扫描件里的表格。如果一股脑全部塞给模型，上下文瞬间爆炸，检索也找不到重点。所以要做文本块切分和图表信息抽取：文本按段落或语义切成 200~500 token 的小块；图片用检测模型抠出表格区、插图区；最后建立“图文配对”——一张架构图和它下方的说明文字归为一组，就像策展人把画和说明牌放在一起。

这一步决定了后续检索质量的下限。切分的核心原则是“语义完整 + 边界清晰”，而衡量两个块是否该放一起，可以看它们的嵌入向量有多“像”。

回到博物馆的比喻：切分做得好的策展人，能让观众一眼找到“画在哪、说明在哪、下一幅连接着什么”。多模态文档的切分与图文配对，就是为系统画好一幅精确的“展厅地图”。

跨模态索引构建

不同展品的“长相”千差万别——油画是色彩与笔触，雕塑是体积与材质，说明牌是文字。游客问“有没有蓝白配色的瓷器？”导览员必须把一个抽象的“蓝白”概念翻译成能同时匹配图片和文字的统一编号，才能快速定位。在技术世界里，这个“统一编号系统”就是统一向量空间。

做法是训练一对双塔编码器：图像编码器把图片块变成向量，文本编码器把文本块变成向量，并通过对比学习让“描述一只猫的文字”和“一张猫的照片”在向量空间里靠得很近。训练时随机抽取一批图文对，匹配的正样本要互相靠近，不匹配的负样本要彼此推远，这就是经典的 InfoNCE 对比损失。

索引构建完成后，所有图文块都以向量形式写入向量数据库，同时附带来源页码、文档ID等元数据。这意味着导览员的“中央目录”建成了——无论观众从文字还是视觉角度提问，系统都能用同一种语言检索。

多模态上下文注入

导览员得到观众的问题后，不会搬来整个展厅，而是挑出最相关的三件展品，按“先说结论画、再摆细节图、最后附说明牌”的顺序放在台面上。这就是多模态上下文注入：把检索到的图文块组织成模型能直接消费的格式。

具体做法分为三步。检索结果组织：把命中列表按分数排序，过滤低分项；图文序列排列：将文本块与图像块交错拼接，图像块通常用视觉编码器转成视觉 token（多模态大模型）或转成文字描述（传统大模型）；Prompt 拼接：在开头放系统指令和用户问题，中间插入 top-k 个图文块，并在每块末尾标注“〔来源：第3页图2〕”这样的引用标记。

为什么要拼接向量而非直接拼接原文？因为不同来源的长度、格式差异巨大，模型需要统一的“输入格式”。用拼接线性变换可以写成：

上下文注入就像导览员给答案“配菜”：菜（内容）要新鲜，顺序（加载格式）要讲究，盘边（引用）要注明出处。注入结构混乱，模型再强也答不好。

图文混合检索

观众问“上个月市场部那张数据表里，哪款产品增长率最高？”这类问题，光靠“长得像”的语义匹配不够，还要求精确命中“市场部、增长率、数据表”这些关键词。聪明的导览系统会同时用两套办法：稠密向量召回负责“神似”——语义相近的都能找到；稀疏关键词召回（如 BM25）负责“形似”——关键词精准匹配。最后把两路分数融合成最终排序。

融合之后往往还有一道“精排”：用一个轻量的交叉编码器（cross-encoder）对 top-20 候选逐对打分，把最合适的图文块提到最前面。就像导览员先由安保同事粗筛出可能相关的展品，再亲自逐一确认哪三件最贴题。

多模态生成增强机制

选好展品、排好顺序之后，最关键的一步来了：导览员开口回答。他必须“看着展品说话”——描述画中仙鹤时对照画面细节，引用诗句时对照说明牌，不能凭印象胡编。多模态大模型的生成环节同样如此，这是生成增强机制。

多模态大模型（如 GPT-4o、Qwen-VL）本身就具备跨模态能力：图像经过视觉编码器变成一个个视觉 token，与文本 token 一起进入 Transformer 的注意力层，让模型“看”着图片组织语言。同时，Prompt 中强制要求“仅依据给定材料回答，并标注〔来源〕”，从指令层面压制幻觉；推理后还可以做忠实度校验，检查答案中的每个关键论断是否在上下文中找得到依据。生成过程在数学上是一个自回归的条件概率连乘：

导览员的魅力来自“有据可查”，多模态RAG的回答价值同样来自“有图有真相”。生成机制做得稳，模型才不会在关键数据上“睁眼说瞎话”。

应用落地与评估

当整套导览系统打磨成熟，博物馆就可以把它推广到所有展厅，甚至做成手机App：游客拍照提问，系统秒回图文并茂的答案，还能跳转到对应展品原页。这就是多模态RAG的应用落地。

目前最成熟的落地场景是企业文档问答：把合同扫描件、产品图纸、会议纪要、竞品海报全部导入系统，员工用自然语言提问，系统检索图文证据并生成带引用的回答；知识库管理则更进一步，自动为新文档打标、去重、更新索引。评估一套多模态RAG系统，不能只看答案顺不顺，还要看答案是否忠实于材料：

从展厅里的第一次导览，到全馆的智能问答体系，多模态RAG的价值落在每一个“被准确找到的图文证据”上。未来随着长上下文和多模态模型的进步，这套架构会变得更自然、更强大。

AI 应用场景

Python 演示

# -*- coding: utf-8 -*-"""多模态RAG简化演示: 文本特征与图像描述特征 -> 统一向量空间 -> 混合检索 -> 生成"""import mathimport re  class MultimodalRAG:    def __init__(self, docs):        self.docs = docs        self.text_vectors = []        self.img_vectors = []        self.vocab = set()        self.vocab_index = {}        self._build_index()     def _tokenize(self, text):        return re.findall(r"[\w\u4e00-\u9fa5]+", text.lower())     def _build_index(self):        for doc in self.docs:            self.vocab.update(self._tokenize(doc["text"]))            self.vocab.update(self._tokenize(doc["img_desc"]))        self.vocab = sorted(self.vocab)        self.vocab_index = {w: i for i, w in enumerate(self.vocab)}        for doc in self.docs:            self.text_vectors.append(self._sparse_vector(doc["text"]))            self.img_vectors.append(self._sparse_vector(doc["img_desc"]))     def _sparse_vector(self, text):        vec = [0.0] * len(self.vocab)        for w in self._tokenize(text):            if w in self.vocab_index:                vec[self.vocab_index[w]] += 1.0        norm = math.sqrt(sum(x * x for x in vec)) or 1.0        return [x / norm for x in vec]     def _cosine(self, a, b):        return sum(x * y for x, y in zip(a, b))     def retrieve(self, query, alpha=0.7, top_k=2):        q_vec = self._sparse_vector(query)        q_words = set(self._tokenize(query))        results = []        for i in range(len(self.docs)):            text_sim = self._cosine(q_vec, self.text_vectors[i])            img_sim = self._cosine(q_vec, self.img_vectors[i])            dense = alpha * text_sim + (1 - alpha) * img_sim            overlap = len(q_words & set(self._tokenize(self.docs[i]["text"])))            overlap = overlap / max(len(q_words), 1)            fused = 0.8 * dense + 0.2 * overlap            results.append((fused, i))        results.sort(key=lambda x: x[0], reverse=True)        return results[:top_k]     def generate(self, query, top_k=2):        hits = self.retrieve(query, top_k=top_k)        context = []        for score, idx in hits:            doc = self.docs[idx]            context.append("图片: %s | 文字: %s" % (doc["img_desc"], doc["text"]))        ctx = "\n".join(context)        return "【检索证据】\n%s\n【生成回答】根据资料,%s" % (ctx, query)  def main():    docs = [        {"text": "多模态检索架构将文本与图片统一编码成向量", "img_desc": "架构图显示双塔编码器"},        {"text": "RAG流程包含索引构建、混合检索与生成", "img_desc": "流程图展示完整RAG管线"},        {"text": "对比学习让跨模态语义在向量空间中对齐", "img_desc": "示意图展示正负样本距离"},    ]    rag = MultimodalRAG(docs)    q = "多模态RAG是怎么实现的"    print(rag.generate(q, top_k=2))  if __name__ == "__main__":    main()

1. class MultimodalRAG定义多模态RAG核心类，同时保存文本向量与图像描述向量
2. _build_index构建词表并为每篇文档生成“文本向量 + 图像向量”双通道索引
3. _sparse_vector将一段文字转成L2归一化的稀疏词频向量
4. _cosine计算两个向量的余弦相似度，作为深度学习检索的简化替代
5. retrieve融合文本相似度、图像相似度和关键词重叠度，实现混合检索排序
6. dense = alpha * text_sim + (1 - alpha) * img_sim跨模态融合：既看文字语义，也看图像语义
7. fused = 0.8 * dense + 0.2 * overlap在语义基础上补充稀疏关键词证据
8. generate把 hit 的图文信息拼成上下文，模拟“检索增强生成”输出
9. if __name__ == "__main__":可执行入口，运行脚本即可看到检索证据和生成结果

常见误区

面试题