多模态RAG：让AI看懂图文混排

可视化演示

展示多模态RAG的编码向量化、CLIP跨模态对齐、图文混合索引检索及生成回答全流程，交互切换四个阶段深入理解。

文档解析：拆开看，才能看清

档案馆的老规矩，是把整本图文册子当作一件藏品塞进柜子。访客想找“刹车片磨损的照片”，管理员阿凯只能把一整册从第一页翻到最后一页，又慢又容易漏。如果先把册子拆开来整理——文字段落放一格、照片放一格、表格放一格，每种资料单独标注——之后找起来就快多了。

多模态RAG的第一步，正是这样的“拆档案”：多模态文档解析。面对一份 PDF 或扫描件，先做版面分析，判断页面上每一块区域是标题、正文、图片还是表格；藏在图片里的文字，再用 OCR 识别出来；最后按语义把内容切成独立的最小单元（结构切分），并记录每块属于哪一页，这就是元数据标注。

每个切好的语义块可以表示成一个三元组：类型 \(t_i\)（文本、图片还是表格）、内容 \(c_i\)（文字或图像数据）、位置 \(p_i\)（页码和坐标）。位置信息很重要——回答“第几页的图”这类问题时，它就是证据来源。

拆完档案，图文混排的书页变成了一格一格带标签的素材。阿凯松了口气：资料终于不再是“一本书”，而是“一批可以随意组合的积木”。不过，要让文字积木和图片积木互相比较，还需要一把共同的尺子。

统一向量：借同一把“温度尺”

积木的语言不同：文字是“刹车片”三个字，图片是金属表面的纹理和颜色。阿凯怎么判断它们说的是同一回事？假设给每块积木贴一支“语义温度计”，温度越高越接近访客的问题——不管它是文字还是图片，温度一对比，相关性立刻现形。

这支温度计就是向量。多模态编码器把文本映射成文本向量，把图片映射成图像向量，并让它们落在同一个维度的“向量空间”里。只要向量空间对齐过，“刹车片”的文字向量和磨损照片的图像向量在空间里的距离就非常近。这就是图文统一向量化：用同一把尺子量两种模态。

实现上最常用的是双塔编码器：文本塔和图像塔分别通过深度网络编码，最终都输出一个 d 维向量（维度对齐）。向量还要做 L2 归一化，把长度变成 1，这样求相似度时只看方向、不受长度干扰。两个向量的夹角越小，语义越接近。

阿凯拿着温度尺，在素材格之间来回比划，心里有了底。但一个新问题冒出来：“红色”这个词，和一张“红色跑车照片”的像素颜色，凭什么能在空间里站到同一个位置？这需要专门的“图文对翻译训练”。

CLIP对齐：看图识字的翻译班

阿凯学外语时最爱看中英字幕电影：屏幕出现一只猫，字幕写着“cat“，多来几次，大脑就把画面和单词绑在一起了。CLIP 的训练思路正是如此——喂给模型海量的”图片 + 说明文字“配对，让它自己总结出”画面长什么样“和”文字怎么说”之间的对应关系。

CLIP 采用图像编码器和文本编码器的双塔结构。训练时，一个 batch 里有 N 张图和 N 条文本，第 i 张图与第 i 条文本是正确配对，其余 N-1 条文本都是干扰项。模型要做的事，就像从 N 条文本中准确挑出与当前图片最匹配的那一条——这就是对比学习。

这个目标用 InfoNCE 对比损失实现：分子鼓励配对图文的相似度变大，分母对所有候选的相似度求指数和，相当于一个多分类 Softmax。温度系数 τ 控制分布的陡峭程度——τ 越小，模型越“苛刻”，配对样本会被拉得更近；τ 越大，分布越平滑。

经过训练，阿凯脑子里有了一张“词语 ↔ 画面互译表”。这张表不仅对训练用过的图有效，还能迁移到没见过的新物体上——这就是零样本迁移能力。现在，文字和图片终于能在同一把温度尺上直接比了。

混合索引：把档案柜摆出学问

档案馆每天新增几千份资料，阿凯不能每次都在全馆上下跑一圈比温度。他需要聪明的摆放策略：给每份资料测出温度后，把温度相近的资料放进同一个抽屉，再在抽屉外贴上分类标签。

放到技术上，这个“抽屉”是向量数据库。多模态RAG 会把解析出的所有文本块和图片块统一写入同一个向量库，形成统一向量索引；同时保留文本的关键词倒排索引，方便精确查找。向量库内部还可以按模态或业务线分段索引，互不干扰。

每条索引记录包含四个部分：唯一 id、统一向量、模态类型、元数据。元数据记录来源文档、页码和标题。检索时先做元数据过滤，缩小搜索范围，再在剩余集合里做近似最近邻搜索，几十万条资料也能毫秒级响应。

阿凯的档案柜终于有模有样：统一索引管语义，倒排索引管精确，元数据过滤器管范围。万事俱备，只欠访客上门——可访客提问的姿势五花八门，有的是原话，有的只记得大概，还有的直接甩来一张照片。

混合检索：两条腿走路更稳

访客说“去年红色跑车那页”，阿凯会两条腿走路：一条腿翻精确登记册，查“红色跑车”四个字；另一条腿掏温度尺，找温度最高的档案。两条线索一对照，既不会漏掉表达方式的差异，也不会被错别字带偏。

技术上的两条腿，一条是向量语义检索，另一条是 BM25 关键词检索。向量检索擅长同义改写与跨模态匹配——“帅气红色轿跑”也能找到红色跑车照片；BM25 对型号、编号这类精确词更可靠——"S10-AP02-445"一搜一个准。两条腿配合，覆盖更全面，也更有鲁棒性。

融合策略很直接：把向量相似度和 BM25 分数分别归一化到同一量纲，再按权重 λ 加权求和（分权重加权）。λ 通过验证集调优：语义问答场景 λ 取大，型号精确检索场景 λ 取小。也有用 RRF 做融合的，下节会讲到，它不依赖分数绝对值而依赖排名。

两条腿走完，阿凯手上多了二十份待定材料，都跟“红色跑车”沾边。但访客要的是一个确切的答案，不能囫囵吞枣全端上去。是时候请出决赛评委了。

跨模重排：决赛评委的精细打分

海选选出二十份，真正符合要求的可能只有两三份。阿凯不能只看初赛分数牌，得把每份材料掰开揉碎，和访客的问题逐字比对——就像决赛评委逐帧看选手表演，而不是只看预赛的打分器。

技术上的重排阶段，用更重的模型对初筛结果做精细打分。粗排的双塔是“分头编码再点积”，交互浅但速度快；重排的交叉编码器把查询和候选拼成一段输入，让模型逐 token 地“互相看见”，排序精度高得多，但成本也高，所以只作用于少量候选（结果 TopK）。

多模态重排还会做联合打分：候选是图片时，模型同时看查询文字和图片内容，综合图文一致性、来源可信度等信号。若多路检索的结果需要合并，RRF（倒数排名融合） 也是常用技巧——不看分数绝对值，只看候选在每个列表里的名次是否都靠前。

决赛结束，阿凯手里的二十份材料变成了精准的三份，每一份都有站得住的理由。他捧着这三份素材，走向档案馆里那位最会表达的讲解员——最后一步，要看讲解员怎么把图文变成答案。

全链架构：从提问到图文并茂

访客掏出一张褪色老照片问：“这是哪座教堂？顺便介绍下历史。”阿凯先仔细看照片（查询预处理），再在馆里检索、重排，最后把最相关的图文资料递给讲解员。讲解员看一眼图、扫一遍文字，出口成章：“这是圣三一教堂，建于 1872 年……”还附上一幅当年的建筑图纸。

这就是多模态RAG 全链路：查询预处理（识别用户输入是文字还是图片，提取关键语义）→ 多模态检索（混合检索 + 重排得到 TopK 上下文）→ 检索增强（把图文片段拼进 Prompt）→ 多模态生成（语言模型生成文字答案，或视觉语言模型直接看图回答）→ 评估优化（记录命中率、答案准确率，迭代调参）。

生成阶段的目标，是最大化“在给定查询和检索证据下，生成答案 \(A\)”的条件概率。检索证据是重排后的前 k 个图文块，它们像开庭时的“呈堂证供”，让大模型的回答有据可依。用户上传图片时，图片先经视觉编码器变成图像 token，再与文字一起进入多模态大模型。

阿凯的档案馆至此完整运转：拆档案、贴温度尺、上翻译班、布置柜子、混合查找、决赛评审、讲解员出口成章——这就是多模态RAG 让 AI 看懂图文混排的全部秘密。你学到的每一步，都能在真实的图文知识库项目中派上用场。

AI 应用场景

Python 演示

# -*- coding: utf-8 -*-"""多模态RAG图文检索演示：CLIP跨模态编码+图文统一检索""" import osimport numpy as npfrom PIL import Imagefrom sentence_transformers import SentenceTransformer # 1. 加载跨模态对齐模型（内部含图像编码塔和文本编码塔）model = SentenceTransformer("clip-ViT-B-32-multilingual-v1")  def l2norm(vec):    vec = np.asarray(vec)    return vec / np.linalg.norm(vec)  def load_image(path):    if os.path.exists(path):        return Image.open(path)    # 演示环境缺少图片时，用纯色占位图保证流程可运行    return Image.new("RGB", (224, 224), (90, 110, 160))  # 2. 模拟图文混排知识库：文本条目与图片条目混合存放knowledge_base = [    {"type": "文本", "text": "刹车片磨损至3mm必须更换"},    {"type": "图片", "path": "assets/pad_wear.jpg"},    {"type": "文本", "text": "机油每5000公里更换一次"},    {"type": "图片", "path": "assets/oil_level.jpg"},    {"type": "文本", "text": "胎压标准值2.5bar"},    {"type": "图片", "path": "assets/tyre_psi.jpg"},] # 3. 构建索引：把文本和图片统一编码进同一向量空间index_vecs = []for item in knowledge_base:    if item["type"] == "文本":        vec = model.encode(item["text"])    else:        vec = model.encode(load_image(item["path"]))    index_vecs.append(l2norm(vec)) # 4. 用户提问（文字或图片路径都可以）query = "刹车片什么时候该换？"q_vector = l2norm(model.encode(query)) # 5. 多模态检索：余弦相似度排序scores = [(q_vector @ vec, i) for i, vec in enumerate(index_vecs)]scores.sort(reverse=True) # 6. 输出TopK图文混合结果for rank, (score, idx) in enumerate(scores[:3], 1):    item = knowledge_base[idx]    name = item["text"] if item["type"] == "文本" else item["path"]    print("Top%d [%s] 相似度=%.3f -> %s" % (rank, item["type"], score, name))

1. model = SentenceTransformer("clip-ViT-B-32-multilingual-v1")加载预训练跨模态对齐模型，首次运行需联网下载
2. if item["type"] == "文本":按模态类型走不同编码分支
3. vec = model.encode(load_image(item["path"]))图片用 PIL 加载后编码
4. index_vecs.append(l2norm(vec))L2 归一化后索引，让点积等价于余弦相似度
5. scores = [(q_vector @ vec, i) for i, vec in enumerate(index_vecs)]一次向量点积算出与所有条目的相似度
6. scores.sort(reverse=True)按相似度降序排列
7. print("Top%d [%s] 相似度=%.3f -> %s" % (rank, item["type"], score, name))输出图文混合的检索结果

常见误区

面试题