多向量索引技术

可视化演示

展示单文档多向量存储结构、并行多维度检索与结果融合策略、以及PQ压缩优化。切换模式探索多向量索引核心技术。

多向量原理

那年夏天，你到一座 “文档小镇” 找人。镇上的花名册非常简陋，每栋房子只允许写一行简介：“兼卖甜品、教攀岩、附带小花园”。你用放大镜很难从一个词里看清全部信息。后来镇政府规定：每栋房子的外墙可以挂多块告示牌，每块牌只写一个主题。这一改，原本“又厨又户”的模糊标签，变成了清晰的多视角标签。多向量索引的出发点正是如此：一个文档并不只有一个全局语义，它有段落、句子、主题等多个“面孔”。

从告示牌回到技术：传统向量检索把整篇文档编码成一个 embedding 向量，等于强迫所有信息挤进一个坐标点。文档越长、主题越杂，这个坐标点就越“四不像”。多向量索引通常会先对文档做语义切分，让每一句或每一段分别经过嵌入模型，得到多个低维向量。这样，文档 D 就被表示为一个向量集合，每个向量对应文档里的某个具体语义片段。

所以，RAG 开发者在设计索引时，不再问“这个文档的向量是什么”，而是问“这个文档有哪些子语义，分别对应什么向量”。正是这多块告示牌，让检索员不必隔着门缝猜整栋楼。

存储结构

告示牌不能悬在半空，需要有地方钉、有分类。镇办事处的档案柜里，每一块告示牌都占用一行：房号、第几面墙、告示牌内容、安装日期。放到向量数据库里，这个档案柜就是一张“子向量表”，每一行记录代表一个子向量，同时用 doc_id 注明它属于哪一栋文档之楼。

多向量存储的本质是维护“文档—子向量”的一对多关系。一个文档对应多条子向量记录，这些记录共享同一个 doc_id，但用 seg_id 区分先后顺序。向量列保存嵌入模型输出的浮点数组；元数据列保存文档来源、页码、标签等过滤条件。检索时，如果一条子向量被命中，数据库必须能通过 doc_id 快速把该文档的所有相关子向量找回来，再做后续聚合。

好的存储设计，就像一本编好索引的告示牌档案。查询命中某块牌子时，检索员能立刻翻到整面墙，而不是只带一块孤单的木头回来。

多路召回

你举着“会做甜品”的查询卡来到检索中心。系统并不直接判断整栋楼是否匹配，而是走到每栋楼前，把楼上的每块告示牌都取下来，与查询卡对光目测一番，记下多个相似度分数。这个“挨个看告示牌”的过程，就是多路召回：先看所有子向量，再决定哪些房子有资格进入下一轮。

技术实现上，查询向量 q 与文档 D 中第 i 个子向量 v_i 的相似度，通常使用余弦相似度。这个分数越接近 1，说明这块告示牌越贴合查询意图。如果直接把所有子向量分数都堆到文档头上，会让某些“特别能蹭”的子向量制造假阳性；因此，实践中会先对整张子向量表做近似最近邻搜索，取回 N 个高分候选子向量，再按 doc_id 分组，得到每个文档的候选子向量列表。

多路召回的价值在于“广撒网，再聚合”：查询可以同时命中同一栋楼的多个房间，为后续融合提供丰富素材。

分数融合

告示牌各有各的亮度，但检索员最终还是要回答：这栋楼到底值不值得进去？假设某栋楼挂着三块告示牌，相似度分别是 0.9、0.4、0.1。有人建议只看最亮的那块，取 0.9；有人认为三块牌都该有发言权，平均成 0.47；还有人觉得“甜点”这块牌代表核心卖点，应该给它更高权重。三种思路正好对应三种常见的融合策略。

最大融合（Max）、平均融合（Avg）和加权融合（Weighted）是向量数据库中最常用的三种聚合方式。Max 能捕捉文档中最强相关的局部语义，适合“只要一个方面命中就很相关”的场景；Avg 更稳妥，避免单一噪声子向量主导结果；加权融合则让系统利用元数据或重排模型，对不同子向量表现出的重要性做二次分配。

融合之后，系统通常会做一次重排序，就像你最终走到门口，先听老板讲两句话，再决定要不要进去。融合分数是“初筛的门铃”，重排才是“正式见面”。

索引维护

小镇会不断变化：新楼落成、旧楼翻新、危楼拆除。如果告示牌一直不换，检索员就可能被过时的门牌带偏。多向量索引同样需要一套“贴牌—改牌—摘牌”的维护流程。

离线构建阶段，系统对文档集合 S 批量执行切分与向量化，得到子向量集合 V；当新文档增量到来时，只需要对新增的文档子集 ΔS 做编码，再把新向量追加进现有索引，而不必全量重建。删除操作则往往采用“墓碑”标记：先逻辑删除旧向量，等待后台合并压缩时物理清理。更新一条文档，等价于“新增新版本子向量 + 标记旧版本过期”，并通过版本号保证一致性。

有了增量更新和墓碑机制，文档小镇的地图才能长期保持准确。RAG 系统在持续接入新知识时，也才能做到“旧知识不丢、新知识及时上墙”。

性能优化

当小镇的楼从一百栋涨到十万栋，每栋楼还挂了 20 块告示牌，检索员就吃不消了：告示牌又大又多，查一次要跑遍全镇。性能优化的思路，就是让告示牌更小、挂法更合理、热门牌子随身带。

让告示牌变小的方法叫向量量化。原始浮点向量每个数占 4 字节，量化成 int8 后每个数只占 1 字节，向量维度不变，但存储与内存开销大幅下降。如果压缩率为 r（量化后字节数 ÷ 原始字节数），那么优化后的存储量 M′ 就是：

除了量化，分段索引把子向量按文档 ID 分成不同段，查询时并行扫描；高频访问的热点文档向量还可以放进缓存，像把常看的告示牌折好放进衣兜。优化后的多向量索引，才能在大规模 RAG 场景中既能“看得准”又“跑得快”。

应用实践

多向量索引最终要落到真实业务里。想象你在读一本技术手册，里面既讲部署、又讲监控、中间还夹着“缓存一致性”的一小节。如果用单向量索引检索，整本书可能被揉成一个模糊的坐标点；用多向量索引后，书里每个章节各有一块告示牌，你问缓存问题时，系统能精准命中那一块，而不会被部署章节稀释。

在实际 RAG 流水线中，多向量索引通常作为第一阶段召回：先得到若干候选文档和融合分数，再交给重排模型精排，最后把最相关文档切片送给大模型生成答案。最终排序可以表达为：

多向量索引非常适合长文档多主题检索、FAQ 中一稿多问、商品多重卖点匹配等场景。它让 RAG 不只是“找到一个相关文档”，而是“找到文档里最相关的那几块门牌”。

AI 应用场景

Python 演示

import numpy as np class MultiVectorIndex:    def __init__(self, dim=4):        self.dim = dim        self.doc_count = 0        self.doc_vectors = {}        self.doc_meta = {}     def add_document(self, doc_id, sub_vectors, meta=""):        self.doc_vectors[doc_id] = [np.array(v, dtype=float) for v in sub_vectors]        self.doc_meta[doc_id] = meta        self.doc_count += 1     def _normalize(self, v):        norm = np.linalg.norm(v)        if norm == 0:            return v        return v / norm     def _similarity(self, q, v):        return float(np.dot(self._normalize(q), self._normalize(v)))     def search(self, query_vector, mode="max", top_k=2):        scores = {}        for doc_id, vectors in self.doc_vectors.items():            sims = [self._similarity(query_vector, v) for v in vectors]            if mode == "max":                scores[doc_id] = max(sims)            elif mode == "avg":                scores[doc_id] = sum(sims) / len(sims)            else:                raise ValueError("unsupported mode: use max or avg")        ranked = sorted(scores.items(), key=lambda item: item[1], reverse=True)        return ranked[:top_k] if __name__ == "__main__":    idx = MultiVectorIndex(dim=4)    idx.add_document("doc-a", [[0.9, 0.1, 0.1, 0.1], [0.1, 0.8, 0.2, 0.1]], "甜品店")    idx.add_document("doc-b", [[0.1, 0.1, 0.9, 0.2], [0.2, 0.2, 0.1, 0.8]], "攀岩馆")    query = [0.8, 0.2, 0.1, 0.1]    print(idx.search(query, mode="max", top_k=2))    print(idx.search(query, mode="avg", top_k=2))

1. self.doc_vectors[doc_id] = [np.array(v, dtype=float) for v in sub_vectors]把每个文档的多块“告示牌”转成浮点向量并保存在一起。
2. self._normalize(v)对向量做 L2 归一化，保证余弦相似度只取决于方向。
3. sims = [self._similarity(query_vector, v) for v in vectors]让查询依次与文档内的每个子向量打分。
4. scores[doc_id] = max(sims)用最大融合策略，把最亮告示牌的分数作为文档代表分。
5. scores[doc_id] = sum(sims) / len(sims)用平均融合策略，让所有告示牌都参与意见。
6. sorted(scores.items(), key=lambda item: item[1], reverse=True)按融合分数从高到低排序，得到最终 Top-K 召回结果。

常见误区

面试题