Dense Retrieval稠密检索原理

可视化演示

动态演示Dense Retrieva的核心机制，通过采集/分析/决策/反馈四种模式展示关键概念与交互流程。

检索根基：从稀疏到稠密

图书馆的老系统就像一本按关键词排列的目录册。每本书只有在它的书名、作者、标签里出现了某个词，才会被那个词“钩住”。读者说“想找一本讲如何走出低谷的书”，目录册里根本没有“走出低谷”这四个字，于是它只能两手一摊。这种依赖词形重合的检索方式，就是稀疏检索。它的向量像一张巨大的点名单，绝大多数位置是 0，只有出现过的词才点亮。问题在于：字面不同，不代表语义不同。

稠密检索换了一种思路。它不再给每个词单独留一个位置，而是用神经网络把整段文字压缩成一个足够短的稠密向量。这个向量的每个维度几乎都不为 0，每本书都在“语义地图”上拥有了一个独一无二的坐标。读者描述查询时，系统把查询也投射到同一张地图上，接下来只需要计算两个坐标之间的距离。

从“查字面”到“找含义”，这是检索思路的一次根本升级。老系统像逐字核对，新系统像拿着地图定位；前者看到的是词，后者看到的是语义。

核心原理：双塔编码器

明白了要给文字配坐标，接下来要解决：坐标从哪来？图书馆里不能靠人手工量距离，需要一台稳定的“定位仪”。在稠密检索里，这台定位仪就是 embedding 模型。为了让查询和文档可以公平比较，我们通常训练两个编码器：一个叫查询塔，负责把读者的问题变成向量；另一个叫文档塔，负责把候选内容变成向量。两个塔共享同一个语义地图，这样查询才能和文档直接比远近。

这种结构像一个“双塔”建筑：左边塔解读读者的问题，右边塔解读图书馆的藏书，两座塔的输出都汇入同一个坐标广场。训练时，模型会学习让语义相关的查询和文档向量靠得更近，让不相关的对彼此推开。推理时，我们只做一件事：把查询向量和文档向量送入相似度函数，得到匹配分数。

有了双塔模型，系统就可以预先给全馆图书算好坐标并存入数据库。读者来查询时，只需现场计算查询向量，再与库里的向量比较。坐标一旦统一尺度，“远”与“近”就是语义相关与否。

模型选型：选对Embedding

定位仪也有不同型号。有的适合全球导航，有的对某个城市的小巷特别熟悉。Embedding 模型同样如此：通用模型在海量多语言数据上训练，覆盖面广，适合中英文混合或者通用知识库；中文场景模型则针对中文语境做了优化，对成语、口语、中文长句的理解通常更好；如果你的知识库有强烈的领域色彩，比如法律、医疗、金融，还需要在领域数据上做微调。

选择模型时，向量维度是一个容易被忽视的决策点。维度越高，通常能表达更丰富的语义，但存储、内存和计算成本也越高。想象你给一百万本书各写一份“性格报告”：报告越厚，信息越细，但书架也会被撑爆。

模型选型不是越贵越好，而是要匹配业务场景。就像导航仪不必支持所有星球的坐标一样，先看语料语言，再看专业领域，最后用检索效果验证，才不会被“更大模型”带偏。

索引构建：给向量建导航

如果你只有几十本书，逐本量距离没问题。但图书馆有百万本书，读者站在门口，系统不可能把每本书都拉出来量一遍。这时就需要给语义地图搭建导航系统。最朴素的方法是暴力搜索：逐一计算查询向量与所有文档向量的距离，精确但太慢。工程上更常用的是 ANN 近似最近邻索引，它在“召回速度”和“召回精度”之间做取舍。

HNSW 是目前非常流行的图式索引。它把文档向量组织成多层图：上层连接稀疏的“高速入口”，下层连接细密的“街区小路”。查询时从顶层快速下探，像开车从高架进入支路，只需要访问一小部分节点就能找到近邻。IVF 则更像给地图划分行政区，先把向量聚类成若干桶，查询时只搜最近的几个桶。

索引决定了检索系统能否撑住线上流量。选好 HNSW 的候选数、IVF 的桶数，就像给导航仪设置“优先高速还是优先距离”，需要在线下评测中反复校准。

相似度计算：度量语义距离

现在坐标有了、导航也有了，最后一步是回答：两个点在语义上到底有多近？这很像描述两座城市之间的关系：可以说直线距离，也可以说沿某条路开车的距离。向量空间里最常用的距离叫余弦相似度。它不看向量的长短，只看方向是否一致。如果把查询向量和文档向量都画成从原点出发的箭头，余弦相似度就是看这两支箭的夹角。

还有一种常用方法是点积。点积既看方向，也看模长。如果模型训练时已经对向量做了归一化，点积和余弦相似度在数学上等价。因此，工程上有一条朴素经验：训练时用哪种度量，上线检索就用哪种度量。

相似度计算看似简单，却直接影响排序。就像两座城市直线距离再近，也可能隔着山；余弦相似度高，也不代表业务上一定相关。因此，度量的选择要跟随模型的训练方式，而不是随意更换。

效果评估：召回质量体检

有了新系统，怎么知道它比老系统好？图书馆需要定期做“读者满意调查”。评测稠密检索，通常需要构建一个评测集：给定一组查询，人工标注出哪些文档是真正相关的。然后让检索系统返回前 K 条结果，看看相关文档被捞回来多少。

最常用的指标是 Recall@K，它衡量“所有相关文档里，有多少出现在前 K 个结果中”。此外还有 MRR，它看第一个相关结果排在第几位；NDCG 则更进一步，给排在靠前位置的相关结果更高奖励。这些指标就像检查导航仪的三种方式：是否找到了目的地、是否第一次就指向正确、以及整体路线是否合理。

评测集是检索优化的方向盘。没有它，你可能只是感觉“结果看起来不错”；有了它，才能量化每一次调参究竟提升了多少。它也是后续混合检索、精排优化的决策依据。

实战优化：混合检索与精排

语义地图很强大，但它也有盲区。比如读者精确报出“ISBN 编号 978-7-201-12345”，语义检索可能会把它当作一串普通文本，反而不如老式目录系统精确。更聪明的做法是让两套系统合作：稀疏检索负责精确字面匹配，稠密检索负责语义泛化，再把两路分数融合。

同时，检索流程通常分为粗排和精排两段。向量索引先快速召回几百条候选，再用更重但更准的模型精排。就像导航先给出几条大路线，再由熟悉当地的人挑选最佳小路。为了让知识库保持新鲜，索引还需要支持增量更新：新书入库时，不能把所有旧坐标全部重算一遍。

实战中的稠密检索很少单兵作战。真正能落地的方案，往往是一套组合拳：语义召回、字面兜底、精排修正、增量更新。这样，图书馆既能理解读者模糊的感受，也能精确找到那本指定编号的书。

AI 应用场景

Python 演示

import numpy as np  class SimpleDenseRetriever:    def __init__(self, dim=32, vocab_size=200, seed=0):        np.random.seed(seed)        self.dim = dim        self.vocab_size = vocab_size        self.embeddings = np.random.randn(vocab_size, dim).astype(np.float32)        self.doc_vecs = {}        self.doc_tokens = {}     def tokenize(self, text):        return list(text)     def _normalize(self, vec):        norm = np.linalg.norm(vec)        if norm == 0:            return vec        return vec / norm     def embed(self, tokens):        vec = np.zeros(self.dim, dtype=np.float32)        for token in tokens:            idx = abs(hash(token)) % self.vocab_size            vec += self.embeddings[idx]        return self._normalize(vec)     def add_document(self, doc_id, tokens):        self.doc_tokens[doc_id] = tokens        self.doc_vecs[doc_id] = self.embed(tokens)     def search(self, query_tokens, top_k=3):        qvec = self.embed(query_tokens)        scores = []        for doc_id, dvec in self.doc_vecs.items():            score = float(np.dot(qvec, dvec))            scores.append((doc_id, score))        scores.sort(key=lambda x: x[1], reverse=True)        return scores[:top_k]  if __name__ == "__main__":    corpus = {        "doc1": "公司在月底统一报销差旅费用",        "doc2": "发票丢失后需要提交遗失说明",        "doc3": "出差住宿标准按城市等级调整",        "doc4": "报销流程在OA系统发起申请"    }     retriever = SimpleDenseRetriever()    for doc_id, text in corpus.items():        retriever.add_document(doc_id, retriever.tokenize(text))     query = "出差住宿发票怎么报销"    results = retriever.search(retriever.tokenize(query))    print("Top results:")    for doc_id, score in results:        print(f"{doc_id}: {retriever.doc_tokens[doc_id]} score={score:.3f}")

1. self.embeddings = np.random.randn(vocab_size, dim).astype(np.float32)模拟一张“词向量表”，每个词都有一个初始坐标。
2. vec = np.zeros(self.dim, dtype=np.float32)每条文档或查询先准备一个全零的稠密向量。
3. vec += self.embeddings[idx]把每个词对应的向量坐标累加进整段文本的向量。
4. return self._normalize(vec)归一化后，后续点积结果就等于余弦相似度。
5. self.doc_vecs[doc_id] = self.embed(tokens)入库时提前算好文档向量，检索时不用重复计算。
6. qvec = self.embed(query_tokens)查询也要用同一台“定位仪”映射到同一语义空间。
7. score = float(np.dot(qvec, dvec))用点积计算查询与文档的相似度分数。
8. scores.sort(key=lambda x: x[1], reverse=True)按分数从高到低排序，返回 Top-K。

常见误区

面试题