稠密检索原理与实现：给文档画一张「神韵画像」

可视化演示

展示稠密检索中查询向量(Q)在文档嵌入空间中通过余弦相似度找到TopK最相关文档的过程，右侧为Emb→Sim→TopK→Out检索流水线。

什么是稠密检索：从「翻书名」到「懂灵魂」

那位只看封面的图书管理员，拿到「如何提高沟通效率」这个请求时，只能在书名、作者、摘要的关键词里找「沟通」「效率」这样的字眼。可一位懂书的管理员会问自己：这本书讲了什么？适合推荐给什么样的人？他的推荐逻辑建立在「理解」之上，而「理解」在计算机里被表达成一张数字画像——这就是稠密检索的起点。

在传统信息检索里，文本被表示成稀疏向量：词典有十万个词，每篇文档只在出现过的词对应的位置上有值，其余全是零。这个向量又高又空，无法表达「关键词没出现但意思相关」的情况。稠密检索则用神经网络把整段文本编码成一个低维（通常几百维）、每个维度都非零的向量。这个向量像是文本的一种「灵魂画像」：维度之间通过训练被赋予了丰富的语义组合含义。

一次完整的稠密检索包含三件事：把查询文本编码为查询画像，把候选文档编码为文档画像，然后计算画像之间的相似度并排序。整个过程可以用一个简洁的式子描述：任何一段文本，经过编码器都会落到同一个「语义空间」里，这个空间里距离近的文本，含义就接近。

回到图书馆的场景：管理员给每本书写画像时，用的不是「书名关键词」，而是「这本书真正在谈什么」。查询画像与文档画像越像，书就越值得推荐。这就是稠密检索的第一性原理——用语义画像替代字面索引。

嵌入向量原理：画师的功力决定画像质量

同样是给人画像，街头速写画师和达·芬奇的笔下作品，神韵完全不同。稠密检索里的「画师」就是 Embedding 模型（文本嵌入模型），它直接决定了向量能不能忠实反映语义。常用的模型包括 Sentence-BERT、bge、E5、OpenAI 的 text-embedding 系列，它们的共同点是把句子压缩成一个固定长度的向量。

Embedding 模型的内部工作方式可以拆成三步：先把句子切成 token（可以理解为「词的碎片」），送入一个预训练语言模型（如 BERT）得到每个 token 的隐状态向量，最后通过池化策略把这些细粒度向量合并成整句的一个向量。常见的池化策略有两种：取 [CLS] 位置的向量，或者对所有 token 向量做平均。模型不同、池化策略不同、微调数据不同，画出来的「画像风格」也迥然不同——这正是选型时要关注的。

选画师要看「画风匹配度」：如果文档是中文法律条文，优先选在中文法律语料上微调过的模型；如果是多语言混合数据，则选跨语言模型。bge 系列在中文语义相似度任务上表现稳定，E5 以海量弱监督数据预训练著称，都是工程中的常见选择。记住一句话：画师的功力决定画像上限，相似度计算只是把画像潜能兑现出来。

向量相似度：三种给画像「打分」的方式

画像画好了，怎么判断两张画像像不像？图书管理员有三种办法：比方向（两人面朝同一方向）、比远近（两人站得近不近）、比重叠（五官特征重合多少）。对应到向量，就是三种常用的相似度计算方法。

余弦相似度是最常用的方法：它计算两个向量夹角的余弦值，只关心方向是否一致，不关心向量的长短。内积则同时考虑方向和模长——向量越长，即使角度稍大也可能得到较高的评分。欧氏距离则是另一个视角：它衡量两个向量终点之间的直线距离，距离越小越相似。值得注意的是，当向量先做归一化（模长变成 1）后，内积与余弦相似度完全等价，而欧氏距离的平方与余弦相似度也呈单调反向关系，这时三种方法选哪一种，结果排序几乎一致。

工程上，使用余弦相似度前通常先把所有向量归一化，这样既可以直接用内积加速计算，又能让分数范围稳定。但注意：不同模型产出的相似度分数分布不同，同样是 0.8，在模型 A 里可能很相关，在模型 B 里可能只是一般相关。画像的「打分尺」要跟画师绑定，不能跨模型混用。

效果优化：从「推荐失误」中磨砺判别力

管理员第一次上岗时，推荐经常出错：读者要「有效开会」，他推了一本《高效演讲》；要「项目复盘」，他推了《复盘方法论》却漏掉了更像的章节。为了让推荐越来越准，他会记住每次「被纠正」的反例——这正是稠密检索优化的核心思想：让模型从正样本和难负样本的对比中学习。

优化的标准范式是「双塔模型 + 对比学习」：查询塔和文档塔各自把文本编码成向量，训练目标是让匹配的（查询，正文档）对相似度高，让不匹配的（查询，负文档）对相似度低。真正影响模型能力的是负样本的选择——如果只随机抽负样本，模型很容易学会简单区分（比如「开会」和「天气」本来就很不同），却学不会区分「沟通技巧」和「演讲技巧」这种真正的难题。为此，训练中会刻意引入硬负样本：与正样本高度相似但不是答案的文档，逼着模型去理解细微差别。温度系数 τ 则控制着相似度分布的「尖锐程度」：τ 越小，模型越敢放大正负样本之间的差距。

管理员每被纠正一次，下次就更懂「神韵」的边界。模型的微调（fine-tuning）就是批量地让模型经历成千上万次这样的「纠正」。在 RAG 应用的模型评测里，人们用 Recall@k（前 k 个结果中召回正确答案的比例）和 MRR（正确答案名次的倒数）来量化管理员「推荐命中率」的进步。

稠密检索 vs 关键词检索：两位管理员的互补协作

只看书名的管理员有一个令人安心的优点：他严格、稳定、绝不联想。你搜「数据库」，他不会给你一本讲「存储系统」却没用这两个字的书。这种基于词频统计的方法就是关键词检索的典型代表，工业界最经典的是 BM25，它统计词频、逆文档频率和文档长度，计算「字面相关性」。它的优势是无需训练、可解释、速度快，对小语种和专有名词（如「GTX-980」）尤其可靠。

严格管理员的缺点恰恰来自他的刻板：遇到同义改写、口语化表达、跨语言（比如中文查「机器学习」，英文文档里写的是 machine learning），就彻底失语。这就是所谓的「语义鸿沟」——字面上没重叠，含义却相通。稠密检索的管理员能跨过这道鸿沟，但代价是需要训练数据、算力和模型，而且对生僻术语和数字精确匹配常常出错。与其争论谁更强，不如让两位管理员协作：先用 BM25 和稠密检索各自召回一批候选，再用 RRF（Reciprocal Rank Fusion）对两路结果做融合排序。

在 RAG 系统中，混合检索几乎成了标配：关键词检索负责「稳妥的精确」，稠密检索负责「聪明的联想」，RRF 则像一位会议主持人，让两位管理员的意见公平汇合。这不是取代，而是协作。

工程落地：把十万张画像放上「智能书架」

图书馆藏书从一千本增长到十万本时，管理员就不能每次挨个把画面对比了——那太慢。工程的本质是把「神韵画像」组织成高效的检索结构。第一步选一个向量数据库（如 Milvus、Qdrant、FAISS、pgvector），把所有文档向量存储进去；第二步在其中建立 ANN（近似最近邻）索引，用牺牲少量精度的方式极快返回「最像的几十张画像」。

最主流的 ANN 算法是 HNSW（分层可导航小世界图）。它的直觉像一座金字塔式的图书馆：顶层书架很少，只有极少数「广识型」画像；越往下层，书架越多、画像越细；检索时从顶层粗选，逐层细化，最终在底层找到精确的近邻。节点出现在第几层是随机的，且服从几何分布——层数越高，概率越小，这保证了上层节点足够稀疏、检索足够快。

工程中，还要引入「召回 + 精排」两阶段架构：ANN 索引负责把候选集从千万级压缩到几百个（召回阶段，速度快），然后对候选向量用更精确的模型（如交叉编码器 reranker）重新打分排序（精排阶段，精度高）。这就像图书馆管理员先用智能书架秒速选出 50 本「可能的书」，再仔细翻看这 50 本的内容质量，最终给出 Top 5 推荐。到了这一步，一座百万藏书的「智能图书馆」才能真正高效运转起来。

AI 应用场景

Python 演示

"""稠密检索最小实现：模拟伪语义向量的余弦相似度 Top-K 检索"""import numpy as np  class DenseRetriever:    def __init__(self, dim=256):        self.dim = dim        self.doc_ids = []        self.doc_vecs = []     def _encode(self, text):        # 模拟embedding：把词散列到向量并归一化，真实场景替换为编码模型        vec = np.zeros(self.dim)        for token in text.lower().split():            idx = hash(token) % self.dim            vec[idx] += 1.0        norm = np.linalg.norm(vec)        return vec / norm if norm > 0 else vec     def add_document(self, doc_id, text):        self.doc_ids.append(doc_id)        self.doc_vecs.append(self._encode(text))     def search(self, query, top_k=3):        q_vec = self._encode(query)        scores = [            float(np.dot(q_vec, d_vec))            for d_vec in self.doc_vecs        ]        rank = np.argsort(scores)[::-1][:top_k]        return [(self.doc_ids[i], round(scores[i], 4)) for i in rank]  def main():    docs = {        "d1": "LangChain 支持多种大模型接口调用与链式编排",        "d2": "今日北京天气晴朗适合户外运动",        "d3": "RAG 系统通过检索增强回答的事实准确性",        "d4": "深度学习模型训练需要海量 GPU 算力",    }    retriever = DenseRetriever()    for doc_id, text in docs.items():        retriever.add_document(doc_id, text)    results = retriever.search("大模型如何增强检索回答？", top_k=2)    for doc_id, score in results:        print(doc_id, score)  if __name__ == "__main__":    main()

1. vec[idx] += 1.0词散列到某一维度后点亮该维，模拟「画像」的雏形，只用于演示；真实项目应调用 Sentence-BERT、bge 等模型生成语义向量。
2. norm = np.linalg.norm(vec); return vec / norm if norm > 0 else vec归一化让向量模长为 1，后续余弦相似度可直接用内积计算。
3. scores = [float(np.dot(q_vec, d_vec)) for d_vec in self.doc_vecs]用内积批量计算查询与所有文档的相似度，对应正文余弦公式的归一化简化版。
4. rank = np.argsort(scores)[::-1][:top_k]从高到低排序并截取前 k 个索引，完成 Top-K 召回。
5. for doc_id, text in docs.items(): retriever.add_document(doc_id, text)离线索引构建的缩影：逐条把文档编码后入库。

常见误区

面试题