稠密向量与稀疏向量对比分析

可视化演示

展示0/1背包问题的动态规划求解过程，逐步填充DP表，每个格子记录前i个物品在容量j下的最大价值。

概念图谱

在「知识大礼堂」的找人大作战里，你手里有两样工具：证件照与标签清单。证件照对应稠密向量——它把一个人的面貌压缩成一组连续的实数值，比如 768 维的 Embedding，每一维都有意义，谁也不能是零；标签清单对应稀疏向量——维度可能高达几十万（如词表大小），但一篇文章只勾中几百个词，其余位置全是零，像白纸上零星落着几个墨点。

从数学上看，稠密向量的每个分量都是实值，且绝大多数非零；稀疏向量虽然维度极高，但非零元素占比通常不足 5%。这意味着两者在存储上差异悬殊：稠密向量每个维度都要存一个浮点数，稀疏向量则可以只记录「槽位号 + 值」的键值对，大幅节省内存。语义表达上也各擅胜场：稠密向量由神经网络从语料中学习，擅长捕捉「意思相近」的深层语义；稀疏向量直接来自词法统计，擅长捕捉「字面精确」的显式匹配——就像照片能认出「穿蓝衣服的陌生人」，清单却能牢牢锁定「名字叫张三的人」。

两个向量既然长这样，怎么衡量「像不像」？最常用的尺子是余弦相似度：

理解了两种向量的长相与度量方式，就能明白：照片擅长「神似」，清单擅长「形似」。搜索引擎里，两者往往互为补充，下一节我们将看看当大礼堂里人山人海时，如何高效地找出那个「最像的人」。

检索算法

大礼堂里有十万个人，逐张照片比对（暴力搜索）虽准但太慢——每来一个查询就要算十万次余弦相似度。于是人们发明了「先分组、再精找」的策略。IVF（倒排文件） 的思路是：提前用聚类算法（如 K-means）把全体向量分成若干簇，每个簇有一个「簇代表」（质心）。查询时先算出查询点离哪个质心近，只进那一两个簇里精找，而不是全礼堂乱窜。HNSW（分层可导航小世界图） 则换了个思路：把向量组织成一张「多层好友网络」，上层是稀疏的长距离连接（一跳能蹦很远），下层是密集的短距离连接（精确定位）。查询时从顶层开始，沿着「看起来更近」的邻居逐层下跳，就像在大礼堂里先问门卫、再问楼层管理员、最后问到座位号。

IVF 的核心是给查询点挑选候选簇：

而 HNSW 则在图结构上做文章：每个节点与若干邻居相连，边分长短。插入新向量时，从顶层出发，每层贪心找最近邻并建立连接；查询时同样逐层下钻。为了让图更紧凑，PQ（乘积量化） 会把向量切段压缩，用「码本编号」代替原始数值，牺牲一点精度换巨幅内存节省——相当于把高清照片压缩成一份「马赛克缩略图」，肉眼看着像就行。

回到找人的故事：IVF 是「先按片区划分再进楼找人」，HNSW 是「沿着熟人网络一跳一跳逼近目标」，PQ 是「把照片压缩了再比」。三者常组合使用，比如「IVF+HNSW+PQ」三件套，是工业界 ANN 检索的经典配方。

稀疏检索

清单派也有自己的作战体系。既然标签清单只有少数槽位被勾选，何必遍历所有人？倒排索引的做法是：为每个标签（词）维护一个「勾选了这个标签的人」的链表。查「戴眼镜」时，直接取出该链表，瞬间得到所有候选人——这就是搜索引擎倒排索引的雏形。但光靠「有没有勾」太粗糙，还得考虑「勾得多认真」和「这个标签稀不稀有」。

TF-IDF 给了第一个答案：TF（词频）衡量词在文档中出现的次数，IDF（逆文档频率）衡量词的稀缺程度——「的」字人人用，价值低；「球磨机」只出现在专业文档里，价值高。BM25 则是 TF-IDF 的进阶版，它引入了词频饱和机制和文档长度归一化：词频到了一定程度后收益递减（一篇文档里出现 10 次和 20 次的差异远小于 0 次和 10 次），同时惩罚过长的文档。BM25 的评分公式如下：

稀疏检索的特点由此显现：可解释性强（每个打分都能追溯到具体关键词）、无需训练、对精确 ID 和专有名词极其友好。缺点是词法天花板——同义改写后没有字面重合就召回不到，正如清单上没勾「戴眼镜」就无法通过它找到人。而稠密检索恰好能补上这个洞：语义相近但字面不同也能命中。两者结合，就是下一节的混合检索。

混合检索

照片找人和清单找人各有死穴：照片认得出「神似」却常把「长得像但名字不同」的人搞混；清单锁定「形似」却对「同一个意思换个说法」束手无策。聪明的做法是双管齐下，让双方各自召回一批候选人，再把结果合并排序——这就是混合检索（Hybrid Search）。

最简单的合并方式叫归一化加权融合：把稠密检索的分数和稀疏检索的分数各自归一化到同一量纲（如 0-1），然后加权求和。权重 w 可调：偏向语义就调大稠密权重，偏向精确匹配就调大稀疏权重：

另一种更稳健的融合叫 RRF（倒数排名融合），它不关心原始分数，只看两路各自给出的排名序号：

在 RAG（检索增强生成）应用中，混合检索几乎是标配：先用稀疏检索兜住「专有名词、代码、ID 类查询」的精确需求，再用稠密检索兜住「自然语言问句」的语义需求，最后 RRF 合并后送入大模型。这就像找人时既问保安要了精确名单，又让熟悉面孔的朋友指认——两条线索交叉验证，最终答案才可靠。

工具链

工欲善其事，必先利其器。搭建稠密+稀疏混合检索的「找人大系统」，需要几类现成工具。

第一类是稠密向量生产工具：HuggingFace Transformers 和 OpenAI Embedding API 负责把文本转成稠密向量。用 sentence-transformers 这个库几行代码就能加载一个预训练模型，把句子编码成 384 维或 768 维的向量——它就是那个「证件照拍摄师」，按下快门，一张照片出炉。

第二类是稠密向量加速工具：Faiss 是其中的王牌，由 Meta 开源。它内置了 IndexFlatIP（暴力内积检索）、IndexIVFFlat（IVF 聚类检索）、IndexHNSWFlat（HNSW 图检索）等多种索引结构，几行代码就能在千万级向量上实现毫秒级检索——相当于给照片建了一座高效档案馆。

第三类是稀疏检索工具：rank_bm25 库提供了纯 Python 的 BM25 实现，scikit-learn 的 TfidfVectorizer 则可以快速生成稀疏 TF-IDF 向量——它们是「清单管理员」，负责维护倒排列表并打分。

第四类是系统级托管工具：Milvus、Weaviate、Elasticsearch 等向量数据库把稠密索引、稀疏索引、混合检索能力整合成一个服务，提供 RESTful/gRPC 接口和持久化存储，扛住线上流量。其中 Elasticsearch 天然支持 BM25，新版又加上了稠密向量 ANN 检索，混合检索开箱即用——相当于把照片档案馆和清单管理员请进同一个办公室里协同办公。

选型建议顺着数据规模走：百万级以下用 Faiss + rank_bm25 足够轻量；千万级且需高可用，直接上 Milvus 或 Elasticsearch。工具链本身不复杂，真正考验人的是把「照片通道」和「清单通道」的分数对齐、延迟压下去、召回率提上来，这才是工程内功。

评估体系

照片和清单两条路都建好了，怎么证明「混合后真的更会找人」？答案是建立一套评估体系，核心指标是召回率（Recall） 与精度（Precision）。

召回率衡量「该找的人找回来多少」，精度衡量「找回来的人里多少是对的」。在检索场景中常用 Recall@K：取前 K 个结果，看其中命中的相关文档占全部相关文档的比例：

除召回与精度外，延迟（P95 查询耗时）和基线对比同样关键。正确的做法是建立三组基线：纯稠密、纯稀疏、混合检索，在同一份评估集上分别测 Recall@10、Precision@10 和延迟。混合检索并非总能完胜——若语料以精确型号为主，稀疏可能反超；若以同义改写为主，稠密占优。只有用数据说话，才能回答「要不要上混合」这个灵魂拷问。

回到礼堂故事：评估体系就是给找人大作战记分牌。照片派说自己找得全，清单派说自己找得准，别吵——同一份「失踪者名单」上跑一遍 Recall 和 Precision，高下立判。工程落地时尤其要小心：离线指标涨了，线上用户不一定感知得到，所以离线评估后还要做小流量在线实验，用点击率、成交率等业务指标做最终裁决。

AI 应用场景

Python 演示

import numpy as npfrom math import sqrt def cosine(a, b):    return float(np.dot(a, b) / (np.linalg.norm(a) * np.linalg.norm(b))) def bm25_score(query_terms, doc_terms, doc_len, avgdl, N, df, k1=1.5, b=0.75):    score = 0.0    for qt in query_terms:        tf = doc_terms.count(qt)        if tf == 0:            continue        idf = np.log((N - df[qt] + 0.5) / (df[qt] + 0.5) + 1.0)        norm = 1 - b + b * (doc_len / avgdl)        score += idf * (tf * (k1 + 1)) / (tf + k1 * norm)    return score corpus = [    "TP750 pressure gauge sealing ring is made of PTFE material",    "pressure gauge TP750 seal ring replacement guide",    "budget friendly domestic alternative to seal rings",    "PTFE seal ring heat resistance test report",]dense_vecs = np.random.rand(len(corpus), 8)query_vec = np.random.rand(8) corpus_terms = [d.lower().split() for d in corpus]N = len(corpus)avgdl = np.mean([len(t) for t in corpus_terms])df = {}for doc in corpus_terms:    for w in set(doc):        df[w] = df.get(w, 0) + 1 q_terms = "TP750 seal ring".lower().split()dense_rank = sorted(range(len(corpus)), key=lambda i: cosine(dense_vecs[i], query_vec), reverse=True)sparse_rank = sorted(range(len(corpus)), key=lambda i: bm25_score(q_terms, corpus_terms[i], len(corpus_terms[i]), avgdl, N, df), reverse=True) k = 60rrf = {i: 0.0 for i in range(len(corpus))}for i, doc_id in enumerate(dense_rank):    rrf[doc_id] += 1.0 / (k + i + 1)for i, doc_id in enumerate(sparse_rank):    rrf[doc_id] += 1.0 / (k + i + 1)hybrid_rank = sorted(rrf, key=rrf.get, reverse=True) print("dense top: ", dense_rank[:3])print("sparse top:", sparse_rank[:3])print("hybrid top:", hybrid_rank[:3])

1. def cosine(a, b):实现稠密向量的余弦相似度，方向越一致得分越高，等价于「证件照片像不像」。
2. idf = np.log((N - df[qt] + 0.5) / (df[qt] + 0.5) + 1.0)BM25 中的 IDF 项，词越罕见，分值越高，等价于「标签越独特越值钱」。
3. norm = 1 - b + b * (doc_len / avgdl)文档长度归一化，长文档被稀释，避免「字多即相关」的偏差。
4. dense_rank = sorted(... , reverse=True)按余弦相似度对文档降序排序，得到稠密通道的排名列表。
5. rrf[doc_id] += 1.0 / (k + i + 1)RRF 核心逻辑：对两路排名各算一次倒数贡献并累加，两路都靠前的文档总分最高。
6. hybrid_rank = sorted(rrf, key=rrf.get, reverse=True)按融合后的总分重新排序，得到最终混合检索结果。

常见误区

面试题