稀疏检索BM25算法

可视化演示

动态演示稀疏检索BM25算法的核心机制，通过入门/进阶/实战/优化四种模式展示关键概念与交互流程。

检索演进史

档案管理员的“索引卡片”并非一开始就这么精巧。最早，管理员只有一种最朴素的方法——布尔检索：他拿着一块“账本”字样的木牌，在每份档案上盖章，有章就入选，没章就落选。这套“非黑即白”的规则简单粗暴，但问题显而易见：一份档案只提到一次“账本”和提到五十次“账本”，在管理员眼里毫无区别，检索质量粗糙得像用锤子砸核桃。

后来，聪明的管理员发明了TF-IDF（词频-逆文档频率）。TF-IDF 从两个维度改进了卡片：第一个维度是词频（TF）——同一份档案里“账本”出现越多，卡片上画的圈就越多；第二个维度是逆文档频率（IDF）——如果“账本”在100份档案里出现99份，那它几乎不算线索，反之若只在1份里出现，这个线索就价值连城。

$$\text{TF-IDF}(t, d) = \text{TF}(t, d) \times \text{IDF}(t) = \frac{\text{词 } t \text{ 在文档 } d \text{ 中出现的次数}}{\text{文档 } d \text{ 的总词数}} \times \log\left(\frac{N}{n_t}\right)$$

1. 词频（TF）：先数“账本”在档案里出现了多少次，再除以档案总词数，得到“出现密度”。这一密度相当于给线索浓度打了个分。

$$\text{TF}(t, d) = \frac{\text{count}(t, d)}{\text{len}(d)}$$

2. 逆文档频率（IDF）：计算档案库总文档数 N 与包含词 t 的文档数 n_t 的比值，再取对数。稀有线索的对数值大，常见词的会趋近于零。

$$\text{IDF}(t) = \log\left(\frac{N}{n_t}\right)$$

3. 相乘组合：TF 与 IDF 相乘，意味着“既出现得多又很稀有”的线索获得最高分。TF 像线索浓度，IDF 像线索稀有度，两者相乘才是完整的情报价值。

TF-IDF 已经很好用，但它仍有一个隐性缺陷：文档长度没有真正参与计算。试想，一本 500 页的厚档案和一张 1 页的便条，都出现 5 次“账本”，信息密度天差地别。TF-IDF 对它们一视同仁，显然不公平。这个问题，直到 BM25 登场才被彻底解决。

BM25核心原理

BM25 全称是 Best Matching 25，诞生于 1994 年，是信息检索领域的经典算法。它像一位深谙档案室规则的资深侦探，总结出了三条破案心得——这正是 BM25 的三大核心原理。

心得一：词频不是越多越好，它会饱和。 一份档案出现 1 次“账本”值得怀疑，出现 10 次极其可疑，但出现 100 次呢？经验丰富的侦探知道，连续 100 次出现“账本”，可能只是档案里夹了一本账本复印件。线索带来的信息增量，会随着次数增加而递减。BM25 用一条“饱和曲线”描述这个规律：起初词频每 +1，相关度显著上升；往后 +1，上升幅度越来越小。

$$\text{TF}_{\text{sat}}(t, d) = \frac{\text{TF}(t, d)}{\text{TF}(t, d) + k_1}$$

1. 分子是词频本身：词频越高，原始得分越大，这是“出现越多越相关”的直觉。

$$\text{TF}(t, d)$$

2. 分母加上调节系数 k₁：k₁ 是正的调节因子，它决定了饱和的速度。k₁ 越小，曲线越早“弯下来”，词频的额外增量越不值钱。

$$\text{TF}(t, d) + k_1$$

3. 整体比值封顶于 1：词频再大，这个比值也不会超过 1，词频带来的收益被限制在有限范围内，防止单一关键词刷屏。

心得二：稀有线索应该拿更高权重。 如果“账本”只在档案库的 0.5% 中出现，它是强力线索；如果“档案”一词出现在 99% 的文档里，它基本没有区分度。BM25 沿用了 IDF 的思想，但加了一点平滑处理，防止极端值。

$$\text{IDF}(t) = \log\left(1 + \frac{N - n_t + 0.5}{n_t + 0.5}\right)$$

1. 分子 N - n_t + 0.5：N 是档案库文档总数，n_t 是包含词 t 的文档数。N - n_t 表示“不包含该词的文档数”，这个数越大，说明词越稀有。

$$N - n_t + 0.5$$

2. 分母 n_t + 0.5：包含该词的文档数，加上平滑项 0.5 防止除以零。

$$n_t + 0.5$$

3. 整体 +1 再取对数：内部比值大于 0 时，log(1+x) 保证输出大于等于 0，且变化平缓，不会因为某个词极其稀有就给出无限大的权重。

$$\log(1 + x)$$

心得三：短文档里的一个线索，比长文档里的一个线索更重。 100 字的便条提到“账本”，几乎肯定高度相关；500 页的档案提到一次，可能只是路过。BM25 引入文档长度归一化，通过相对长度比例来调整词频权重——这正是它比 TF-IDF 先进的核心。

BM25 的三条心得环环相扣：词频饱和防止爆表，IDF 加权让稀有词脱颖而出，长度归一化让短文档不再吃亏。三者乘积加和，构成了完整的 BM25 打分公式。

数学公式拆解

侦探的工具箱里，最核心的武器就是那把“计分尺”——BM25 完整打分公式。它能对档案库中的每份文档，算出一个与查询线索的相关度总分。总分越高，档案越值得优先翻阅。

$$\text{Score}(q, d) = \sum_{t \in q} \text{IDF}(t) \cdot \frac{\text{TF}(t, d) \cdot (k_1 + 1)}{\text{TF}(t, d) + k_1 \cdot (1 - b + b \cdot \frac{|d|}{\text{avgdl}})}$$

1. 对每个查询词求和：查询可能有多个词（如“账本 失踪 案”），先分别计算每个词在文档上的贡献，再全部加起来。

$$\sum_{t \in q}$$

2. IDF(t) 稀有度系数：每个查询词的“稀缺价值”。词越稀有，这个系数越大，相当于给线索加权重。

$$\text{IDF}(t) = \log\left(1 + \frac{N - n_t + 0.5}{n_t + 0.5}\right)$$

3. 分子 TF(t,d) × (k₁+1)：词频先乘以 (k₁+1) 作为增幅基础。k₁=1.2 时，分子是 TF × 2.2，保证词频越高得分越高。

$$\text{TF}(t, d) \cdot (k_1 + 1)$$

4. 分母中的长度比例 |d|/avgdl：|d| 是本文档词数，avgdl 是档案库平均词数。比例大于 1 说明文档偏长，会放大分母、压低得分；小于 1 则相反。

$$\frac{|d|}{\text{avgdl}}$$

5. 长度调节因子 1 - b + b × (|d|/avgdl)：b 在 0~1 之间，b=0 时整个因子恒为 1，长度惩罚失效；b=1 时长度影响完全生效，文档长度直接按比例调整分数。默认 b=0.75，即 75% 的长度影响被纳入。

$$1 - b + b \cdot \frac{|d|}{\text{avgdl}}$$

6. 分母中的 k₁ × 长度因子 + TF：与分子呼应，构成“饱和 + 归一”的整体变形。词频低时分子主导，词频高时分母中的 k₁ 项主导，使词频收益递减。

$$\text{TF}(t, d) + k_1 \cdot (1 - b + b \cdot \frac{|d|}{\text{avgdl}})$$

BM25 公式背后的理论支撑是二十世纪 70 年代 Robertson 和 Spärck Jones 提出的概率检索框架。简单理解：检索本质是在估计“这份档案与查询相关”的概率。BM25 的每一项都对应概率模型中“证据”的加权——词频是证据强度，IDF 是证据稀有度，长度归一化是证据质量校准。它不是拍脑袋的经验公式，而是从概率推导出的严谨模型，这也是它历经三十年依然能打的原因。

参数调优技巧

再精密的仪器也有调节旋钮。BM25 有两个核心旋钮：k₁ 和 b。你可以把 k₁ 想象成侦探的“怀疑阈值”——它决定词频要攒到多少，才会让侦探觉得“够了，别再陈述了”。k₁ 默认 1.2，取值范围通常在 0~3 之间。

k₁ 越大，词频饱和曲线越平缓，意味着“出现 5 次”和“出现 10 次”的差距仍会被区分对待；k₁ 越小，曲线越陡峭，词频超过三四次后基本就“封顶”了。调 k₁ 的经验法则是：如果检索结果中长文档过分占优，可以适当增大 k₁，让高频词在长文档中延续更多的收益；如果短文档频繁霸榜，则调小 k₁，让词频快速饱和，给其他因素更多话语权。

$$\text{TF}_{\text{norm}} = \frac{\text{TF} \cdot (k_1 + 1)}{\text{TF} + k_1 \cdot (1 - b + b \cdot \frac{|d|}{\text{avgdl}})}$$

1. 分子 TF·(k₁+1)：k₁ 在这里放大词频的原始影响。k₁+1 的常数项避免分子随 k₁ 变化而失真，同时保持公式的对称性。

$$\text{TF} \cdot (k_1 + 1)$$

2. 分母 TF + k₁·(……)：分子除以分母，形成“饱和型”函数。当 TF 非常大时，整项趋近于 (k₁+1)/k₁，接近常数，词频再无增量——这就是饱和效果。

$$\text{TF} + k_1 \cdot (\ldots)$$

3. 括号内 b 的取值：b=0 时括号变为 1，所有文档无论长短都一视同仁；b=1 时文档长度影响达到最大。默认 0.75 是经过大量实验验证的“均衡值”。

$$1 - b + b \cdot \frac{|d|}{\text{avgdl}}$$

b 是另一个旋钮，负责“长度惩罚力度”。b=0 时，信号弹在沙漠和城市里听起来一样响；b=1 时，文档长度完全参与惩罚，长文档若想获得高分，需要远超平均水平的词频。实践中 b 通常取 0.5~0.9 之间。如果发现检索结果总被超长文档霸占，且长文档中小词频混入太多噪声，就调大 b；如果短文档动辄因“只含一个关键词”而排太前，就调小 b。

参数调优没有银弹。工程上的标准路径是：先以默认值 k₁=1.2、b=0.75 起步，搭建离线评测集（标注好“哪些文档应该被检索出来”），然后用网格搜索或贝叶斯优化在 0~3、0~1 的范围内扫描，找到让 NDCG、Recall@K 等指标最优的组合。别忘了不同语料有不同脾性——法律文书的长度差异极大，可能需要更大的 b；而商品标题普遍短小精悍，b 可以相应调小。

RAG落地应用

在现代大模型应用（RAG）架构中，BM25 扮演着“档案室第一道门卫”的角色。RAG 的完整流程是：收到用户问题 → 从知识库检索相关文档 → 把文档片段拼进提示词 → 大模型基于文档生成回答。如果门卫放进来大量无关文档，大模型就会被噪声干扰；如果门卫漏掉了关键文档，大模型就巧妇难为无米之炊。BM25 作为门卫的优点是：快、稳、可解释。

RAG 中的常见架构是混合检索：同时跑 BM25（稀疏）和向量检索（稠密），再把两路结果融合。为什么需要混合？因为两类检索方法各有盲区。向量检索擅长理解语义——用户问“那家卖手机的公司”能匹配到“苹果公司”的文档；BM25 擅长精确匹配——用户搜产品型号 "iPhone 15 Pro Max" 时，字面匹配远比语义泛化可靠。正如侦探既靠直觉也靠证据，混合检索让两种信号互补。

$$\text{Final}(q, d) = \alpha \cdot \text{Score}_{\text{BM25}}(q, d) + (1 - \alpha) \cdot \text{Score}_{\text{dense}}(q, d)$$

1. BM25 得分项：查询词与文档的关键词匹配分数，来自 BM25 公式。它捕捉字面相关性。

$$\text{Score}_{\text{BM25}}(q, d)$$

2. 稠密检索得分项：查询向量与文档向量的余弦相似度或内积。它捕捉语义相关性。

$$\text{Score}_{\text{dense}}(q, d)$$

3. 加权融合：α 分配两路信任度。α 接近 1 表示更信任关键词证据，接近 0 表示更信任语义直觉。

$$\alpha + (1 - \alpha) = 1$$

工程实践上，落地 BM25 有几个要点。第一，索引构建：离线把知识库文档分词、构建倒排索引，关键词 → 文档列表的映射要预先算好。第二，增量更新：知识库变动时，索引需要同步更新——简单方案是定时全量重建，高效方案是用文档级增量索引（有新增/删除时只更新受影响部分）。第三，中文分词是个特殊挑战：BM25 依赖分词器把句子切成词，分词质量直接影响检索效果。对中文，要注意专有名词（如“三体”不被切成“三”和“体”）和同义词问题（“计算机”与“电脑”在 BM25 下无法互通）。第四，得分归一化：BM25 得分的绝对值受语料影响，跨库比较没有意义，融合前通常要做 min-max 归一化或 rank 归一化。

稠密检索对比

如果说 BM25 是“数档案里的关键词次数”，那稠密检索就是“读懂档案的含义”。侦探的两种办案风格：一种埋头数线索字面出现次数（稀疏），另一种靠“第六感”理解线索背后的意图（稠密）。两种风格各有拥趸，也各有盲区。

稀疏检索（BM25）把文档表示成高维稀疏向量：向量维度是词表大小（比如 10 万维），每个维度对应一个词的位置，文档里出现过的词标上权重，没出现过的全是 0。它的优点是精确、可解释、计算快，缺点是无法处理“同义不同形”——查询“苹果公司”匹配不到只写了"Apple Inc."的文档。

$$\text{Score}_{\text{sparse}}(q, d) = \sum_{t \in q \cap d} w(t, q) \times w(t, d)$$

1. 交集求和：只考虑词 t 同时出现在查询和文档中的情况。这是稀疏检索“字面匹配”的数学表达。

$$t \in q \cap d$$

2. 查询侧权重：词在查询中的重要程度，通常用 IDF 加权，查询中的稀有词更关键。

$$w(t, q)$$

3. 文档侧权重：词在文档中的重要程度，BM25 权重或 TF-IDF 权重。

$$w(t, d)$$

稠密检索把文档和查询分别编码成低维稠密向量（如 768 维），通过 Transformer 编码器把“苹果公司”和“Apple Inc.“映射到语义相近的向量空间，用余弦相似度计算相关性。它解决了同义词问题，但在精确匹配场景失灵——搜产品编号 ”A100-X“，编码器很容易把中间的 ”100” 当成无关数字淡化。

稀疏和稠密的差距本质是匹配粒度的差距：一个看“字形”，一个看“语义”。选型建议可以浓缩成三条经验法则：

• 高频精确词占主导（型号、编号、人名）→ 稀疏胜出

• 语义泛化需求强（“推荐类似《三体》的书”）→ 稠密胜出

• 预算敏感、追求可解释→ 稀疏；追求端到端效果→ 稠密或混合

成熟的生产系统几乎都用混合检索，因为两者互补性太强了——BM25 兜底精确匹配，稠密检索兜底语义泛化，双向覆盖才能最大化召回质量。

AI 应用场景

Python 演示

# -*- coding: utf-8 -*-"""从零实现一个迷你 BM25 稀疏检索器（含示例语料与检索演示）"""import mathfrom collections import Counter  class MiniBM25:    def __init__(self, corpus, k1=1.2, b=0.75):        self.corpus = corpus        self.k1 = k1        self.b = b        self.doc_count = len(corpus)        self.avg_len = sum(len(doc) for doc in corpus) / self.doc_count        self.df_map = Counter()        for doc in corpus:            for term in set(doc):                self.df_map[term] += 1     def idf(self, term):        df = self.df_map.get(term, 0)        if df == 0:            return 0.0        return math.log(1 + (self.doc_count - df + 0.5) / (df + 0.5))     def term_score(self, term, doc):        tf = doc.count(term)        if tf == 0:            return 0.0        norm = 1 - self.b + self.b * len(doc) / self.avg_len        weight = tf * (self.k1 + 1) / (tf + self.k1 * norm)        return self.idf(term) * weight     def score(self, query, doc):        total = 0.0        for term in set(query):            total += self.term_score(term, doc)        return total     def search(self, query, top_k=3):        scored = [(self.score(query, doc), i) for i, doc in enumerate(self.corpus)]        scored.sort(reverse=True)        return [(idx, s) for s, idx in scored[:top_k]]  def main():    corpus = [        "苹果 公司 发布 新款 手机".split(),        "苹果 是 一种 水果".split(),        "手机 市场 竞争 激烈".split(),        "公司 招聘 算法 工程师".split(),    ]    bm25 = MiniBM25(corpus)    query = "苹果 手机".split()    print("查询词:", " ".join(query))    print("--- 检索结果(按BM25得分) ---")    for idx, s in bm25.search(query):        print(f"文档{idx} 得分={s:.3f} 内容={' '.join(bm25.corpus[idx])}")  if __name__ == "__main__":    main()

1. self.df_map = Counter()用计数器统计每个词出现在多少篇文档中，这是 IDF 计算的基础数据结构。
2. for term in set(doc):遍历文档时用 set 去重，因为文档频率只关心“是否出现”，不关心出现几次。
3. def idf(self, term):计算词的稀有度，分母加 0.5 是平滑项，防止极端值爆炸。
4. norm = 1 - self.b + self.b * len(doc) / self.avg_len长度归一化系数：文档越长，norm 越大，词频权重被压得越低。
5. weight = tf * (self.k1 + 1) / (tf + self.k1 * norm)BM25 最核心的“饱和词频”公式，实现词频收益递减。
6. total += self.term_score(term, doc)把查询中每个词的贡献累加，得到文档的最终得分。

常见误区

面试题