BM25+与BM25F：搜索引擎的评分大师

可视化演示

展示BM25排序算法的词频饱和函数和文档长度归一化机制，对比TF-IDF线性增长与BM25饱和曲线，分析k1和b参数对排序质量的影响。

从TF-IDF到BM25

回到那位美食评论家。早期的TF-IDF模型，本质上就是两步走：第一步数一数“这道菜被多少人点过”，这叫词频（TF）；第二步算一算“这道菜在整本菜单里有多稀罕”，这叫逆文档频率（IDF）。如果一道菜在成千上万家餐厅都出现，那它就不太能用来区分“哪家最正宗”——就像“米饭”这个词在任何文档里都有，对检索没什么帮助。而“鱼香肉丝”只在少数川菜馆的菜单上出现，一提起它，就能精准锁定川菜馆。

这个模型在信息检索的早期立下了汗马功劳，但它的毛病也很明显：它把“菜被点过多少次”当成一个线性加分项。点一次加10分，点十次加100分，点一百次加1000分。可现实中，点十次的人和点一百次的人，对“这家店川菜正不正宗”的判断贡献真的差十倍吗？显然不是——当一道菜已经被点过很多次，再多几次，信息增量就微乎其微了。这就像你吃第七口宫保鸡丁时，已经尝不出第一口那种惊艳感。词频带来的信息量，是饱和的。

$$\displaystyle \text{TF-IDF}(t,d)=\text{tf}(t,d)\times \log\frac{N}{1+n_t}$$

1. 词频部分：统计词 \(t\) 在文档 \(d\) 中出现的次数，出现越多，这份文档与词的相关性越高。

$$\displaystyle \text{tf}(t,d)$$

2. 稀有度对数：\(N\) 是文档总数，\(n_t\) 是包含词 \(t\) 的文档数。包含的文档越少，这个对数越大，代表词越“稀有”、越能区分文档。

$$\displaystyle \log\frac{N}{1+n_t}$$

BM25正是针对这个“线性加分”的缺陷出手。它的设计者从概率模型的角度重新推导了相关性打分：查询词与文档的相关性，应该用一个非线性的饱和函数来刻画——一开始词频增加，得分快速增长；到了一定程度后，增长放缓甚至停滞。同时，它还引入文档长度归一化：一份1000页的菜单里出现“鱼香肉丝”，和一份10页的小菜单里出现“鱼香肉丝”，含义完全不同——前者可能是偶然提及，后者才是真正的招牌。这就是BM25相对于TF-IDF的两大创新点，也是后续一切改进的地基。

BM25打分公式

现在，我们正式翻开这位评分大师的手册。BM25的打分公式，可以看成一份精密的“菜品评分表”，对查询中的每个词 \(t\)，它都会给文档 \(D\) 打一个分，最后把这些分加起来。

$$\displaystyle \text{Score}(D,Q)=\sum_{t\in Q}\underbrace{\ln\left(1+\frac{N-n_t+0.5}{n_t+0.5}\right)}_{\text{IDF}}\cdot\underbrace{\frac{\text{tf}(t,D)\cdot(k_1+1)}{\text{tf}(t,D)+k_1\cdot\left(1-b+b\cdot\frac{|D|}{\text{avgdl}}\right)}}_{\text{饱和+长度归一化}}$$

1. IDF权重：与传统TF-IDF不同，BM25在分子分母都加了0.5做平滑，并把函数从log改为\(\ln(1+\cdots)\)。这样即使一个词出现在一半文档中，IDF值也不会变成负数。

$$\displaystyle \ln\left(1+\frac{N-n_t+0.5}{n_t+0.5}\right)$$

2. 饱和函数：\(\frac{\text{tf}\cdot(k_1+1)}{\text{tf}+k_1}\)。当词频\(\text{tf}\)从0增大时，这个比值从0迅速攀升；但当\(\text{tf}\)远大于\(k_1\)时，比值趋近于\(k_1+1\)，增速趋缓——厨师的“惊艳感”会饱和。

$$\displaystyle \frac{\text{tf}(t,D)\cdot(k_1+1)}{\text{tf}(t,D)+k_1}$$

3. 长度归一化分母：\(1-b+b\cdot\frac{|D|}{\text{avgdl}}\)。如果文档长度\(|D|\)超过平均长度\(\text{avgdl}\)，分母变大，得分被压低；反之则被抬升。\(b\)控制压制的强弱。

$$\displaystyle 1-b+b\cdot\frac{|D|}{\text{avgdl}}$$

这两个参数是整个公式的灵魂：\(k_1\)控制饱和的快慢（菜吃到第几口开始腻），\(b\)控制长度惩罚的强度（大份菜品要不要按比例折算）。经验上，\(k_1\in[1.2,2.0]\)、\(b\in[0.5,0.8]\)表现最好。当\(b=0\)时，长度归一化完全失效，一份冗余的长文档会因为堆砌关键词而轻松获得高分——就像一家餐厅靠堆砌“川菜”两个字刷存在感，实际菜品却一言难尽。

BM25+改进设计

BM25的公式虽然精妙，但有一个隐蔽的缺陷：IDF为负的词，会让整篇文档的得分变成负数。想象一下，如果“家常菜”这个词在90%的文档中都出现，它的IDF就是一个负数。此时，一个与“家常菜”完全无关的文档，只要没出现这个词，得分就是0；而一篇确实在讨论家常菜的文档，反而因为提到了它被扣分。这本末倒置了——就像一位美食评论家，因为“米饭”太常见，就把点了米饭的餐厅全部打负分，这显然不合理。

$$\displaystyle \text{Score}_{BM25+}(D,Q)=\sum_{t\in Q}\left[\text{IDF}(t)\cdot\left(\frac{\text{tf}(t,D)\cdot(k_1+1)}{\text{tf}(t,D)+k_1\cdot\left(1-b+b\cdot\frac{|D|}{\text{avgdl}}\right)}+\delta\right)\right]$$

1. 下界补偿：在括号内为每一个查询词匹配加上\(\delta\)。即便IDF为负，只要词出现了，\（\text{饱和}+\delta\）仍可能为正。

$$\displaystyle \frac{\text{tf}\cdot(k_1+1)}{\text{tf}+k_1\cdot(\cdots)}+\delta$$

2. 乘以IDF：\(\delta\)必须与IDF相乘，因此IDF越正的词，保底加成越大；IDF为负的词，\(\delta\)只能部分抵消负分。标准实现中通常取\(\delta\in[0.1,0.8]\)。

$$\displaystyle \text{IDF}(t)\cdot\left(\cdots+\delta\right)$$

这一改进还有一个附带收益：长文档优化。BM25对超长文档的惩罚往往过于严厉，导致一些内容扎实的长文排到很后面。\(\delta\)给每个词一条“最低工资线”，让长文中那些零星出现的关键词也能贡献一些正分，不至于因为文档太长被压得毫无出头之日。就像一位评审，对一份用料实在但篇幅冗长的菜单，至少会给个“态度分”。

BM25F字段加权

现实中的文档不是一锅粥，而是有结构的：一篇新闻有标题、正文、摘要；一个商品有标题、类目、属性；一份简历有技能、经历、自我评价。这些字段的重要性天差地别——标题里出现“川菜”和正文角落里出现“川菜”，含金量完全不同。BM25F（F代表Field，字段）就是为此设计的：它把文档拆成多个字段，每个字段独立做长度归一化，再按权重加权求和。

$$\displaystyle \text{Score}_{BM25F}(D,Q)=\sum_{t\in Q}\text{IDF}(t)\cdot\frac{\sum_{f}w_f\cdot\frac{\text{tf}_{f}(t,D)}{1-b_f+b_f\cdot\frac{|D_f|}{\text{avgdl}_f}}}{\sum_f w_f}$$

1. 单字段归一化：第\(f\)个字段里，词频先按该字段的平均长度做归一化，避免“标题长就占便宜”。

$$\displaystyle \frac{\text{tf}_{f}(t,D)}{1-b_f+b_f\cdot\frac{|D_f|}{\text{avgdl}_f}}$$

2. 加权求和：每个字段的归一化词频乘上对应权重\(w_f\)后相加，再除以总权重，得到综合词频。

$$\displaystyle \frac{\sum_{f}w_f\cdot\text{norm-tf}_f}{\sum_f w_f}$$

BM25F最常见的应用场景，就是把标题权重设置成正文的3到5倍。在电商搜索里，标题是用户决策的第一依据；在论文检索里，标题和关键词的重要性也远高于正文。权重参数\(w_f\)通常通过人工经验或机器学习方法（如坐标上升法）来调节。需要注意的是，字段划分过细会导致参数爆炸，通常我们把文档分成2到4个字段即可——就像餐厅评分，看“招牌菜”和“整体口碑”两个维度就够了，不用把每道配菜都单独打分。

参数调优策略

好的算法只是骨架，参数调优才是血肉。BM25家族一共就几个旋钮：\(k_1\)、\(b\)、\(\delta\)和字段权重\(w_f\)。但千万别小看它们——同样的语料，参数调好了，排序质量可以提升好几个百分点。

$$\displaystyle (k_1^{\ast},b^{\ast})=\underset{k_1\in[0.5,3.0],\,b\in[0,1]}{\arg\max}\;\text{NDCG@10}(k_1,b)$$

1. 候选范围：\(k_1\in[0.5,3.0]\)、\(b\in[0,1]\)是工业界常用搜索空间。\(k_1\)太大，饱和太慢，退化成线性；太小，词频稍微一高就封顶。

$$\displaystyle k_1\in[0.5,3.0],\quad b\in[0,1]$$

2. 目标函数：NDCG@10衡量排序列表前10项的质量。\(\arg\max\)表示我们要找使NDCG@10最大的那组参数。

$$\displaystyle \underset{k_1,b}{\arg\max}\;\text{NDCG@10}(k_1,b)$$

具体操作中，最常见的调参方式是网格搜索：把\(k_1\)和\(b\)各取几十个候选值，遍历组合，在验证集上逐一评估NDCG或MAP。这种方法简单粗暴但有效，因为BM25只有两个核心参数，枚举成本很低。语料敏感分析也很重要：在新闻短文本语料上，文档长度差异小，\(b\)的收益不明显；在法律、论文等长文档语料上，\(b\)的设置对效果影响巨大。此外还可以用坐标上升法（每次只调一个参数，收敛后再调下一个）做更高效的迭代，以及用贝叶斯优化在更大搜索空间里找全局最优。

跨领域参数迁移

假设你在新闻搜索团队调好了一组完美的参数：\(k_1=1.5, b=0.75\)。现在公司要做论文检索，你能直接把这组参数搬过去吗？大概率不能。新闻平均300字，论文平均5000字；新闻用词口语化，论文用词学术化；新闻的查询通常是热门事件名，论文的查询往往是冷门学术术语。这些差异，都会让参数的“最佳区间”发生漂移。

但这不意味着每次换领域都要从零开始调参。迁移的核心思路是：先保留在源领域表现稳定的参数（比如\(k_1\)对语料长度的敏感度相对较低），再针对目标领域调整那些对语料分布敏感的参数（尤其是\(b\)——因为它直接依赖平均文档长度）。具体操作时，可以先在目标语料上算一遍\(\text{avgdl}\)，观察它与源领域的比值，再按比例修正\(b\)的初值。更精细的做法，是用小样本重训：从目标领域抽几千条带标注的查询-文档对，在源领域参数附近做局部搜索，通常几十次评估就能找到合适的落点。

更进一步，自适应调节可以让参数“活”起来：根据查询的长度动态调整\(k_1\)（长查询用较大的饱和阈值），或根据用户点击反馈在线微调字段权重。在工业界，很多系统会维护一张分域参数表——每个垂直领域（新闻、视频、商品、论文）存一份自己的\(k_1\)、\(b\)、\(\delta\)。查询进来时先做领域识别，再加载对应参数。这就像连锁餐饮集团：每家分店的麻辣度配方都不同，成都店重麻，上海店微辣，但不影响它们共用一套品控标准。

工业落地实践

最后，我们看看这套评分体系在真实搜索引擎里是怎么运转的。一个典型的工业检索系统分三层：召回、粗排、精排。BM25通常出现在召回和粗排阶段——它不需要模型训练，计算速度快，可解释性强，能快速从千万级文档中筛出几百个候选。随后的精排阶段才会动用学习排序模型（LTR）或深度模型。

上线前，我们需要做离线评估：准备好带人工标注的查询-文档对，用NDCG、MRR、MAP等指标衡量排序质量。离线指标达标后，还要走在线AB实验：把用户流量分成对照组和实验组，实验组使用新参数，观测点击率（CTR）、搜索后转化率等业务指标。AB实验要注意流量分层和置信度检验，避免把随机波动当成真实收益。

性能优化也是落地的重要一环：BM25的IDF可以提前计算并存入倒排索引的每个词项里；文档长度和平均长度可以预计算缓存；在粗排阶段，可以只用标题和关键词两个字段做BM25F打分，省去读取正文的IO开销。许多团队还会用分片并行的方式，把BM25打分分布到多台机器上，让千亿级文档的检索延迟控制在毫秒级。对AI从业者来说，BM25这个名字会反复出现在各类检索系统的配置文件里——它是你理解一切排序模型的起点，也是你调试RAG（检索增强生成）系统时最可靠的那个“传统方法基线”。

AI 应用场景

Python 演示

import math  class BM25Plus:    """BM25+ 排序算法（饱和函数 + 长度归一化 + 下界修正）"""     def __init__(self, corpus, k1=1.2, b=0.75, delta=0.5):        self.k1 = k1        self.b = b        self.delta = delta        self.doc_count = len(corpus)        self.doc_len = [len(doc) for doc in corpus]        self.avg_doc_len = sum(self.doc_len) / self.doc_count        self.df = {}        for doc in corpus:            for term in set(doc):                self.df[term] = self.df.get(term, 0) + 1        self.idf = {term: self._idf(term) for term in self.df}        self.doc_freqs = []        for doc in corpus:            freq = {}            for term in doc:                freq[term] = freq.get(term, 0) + 1            self.doc_freqs.append(freq)     def _idf(self, term):        n = self.df[term]        return math.log(1 + (self.doc_count - n + 0.5) / (n + 0.5))     def _score_term(self, tf, term, doc_idx):        idf = self.idf[term]        norm = 1 - self.b + self.b * self.doc_len[doc_idx] / self.avg_doc_len        sat = tf * (self.k1 + 1) / (tf + self.k1)        return idf * (sat + self.delta) / norm     def score(self, query, doc_idx):        total = 0.0        for term in query:            tf = self.doc_freqs[doc_idx].get(term, 0)            if tf > 0:                total += self._score_term(tf, term, doc_idx)        return total  class BM25F:    """BM25F 多字段加权（标题与正文双字段）"""     def __init__(self, fields, weights, k1=1.2, b=0.75):        self.k1 = k1        self.b = b        self.weights = weights        self.field_docs = []        self.field_lens = []        self.field_avgs = []        for f_idx in range(len(fields)):            docs = fields[f_idx]            lens = [len(doc) for doc in docs]            self.field_docs.append(docs)            self.field_lens.append(lens)            self.field_avgs.append(sum(lens) / len(lens))     def _field_score(self, term, doc_idx, f_idx):        tf = self.field_docs[f_idx][doc_idx].get(term, 0)        if tf == 0:            return 0.0        avg = self.field_avgs[f_idx]        flen = self.field_lens[f_idx][doc_idx]        norm = 1 - self.b + self.b * flen / avg        return self.weights[f_idx] * tf / norm     def score(self, query, doc_idx):        total = 0.0        for term in query:            w_sum = 0.0            for f_idx in range(len(self.field_docs)):                w_sum += self._field_score(term, doc_idx, f_idx)            total += w_sum / sum(self.weights)        return total  def main():    corpus = [        ["搜索引擎", "算法", "排序", "文档"],        ["搜索引擎", "查询", "召回"],        ["算法", "排序", "相关性", "评分"],        ["文档", "查询", "相关性"],    ]    bm25p = BM25Plus(corpus)    query = ["搜索引擎", "相关性"]    print("=== BM25+ 打分 ===")    for i in range(len(corpus)):        print(f"文档{i}: {bm25p.score(query, i):.4f}")     titles = [        {"自然语言处理": 1, "算法": 1},        {"搜索引擎": 1, "排序": 1},        {"文档": 1},        {"查询": 1},    ]    bodies = [        {"算法": 2, "文档": 3},        {"搜索引擎": 4, "查询": 2},        {"相关性": 2, "评分": 1},        {"查询": 3, "相关性": 4},    ]    bm25f = BM25F([titles, bodies], [3.0, 1.0])    print("=== BM25F 打分（标题权重3 正文权重1）===")    for i in range(len(titles)):        print(f"文档{i}: {bm25f.score(query, i):.4f}")  if __name__ == "__main__":    main()

1. self.df[term] = self.df.get(term, 0) + 1统计每个词出现在多少篇文档中（文档频率），用于计算IDF稀有度。
2. math.log(1 + (self.doc_count - n + 0.5) / (n + 0.5))BM25标准的IDF平滑公式，保证即使词出现很频繁，IDF也不会变成负无穷。
3. sat = tf * (self.k1 + 1) / (tf + self.k1)饱和函数：词频越高，边际收益越低，这是BM25区别于TF-IDF的核心。
4. return idf * (sat + self.delta) / norm把IDF、饱和函数、长度归一化和delta下界整合为单个词的得分。
5. norm = 1 - self.b + self.b * self.doc_len[doc_idx] / self.avg_doc_len文档长度归一化分母；文档越长、b越大，惩罚越强。
6. BM25F` 类的 `_field_score每个字段独立做长度归一化，再乘上该字段的权重。
7. for f_idx in range(len(self.field_docs))遍历所有字段（标题、正文），累加加权词频贡献。

常见误区

面试题