BM25算法：传统检索模型经典

可视化演示

对比连续分配、链接分配和索引分配三种文件磁盘块管理策略，展示文件块分布与访问方式差异。

检索排序概述

小林把委托单贴在墙上，旁边写下三个问号。他要给几百家餐厅排名，可什么才叫“相关”？不是猜味道，而是让关键词在菜单上留下的证据说话：这家店提没提“辣”？提了几次？“松露”在城里稀不稀有？菜单本身有多长？这些线索叠在一起，才构成一份可信的排名。

在检索领域，“查询 Q”和“文档 D”之间的相关性，被拆解为三个要素：词项匹配的证据强度、词项在语料中的稀有度、文档长度带来的偏差校正。传统检索模型不关心词序和语法，只把文档当成一个“词袋”，数词袋里的证据。这也是 BP 词袋思想得名的由来。

BM25 全称 Best Matching 25，由 Robertson 与 Walker 在 1994 年前后提出，是概率检索模型中最经典的代表，也是 Lucene、Elasticsearch 的默认相关度算法。它的核心观点是：相关性不是“命中就 1 分不命中就 0 分”，而是一个连续可解释的加权打分。

三张心得纸条贴在工作台上，小林却还不会把它们合成一张表。接下来，他一张一张地破解。

词频饱和效应

小林发现，菜单上出现一次“辣”，他基本断定这是川菜馆；出现五次，只会更确信，不会比一次香五倍。第一口的冲击力最大，后面都是确认感——这就是词频的“边际递减”。如果用最朴素的线性模型，出现五次就是五倍得分，词频高的长文章会无限刷分，这显然违背直觉。

BM25 用一个参数 k1 控制“饱和速度”：k1 越小，曲线越早封顶；k1 越大，词频带来的回报持续得更久。工程上 k1 通常取 1.2 到 2.0，Lucene 默认 1.2。当文档长度恰好等于语料平均长度（长度因子为 1）时，BM25 的词频分量可以写成这样的简洁形式：

小林在笔记上写下一行字：一次是惊艳，十次是啰嗦，第一口永远最值钱。他高兴地以为破解了谜题，却很快撞上第二个坑。

文档长度惩罚

又一天，小林对比两家店：一家 200 道菜的大饭店，菜单里“面条”出现一次；一家只卖 5 道面食的小面馆，“面条”也出现一次。直觉告诉他，小面馆才是真“面条专家”。大饭店的菜单更长，更容易“碰巧”提到关键词，证据含金量天然偏低。

长文档有更多空间塞进更多词，同等词频下证据更“稀”。所以 BM25 要根据文档长度相对语料平均长度（avgdl）的比例，给词频打一个折扣。折扣力度由一个 0 到 1 之间的参数 b 控制：

小林得出结论：菜单越厚，“出现一次”的水分越大，必须按厚度打折。可他还剩最后一个问题：关键词之间，为什么不该一视同仁？

IDF权重

委托单里“辣”和“松露”的地位完全不同。“辣”几乎每家川菜馆都有，命中它说明不了任何事；“松露”只有凤毛麟角的高端店有，一旦命中，目标范围立刻缩小。检索里把“包含词项 t 的文档数量”记为文档频率 n_t，n_t 越小，词越稀有，给它的权重就该越大。

这个权重就是逆文档频率 IDF（Inverse Document Frequency）。BM25 使用带平滑的 IDF：

小林在委托单上给“松露”画了三颗星，“辣”只画一颗——稀有词才是缩小嫌疑人范围的探照灯。三张纸条都解开了，他把它们小心翼翼并排铺开。

BM25完整公式

三张心得抄进同一张评分表：先看每个关键词在菜单里出现的证据（饱和词频），再按菜单厚度打折（长度惩罚），最后乘以关键词的稀有度（IDF），把所有关键词的得分加起来。这就是 BM25 的完整公式——查询 Q 里每个词 t 单独贡献一份分数，最后求和：

k1 与 b 是两个旋钮：k1 控饱和、b 控长度，工程上通过验证集上的网格搜索或贝叶斯优化调优，默认 k1=1.2、b=0.75 在 Lucene 中被广泛使用。这张评分表现已挂在全城美食侦探的墙上——它就是外号"BM25"的招牌菜谱。可这时候，城里的风向变了。

混合检索融合

城里上线了一款“智能美食助手”，它能理解“想吃点让人暖心的”这种模糊描述——这是基于神经网络的向量检索，把文本映射到语义空间，用距离算相似度。小林起初有些慌：老菜谱是不是过时了？助手第一次推荐就翻车了，客户要找维修型号“EM-2000“，向量检索把它和”K8s”混在一起。

向量检索擅长语义模糊匹配，却对精确的型号、人名、生僻专名不敏感；BM25 恰好擅长精确词项匹配，而且零训练成本、可解释、冷启动友好。工程上把两者融合，叫“混合检索”，是 RAG 知识库与搜索引擎排序的主流方案。最直接的做法是加权融合：

小林终于明白：老牌口碑和智能点评不是对手。真正的顶级侦探，两个信源一起听，再综合出最稳的答案。

AI 应用场景

Python 演示

import mathfrom collections import Counter  def tokenize(text):    """按空格切分并转小写"""    return text.lower().split()  class BM25Scorer:    """从零实现的 BM25 打分器"""     def __init__(self, docs, k1=1.2, b=0.75):        self.docs = docs        self.k1 = k1        self.b = b        self.doc_len_list = [len(tokenize(doc)) for doc in docs]        self.avgdl = sum(self.doc_len_list) / len(docs)        self.doc_freq = Counter()        for doc in docs:            for term in set(tokenize(doc)):                self.doc_freq[term] += 1     def idf(self, term):        n = self.doc_freq[term]        N = len(self.docs)        return math.log(1 + (N - n + 0.5) / (n + 0.5))     def tf_component(self, term, doc):        tf = tokenize(doc).count(term)        if tf == 0:            return 0.0        dl = len(tokenize(doc))        denom = tf + self.k1 * (1 - self.b + self.b * dl / self.avgdl)        return tf * (self.k1 + 1) / denom     def score(self, query, doc):        total = 0.0        for term in set(tokenize(query)):            total += self.idf(term) * self.tf_component(term, doc)        return total     def rank(self, query, top_k=None):        ranked = []        for idx, doc in enumerate(self.docs):            ranked.append((self.score(query, doc), idx, doc))        ranked.sort(reverse=True)        return ranked[:top_k] if top_k else ranked  if __name__ == '__main__':    corpus = [        'spicy noodle soup with spicy chili is my favorite',        'noodle soup with mild broth and soft egg',        'truffle fried rice with truffle oil',        'truffle spicy hot pot in this city'    ]    bm25 = BM25Scorer(corpus, k1=1.2, b=0.75)    for query in ['spicy noodle', 'truffle']:        print('query:', query)        for score, idx, doc in bm25.rank(query):            print('  score %.3f | doc %d | %s' % (score, idx, doc))

1. self.avgdl = sum(self.doc_len_list) / len(docs)先算出语料平均长度 avgdl，它是后面长度惩罚的标尺。
2. for term in set(tokenize(doc)):用 set 去重：文档频率 n_t 数的是“几篇文档提到”，而不是“提到几次”。
3. return math.log(1 + (N - n + 0.5) / (n + 0.5))平滑 IDF 的落地实现，外层 +1 保证不会出现负权重。
4. denom = tf + self.k1 * (1 - self.b + self.b * dl / self.avgdl)分母同时装入词频与长度惩罚，词频越大、文档越长，得分增长越慢。
5. total += self.idf(term) * self.tf_component(term, doc)每个查询词单独投票：稀有度 × 饱和词频，最后累加成文档总分。
6. ranked.sort(reverse=True)按总分从高到低排序，这就是搜索引擎返回的“Top 结果”。

常见误区

面试题