语言模型检索：用LM给文档打分排序

可视化演示

检索背景与动机

你回到编辑部那个场景：桌子上堆着几千本作品集，读者递来一张小纸条，上面写着一个模糊的主题。你要把这堆稿件从“可能相关”到“最相关”排好。检索系统的任务本质上就是打分排序——为每篇文档算一个“与查询相关”的分数，然后按分数降序呈现。传统做法各有局限：布尔模型像按目录找书，关键词语义稍有不同就找不到；向量空间模型把文本变成词袋向量，算余弦相似度，已经有了概率的影子；而语言模型检索想得更进一步——不再问“像不像”，而是问“这篇文档能不能生成出这句查询”。

在检索模型演进的谱系里，语言模型检索（Language Model for IR）由Ponte与Croft在1998年提出。它的核心思想非常优雅：为每篇文档建立一个统计语言模型，一个词的概率分布；查询 q 是这份分布上的一次采样；相关性评分就是文档模型生成查询 q 的概率。把问题放进贝叶斯框架，设文档 d 生成查询 q 这件事为 \( P(q \mid d) \)，排序时我们关心：

这段推理像给每位作家建一份“用词特征表”，然后转身问读者：“你手里的这句话，最像哪位作家手笔？”后面的所有模型，都是对 \( P(q \mid d) \) 的不同估计方式。

查询似然模型

现在编辑部来了一位老练的审稿人，他提出一个直觉方法：把匿名句子拆分，逐个词问每位作家——“你是不是会这样说这个词？”如果一位作家经常用“蔚蓝”，那“蔚蓝”在他嘴里出现的概率就高。所有词的概率连起来，就是这位作家“说出整句话”的倾向。这就是查询似然模型（Query Likelihood Model）：它不为文档单独排序，而是以文档语言模型为生成器，计算整个查询序列的出现概率。

把查询分词为 \( q = w_1 w_2 \dots w_n \)，在词项独立性假设下，文档 \( d \) 的相关性打分定义为查询似然：

回到比喻：审稿人把匿名句子拆成一个个词，每位作家的档案本上都有每个词的使用概率，把所有概率相乘便是这位作家的“嫌疑分”。嫌疑分最高的作家，就是最可能的作者。接下来唯一的问题变成：作家档案本上的概率，到底怎么统计出来？

语言模型估计

作家档案本不可能凭空产生，编辑的办法是翻开作家所有旧作，数一数每个词出现了多少次。“蔚蓝”出现了15次，“落地窗”出现3次，“宇宙”从未出现——这就是最大似然估计（MLE）的自然语言版本：用已观察到的词频来估计这位作家的语言模型。把文档 \( d \) 中词 \( w \) 的出现次数记为 \( c(w, d) \)，文档总词数为 \( |d| \)，则最大似然估计为：

最大似然估计有个致命弱点：假如这位作家从没写过“宇宙”，那么 \( c(\text{宇宙}, d) = 0 \)，整篇文档对包含“宇宙”的查询会给出零概率。可现实中作家完全可能在某次聊天里随口说起“宇宙”。这个“零概率问题”正是下一节平滑策略要解决的燃眉之急。

平滑策略

一位海洋题材作家没写过“量子”，不代表他对“量子”一无所知。零概率会一票否决整篇文档，这显然不合理。平滑策略的思路是：当文档内部证据不足时，向整个出版社的“通用词库”借力——这个通用词库就是集合模型 \( P(w \mid C) \)，即词 \( w \) 在整个语料库中出现的概率。这样既保留了文档自身特色，又给没见过的词留了余地。

最常见的平滑之一是 Dirichlet 平滑，它像一个随文档长度智能调节的“借力系数”：

另一种常用平滑是 Jelinek-Mercer 平滑，它用固定插值权重直接混合文档频率和集合模型：

用编辑的话说：短稿件词汇少，容易“一叶障目”，要多参考全社通用用语；长篇作品统计充分，就多信它自己的用词风格。两种平滑都是给未知词补一个温柔的底线，让作者不必因为一个生僻词就错失推荐位。

KL散度框架

前面我们一直在问“文档生成查询的概率有多大”。换个角度看，也可以把查询本身当作文本，也给它建一个语言模型 \( P(\cdot \mid Q) \)，然后衡量“查询的口头禅”和“文档的口头禅”是否接近。这就像从读者的便条里提炼出读者的措辞风格，再去编辑部档案库逐个比对作家的文风——如果两位说话风格几乎一致，那便条很可能就是这位作家写的。

衡量两个概率分布差异的数学工具是 KL 散度（Kullback-Leibler Divergence），它对查询模型和文档模型逐词计算对数比值并加权求和：

所以 KL 散度不是另起炉灶，而是给查询似然穿了一件更统一的“外衣”：它把文档建模、查询建模、平滑策略都装进同一个概率框架里。在实际研究中，许多团队喜欢用 KL 框架做扩展，例如对查询也做平滑、加入同义词扩展，这个框架都更容易扩展。

BM25对比分析

编辑部里还有一位老资格的审稿人，他不用什么概率模型，靠一套经验公式干了二十年，这就是 BM25。它的打分逻辑很直接：词在文档中出现次数越多越重要，但在全语料越常见的词越不重要；文档越长，还要对词频做长度惩罚。把这三件事揉在一起，得到 BM25 的经典公式：

对比两者可以发现微妙的“殊途同归”：BM25 的 IDF 在扮演“集合先验”的角色——罕见词的 IDF 高，对应集合模型里概率低、平滑后文档对它的加分更多；BM25 的词频饱和，则与 Dirichlet 平滑里长文档信任自身统计的机制异曲同工。差异在于：LM 检索从概率第一性原理出发，可以被优雅地扩展；BM25 是工程经验的集大成者，参数少、鲁棒、开箱即用。现实中很多搜索引擎依然默认用 BM25，而许多学术系统和新一代排序模型把 LM 概率作为高质量特征。老将和新秀，共享同一个“相关性直觉”。

系统实现与调优

有了理论模型，编辑部要把这套人工识别流程变成一条自动流水线。第一件事是给上万篇文档建“倒排索引”：像书的末尾索引一样，记录每个词出现在哪些文档、每个文档里出现多少次。这样查询词来了，只需沿着索引找到候选文档，不必扫描全库。第二步是在候选集合上，用语言模型快速打分排序。

实际部署时，有几个工程师必须盯紧的细节。第一是平滑参数调优：Dirichlet 的 \( \mu \) 通常在 \( 1000 \sim 2000 \) 之间，JM 的 \( \lambda \) 常在 \( 0.1 \sim 0.3 \) 之间，具体值需要用验证集上的排序指标（如 NDCG、MAP）来寻找。第二是模型估计缓存：集合概率 \( P(w \mid C) \) 和文档长度是静态数据，可以离线算好；在线打分只需要查倒排表、读参数、做几十次浮点乘加。第三是长度预归一化：把文档长度、平均长度提前算好，避免实时扫描大文本。对超大规模场景，还可把打分任务切片到多台机器并行，用类似 Map-Reduce 的方式合并排序。

从比喻上说，这就是把每位作家的“用词档案”做成可检索的数据库，读者随时递来一句话，系统在毫秒级别告诉你“最可能出自谁手”。整套系统的核心，并不是某个高深的公式，而是“概率建模 + 索引工程 + 参数微调”这三者的配合。

AI 应用场景

Python 演示

import mathfrom collections import Counter class DirichletLMRetriever:    def __init__(self, documents, mu=1500.0):        self.mu = mu        self.doc_count = len(documents)        self.collection = Counter()        self.doc_freqs = []        self.doc_lens = []         for text in documents:            tokens = [ch for ch in text if ch.strip()]            freq = Counter(tokens)            self.doc_freqs.append(freq)            self.doc_lens.append(len(tokens))            self.collection.update(freq)         self.total_tokens = sum(self.collection.values())     def p_collection(self, word):        return self.collection.get(word, 0.0) / self.total_tokens     def p_doc_smoothed(self, doc_id, word):        freq = self.doc_freqs[doc_id]        c = freq.get(word, 0.0)        return (c + self.mu * self.p_collection(word)) / (self.doc_lens[doc_id] + self.mu)     def score(self, query, doc_id):        words = [ch for ch in query if ch.strip()]        log_sum = 0.0        for w in words:            log_sum += math.log(self.p_doc_smoothed(doc_id, w))        return log_sum     def rank(self, query, top_k=None):        scores = [(self.score(query, i), i) for i in range(self.doc_count)]        scores.sort(reverse=True)        if top_k:            scores = scores[:top_k]        return [(i, s) for s, i in scores] def main():    corpus = [        "蔚蓝天空白云朵朵",        "深蓝大海蓝色海水",        "今日天气晴朗温度高",        "蓝天碧海阳光沙滩",    ]    retriever = DirichletLMRetriever(corpus, mu=1500.0)    query = "蓝色大海"    print("查询词:", query)    for doc_id, score in retriever.rank(query, top_k=2):        print("doc%d score=%.4f %s" % (doc_id, score, corpus[doc_id])) if __name__ == "__main__":    main()

1. tokens = [ch for ch in text if ch.strip()]以单个汉字作为“词”做字符级切分，免去中文分词依赖。
2. self.collection.update(freq)累加所有文档的词频，得到集合模型的总词频表。
3. self.p_collection(word)计算集合模型中词的出现概率 \( P(w \mid C) \)，作为平滑先验。
4. p_doc_smoothed实现 Dirichlet 平滑公式，分母用 doc_len + mu 做归一化。
5. scores.sort(reverse=True)按查询似然分数降序排序，得到最终相关性排名。

常见误区

面试题