语言模型检索（Query Likelihood）：用“点菜概率”给文档排序

可视化演示

演示Query Likelihood检索模型：文档语言模型生成查询的概率计算、Jelinek-Mercer与Dirichlet平滑策略对比，以及与BM25的理论联系。

核心思想：把检索变成“点菜”

美食街的每一位师傅，日复一日接待客人，渐渐形成了一套“出手习惯”：他做麻婆豆腐的频率有三成，做水煮鱼有一成，做回锅肉只有零点五成……这些频率合在一起，就是一张“拿手菜概率谱”。食客看不出这张谱，但它真实存在于师傅的每一次颠勺里。

语言模型检索的突破口，就是把上面的直觉转成检索准则。过去我们检索，是拿查询去文档里“逐字对暗号”：文档里出现“搜索”几次？出现“引擎”几次？QL 换了个方向——每篇文档都是一位带着词概率谱的师傅，查询是顾客的菜单，我们计算的是：这位师傅按他自己的概率谱，有多大可能依次端出菜单上这些菜？ 概率越高的文档，越该排前面。

形式化地讲，设查询为 $q$，文档为 $d$，我们要估计的正是查询在文档语言模型下的生成概率：

所以在 QL 的世界里，排序不再靠“命中次数”，而是靠“生成概率”。文档不是被动等着被匹配的档案柜，而是主动走出来展示“我最擅长做你这桌菜”的厨师。这个视角一换，检索就从“数数”升级成了“概率推理”。

数学建模：把“这可能吗”写成公式

前面说师傅有“出手习惯”，那具体怎么从一篇文档里估出他的概率谱？答案藏在文档本身的词语里——师傅做过的每道菜，都记录在他的菜谱本上。统计菜谱本里每道菜出现的比例，就是最大似然估计。

假设把文档 $d$ 看成一段词序列，其中词 $w$ 出现了 $c(w,d)$ 次，文档总词数为 $|d|$，那么词 $w$ 在这个文档语言模型下的极大似然概率为：

有了单词概率，再回到查询似然：把查询词依次代入，用乘积把它们“串”成一桌菜的概率。但概率连乘有个数值麻烦——十几个词乘下来数值极小，计算机容易精度不足。于是实践中会取对数，把乘法变成加法：$\log P(q|d)=\sum \log P(q_i|d)$。这正是可视化演示里“对数分”的由来，也为我们后面对比 BM25 埋下伏笔。

零概率问题：没做过的菜不等于不会做

菜谱本总有局限。师傅做了三年川菜，菜单上突然来了一道“松鼠桂鱼”——他从未做过，菜谱本上没有任何记录。按最大似然估计，这道菜的概率就是 0，于是整桌菜的概率被一个零直接“清零”。

在检索里，这就是未登录词问题：查询词没出现在文档中，$c(w,d)=0$，导致 $P(q_i|d)=0$，最终整条查询的生成概率变成 0。更致命的是，前面的对数变换让情况雪上加霜——$\log(0)$ 是负无穷，任何本就微弱的概率差异都被彻底淹没。

你可能会想：没做过这道菜，不代表师傅做不出来。他完全可能靠基本功临场发挥。平滑策略解决的就是这个问题——在师傅的概率谱里，给“没做过的菜”预留一个非零的小概率，而不是一刀切地判死刑。

平滑策略：参考大众口味的艺术

既然不能完全相信师傅的菜谱本，那该参考谁？美食街的常识是：如果一位师傅没做过某道菜，就看看整条街的平均水平——如果全街师傅都常做这道菜，那这位师傅大概率也会做。这个“整条街的平均菜谱”就是背景模型（Collection Model），它用全语料的词频统计得到：

JM 平滑的好处是简单直观：$\lambda$ 固定，对所有词一视同仁。但它也有个不自然的假设——不管师傅经验丰富还是刚入行，都按同一个比例混合。现实里，经验丰富的老师傅应该更信自己的判断，新师傅则应多参考大众。这就引出了另一种更精细的平滑策略。

参数调优：该多信任厨师的经验

Dirichlet 平滑提供了一种更体面的“信任配比”方案。它假设在师傅真正动手做菜之前，他手里已经“预支”了 $\mu$ 道来自大众口味的菜品作为保底经验。随着他真正积累的菜品记录越来越多，大众保底的影响占比会自然下降：

实际操作中，$\lambda$ 和 $\mu$ 都需要用验证集调优：语料越大、文档越长，参数越可以往“信任文档自身”的方向靠；文档普遍短小或查询词偏冷门时，则要加大背景模型的权重。经验上，$\lambda$ 常在 0.2～0.7 之间搜索，$\mu$ 常在几百到几千之间按对数刻度尝试。调参的本质，是在“个性”与“共性”之间找到平衡点。

对比BM25：两套点菜哲学

如果只看最终效果，QL 与 BM25 在很多数据集上不相上下。但它们的哲学起点完全不同：BM25 从词项权重出发，认为“在越少文档里出现的词越重要（IDF），在越长文档里出现的词越该打折（长度归一化）”；QL 则从概率生成出发，认为“文档生成查询的概率越高越相关”。

有意思的是，把 QL 的平滑公式做一次代数变形，两者会显出同构性。以 JM 平滑为例，排序等价的分数可以写成：

所以选择哪套，更多是框架偏好问题：想要概率可解释、方便嵌进贝叶斯框架（比如伪相关反馈、查询扩展），选 QL；追求工程成熟、实现简单、调参经验丰富，选 BM25。真正的检索高手，两套哲学都握在手里，看场景出招。

AI 应用场景

Python 演示

import mathimport refrom collections import Counter  class QueryLikelihoodEngine:    def __init__(self, corpus, mode='jm', lam=0.3, mu=1500):        self.corpus = corpus        self.mode = mode        self.lam = lam        self.mu = mu        self.doc_counts = []        self.doc_lens = []        self.total_terms = 0        self.collection_freq = Counter()        self._build_index()     def _tokenize(self, text):        return re.findall(r'[\w\u4e00-\u9fa5]+', text.lower())     def _build_index(self):        for doc in self.corpus:            tokens = self._tokenize(doc)            counter = Counter(tokens)            self.doc_counts.append(counter)            self.doc_lens.append(len(tokens))            self.collection_freq.update(tokens)            self.total_terms += len(tokens)     def collection_prob(self, term):        return self.collection_freq[term] / max(self.total_terms, 1)     def smoothed_prob(self, term, doc_idx):        doc_count = self.doc_counts[doc_idx].get(term, 0)        doc_len = self.doc_lens[doc_idx]        p_col = self.collection_prob(term)        if self.mode == 'jm':            p_ml = doc_count / max(doc_len, 1)            return (1 - self.lam) * p_ml + self.lam * p_col        if self.mode == 'dirichlet':            return (doc_count + self.mu * p_col) / (doc_len + self.mu)        return doc_count / max(doc_len, 1)     def score(self, query, doc_idx):        query_terms = self._tokenize(query)        if not query_terms:            return 0.0        total = 0.0        for term in query_terms:            prob = self.smoothed_prob(term, doc_idx)            total += math.log(max(prob, 1e-12))        return total     def search(self, query):        ranked = []        for idx in range(len(self.corpus)):            ranked.append((self.score(query, idx), idx))        ranked.sort(reverse=True)        return ranked  if __name__ == '__main__':    docs = [        '搜索推荐系统利用用户行为数据',        '语言模型为自然语言处理提供概率框架',        '搜索引擎需要解析查询并排序文档',        '机器学习模型在推荐场景中广泛使用',    ]    engine = QueryLikelihoodEngine(docs, mode='jm', lam=0.3)    for score_val, idx in engine.search('搜索引擎 语言模型'):        print(f'文档{idx}: {docs[idx]}  得分={score_val:.4f}')

1. self.collection_freq.update(tokens)把每篇文档的词频并入全语料统计，构建“大众菜谱”背景模型。
2. return (1 - self.lam) * p_ml + self.lam * p_colJM 平滑核心：固定比例混合文档模型与背景模型，消灭零概率。
3. return (doc_count + self.mu * p_col) / (doc_len + self.mu)Dirichlet 平滑核心：用伪计数 μ 动态调节对文档与大众的信任。
4. total += math.log(max(prob, 1e-12))概率连乘转为对数域累加，并加下限防止 log(0) 崩溃。
5. ranked.sort(reverse=True)按生成概率降序排序，概率最高的文档厨师胜出。

常见误区

面试题