传统检索模型：向量空间模型

可视化演示

展示系统处理流水线、实时性能指标曲线及多方案对比分析，包含数据流转、吞吐延迟监控与方案评估。

核心思想：一切从口味空间说起

老王逛美食街的经验告诉我们一个道理：找菜的本质不是“逐字逐句读菜单”，而是把菜和心愿都抽象成可比较的“配方表”。向量空间模型的创始人 Gerard Salton 在 1960 年代把这个直觉变成了数学：文档是一张配方表，查询也是一张配方表，剩下的工作就是比较两张表有多接近。

具体来说，VSM 只做三件事。第一，把文档映射成一个向量；第二，把查询映射成相同空间里的另一个向量；第三，计算两个向量的夹角相关性，夹角越小，相关度越高。这个“空间”的每个维度都由词典中的一个词充当坐标轴，向量在每个维度上的取值，就是该词在这篇文档中的权重。

于是文档 $d$ 被写成下面的形式：

回到老王的故事：只要美食街每个档口都贴一张数字配方，再用同一套规则把心愿也画成配方，剩下的比较就能交给“夹角”了。接下来六节，就是把这张配方卡一步步拆开看。

文档表示：先把菜谱变成配料清单

老王记菜谱有个习惯：只记“苹果 3 个、香蕉 1 根、盐半勺”，从不记“先放盐还是后放糖”。因为决定味道的是配料和用量，而不是下锅顺序。VSM 的“词袋模型”（Bag of Words）就是这个思路——把文档拆成一袋子词，无视顺序和语法，只统计每个词出现了几次。

在工程上，这一步要先做预处理：分词把句子切成词，去停用词丢掉“的、了、在”这类高频无意义词，必要时再做词干还原。然后构建词典，词典里的每一个词就是向量空间里的一个坐标轴。最后逐篇统计次数，把文档变成计数向量：

词袋向量有一个鲜明的性格：稀疏。一篇文档通常只用到词典里一小部分词，绝大多数分量为 0——就像一盘菜不可能用上超市里所有食材。稀疏高维是 VSM 后续一切工程技巧（倒排索引、稀疏存储）的出发点。

TF 词频：这道菜下了多少料

同样一道苹果派，老王想知道苹果味到底有多浓。单纯看“苹果出现了几次”不够公平：一份 300 克的大份苹果塔和一份 100 克的小份苹果塔，苹果的绝对次数差了好几倍，但口味浓度可能完全一样。词频（Term Frequency，TF）解决的就是这个“浓度”问题。

TF 的经典做法是长度归一化：用词在文档中的出现次数，除以文档的总词数。这样一来，长文档天然“次数多”的偏差就被抵消了，得到的是一个 0 到 1 之间的相对浓度：

工程上还有进一步改良：对次数做子线性缩放（如 $1 + \log c$），让疯狂重复的词不至于无限霸榜——就像盐放得再多，菜也不会因此“更有营养”。但 TF 只解决了“下料足不足”，还没回答“料够不够特别”，这正是下一节 IDF 登场的原因。

IDF 权重：这味料有多特别

老王点菜有一条铁律：说“来点咸的”等于没说，因为每道菜都有盐；可要是说“要松露味”，整条美食街瞬间只剩一个档口够格。词的“信息量”恰恰藏在这种稀有度里。逆文档频率（Inverse Document Frequency，IDF）就是度量“稀有度”的尺子。

先定义文档频率 $df_t$：整个语料库中“包含词 $t$”的文档篇数。$df_t$ 越大，说明词越常见、越没有区分度。IDF 用总文档数除以它再取对数：

工程上为了防止某个词从未出现导致除零，常在分母加 1（如 $\log \frac{N}{df_t + 1}$）。至此，老王手里的配方卡有了两列信息：下料浓度（TF）和佐料稀缺度（IDF）。但怎么把两列信息合起来判断“方向一致”，还得靠余弦相似度。

余弦相似度：两道菜的默契度

有了配方，老王开始比较：他直接忽略“分量”看“方向”。一份苹果：香蕉 = 2:1 的大盘沙拉，和一份同样配比的迷你沙拉，对他来说就是同一种味道——方向一致，只是量不同。余弦相似度衡量的正是这种“方向一致性”，它对向量长度不敏感。

计算余弦相似度，需要两个向量做点积，再各自除以模长。点积衡量两向量在相同维度上的重合程度（查询里出现的词，文档里有没有、权重高不高）；模长相当于向量的“总长度”。公式如下：

这解释了为什么 VSM 不用欧氏距离：两份文档一份是另一份的三倍长但配比完全相同，余弦给满分，欧氏距离却判它们“很远”。老王要的是“味道合不合”，不是“分量大不大”，所以余弦才是他的知己。

TF-IDF 组合：合出最终权重

TF 回答“下料足不足”，IDF 回答“料够不够特别”，只用任何一个都会偏科。只看 TF，“盐、水”这类每道菜都有的原料必然霸榜；只看 IDF，全文只出现一次的错别字可能稀有到反常，却毫无意义。VSM 的标准做法是把两者乘起来，合出每个词在文档中的最终权重：

对老王来说，苹果这道主料既在下料表里分量足（TF 高），又在整条街的菜单里不算泛滥（IDF 中高），于是权重被放大；而“盐”因为家家都有，即使下料不少也被压制。一张 TF-IDF 权重向量，就是一份去粗取精的“独门配方”。

工程与局限：后厨的苦与天花板

如果美食街有三百个档口，老王不会挨家精算夹角——他会先让跑堂的筛出“哪些档口确实用过苹果或香蕉”，再对候选们细致比较。搜索引擎的工程实现也是如此：先用“倒排索引”粗筛，再用 VSM 精算。

倒排索引是一张“反着查”的表：从词出发，直接找到包含它的文档列表。查询“苹果 香蕉”时，取两个词的文档列表求交集，得到候选集合；再对候选逐篇算余弦相似度并排序打分：

但 VSM 的天花板也很明显：词袋模型不懂语义、不读词序——“苹果咬了牛顿”和“牛顿咬了苹果”在它眼里完全相同，同义词也无法互相认出。正因如此，它才被加入饱和与长度归一化的 BM25、以及具备语义能力的神经检索模型超越。不过，无监督、可解释、零训练成本这些优点，让它至今仍是教学与轻量场景的标配，也是理解现代搜索的起点。

AI 应用场景

Python 演示

import mathimport refrom collections import Counter  def tokenize(text):    """按单词切分并转小写（中文场景替换为分词器即可）"""    return re.findall(r'\w+', text.lower())  class VectorSpaceModel:    """最小可用的向量空间模型：TF-IDF 加权 + 余弦相似度"""     def __init__(self, docs):        self.docs = [tokenize(d) for d in docs]        self.doc_freq = Counter()        for tokens in self.docs:            for term in set(tokens):                self.doc_freq[term] += 1        self.doc_count = len(self.docs)     def idf(self, term):        """IDF：文档总数除以含该词的文档数，再取对数"""        return math.log(self.doc_count / (1 + self.doc_freq[term]))     def tf(self, term, tokens):        """TF：词在文档中出现的次数占比"""        return tokens.count(term) / len(tokens)     def weight(self, tokens):        """把文档或查询转成 TF-IDF 权重向量（字典）"""        vec = {}        for term in set(tokens):            vec[term] = self.tf(term, tokens) * self.idf(term)        return vec     def cosine(self, v1, v2):        """余弦相似度：点积除以两个向量的模长乘积"""        if not v1 or not v2:            return 0.0        dot = sum(w * v2.get(t, 0.0) for t, w in v1.items())        norm1 = math.sqrt(sum(w * w for w in v1.values()))        norm2 = math.sqrt(sum(w * w for w in v2.values()))        return dot / (norm1 * norm2) if norm1 and norm2 else 0.0     def search(self, query, top_k=3):        """对查询打分，返回最相关的 top_k 个文档"""        q_vec = self.weight(tokenize(query))        scored = []        for i, tokens in enumerate(self.docs):            score = self.cosine(q_vec, self.weight(tokens))            scored.append((score, i))        scored.sort(reverse=True)        return scored[:top_k]  if __name__ == '__main__':    corpus = [        "apple banana apple orange",        "banana orange banana orange",        "apple apple apple banana",        "the fox jumps over the lazy dog",    ]    vsm = VectorSpaceModel(corpus)    query = "apple banana"    print("查询：", query)    for score, idx in vsm.search(query):        print("文档 %d 评分: %.3f" % (idx, score))

1. self.doc_freq[term] += 1统计每个词出现在几篇文档中，得到 df
2. math.log(self.doc_count / (1 + self.doc_freq[term]))计算 IDF，分母加 1 平滑防止除零
3. tokens.count(term) / len(tokens)归一化 TF：出现次数除以文档总词数
4. for term in set(tokens)先对词去重，保证每个词只算一次权重
5. sum(w * v2.get(t, 0.0) for t, w in v1.items())点积：相同词权重相乘再累加
6. math.sqrt(sum(w * w for w in v1.values()))计算向量模长，供分母归一化
7. return dot / (norm1 * norm2)余弦相似度：点积除以双模长积
8. scored.sort(reverse=True)按相似度降序排列，取前 top_k 作为检索结果

常见误区

面试题