停用词与词干提取：搜索引擎文本预处理两板斧

可视化演示

动态演示停用词与词干提取的核心机制，通过开始/执行/监控/完成四种模式展示关键概念与交互流程。

预处理整体流程

图书馆管理员接到一批新书，绝不会直接把封面文字抄进目录——他先要处理凌乱的字迹（清洗）、拆分出一个个书名关键词（采词）、扔掉“的/了”这类没用的虚词（去停用词）、再给同义词贴统一标签（词干合并），最后才把整理好的词条放进分类索引柜。搜索引擎的文本预处理也是这样一条流水线：清洗 → 分词/采词 → 过滤停用词 → 词干合并 → 建倒排索引。

为什么这套流程如此重要？因为倒排索引的本质是一个“词条 → 文档列表”的映射表。如果词条是脏的、重复的、无意义的，映射表就会膨胀、杂乱，检索时的链表遍历就会变慢。你可以把原始文档数据想象成一箱没有整理过的书：书内容冗长、用词随意，直接建索引，等于图书馆把每个笔画都当成一个分类标签——根本没有可用性。

预处理的关键在于“文档侧”和“查询侧”必须走同一条流水线。用户搜索“running“时，查询也要先被洗成”run“，才能在索引里找到文档侧已经统一成”run“的词条。这就像读者查”跑步“时，管理员要求读者也必须用馆内统一的书目标签来查——两边规范一致，检索才快、才准。所以预处理不只是建索引前的”清洁工”，它也是查询理解的一部分。

清洗 → 分词 → 去停用词 → 词干归一 → 倒排索引（垃圾词扔掉）  （变体合并）    （查得快、查得准）

停用词定义与作用

假设图书馆有个读者要查“跑步技巧”，结果管理员在目录里翻到几千张卡片，上面写满“的”“了”“是”"and"“the“——这些词在每一本书里都出现，根本不具备定位功能。在信息检索里，这类高频、低信息量的词就是停用词。它们通常是无实义的虚词、助词、介词、代词，比如中文的”的、了、是、在“和英文的”a、the、and”。

为什么必须把它们从索引中剔除？有两个直接后果。第一是检索速度：停用词几乎出现在所有文档中，它们的倒排链表极长。查询时如果不去掉它们，就要扫描几十万条与主题无关的文档编号，白白消耗时间。第二是检索精度：包含“的”的文档几乎等于全部文档，命中这样的词没有任何区分价值，反而把不相关的结果混入排序榜首。

识别停用词有两条硬标准：高频性（语料中出现频率极高）和语义虚化（不表达实体信息）。满足这两条的词，进入停用词表，在建索引时直接跳过，在查询时同样过滤。一句话——停用词是“谁都在用的词”，谁都在用，就等于谁都没用。

停用词表构建方法

图书馆管理员怎么决定哪些词要扔？他有三种策略。第一种是请语言学家手工列出停用词表，比如著名的 SMART 停用词表，收录几百个高频虚词，专业且干净，但覆盖面有限。第二种是从语料里统计挖词：计算每个词的文档频率（df），把出现在 80% 以上文档中的词自动标为停用词——数学模型帮你发现“谁的都在用”。第三种是混合法：以专家词表为基础，再用统计挖掘补充领域高频噪声词，比如电商场景里的“包邮”“正品”。

建表之后还要注意“查询侧同步”：停用词表既要作用于建索引，也要作用于查询分析，保证两边过滤一致。另外，不同领域的停用词表并不相同——学术论文中的“本文”、电商评论中的“好评”都可能在特定场景下变异为无意义高频词，对领域语料做统计挖掘、动态维护词表，正是现代搜索引擎的常规操作。手工词表提供底线，统计挖掘补充领域变体，两者结合最稳。

词干提取算法

如果说停用词处理是“扔垃圾”，那词干提取就是“合并同类项”。图书馆里既有《Running Fast》又有《A Runner's Guide》，管理员不会给它们各立一个分类标签，而是统一归到“Run“这个主题词下。搜索引擎面对的词形变体多达几十种：running、runs、ran、runner，语义都是”跑”，但拼写形态各异。词干提取（Stemming）就是用规则把这些变体归并到同一个词干。

词干提取的实现方式是有限状态规则——从词尾开始逐层剥掉后缀。最经典的 Porter 词干提取算法就是一套多步骤重写规则，每步针对不同的后缀模式做替换：

通过规则合并后，倒排索引中原本分散的 running、runs、ran、runner 四条链表，会合并到 run 一条链路上。索引项数下降，检索时一个查询词变体能命中更多文档，召回率提升。代价是词干可能不再是一个合法单词（比如"poni"），且少数语义不同的词会被错误合并——这就是词干提取在召回率与精度之间的天然拉扯。

语言差异处理

不同语言的“书”长得完全不一样。英文、德文等印欧语系词汇有丰富的形态变化——名词复数、动词时态、形容词比较级，规则清晰，因此词干提取大显身手。而中文没有词尾变化，文本是连续的汉字流，第一步必须是分词：把“我喜欢跑步”切成“我/喜欢/跑步”。中文没有“词干”可提，但分完词之后同样可以做归一，比如把“跑步”和“跑”在特定语义下归一为同一主题。

在工程实践中，除了词干提取，还有更温和的词形还原（Lemmatization）。它不粗暴地砍词尾，而是通过词典把“ran“还原成动词原形”run”，“better“还原成”good“。区别在于：词干提取是”削足适履“，词形还原是”查字典找回原形”。很多英文搜索引擎会把两者结合起来——词干提取保证全率，词形还原保证准确性。

鲁棒性方面，预处理策略还应考虑领域差异。医学文献中“gut“（肠道）与”good“（好的）语义完全不同，过度词干提取会酿成灾难；而新闻检索中”running”"ran""runs"合并成本极低、收益极高。工程师需要针对语料做小规模实验，比较不同算法的检索效果，再决定用轻量词干提取还是重量级词形还原。

检索质量影响

经过两板斧，图书馆的目录焕然一新：垃圾词卡消失了，变体书目标签统一了。搜索引擎的检索质量随之产生三个可量化的改善。第一是召回率提高：查询词“running“同样能命中文档里”ran“所在的文档，因为两者在索引里都是”run“。第二是精确率提高：包含”的”的文档不再被标为相关，无意义的命中被挡在检索结果外。第三是索引瘦身：索引词条数减少、倒排链表变短，单次查询扫描的元素更少，响应更快。

召回率与精确率的直观公式是评估预处理效果的标准工具：

最终，词干提取帮助分子变大，停用词过滤帮助分母变干净，两者合力让两个指标同步提升。但工程中永远记得权衡：过度词干提取可能让不同语义的词合并，分子虽然增大但也混入噪声，精确率回落。所以优秀的搜索引擎往往会结合查询改写与语义分析，把预处理从“一刀切”升级为“分场景策略配置”。这就是文本预处理对检索质量影响的完整图景。

AI 应用场景

Python 演示

# -*- coding: utf-8 -*-# 停用词过滤 + 基础词干提取 + 倒排索引演示import refrom collections import defaultdict STOP_WORDS = {"the", "a", "an", "is", "are", "in", "on", "and", "of", "we", "like", "some", "time"} def simple_stem(word):    # 简易词干规则：复数和进行时归一    if word.endswith("ies") and len(word) > 4:        return word[:-3] + "i"    if word.endswith("ing") and len(word) > 5:        return word[:-3]    if word.endswith("ed") and len(word) > 4:        return word[:-2]    if word.endswith("s") and not word.endswith("ss") and len(word) > 3:        return word[:-1]    return word def preprocess(text, use_stop=True, use_stem=True):    tokens = re.findall(r"[a-zA-Z]+", text.lower())    result = []    for t in tokens:        if use_stop and t in STOP_WORDS:            continue        if use_stem:            t = simple_stem(t)        result.append(t)    return result def build_index(docs, use_stop=True, use_stem=True):    index = defaultdict(list)    for doc_id, text in enumerate(docs):        for token in set(preprocess(text, use_stop, use_stem)):            index[token].append(doc_id)    return index def search(query, index, use_stop=True, use_stem=True):    tokens = preprocess(query, use_stop, use_stem)    if not tokens:        return []    postings = [set(index[t]) for t in tokens]    return sorted(set.intersection(*postings)) if __name__ == "__main__":    docs = [        "The running is quick, the runs in park",        "A runner ran on a road fast",        "We like running on summer night",    ]    raw_index = build_index(docs, use_stop=False, use_stem=False)    clean_index = build_index(docs, use_stop=True, use_stem=True)    print("原始词表大小:", len(raw_index))    print("预处理后词表大小:", len(clean_index))    print("搜索 'running' 原始索引命中:", search("running", raw_index))    print("搜索 'running' 预处理索引命中:", search("running", clean_index))    print("搜索 'ran' 预处理索引命中:", search("ran", clean_index))

1. re.findall(r"[a-zA-Z]+", text.lower())先统一小写，再按字母序列切词，把标点隔离在词外。
2. simple_stem用四组词尾规则做轻量词干提取，对应"ies/ing/ed/s"四种常见形态变化。
3. if t in STOP_WORDS停用词直接跳过，不再进入倒排索引。
4. for token in set(preprocess(...))用 set 去重后建索引，同一个词在一篇文档中只记录一次。
5. set.intersection(*postings)多词查询取倒排链表交集，得到同时包含所有查询词的文档。

常见误区

面试题