BoW与TF-IDF文本分类实战

可视化演示

展示TCP连接建立的三次握手流程，动态演示SYN、SYN+ACK、ACK报文交互与客户端服务端状态转换。

文本预处理

市图书馆的老林每天都要给新书分类，但他从不一口气把书读完，而是先做一件看似枯燥的事——“拆书”。他把封面腰封、目录页脚这些干扰信息统统丢到一边，只留下正文，再把正文切成一个个能查字典的词。这就像大厨备菜，先把整棵娃娃菜掰成叶片，再摘掉发黄的叶子，只留下最干净的部分下锅。

在 AI 世界里，这个“拆书备菜”的过程叫文本预处理。计算机不认识句子，只认识词，我们得先把原始文本切成词，再滤掉噪音，才能喂给机器。英文天生用空格隔词，中文没有空格，需要 jieba 这样的分词工具来切。常见的预处理步骤有三步：分词、去除停用词、词形还原。

分词把连续文本切成独立的词语序列；去停用词是丢掉“的、了、在”这类几乎每篇文档都会出现、却毫无区分度的功能词；词形还原则把英语里的 cats 还原成 cat、running 还原成 run，把同一词的不同形态合并成一个特征。三步做完，一篇文章就变成一份干净的“词列表”，公式表示如下：

预处理之后，老林手里的书不再是密密麻麻的文字，而是一筐筐按词归置好的“食材”。接下来，他就要开始往筐里数数量、打标签了——这正是词袋模型的舞台。

词袋模型

老林把一本书预处理完，得到一串食材清单。但他很快发现，与其按句子顺序记录“先放了猪肉，又放了白菜”，不如直接问：这筐菜里到底有哪些食材？每样多少？于是他找来一个巨大的布口袋，把书里所有词往口袋里一倒——这就是“词袋子”。

词袋模型（Bag of Words，BoW）的核心思想，正是把一篇文档看成“一袋词”，完全忽略语序和语法，只统计每个词出现的次数。每篇文档因此可以转换成一个固定长度的向量，像一张“食材数量清单”。

具体做法分三步：首先，把整个语料库所有出现过的词去重，构建一张“词汇表”V，词汇表大小 |V| 就是向量的维度；然后，对每一篇文档，统计每个词在其中出现的次数，得到一个 |V| 维的计数向量；最后，由于一篇文档只提及少数词，向量里绝大多数位置是 0，这种“高维稀疏”的向量用稀疏矩阵存储，可大幅节省内存和计算量。

有了这张“食材数量清单”，老林能把任意一本书变成一张数字表。但问题随之而来：清单上“盐、水”这种词每本书都有，数量还不少，它们真的能代表这本书的特色吗？于是，老林决定给每种食材打一个“特色分”。

TF-IDF原理

老林对着两本书的食材清单发愁：一本《量子物理入门》和一本《量子烹饪奇谭》，都出现了不少“量子”；可无论哪本书，清单里都少不了“的、和、是、了”这几位“钉子户”。如果按数量排序，钉子户们总是排最前面，但对判断书的内容毫无帮助。老林决定：给每个词算一个“特色分”，让真正代表主题的食材脱颖而出。

这个“特色分”在信息检索领域有标准算法，叫 TF-IDF（Term Frequency-Inverse Document Frequency，词频-逆文档频率）。它由两部分相乘：词频 TF（Term Frequency）衡量词在单篇文档里出现的频繁程度；逆文档频率 IDF（Inverse Document Frequency）衡量词在整个语料库里的稀有程度。

TF 可以用原始计数，也可以除以文档总词数做归一化。IDF 的计算公式是 log(N / (1 + DF(t)))，其中 N 是语料库文档总数，DF(t) 是包含词 t 的文档数。一个词若只在少数文档里出现，DF 很小，IDF 就大，说明它很有辨识度；若像“的”一样每篇文档都有，DF 接近 N，IDF 就趋近于 0。最终用 TF 乘以 IDF，既保留词在文档中的重要性，又打压“钉子户词”。

给每样食材打完特色分，老林的清单终于靠谱了：“量子”在科学书里高分上榜，“西红柿炒蛋”在美食书里独占鳌头，“的、了”们被压到最低分。现在，这些加权数字就成了机器判断书籍类别的“证据”。不过，光有证据还不够，老林还需要一套“按证据下判断”的规则——这就要请出朴素贝叶斯。

朴素贝叶斯

老林在图书馆干了二十年，心里早有了一套直觉：看到“量子、波函数”，十有八九是物理书；看到“黄油、烤箱、打发”，多半是烘焙书；看到“武林、江湖、秘籍”，一定是武侠小说。这些直觉，本质上就是多年积累的“经验概率”。

把这种经验判断数学化，就是贝叶斯定理。朴素贝叶斯分类器（Naive Bayes）用它来回答一个问题：给定一篇文档的特征（各词的 TF-IDF 权重或词频），它属于每个类别的概率分别是多少？我们取概率最大的类别作为最终预测。

公式记作 P(c|x) ∝ P(c) × ∏P(w_i|c)。其中 P(c) 是先验概率，表示类别 c 在训练样本中的占比；P(w_i|c) 是类条件概率，表示在类别 c 的文档中词 w_i 出现的概率；“朴素”体现在假设各个词相互独立，所以可以直接连乘。但有个隐患：如果某个词在训练集的某类中从未出现，P(w_i|c) 会等于 0，连乘结果整体变 0。解决办法是拉普拉斯平滑（Laplace Smoothing），在分子分母同时加上小常数，让概率永远不会为 0。

老林每月复盘时，分类经验中“什么样的词出现，书更可能是哪类”的概率不断被刷新。新书一到，他只需把食材清单喂给经验公式，就能算出一个最可能的答案。不过，老林怎么知道自己分得准不准呢？馆长可不会只看他自我感觉良好——这就要进入模型评估环节。

模型评估

月底，馆长让老林复盘：这个月一共给 200 本书分了类，分对了多少？老林翻开记录本，发现自己一共标了 50 本“物理书”，可真正属于物理类的只有 40 本；而物理类书架实际新进了 60 本，也就是说还有 20 本物理书被他错分到了别的书架。

分类模型同样需要这样的“复盘”。最朴素的指标是准确率（Accuracy）：分对的样本占总样本的比例。但它有盲区——当类别极不平衡时（比如 99% 是普通邮件、只有 1% 是垃圾邮件），哪怕全部预测为普通邮件也有 99% 准确率，模型却毫无用处。因此我们还需要精确率（Precision）和召回率（Recall）。

精确率回答“预测为正例的样本里，有多少是真正例”；召回率回答“真实正例的样本里，有多少被找回来了”。二者往往此消彼长。F1 分数是它们的调和平均，用一个数字综合两者，公式为 2×(P×R)/(P+R)。只优化精确率而忽略召回率，F1 会被拉低；反之亦然。

从那天起，老林不再只看“分对了多少本”，而是同时盯着精确率和召回率，F1 成了他与馆长月度对话的核心数字。有了这套评估体系，老林的分类方法越来越稳。现在，他只需把整套流程固定成标准作业，应用到每天的工作台上。

实战应用

经过长期摸索，老林把“预处理→打特色分→按经验判断→复盘”这套完整流程，写成了一份《图书分类标准作业手册》。每天新书入库，他就照着手册一步步操作，从选菜、备菜到出锅，一气呵成。

在真实工程中，一套完整的文本分类任务也是同样的流水线：收集带标签的语料 → 文本预处理 → 用 BoW 或 TF-IDF 提取特征向量 → 用朴素贝叶斯（或其他分类器）训练模型 → 在测试集上评估指标 → 部署到线上服务。所有环节在 Python 生态里都有现成工具。

最常见的落地场景有三个：一是垃圾邮件过滤，把邮件正文做成 TF-IDF 特征，用朴素贝叶斯判断“垃圾/正常”，速度快、内存小，适合手机端实时拦截；二是电商评论情感分析，将用户评论转成特征向量，判断“好评/差评”，帮商家快速发现口碑问题；三是新闻自动分类，平台每天接入数万篇稿件，先自动归到“体育、财经、科技”等栏目，再由编辑精审。需要提醒的是，BoW 和 TF-IDF 都忽略词序，面对“这家店不好吃，但是便宜”这类转折句会力不从心，那时需要引入 n-gram 或更深的模型。整个流水线的最终决策，可以浓缩成一个公式：

老林的“标准作业手册”，现在也成了你手里的实战地图。从一本本书的“拆词备菜”，到打上 TF-IDF 特色分，再到朴素贝叶斯的经验判断，最后用评估指标复盘优化——你已经完整掌握了 BoW 与 TF-IDF 文本分类的全部核心环节，可以放开手脚，去搭建你自己的“图书分类工作台”了。

AI 应用场景

Python 演示

import jiebafrom sklearn.feature_extraction.text import CountVectorizer, TfidfVectorizerfrom sklearn.naive_bayes import MultinomialNBfrom sklearn.metrics import accuracy_score # 1. 构造小型新闻语料 (0=宠物猫, 1=宠物狗, 2=数码产品)docs = [    "猫爱吃鱼，猫喜欢睡觉，小鱼很新鲜",    "小猫很可爱，猫咪爱干净，猫粮很香",    "狗爱啃骨头，小狗喜欢奔跑，骨头很硬",    "狗狗很忠诚，狗喜欢出门，狗粮很香",    "苹果发布新手机，手机功能强大，屏幕很好",    "手机价格便宜，手机续航好，苹果系统流畅",]labels = [0, 0, 1, 1, 2, 2] # 2. 中文分词: jieba 切词后用空格连接def cut(text):    return " ".join(jieba.lcut(text)) seg_docs = [cut(d) for d in docs] # 3. 词袋模型: 统计词频, 得到高维稀疏特征矩阵bow_vec = CountVectorizer(token_pattern=r"(?u)\w+")X_bow = bow_vec.fit_transform(seg_docs)print("BoW 特征维度:", X_bow.shape[1]) # 4. TF-IDF 加权: 给常见词降权, 给特色词提权idf_vec = TfidfVectorizer(token_pattern=r"(?u)\w+")X_idf = idf_vec.fit_transform(seg_docs) # 5. 训练两个朴素贝叶斯分类器clf_bow = MultinomialNB()clf_bow.fit(X_bow, labels)print("BoW 训练集准确率:", accuracy_score(labels, clf_bow.predict(X_bow))) clf_idf = MultinomialNB()clf_idf.fit(X_idf, labels)print("TF-IDF 训练集准确率:", accuracy_score(labels, clf_idf.predict(X_idf))) # 6. 预测新文档new_texts = ["小猫咪在吃鱼", "新手机屏幕很大", "小狗在啃骨头"]new_seg = [cut(t) for t in new_texts]new_bow = bow_vec.transform(new_seg)new_idf = idf_vec.transform(new_seg)pred_bow = clf_bow.predict(new_bow)pred_idf = clf_idf.predict(new_idf) names = ["宠物猫", "宠物狗", "数码产品"]for txt, p1, p2 in zip(new_texts, pred_bow, pred_idf):    print(f"{txt} => BoW:{names[p1]} | TF-IDF:{names[p2]}")

1. seg_docs = [cut(d) for d in docs]把每篇中文文档分词并用空格连接，让 sklearn 的向量器能按空格切分特征。
2. bow_vec = CountVectorizer(token_pattern=r"(?u)\w+")构建词袋向量器，\w+ 让单个中文字也能保留为特征。
3. X_bow = bow_vec.fit_transform(seg_docs)把分词后的文档一次性转成稀疏词频矩阵，行是文档、列是词。
4. idf_vec = TfidfVectorizer(token_pattern=r"(?u)\w+")构建 TF-IDF 向量器，自动完成“特色打分”。
5. X_idf = idf_vec.fit_transform(seg_docs)生成 TF-IDF 加权后的稀疏矩阵，常见词权重被压低。
6. clf_bow = MultinomialNB()创建朴素贝叶斯分类器，这是“有经验的分类老师”。
7. clf_bow.fit(X_bow, labels)用词袋特征和标签训练模型，模型记住了“哪类文档更像哪类词”。
8. new_bow = bow_vec.transform(new_seg)用训练好的词表变换新文本，保证特征维度与训练时一致。
9. pred_bow = clf_bow.predict(new_bow)对新文本输出预测类别，这就是最终的分类结果。

常见误区

面试题