三种朴素贝叶斯：让数据“对号入座”的三种性格

可视化演示

直观对比高斯、多项式、伯努利三种朴素贝叶斯分类器：高斯适合连续值、多项式适合词频计数、伯努利适合二元特征，展示各自的概率分布形态。

贝叶斯公式地基

在邮局里，你最终要回答的问题永远是：“这封信最该送去哪个目的地？”贝叶斯公式就是你手里的那张“决策地图”。它告诉我们：看到一个具体的信封（证据）后，应该相信它是寄往某个地方的概率有多大。这个“看到证据后的相信程度”，数学上叫后验概率。

贝叶斯公式的地基由三块石头组成：先验概率、似然概率和证据。先验概率是“在拆开信封之前，你相信它有多大可能寄往A地”——也许因为A地是商业区，平时商务信件多；似然概率是“如果这封信真的寄往A地，它看起来像现在这样的可能性有多大”——比如A地的信通常贴白色邮票，而这封信恰好贴着白色邮票。把两者相乘，再除以“所有可能性加起来的归一化常数”，就得到了后验概率。

有了这张“决策地图”，三种变体就像三种不同性格的分拣员，用不同的方式估算“似然概率”——也就是“如果这封信该去某地，它的特征看起来像这样的可能性”。高斯用正态分布曲线来描述，多项式用计数比例来描述，伯努利用“出现与否”来描述。地基是同一座，上层建筑各显神通。

高斯姿势连续值

想象你在分拣一批包裹，需要根据重量判断是“书籍”还是“衣物”。重量是个连续值，可能是 1.2 公斤、0.87 公斤……任何数值都有可能。你发现书籍的重量围绕 1.5 公斤上下波动，衣物围绕 0.5 公斤波动，两团“重量分布”像两座小山。用数学语言说，你假设每个类别的特征服从正态分布（也叫高斯分布）——这就是高斯朴素贝叶斯的核心思想。

高斯朴素贝叶斯为每个类别下的每个连续特征，计算一组均值和方差。均值告诉小山中心在哪儿，方差告诉小山有多胖。当新样本到来，把它的特征值代入每条“钟形曲线”，就能得到“如果它属于该类，这个特征值出现的概率密度”。有了每个类别的似然，再乘上先验，取最大者即得分类结果。

回到邮局，高斯分拣员手里拿的不是尺子，而是一张“重量分布图”。他不需要记住每一封信的精确重量，只需要记住两本书的“平均重量”和“重量波动范围”，就能给新包裹估个八九不离十。这省下了大量记细节的精力，换来的是对连续数据干净利落的处理能力。

多项式姿势词频

现在你被调去分拣明信片，判断它们是“美食推荐卡”还是“旅游风景卡”。你发现“好吃”这个词在美食卡上反复出现，“风景如画”在旅游卡上高频出现。于是你改变了策略：不再量重量，而是数词频——每张卡片里每个词出现了多少次。这就是多项式朴素贝叶斯：用词频计数来估算似然。

多项式朴素贝叶斯把每个文本看作一个“词袋”，只关心每个词出现了几次，不关心顺序。训练时，统计每个类别下每个词出现的总次数，除以该类别所有词的总次数，得到每个词的条件概率。这里有一个关键问题：如果某个词在训练集中从没出现过，它的概率会变成 0，而 0 会像“乘法黑洞”一样把整个乘积吞掉——因此需要拉普拉斯平滑，给每个词额外加 1 次假想出现次数（或使用更精细的 α 参数），防止零概率。

多项式分拣员的做法，相当于放弃了对“痕迹细节”的执着（信封上贴着什么样的邮票），转而专注统计“这类信上哪些标记反复出现”。这种“计数派”风格在文本分类里出奇地好使，因为一篇文章谈论什么话题，往往就藏在重复出现的高频词里。哪怕语法千变万化，词频的统计规律依然稳定。

伯努利姿势二值

有段时间，你被分配到一个特殊的邮筒前，这里的任务只需要回答“是”或“否”：这封信上有没有邮戳？信封上有没有“航空”字样？有没有“机密”标签？每个特征只有两种取值——出现或没出现。这就是伯努利朴素贝叶斯的用武之地。

伯努利朴素贝叶斯将每个特征二值化：1 表示出现，0 表示没出现。训练时，统计每个类别中每个特征出现的比例——比如“机密”标签出现在 80% 的商务信中，却只出现在 5% 的私人信中。对新样本，逐特征查看它是否存在，然后把这些“有/没有”的概率乘起来。注意它与多项式的一个关键区别：多项式关心词“出现了几次”，伯努利只关心“有没有出现”。

伯努利分拣员是极简主义者，他手里只有一张打勾打叉的清单。信一到手，他飞速扫一遍，勾出出现的特征，不出现的留下空白。这种“有就是有、没有就是没有”的模式，在短文本任务中格外高效——比如判断一条短信是不是垃圾广告，真正起决定作用的往往就是几个关键词的“出现与否”。

三种选型对比

邮局主管给你提了个要求：遇到新类型的信件，不要瞎猜，要按“特征形状”选对分拣方法。这个选型原则值得每个人牢牢记在心里：看数据的形状，定方法的姿势。

当一个特征是连续的、可测量的（重量、温度、长度），钟形曲线思维（高斯）最合适。当一个特征是计数的、取值为非负整数（某词出现 3 次、5 次），计数思维（多项式）最合适。当一个特征是二元的布尔值（有/无、真/假、0/1），打勾打叉思维（伯努利）最合适。如果拿 0/1 的特征硬塞给高斯——相当于让用正态分布曲线的分拣员去量一个只会说“有/没有”的标签——用错变体会显著拉低分类准确率。

| 变体 | 特征类型 | 典型数据 | 类比 |

|------|----------|----------|------|

| 高斯NB | 连续值 | 身高、温度、MFCC语音特征 | 掂量重量 |

| 多项式NB | 整数计数 | 词频、TF-IDF计数 | 数贴纸 |

| 伯努利NB | 二值 0/1 | 词是否出现、布尔属性 | 看有无加急 |

判断数据形状是有章法的：先看特征的取值集合，如果是无限多的实数，倾向高斯；如果是有限非负整数，倾向多项式；如果只有两个取值，倾向伯努利。在实际项目中，文本数据经常被看作多项式——但如果你只关心“这个词出现过没有”，那么伯努利反而可能更好。数据的“形状”决定了“姿势”，这是选型的第一直觉，也是面试官最爱考察的判断力。

优缺点与局限

三种本领练得再熟，终究有共同的软肋——就像邮局分拣员再怎么训练，也逃不脱几个“物理限制”。第一个限制来自“朴素”二字：特征独立假设是真空中的球形鸡，现实中特征往往相互关联。“好吃”和“餐厅”在美食卡中总是成对出现，但朴素贝叶斯把它们当作两个独立证据，相当于重复计算了同一份信息。

第二个限制是数据稀疏。当特征维度很高时（比如文本分类中的十万个词），训练数据根本不可能覆盖所有情况。拉普拉斯平滑能缓解，但本质是给零概率一个“保底”，并非万能良药。

第三个限制是它对连续特征分布形态的假设——高斯朴素贝叶斯假设数据服从钟形曲线，如果你的数据是多峰的、严重偏斜的，那这条钟形曲线就对不准形状了。此外，三种变体都不擅长捕捉特征间的关系，当特征是强相关时，朴素贝叶斯会高估某些特征的贡献，导致分类结果失真。不过瑕不掩瑜，朴素贝叶斯家族训练快、参数少、可解释性强，在许多文本和即时分类场景中依然是性价比之王。

AI 应用场景

Python 演示

import numpy as npfrom sklearn.naive_bayes import GaussianNBfrom sklearn.naive_bayes import MultinomialNBfrom sklearn.naive_bayes import BernoulliNBfrom sklearn.model_selection import train_test_splitfrom sklearn.metrics import accuracy_score rng = np.random.RandomState(42) # 生成三种不同形状的数据集n_samples = 600 # 连续值特征适合高斯NBX_cont = np.vstack([    rng.normal(loc=1.2, scale=0.4, size=(n_samples // 2, 2)),    rng.normal(loc=3.5, scale=0.6, size=(n_samples // 2, 2))])y_cont = np.array([0] * (n_samples // 2) + [1] * (n_samples // 2)) # 整数词频特征适合多项式NBX_count = rng.poisson(lam=[3.0, 1.0], size=(n_samples // 2, 5))X_count = np.vstack([    X_count,    rng.poisson(lam=[1.0, 3.0], size=(n_samples // 2, 5))])y_count = np.array([0] * (n_samples // 2) + [1] * (n_samples // 2)) # 二值特征适合伯努利NBX_bin = rng.binomial(n=1, p=[0.8, 0.2], size=(n_samples // 2, 5))X_bin = np.vstack([    X_bin,    rng.binomial(n=1, p=[0.2, 0.8], size=(n_samples // 2, 5))])y_bin = np.array([0] * (n_samples // 2) + [1] * (n_samples // 2)) def evaluate(name, clf, X, y):    X_train, X_test, y_train, y_test = train_test_split(        X, y, test_size=0.3, random_state=42)    clf.fit(X_train, y_train)    y_pred = clf.predict(X_test)    acc = accuracy_score(y_test, y_pred)    print(f"{name}: {acc:.3f}")    return acc # 数据与模型匹配的结果evaluate("GaussianNB on continuous", GaussianNB(), X_cont, y_cont)evaluate("MultinomialNB on count", MultinomialNB(), X_count, y_count)evaluate("BernoulliNB on binary", BernoulliNB(), X_bin, y_bin) # 不匹配时的表现为对比evaluate("GaussianNB on binary", GaussianNB(), X_bin, y_bin)evaluate("BernoulliNB on count", BernoulliNB(), X_count, y_count)

1. from sklearn.naive_bayes import GaussianNB引入高斯朴素贝叶斯，它假设特征服从正态分布，适合连续值。
2. rng.normal(loc=1.2, scale=0.4, size=...)生成 600 个服从正态分布的二维连续特征样本，为高斯NB造出“钟形曲线”数据。
3. rng.poisson(lam=[3.0, 1.0], size=...)从泊松分布抽样生成词频数据，泊松分布是模拟词频计数的常见方法。
4. rng.binomial(n=1, p=[0.8, 0.2], size=...)生成 0/1 二值向量，模拟“词出现与否”的伯努利数据。
5. train_test_split(X, y, test_size=0.3, random_state=42)按 7:3 划分训练集和测试集，保证评估口径一致。
6. clf.fit(X_train, y_train)对模型执行训练，三种分类器一步到位。
7. accuracy_score(y_test, y_pred)计算预测准确率，作为选型效果的量化标尺。
8. evaluate("GaussianNB on binary", GaussianNB(), X_bin, y_bin)展示“高斯NB硬刚二值数据”的准确率下降，证明选型要匹配数据形状。

常见误区

面试题