A/B测试结果到底显著不显著

可视化演示

动态演示A/B测试结果到底显著不显著的核心机制，通过全局/局部/动态/静态四种模式展示关键概念与交互流程。

原假设与备择假设

小美的咖啡实验面临一个难题：她总不能因为 A 店多卖了几杯就直接宣布新配方胜利。于是她借鉴了法庭的规则——先假定被告无罪。这里的「被告」就是原假设，记作 $H_0$，内容通常是「新配方和经典配方没有差别」。只有当证据足够充分，我们才「翻案」，接受备择假设 $H_1$，即「新配方确实卖得更好」。这套「先怀疑、后验证」的流程，就是假设检验的骨架。

在统计语言里，原假设把两组的总体均值（真正水平）写成相等：$H_0: \mu_A = \mu_B$。备择假设则是 $H_1: \mu_A \neq \mu_B$（双侧）或 $\mu_A > \mu_B$（单侧）。「总体均值」可以理解为：如果店开一万天、消掉所有偶然因素后的平均日销量。我们永远看不到总体均值，只能靠抽样数据去推测。检验统计量就是用来量化「数据离原假设有多远」的一把尺子。

小美现在明白了：她想证明「阳光拿铁更好」，就得先让「没有差别」当被告，用一周的销量数据去质证。如果数据没能让陪审团信服，那结果就只能写成「暂无证据表明新配方更优」，而不是「新配方无效」。

p值判断规则

法庭问：证据有多「离谱」才能翻案？统计学家给了一个量化标准——p 值。它的精确定义是：假设原假设为真，出现「当前这么极端的数据」甚至更极端情况的概率。小美可以这样理解：如果新配方真的毫无效果，光靠随机波动就出现 A 店这么高的销量，这种概率只有 3%。那她会想：太巧了吧？巧合概率这么低，我更愿意相信是配方本身有本事。

约定俗成的红线是 0.05，也就是 5%。这个值叫显著性水平，记作 $\alpha$。如果把 p 值当作「巧合的可能性」，那么 p < 0.05 就相当于说：在「没有差别」的前提下，看到眼前数据的概率不足 5%。这就像抛一枚硬币，如果连续抛出 20 次正面，你会开始怀疑这枚硬币被动了手脚——虽然理论上公平硬币也可能这样，但概率太低，低到我们不愿意相信。

不过小美很快学到了一个重要教训：p = 0.03 不代表「有 97% 概率新配方更好」，只代表「如果新配方没用，出现这种数据巧合的概率是 3%」。这是两件完全不同的事。另外，p 值略大于 0.05 也不等于「证实没有差别」，只是证据还不够充分——就像陪审团说「证据不足，无法定罪」，不等于「确认无罪」。

t检验入门

小美的销量数据是连续数值：每天每店卖出的杯数。她想比较两组均值的大小，这时最常用的工具是 t 检验。它的思想是：把「两组均值的差距」除以「这个差距自身的不稳定程度」，得到一个比值 t。差距越大、越稳定，t 值就越大，说明差异越像真实效果。

具体来说，t 值像一台天平：分子是 A 组与 B 组的均值差，分母是标准误——衡量均值差受随机波动影响多大。样本量 n 越大，分母越小，天平越灵敏。当 t 值大到超过某个临界值（由自由度和显著性水平决定），我们就越过红线，宣布显著。Welch 校正则是当两组样本量或方差不同时，对自由度进行修正，避免误判。

回到咖啡店，小美的数据算出来 t = 2.31，对应 p = 0.024，小于 0.05。她终于松了口气：阳光拿铁的销量优势不太像随机波动。但她记住了讲师的话：t 检验只适合销量这种连续、近似正态的数据。如果换成「顾客是否点了新品」这种是/否问题，就得换工具了。

卡方检验

小美下一步想验证：新配方是否让顾客的「复购率」变高了。复购率是分类数据：每个顾客要么复购，要么不复购。这时均值的天平不适用了，得用卡方检验。它的核心是比较「实际观察到的计数」和「假设两组没有差别时应该出现的期望计数」。

卡方检验的做法是数豆子：把顾客分成「A 组复购/未复购」和「B 组复购/未复购」四格，算出每格的期望频数，然后逐个格子计算「观察值与期望值的偏差平方，再除以期望值」，最后全部加起来。偏差越大，卡方值就越大，说明实际数据越偏离「没有差别」的假设。这个值再对应一个 p 值，就能判断复购率差异是否显著。

小美用卡方检验分析了两组的复购人数：A 组 120 人中复购 48 人，B 组 110 人中复购 33 人。算出的卡方值对应的 p 值仅为 0.01，显著！她心想：无论是销量还是复购，阳光拿铁都经受住了统计的考验。但统计老师又提醒她：如果数据里有几个顾客一次买了 50 杯这种极端值，t 检验和卡方检验都可能被带偏，这时该请出下一位选手了。

曼惠特尼检验

小美的店里偶尔会出现「企业团购大单」，一次买走几十杯。这种极端值让销量数据变得歪歪扭扭，不再符合「钟形曲线」的假设。统计学家为此准备了不依赖分布形状的曼惠特尼 U 检验——它不比较均值，而是把所有数据混在一起排序，看两组的「排名」谁更高。就像运动会不比较运动员的绝对成绩，只看名次。

做法是：把 A、B 两组的销量数据合并，从小到大排序并赋予秩（第 1 名、第 2 名……），然后求出 A 组的秩和。如果 A 组的秩和明显偏大，说明 A 组的销量普遍排在前面。曼惠特尼 U 统计量就是基于秩和计算的，它反映「随机从两组各取一个数，A 的数更大的概率」。这种方法不要求数据正态分布，也不怕极端值，特别适合偏态数据。

小美去掉团购大单后，用曼惠特尼检验重新验证：即使把极端订单排除，A 组的秩和仍然显著偏高（p = 0.03）。这下她信服了——阳光拿铁的优势不是靠几个大客户撑起来的，而是普遍受欢迎。她也明白了工具选择的逻辑：数据长得像钟形，用 t 检验；数据是计数，用卡方；数据歪歪扭扭有极端值，就交给曼惠特尼。

两类错误取舍

统计判断不可能 100% 正确。小美意识到，她可能犯两种错误：一种是「阳光拿铁其实没更好，但我宣布它显著更好」——这就是第一类错误，概率用 $\alpha$ 表示，也就是那个 0.05 红线。另一种是「阳光拿铁其实更好，但数据没检测出来，我宣布不显著」——这是第二类错误，概率用 $\beta$ 表示。1 − β 叫检验功效，意思是「当真实差异存在时，检测出它的能力」。

这两个错误像跷跷板：把 $\alpha$ 设得越小（比如 0.01），越不容易冤枉无效配方，但也越容易漏掉真有效果，因为门槛太高了。反过来，如果太急着宣布显著（α 设很大），就会频繁把噪声当宝藏。实践中的取舍要看代价：对于咖啡配方这种试错成本低的场景，可以容忍稍高的 α；但对于医疗方案或大规模上线系统，宁可漏判也不愿误判，因为误判上线的代价巨大。

小美最终决定：第一类错误控制在 0.05（这是行业惯例），同时把样本量从一周延长到两周，把功效提高到 85% 以上。这样既不容易把运气当本事，也不容易把真本事漏掉。她终于理解，显著性检验不只是一个「通过/不通过」的开关，更是一场权衡误判代价的博弈。

效应量与样本

最后，统计老师给小美泼了盆冷水：p < 0.05 只能说明「差异不太可能是巧合」，但没说「差异有多大」。如果样本量足够大，哪怕新配方只多卖 0.3 杯/天，也能算出显著。这时需要看效应量——衡量效果真实大小的指标。对连续数据，常用 Cohen's d：两组均值差除以合并标准差。d = 0.2 是小效果，0.5 是中等，0.8 以上是大效果。

效应量和样本量是相辅相成的：样本量决定了统计检验的「分辨率」，效应量决定了「信号本身的强度」。小样本看不清微弱信号，大样本则连微小差异都能检测出来。所以实验报告里只说「p < 0.05」是不够的，还要说「d = 0.62，置信区间如何」，读者才能判断这个效果是否值得上线。这也是数据驱动决策的完整闭环。

小美最终算出的结果是 d = 0.58，属于中等偏上效果，且 95% 置信区间为 [0.21, 0.95]。她终于写下了完整结论：阳光拿铁的销量提升是真实存在的（p = 0.024），效果大小中等（d = 0.58），值得全部门店推广。这一次，她不仅知道「显著不显著」，还知道「到底有多大」。

AI 应用场景

Python 演示

# -*- coding: utf-8 -*-"""A/B 测试显著性检验演示：比较两组销量数据"""import numpy as npfrom scipy import stats def run_ab_test(group_a, group_b, alpha=0.05):    """对 A/B 两组数据执行显著性检验，返回结论"""    # 1. 独立样本 t 检验（Welch 校正）    t_stat, p_value = stats.ttest_ind(group_a, group_b, equal_var=False)    print('Welch t 检验: t = {:.3f}, p = {:.4f}'.format(t_stat, p_value))     # 2. 曼惠特尼 U 检验（非参数，作为稳健性验证）    u_stat, u_p = stats.mannwhitneyu(group_a, group_b, alternative='two-sided')    print('Mann-Whitney: U = {:.1f}, p = {:.4f}'.format(u_stat, u_p))     # 3. 计算效应量 Cohen's d    n1, n2 = len(group_a), len(group_b)    s1, s2 = np.var(group_a, ddof=1), np.var(group_b, ddof=1)    s_pooled = np.sqrt(((n1 - 1) * s1 + (n2 - 1) * s2) / (n1 + n2 - 2))    cohen_d = (np.mean(group_a) - np.mean(group_b)) / s_pooled    print('Cohen\'s d = {:.3f}'.format(cohen_d))     # 4. 显著性判断    if p_value < alpha:        print('结论：p < {:.2f}，差异显著，拒绝原假设'.format(alpha))    else:        print('结论：p >= {:.2f}，差异不显著，证据不足'.format(alpha)) if __name__ == '__main__':    # 模拟 A 组（新配方）和 B 组（经典配方）的日销量数据    np.random.seed(42)    group_a = np.random.normal(loc=52, scale=8, size=30)    group_b = np.random.normal(loc=48, scale=8, size=30)    print('A 组日均销量: {:.1f}, B 组日均销量: {:.1f}'.format(        np.mean(group_a), np.mean(group_b)))    run_ab_test(group_a, group_b)

1. stats.ttest_ind(group_a, group_b, equal_var=False)执行 Welch 校正的独立样本 t 检验，得到 t 统计量和 p 值
2. stats.mannwhitneyu(group_a, group_b, alternative='two-sided')非参数检验，不依赖正态分布，用于交叉验证
3. np.var(group_a, ddof=1)计算样本方差（分母用 n−1），避免低估总体方差
4. s_pooled = np.sqrt(...)合并两组方差得到合并标准差，作为效应量的标准化分母
5. cohen_d = (np.mean(group_a) - np.mean(group_b)) / s_pooled计算效应量，衡量差异的实际大小
6. if p_value < alpha:将 p 值与 0.05 比较，决定是否拒绝原假设

常见误区

面试题