统计显著性检验：验证实验差异的方法

可视化演示

展示两个进程通过共享内存进行数据交换的完整过程，理解IPC通信模型与同步机制。

假设检验原理：法庭的审判规则

老王的面包店最近研发出一款新配方。他请街坊盲测打分，发现新配方比旧配方平均高出 0.8 分。就在老王准备推上生产线时，女儿提出灵魂拷问：“0.8 分会不会只是运气？”于是，一场关于“配方差异”的法庭开庭了。被告是原假设——“新配方与旧配方没有区别”；控方主张备择假设——“确实有区别”。法庭默认被告无罪，想定罪就得拿出足够硬的证据。

这场法庭的判罪标准，就是显著性水平 α，通常定为 0.05。意思是：如果“无罪”是真的，那么当前证据出现的概率不足 5%，才允许说“结论推翻无罪”。这个概率就是 p 值。p 值越小，证据越反常，“无罪”越站不住脚。形式上，假设检验先写下原假设 H₀ 与备择假设 H₁，再根据样本数据算出 p 值，最后与 α 比较：p < α 则拒绝 H₀，宣布差异显著；p ≥ α 则不能拒绝 H₀，只能说“证据不足”，而不是“证明无差异”。

法庭还必须区分两种冤错：把无辜的好配方冤枉成“有差异”（第一类错误，概率为 α），或放过真正的好配方（第二类错误，概率为 β）。假设检验的全部设计，就是在“误伤”与“漏判”之间寻找平衡。

检验统计量：法庭上的量罪标尺

法庭上不能凭感觉断案。测体温得用体温计，称面粉得用台秤。要把“0.8 分的差距”与“随机波动”放在同一把尺子上比较，统计学也需要标准化量尺——检验统计量。它把原始数据压缩成一个数字，回答一个关键问题：“如果原假设为真，这个数字偏离正常波动范围有多远？”

不同数据类型用不同的量尺：连续型数据用 t 统计量，分类型数据用卡方统计量。量尺的“刻度”由自由度决定——样本越少、自由度越低，刻度越疏，越难定罪。检验统计量的通用骨架是“信号除以噪声”：分子是观测到的差异，分母是标准误差（衡量随机波动的尺子）。差异越大、波动越小，统计量绝对值越大，对应的 p 值越小。

就像体温计要定期校准，检验统计量也有理论分布作为“校准曲线”——t 分布、卡方分布等。法官（数据分析师）握着校准好的量尺，才能对每份证据给出公平的判决。

t检验方法：三种称量证据的方式

法庭核实证据有很多种方式：有时对两块独立的面团分别称重（独立样本），有时同一块面团称两次看发酵前后变化（配对样本），有时只称一块面团是否达标（单样本）。t 检验家族正是这三兄弟。

独立样本 t 检验用于两组被试互不相关的场景，比如随机分流的 A/B 两组访客，比较人均停留时长。配对样本 t 检验让同一批人先后体验新旧版本，前后相减得到差值，消除个体差异。单样本 t 检验则把一组数据与已知基准（如行业均值）比较。t 检验的核心是“信号/噪声比”：分子是均值差或平均差值，分母是标准误。使用时需满足近似正态、组间独立（配对设计除外）等条件，方差不齐可用 Welch 修正。

称同一块面团的前后重量，比称两块不同的面团更精准——配对 t 检验利用“同一批人”抵消个体差异，让证据更干净，在用户行为研究中尤其常用。

卡方检验：清点人数的账房先生

有些证据不是打分，而是人数：新版海报让多少人扫码、多少人无视。分类数据的差异不能靠“平均分”，得靠清点人头。这时登场的是账房先生——卡方检验（Chi-square test）。

卡方检验比较“实际数到的人数”（观察频数）与“假设无关时应有的人数”（期望频数）。如果实际清点与理论期望严重不符，说明变量之间有关联。典型用法有两种：独立性检验，判断性别是否影响付费意愿；拟合优度检验，判断点击分布是否符合理论比例。列联表是它的工作台：行是一个变量（如版本），列是另一个变量（如是否点击），每个格子填观察频数。

卡方检验像查账：账面（期望）与实际清点差距越大，越说明账目有问题。在 A/B 测试中，点击率、转化率这类比率型指标，都在账房先生的管辖范围内。

效应量计算：罪行有多重

法庭定罪之后还要量刑：是偷了一块面包，还是搬空整个后厨？p 值只回答“有没有罪”，效应量回答“罪有多重”。这是 p 值给不了的答案。

p 值受样本量影响极大：样本从一千涨到一百万，再微小的差异也会变得“显著”。效应量不受样本量左右，它度量差异本身的刻度。连续数据用 Cohen's d，分类数据用 Cramér's V。经验口径：d ≈ 0.2 为小效应，0.5 为中效应，0.8 为大效应。Cohen's d 的分母是合并标准差，把两组波动综合成一把统一尺子；分子是均值差。d 的含义是“两组中心相差多少个标准差”。

上线决策既要“定罪”（p < 0.05），也要“量刑”（d 足够大）。老王的经验是：p 值负责说服你差异存在，效应量负责说服你值得为此打开烤箱。

多重比较校正：防冤案委员会

老王同时在西墙、南墙、北墙各贴一种新海报测转化率。三场审判，每场都可能碰巧出错。要是像大厂那样一周跑几十个实验，几乎必然出现几桩冤案——这就是多重比较问题。

独立做 m 次检验且每次都要求 α = 0.05 时，至少出现一次假阳性的概率是 1 - (1-α)^m。m = 20 时约为 64%：也就是说，汇报 20 个指标，光靠随机波动就能碰出一个“显著”。因此校正势在必行。Bonferroni 校正把阈值收紧为 α/m，简单且严格，适合检验次数不多、宁愿漏判也不愿冤枉的场景；FDR（Benjamini-Hochberg 法）控制“假发现比例”，允许少量假阳性但把总体比例压到 5% 以内，适合基因筛选、多指标探索等大规模场景。

Bonferroni 像宁缺毋滥的严苛法官，FDR 像允许少量错案但盯紧比例的监狱长。选谁，取决于你更怕冤枉好人，还是更怕漏掉真凶。

实验结论评估：宣判与执行

宣判不是终点，真正的考验在宣判之后。证据不足的实验中，真配方可能被误判“无罪”；样本过大的实验里，0.1% 的“罪行”也会被无限放大。评估实验结论必须三思。

第一思样本量：检验功效（Power = 1-β）衡量“真差异存在时能检出的概率”，通常要求不低于 80%。功效不足的阴性结果毫无说服力。第二思业务：统计显著不等于业务显著，要结合效应量与成本收益决定是否上线。第三思报告：写明检验方法、样本量、p 值、效应量、校正方式与置信区间，让结论可复现。α、β、样本量三者如跷跷板：样本固定时，α 收紧则 β 放大；想同时压低两类错误，只能增加样本量。

一份合格的实验报告就像一份严谨的判决书：审理对象（H₀）、证据强度（效应量）、定罪门槛（p 值）、复核机制（校正）全部写清。老王把这样的报告递给投资人，才真正有底气说一句：“这个配方，值得上线。”

AI 应用场景

Python 演示

import mathimport random  def norm_cdf(x):    """Standard normal CDF approximation"""    t = 1.0 / (1.0 + 0.2316419 * abs(x))    d = 0.3989423 * math.exp(-x * x / 2.0)    p = d * t * (0.3193815 + t * (-0.3565638 + t * (1.781478 + t * (-1.821256 + t * 1.330274))))    return 1.0 - p if x > 0 else p  def welch_t_test(a, b):    """Welch's t-test for two independent samples"""    na, nb = len(a), len(b)    ma = sum(a) / na    mb = sum(b) / nb    va = sum((x - ma) ** 2 for x in a) / (na - 1)    vb = sum((x - mb) ** 2 for x in b) / (nb - 1)    se = math.sqrt(va / na + vb / nb)    t = (ma - mb) / se    df = (va / na + vb / nb) ** 2 / ((va / na) ** 2 / (na - 1) + (vb / nb) ** 2 / (nb - 1))    p = 2.0 * (1.0 - norm_cdf(abs(t)))    return t, p, df  def cohens_d(a, b):    """Cohen's d effect size"""    na, nb = len(a), len(b)    ma = sum(a) / na    mb = sum(b) / nb    va = sum((x - ma) ** 2 for x in a) / (na - 1)    vb = sum((x - mb) ** 2 for x in b) / (nb - 1)    sp = math.sqrt(((na - 1) * va + (nb - 1) * vb) / (na + nb - 2))    return (ma - mb) / sp  def chi_square_test(table):    """Chi-square independence test on an observed frequency table"""    rows = len(table)    cols = len(table[0])    total = sum(sum(row) for row in table)    row_total = [sum(row) for row in table]    col_total = [sum(table[i][j] for i in range(rows)) for j in range(cols)]    chi2 = 0.0    for i in range(rows):        for j in range(cols):            expected = row_total[i] * col_total[j] / total            chi2 += (table[i][j] - expected) ** 2 / expected    df = (rows - 1) * (cols - 1)    z = ((chi2 / df) ** (1.0 / 3.0) - (1.0 - 2.0 / (9.0 * df))) / math.sqrt(2.0 / (9.0 * df))    p = 1.0 - norm_cdf(z)    return chi2, p, df  def main():    random.seed(42)    control = [12.3 + random.gauss(0, 2.5) for _ in range(80)]    treatment = [13.8 + random.gauss(0, 2.5) for _ in range(80)]    t, p, df = welch_t_test(control, treatment)    d = cohens_d(control, treatment)    print("t = %.3f, df = %.1f, p = %.4f" % (t, df, p))    print("Cohen's d = %.3f" % d)    print("结论: %s" % ("拒绝原假设, 差异显著" if p < 0.05 else "证据不足, 不能拒绝原假设"))    table = [[320, 480], [410, 390]]    chi2, p2, df2 = chi_square_test(table)    print("chi2 = %.3f, df = %d, p = %.4f" % (chi2, df2, p2))    print("卡方结论: %s" % ("版本与点击有关联" if p2 < 0.05 else "未发现关联"))  if __name__ == "__main__":    main()

1. se = math.sqrt(va / na + vb / nb)计算标准误：把两组抽样波动合成“噪声尺子”。
2. t = (ma - mb) / se计算 t 统计量：差异除以噪声，得到标准化的证据强度。
3. p = 2.0 * (1.0 - norm_cdf(abs(t)))计算双侧 p 值：查标准正态分布尾部面积。
4. sp = math.sqrt(((na - 1) * va + (nb - 1) * vb) / (na + nb - 2))合并标准差：效应量 Cohen's d 的分母。
5. expected = row_total[i] * col_total[j] / total期望频数：行列无关时的理论人数。
6. chi2 += (table[i][j] - expected) ** 2 / expected累加卡方统计量：每个格子的偏差贡献。
7. if __name__ == "__main__":可执行入口，保证脚本可直接运行。

常见误区

面试题