小明是街角奶茶店的老板。最近他研发了一款新配方，觉得比老配方好喝得多，正想给全店换掉。可冷静下来他又犹豫：顾客口味那么主观，万一只是自己“自我感觉良好”？他决定请顾客试喝、统计票数。麻烦来了：如果只请 10 位顾客，6 位说新配方好、4 位说老配方好——这点差距能说明新配方真的赢了吗？如果请 100 位顾客，58:42 呢？如果请 1000 位，520:480 呢？到底“差距多大、样本多少”才能让他放心地下决定？ 这篇文章就是要解答小明的困惑。你会学到：为什么数据差异不都是“真相”（统计显著性），如何避免把运气当实力的“误报”（第一类错误），又该如何避免把真实改进当成噪声放走（第二类错误与统计功效），以及一门实验“至少能测出多大改进”的硬指标——最小可检测效应（MDE）。更重要的是，你会亲手完成从样本量计算到实验评估的完整流程，这也是 A/B 测试、实验管理与数据可信层工程中最日常的实战技能。

岗位关联

学会统计显著性与 MDE，你将能从“看数据”进阶到“设计可靠的实验”，在算法迭代、产品上线和平台建设中用科学方法下结论，避免业务被随机噪声带偏。这是数据科学家与算法工程师最核心的量化判断力之一。

目录
  1. 可视化演示
  2. 假设检验基础
  3. 两类错误辨析
  4. 统计功效Power
  5. MDE核心概念
  6. 样本量计算
  7. 实验设计实践
  8. 工程落地案例
  9. AI 应用场景
  10. Python 演示
  11. 常见误区
  12. 面试题

可视化演示

本节配有交互动效（进入视口后自动加载，约 3KB）。

假设检验基础

小明把新配方拿给 20 位老顾客试喝，13 人说好。他很兴奋，但店长提醒他：“说不定是这 13 位顾客今天心情好呢？”小明陷入沉思：如果新配方真的没变化，纯靠运气出现 13:7 的可能性有多大？统计学家把这个问题拆成两个对立的假设：原假设 H₀ 认为新旧配方好评率相同，备择假设 H₁ 认为新配方更好。试喝实验的全部任务，就是判断数据更支持哪一个。

检验的第一步，是把“13:7“这样的原始数据压缩成一个数字——检验统计量。它像一台收音机的信噪比：分子是两组好评率的差异（信号），分母是随机波动的大小（噪声）。差异越大、噪声越小，这台收音机就越能听清”新配方确实更好”的声音。

算完 z 之后，还要看 p 值：它假设“原假设为真”时，纯靠运气出现当前这么极端甚至更极端结果的概率。小明给自己定下规矩：只有当 p 小于预先设定的显著性水平 α=0.05 时，他才承认新配方有效——这等于说：“我接受被运气骗 5% 的风险。” 从此，每次试喝测评都像一场法庭审判：数据是证人，α 是法官事先声明的误判容忍度。

z=xˉA−xˉBsA2nA+sB2nBz = \frac{\bar{x}_A - \bar{x}_B}{\sqrt{\displaystyle\frac{s_A^2}{n_A} + \frac{s_B^2}{n_B}}}
这个 z 值衡量“两组差异”相对于“随机误差”有多突出。z 越大，越不像运气。
  1. 分子（组间差异）两组样本均值的差值 $\bar{x}_A - \bar{x}_B$，代表实验中观察到的原始效果；差值越大，说明新配方带来的改进越明显。
    xˉA−xˉB\bar{x}_A - \bar{x}_B
  2. 分母内部（方差贡献）$s_A^2/n_A$ 和 $s_B^2/n_B$ 分别衡量 A、B 两组各自的平均数有多不稳定——顾客口味越飘忽，这个值越大。
    sA2nA+sB2nB\frac{s_A^2}{n_A} + \frac{s_B^2}{n_B}
  3. 分母（标准误 SE）对内层求和再开方，得到均值差的标准误，它是“随机运气”的典型尺度。
    SE=sA2nA+sB2nB\mathrm{SE} = \sqrt{\frac{s_A^2}{n_A} + \frac{s_B^2}{n_B}}
  4. z 统计量信号除以误差，z 越大说明差异越不可能是随机波动，而是真实信号。
    z=信号噪声z = \frac{\text{信号}}{\text{噪声}}

两类错误辨析

新配方上不上线，小明有四种可能的结局，其中两种会让他后悔。第一种后悔：新配方其实和旧配方一样难喝，但试喝数据“碰巧”让他误判为更好，于是他兴冲冲换配方、花大钱做推广，结果销量没涨反跌——这叫第一类错误，犯错的概率记为 α。第二种后悔：新配方其实真的更好喝，但试喝顾客太少，数据不够“显著”，他误以为没有效果，错过了爆款——这叫第二类错误，概率记为 β。

这两类错误就像安检系统的两种毛病：α 是“误报”，把没带危险品的人拦下来；β 是“漏报”，让真危险品溜过去。你永远无法同时消灭两者，只能根据代价调整天平。对小明来说，误报的代价是白花钱，漏报的代价是丢掉一个好配方——如果新品研发成本高，他更该压低 β。

回到小明的决策：行业惯例把 α 定为 0.05、把 β 定为 0.20，即允许 5% 的误报率、20% 的漏检率。为什么 β 可以比 α 大？因为漏掉一次改进还可以下次再测，而误报一次错误结论可能要付出真金白银的代价。理解了这个跷跷板，才能真正看懂后面所有公式里“1.96“和”0.84”这两个神秘数字的来历。

α=P(拒绝H0∣H0为真),β=P(不拒绝H0∣H1为真)\alpha = P(\text{拒绝}H_0 \mid H_0 \text{为真}), \qquad \beta = P(\text{不拒绝}H_0 \mid H_1 \text{为真})
α 是“虚惊一场”的概率，β 是“错失良机”的概率。两者此消彼长。
  1. 第一类错误 α在原假设 H₀ 确实为真的条件下，我们错误地拒绝了 H₀。在奶茶故事里，就是“新配方并没有更好，却被判成有效”。
    α=P(拒绝H0∣H0为真)\alpha = P(\text{拒绝}H_0 \mid H_0 \text{为真})
  2. 第二类错误 β在备择假设 H₁ 确实为真的条件下，我们没能拒绝 H₀。在奶茶故事里，就是“新配方真的更好，却被判成无效”。
    β=P(不拒绝H0∣H1为真)\beta = P(\text{不拒绝}H_0 \mid H_1 \text{为真})
  3. 两者关系α 定得越严（比如 0.01），拒绝 H₀ 越困难，β 反而越大；α 放宽则 β 变小，功效上升。
    α↑⇒β↓\alpha \uparrow \Rightarrow \beta \downarrow

统计功效Power

试喝实验做了三轮，小明发现每次结果都不同：第一次 58:42，第二次 51:49，第三次 55:45。他开始担心：就算新配方真的有效，我这套测评方法到底有多大把握能把它抓出来？这个“把握”就是统计功效（Power）——它等于 1-β，也就是“当真实效应存在时，实验能正确发现它的概率”。功效像渔网的网眼：网眼越大，漏掉的鱼越多；网眼越密，捞上真鱼的概率越高。

功效不是凭空想象的，它由四个因素决定：真实效应大小 δ、样本量 n、指标波动 σ、显著性水平 α。效应越真实、样本越多、噪声越小，功效自然越高。行业里约定俗成把功效做到 80% 才算“合格实验”，相当于要求渔网至少能捞起八成的真鱼。

小明可以这样理解：λ 是他耳朵里“真实改进”信号的音量，1.96 是决定“算不算听见”的阈值。音量高于阈值越多，他听清真正改进的把握就越大。这也是为什么样本量 n 一增加，Power 就肉眼可见地上升——因为 λ 与 $\sqrt{n}$ 成正比，信号越积越强。

Power=1−β=Φ ⁣(δnσ2−z1−α/2)\mathrm{Power} = 1 - \beta = \Phi\!\left( \frac{\delta \sqrt{n}}{\sigma \sqrt{2}} - z_{1-\alpha/2} \right)
功效公式把“发现真实差异的把握”变成了可计算的值。括号里的数越大，功效越接近 1。
  1. 非中心参数 λ分子 $\delta\sqrt{n}$ 是“真实差异”随样本量积累的信号强度，分母 $\sigma\sqrt{2}$ 是两组噪声合并后的尺度，λ 就是信噪比。
    λ=δnσ2\lambda = \frac{\delta \sqrt{n}}{\sigma \sqrt{2}}
  2. 临界分位点$z_{1-\alpha/2}$ 是标准正态分布右侧面积为 $\alpha/2$ 的临界值，α=0.05 时它等于 1.96，它是“误报线”的位置。
    z1−α/2=1.96(α=0.05)z_{1-\alpha/2} = 1.96 \quad (\alpha = 0.05)
  3. 累积分布 Φ把“信噪比减去临界值”的结果代入标准正态累积分布函数，得到的概率就是功效。
    Φ(λ−z1−α/2)=Power\Phi(\lambda - z_{1-\alpha/2}) = \mathrm{Power}

MDE核心概念

小明终于明白：实验不是“看结果猜真相”，而是一把有刻度的尺子。尺子有最小刻度，比如量身高用的卷尺最小能读到 1 毫米；实验也有自己的最小刻度，叫做最小可检测效应（MDE, Minimum Detectable Effect）。MDE 的定义是：在给定样本量、显著性水平 α 和功效要求 1-β 的条件下，实验能可靠检测到的最小真实效应量。小于这个刻度的差异，实验基本“看不见”。

对小明来说，MDE 有非常实际的含义：如果新配方只能让好评率提高 0.5 个百分点，而他的实验 MDE 是 1 个百分点，那么就算新配方真的更好，实验大概率也会给出“不显著”的结论——不是配方不行，而是尺子不够精细。反过来，MDE 定得越小，需要的样本就越多，实验成本越高。所以 MDE 是实验设计阶段第一个要拍板的数字。

MDE 是实验的“视力表”：视力越好的人能看清越小的字，样本越多、噪声越小的实验能检出越小的效应。反过来，如果小明只请得起 500 位顾客，MDE 算出来是 3 个百分点，那他就该明白：这个实验根本没能力判断 1% 的微小改进，要么接受“只能发现大改进”，要么追加试喝预算。

δmin⁡=(z1−α/2+z1−β)⋅σ2n\delta_{\min} = \left( z_{1-\alpha/2} + z_{1-\beta} \right) \cdot \frac{\sigma \sqrt{2}}{\sqrt{n}}
MDE 由三件事决定：误报容忍度 α、漏检容忍度 β、样本量 n 和噪声 σ。它是实验精度的“出厂规格”。
  1. 两个 z 分位点$z_{1-\alpha/2}$ 对应误报线（1.96），$z_{1-\beta}$ 对应功效要求（功效 80% 时约 0.84），两者相加构成“总可靠性系数”。
    z1−α/2+z1−β=1.96+0.84=2.80z_{1-\alpha/2} + z_{1-\beta} = 1.96 + 0.84 = 2.80
  2. 噪声尺度$\sigma \sqrt{2} / \sqrt{n}$ 是两组均值之差的标准误，它描述实验本身的“晃动幅度”。
    σ2n=SE(xˉA−xˉB)\frac{\sigma \sqrt{2}}{\sqrt{n}} = \mathrm{SE}(\bar{x}_A - \bar{x}_B)
  3. 乘积即最小刻度可靠性系数乘以标准误，得到“与真实零差异区分开”所需的最小效应量。
    δmin⁡=2.80×SE\delta_{\min} = 2.80 \times \mathrm{SE}

样本量计算

设计试喝实验时，小明面临一个现实问题：请一位顾客试喝要送一杯奶茶，成本不低。他必须算清楚：要达到想要的精度，最少需要请多少人？方法很简单——先把业务目标翻译成 MDE。比如老板说“好评率提升 1 个百分点才值得换配方”，那么 δ=0.01 就是必须抓住的效应；再定下 α=0.05、功效 80% 的要求，剩下的就是解方程。

样本量公式是 MDE 公式的逆运算，它揭示了几个重要的直觉：MDE 缩小一半，样本量要变成原来的 4 倍；指标方差 σ² 越大，需要的样本越多；要求越严格（α、β 越小），样本量越大。这就是为什么大厂做 A/B 测试时，动辄要跑几万甚至几十万用户——他们要检测的转化率提升常常只有零点几个百分点。

算完这个数的第一天，小明有了新的敬畏：想发现 1% 的好评率提升，他需要约 25000 位顾客每人喝一杯奶茶——这足够让他的小店排队一个月。于是他学会了一个重要权衡：实验精度是奢侈品。与其盲目追求小 MDE，不如先想清楚“多大改进才值得我改变配方”，再用这个业务判断去反推样本预算。

n=2σ2(z1−α/2+z1−β)2δ2n = \frac{2\sigma^2 \left( z_{1-\alpha/2} + z_{1-\beta} \right)^2}{\delta^2}
样本量与 MDE 的平方成反比：想把检测精度提高一倍，成本要变成四倍。
  1. 分子（可靠性 × 方差）$2\sigma^2$ 是两组合并噪声，$(z_{1-\alpha/2}+z_{1-\beta})^2$ 是可靠性系数的平方，两者越大，所需样本越多。
    2σ2⋅(z1−α/2+z1−β)22\sigma^2 \cdot (z_{1-\alpha/2} + z_{1-\beta})^2
  2. 分母（效应平方）$\delta^2$ 是目标 MDE 的平方。效应越小越难检测，样本量随 $\delta^2$ 反比增长。
    δ2\delta^2
  3. 整体含义n 是每组需要的样本量，不是两组之和。换算到两组就是 2n 名顾客参与试喝。
    n每组=2σ2(z1−α/2+z1−β)2δ2n_{\text{每组}} = \frac{2\sigma^2(z_{1-\alpha/2}+z_{1-\beta})^2}{\delta^2}

实验设计实践

有了样本量和 MDE 的计算方法，小明以为万事大吉，结果店长又泼了盆冷水：“你让老顾客试喝新配方，他们知道这是你研发的，不好意思说难喝怎么办？” 这就是实验设计要解决的偏差问题。一个可靠的实验，不仅要有足够的样本，还要保证数据干净：顾客要随机分配到 A 组（老配方）和 B 组（新配方），不能自己挑；最好用匿名盲测，避免心理暗示；实验时长要覆盖工作日和周末，避免时段差异。

设计实验时，第一步是明确指标和效应量。指标要选能反映业务目标的“北极星指标”，比如好评率、复购率；效应量则是标准化后的差异，它把“真实差异”除以“波动程度”，方便跨业务比较。Cohen's d 是最常用的效应量，它让小明可以回答：“新配方相对于顾客口味的波动，到底领先了几个身位？”

设计阶段还有一个标准动作叫 AA 测试：在正式实验开始前，把用户随机分成两组，但两组都发老配方，验证分流是否均匀。如果 AA 测试就出现“显著差异”，说明分流系统有偏差，实验结论也不可信。小明最终定下的实验方案是：随机分流 50000 名顾客，A 组老配方、B 组新配方，匿名盲测 14 天，先跑 3 天 AA 测试确认分流均匀。这一切，都是为了保证最后算出的 p 值和 MDE 是可信的。

d=∣μA−μB∣σd = \frac{|\mu_A - \mu_B|}{\sigma}
效应量 d 是“差异除以波动”的标准化比值，它把抽象的百分数差异变成可比较的尺度。
  1. 分子（真实差异）$|\mu_A - \mu_B|$ 是两组总体均值的绝对差，代表抛开采样误差之后的真实差距。
    ∣μA−μB∣|\mu_A - \mu_B|
  2. 分母（波动尺度）$\sigma$ 是单个顾客评价的标准差，描述个体口味的分歧程度。
    σ\sigma
  3. 标准化意义d=0.5 表示差异是半个标准差，这是中等效应；d 越大，同等样本量下越容易检出显著差异。
    d>0.5⇒更易显著d > 0.5 \Rightarrow \text{更易显著}

工程落地案例

小明的奶茶店越开越多，他自己忙不过来，于是把“试喝实验”的整套方法做成了一个中央实验系统，接入所有门店的会员数据。这套系统背后的支撑，正是“数据可信层”——它统一了各门店的指标口径：什么是“好评”、怎么算“复购”、哪些用户算“有效样本”，全部由中央平台定义和清洗，保证实验数据不是各说各话的烂账。

实验平台的建设让统计知识变成了工程能力。业务方在平台里发起实验时，只需要填写三个数：当前转化率基线、期望检测的 MDE、可接受的 α 和功效。平台自动调用样本量计算器，给出每组需要的样本量和预计实验天数；实验进行中，平台实时监控显著性走势，并自动标记流量不均、数据缺失等异常。实验结束后，平台一并输出 p 值、效应量、置信区间和 MDE 对比，避免只看单一 p 值下结论。

在 MLOps 场景里，这套方法同样关键。算法工程师训练出一个新推荐模型，离线指标涨了 0.3 个百分点，能直接上线吗？严谨的做法是先做线上分流实验，用显著性检验判断提升是否可信。如果实验 MDE 是 1 个百分点，而离线提升只有 0.3，就应该先增加样本量再评估。数据可信层、实验平台和 MLOps 流水线就此打通：模型迭代的每一步，都建立在“能分辨真实改进与随机波动”的可靠地基上。

AI 应用场景

实验管理平台的样本量与MDE预估

阶段：实验设计

解决的问题：产品经理在实验平台发起 A/B 测试时，常常不知道要跑多久、要多少流量。传统做法是“先跑两周看看”，样本不足导致功效低下，经常得到“不显著”的无效结论。实验平台内置 MDE 和样本量计算器后，业务方在实验前就能知道：以当前日均流量，检出预期提升需要跑多少天；或者以 14 天为限，最大能检出多大效应。

具体案例：某电商平台要把首页改版，预期转化率提升 0.5 个百分点。平台自动计算：基线转化率 8%、α=0.05、功效 80% 时，每组需要约 22 万用户。流量不够，平台建议要么延长实验周期，要么接受更大的 MDE，要么更换更敏感的指标。方案透明，决策前置。

增长策略的多版本效果评估

阶段：实验评估

解决的问题：增长团队同时上线三个推送文案版本，每个版本都看点击率。传统方式“哪个数字高选哪个”会被随机波动欺骗。用显著性检验评估后，只有通过 p 值标准和功效要求的版本才被确认有效。

具体案例：美团式的本地生活平台对 30 万用户分三组推送不同促销文案，点击率分别为 3.1%、3.3%、3.4%。显著性检验显示：3.4% 与 3.1% 的差异 p=0.03 显著，而 3.2% vs 3.1% 差异不显著。最终只全量上线效果最确认的文案，避免把运气当能力。

MLOps中的模型线上效果验证

阶段：模型评估与监控

解决的问题：新模型离线 AUC 提升 0.002，但线上真实效果未知。直接把离线提升当成线上收益，是 MLOps 最常见的翻车点。用线上分流实验配合显著性检验，可以在可控风险内验证模型是否真实优于旧版本。

具体案例：某推荐系统团队对新排序模型做 5% 流量的小流量实验，14 天后收集人均点击数据。检验发现人均点击提升 1.2%，p=0.04，功效达到 82%，且 MDE 为 0.8 个百分点，说明本次实验足以分辨这次提升。于是逐步放量至 50% 并从模型仓库中晋升该版本。

Python 演示

python47 行
import math def norm_cdf(x):    return 0.5 * (1 + math.erf(x / math.sqrt(2))) def norm_ppf(p, lo=-10, hi=10):    for _ in range(100):        mid = (lo + hi) / 2        if norm_cdf(mid) < p:            lo = mid        else:            hi = mid    return (lo + hi) / 2 def z_power(p0, p1, n, alpha=0.05):    pbar = (p0 + p1) / 2    se = math.sqrt(2 * pbar * (1 - pbar) / n)    lam = abs(p1 - p0) / se    zc = norm_ppf(1 - alpha / 2)    return 1 - norm_cdf(zc - lam) def mde(n, alpha=0.05, beta=0.2, p0=0.2):    zc = norm_ppf(1 - alpha / 2)    zb = norm_ppf(1 - beta)    se = math.sqrt(2 * p0 * (1 - p0) / n)    return (zc + zb) * se def sample_size(delta, alpha=0.05, beta=0.2, p0=0.2):    zc = norm_ppf(1 - alpha / 2)    zb = norm_ppf(1 - beta)    return math.ceil(2 * p0 * (1 - p0) * (zc + zb) ** 2 / delta ** 2) def main():    p0, p1 = 0.20, 0.21    n = 12000    power = z_power(p0, p1, n)    md = mde(n, p0=p0)    need = sample_size(0.01, p0=p0)    print("基线转化率:", p0)    print("实验组转化率:", p1)    print("每组样本量:", n)    print("检验功效:", round(power, 4))    print("该样本量下MDE:", round(md, 4))    print("检出1pp提升所需每组样本量:", need) if __name__ == "__main__":    main()
目的：一个两比例 z 检验的工具包，包含功效计算、MDE 计算和样本量反推三个函数，直接对应当前文章的核心公式。
  1. import mathPython 标准库即可，无需第三方依赖，用 math.erf 实现标准正态累积分布。
  2. def norm_cdf(x)用误差函数计算 Φ(x)，所有后续概率计算的基础。
  3. def norm_ppf(p, lo=-10, hi=10)用二分法反解标准正态分位数，得到 1.96、0.84 等关键数值。
  4. pbar = (p0 + p1) / 2合并两组转化率得到合并比例，用于计算标准误。
  5. lam = abs(p1 - p0) / se信噪比 λ，真实差异除以标准误，等效于公式中的 $\delta\sqrt{n}/(\sigma\sqrt{2})$。
  6. return 1 - norm_cdf(zc - lam)功效近似等于“真实分布下统计量超过拒绝域”的概率。
  7. se = math.sqrt(2 * p0 * (1 - p0) / n)两比例之差的标准误，当两组合并比例接近 p0 时成立。
  8. return (zc + zb) * seMDE 公式：可靠性系数乘以标准误。
  9. return math.ceil(...)样本量必须向上取整，保证至少达到要求的功效。
  10. if __name__ == "__main__":可执行入口，直接运行即可看到业务示例的完整输出。

常见误区

误区p=0.03 说明“新配方有 97% 的概率是有效的”，所以 p 值越小组间差异越真实。

正解p 值的准确定义是“在原假设为真的前提下，出现当前或更极端数据的概率”。它回答的是“如果新旧配方没有区别，看到这种数据的可能性有多大”，而不是“新配方有效的概率有多大”。就像小明看到 13:7 的试喝结果，p 值说的是“假设新配方没效果，纯靠运气投出这个票差的概率”，而非“新配方有效的概率”。要得到后者需要贝叶斯框架和先验信息，不是频率学派 p 值能给的。

为何常见：“1 - p“看起来像是概率补集，直觉上很容易把”数据极端概率“误解为”假设为真的概率”。

误区MDE 是实验精度的象征，MDE 越小说明实验越厉害，所以设计实验时要把 MDE 定得尽可能小。

正解MDE 和样本量是平方反比关系：MDE 减半，样本量要翻 4 倍。在真实业务里，流量和实验时间都是昂贵资源。正确做法是先问业务：“多大提升才值得上线？”如果新配方只需提升 1 个百分点就值回研发成本，那就把 MDE 定为 1%，再反推样本量。把 MDE 定得过小，等于要求“用买一辆车的钱去买一杯奶茶”，属于设计上的资源浪费。

为何常见：人们习惯性认为“精度越高越好”，没有意识到统计精度是有价签的，且边际成本增长极快。

误区A/B 测试出结果了，p=0.12 > 0.05，结论是“新配方无效”，可以安心下线了。

正解“不拒绝 H₀”不等于“H₀ 为真”，尤其当功效不足时，真实效应可能被噪声淹没。p=0.12 只能说明本次实验的证据不足以证明有效，可能是真的没效果，也可能是样本太少、MDE 太大。正确做法是检查功效：如果功效只有 30%，那这个实验设计根本就没能力发现小效应，应该补充样本量后重新实验，而不是直接判死刑。

为何常见：人们把“没有显著证据”等同于“证据证明没有”，忽略了第二类错误的存在。

误区实验样本越多越可靠，所以把实验无限期跑下去，直到 p 值显著为止，或者一次性申请超大流量。

正解样本量超过需求会付出三重代价：流量成本浪费、迭代速度变慢、长期实验引入“新奇效应”和“时段漂移”——用户对新功能的新鲜感消退、节假日分布变化都会污染结论。此外，多次查看 p 值并“等到显著再停”会让第一类错误率膨胀（这被称为偷看问题）。正确做法是实验前算好样本量，期间只做计划内的中途检查（如 AA 验证），到点按计划收数。

为何常见：肉眼可见样本多分布更稳定，但忽略了实验资源的机会成本和重复检验对错误率的侵蚀。

面试题

Q1. 关于p值的含义，下列说法正确的是：

单选题 · easy

  • A.原假设为真时出现更极端结果的概率← 正确答案
  • B.备择假设为真时出现当前结果的概率
  • C.实验结论本身犯错的概率大小
  • D.检验效应量数值的绝对值大小

答案：A。p 值定义在原假设框架下，它衡量“假设没有差异时，看到当前或更极端数据”的概率。选项 B 是 p 值最常见的误读，选项 C 混淆了 p 值与 1-α 的错误率，选项 D 则把 p 值当成了效应大小。

Q2. 在A/B测试中，第一类错误指的是：

单选题 · easy

  • A.将真实差异误判成随机波动的错误
  • B.将随机波动误判成显著差异的错误← 正确答案
  • C.样本量不足导致功效低下的问题
  • D.实验期间用户行为被干扰的问题

答案：B。第一类错误是“虚惊一场”：实际没有差异，却判定为有差异，概率为 α。选项 A 描述的是第二类错误（漏检，概率 β）；C 和 D 属于实验设计问题而非假设检验的错误类型。

Q3. 第二类错误β与统计功效Power的关系是：

单选题 · mid

  • A.Power = 1 - β← 正确答案
  • B.Power = 1 + β
  • C.Power = α + β
  • D.Power = β / α

答案：A。功效定义为真实效应存在时正确拒绝 H₀ 的概率，即 Power = 1 - β。它代表实验“抓真鱼”的能力，β 是漏检率。选项 C 混淆了两种错误率，D 没有统计含义。

Q4. 在其他条件不变时，每组样本量n增大到原来的4倍，均值差标准误的变化是：

单选题 · mid

  • A.减小到原来的一半← 正确答案
  • B.增大到原来的两倍
  • C.减小到原来的四分之一
  • D.保持不变

答案：A。标准误与 $\sqrt{n}$ 成反比，n×4 则 SE×1/2。以 z 检验为例，SE = σ√(2/n)，所以 n 增大 4 倍，SE 减半，检验灵敏度显著提高。

Q5. 下列措施中能够提高统计功效的有：

多选题 · mid

  • A.增加每组样本量← 正确答案
  • B.降低显著性水平α
  • C.减小指标的波动方差← 正确答案
  • D.扩大实验组与对照组的真实差异← 正确答案

答案：ACD。功效 = Φ(δ√n/(σ√2) - z_{1-α/2})。增加 n、减小 σ、扩大 δ 都直接提高括号内的信噪比；而降低 α 会让临界值 z_{1-α/2} 变大，功效反而下降。B 是干扰项。

Q6. 实验得到p=0.06，业务方仍然想上线新版本，从统计角度看最合理的做法是：

单选题 · hard

  • A.说明新版本一定无效，不能上线
  • B.扩大样本量后二次检验，重新评估显著性← 正确答案
  • C.直接上线并继续观察，用上线后数据证明效果
  • D.改用单侧检验或换个指标，直到p值小于0.05

答案：B。p=0.06 表示证据不足，不能下结论说有效或无效。B 是规范做法：重新计算所需样本量并补足数据。A 犯了“不显著=无效”的误区；C 把在线决策当成实验，缺少对照组；D 属于 p-hacking，会大幅抬高第一类错误率。

Q7. MDE（最小可检测效应）是指实验在给定条件下：

单选题 · easy

  • A.能够检测到的最大的效应值
  • B.能够检测到的最小的效应值← 正确答案
  • C.样本量需求的最小值
  • D.用户流失率的最大允许值

答案：B。MDE 是给定 α、β 和样本量时，实验能可靠检出的最小真实效应。小于 MDE 的差异会被噪声淹没。C 混淆了 MDE 与样本量的因果关系，样本量是根据 MDE 反推出来的。

Q8. 影响MDE大小的主要因素包括：

多选题 · mid

  • A.每组样本量n← 正确答案
  • B.指标标准差σ← 正确答案
  • C.显著性水平α与功效要求← 正确答案
  • D.实验上线的具体时间段

答案：ABC。MDE = (z_{1-α/2} + z_{1-β})·σ√2/√n，n、σ、α、β 都直接出现在公式中。实验时间段会影响样本收集的外部效度，但不改变 MDE 的数学表达式，D 属于实验设计范畴而非 MDE 的决定因素。

Q9. 已知α=0.05、功效要求80%、标准差σ=0.4，希望检出δ=0.02的评价分差异，每组需要的样本量约为：

单选题 · hard

  • A.约6280人← 正确答案
  • B.约3139人
  • C.约12541人
  • D.约1500人

答案：A。n = 2σ²(z_{1-α/2}+z_{1-β})²/δ²，代入 σ=0.4、z_{1.96}+z_{0.84}=2.80、δ=0.02：2×0.16×2.80²/0.02² ≈ 6272，约为 6280。其他选项要么漏乘系数 2，要么对公式记忆错误。

Q10. 关于“p<0.05且功效足够高”的实验结论，下列说法正确的有：

多选题 · extreme

  • A.功效够高说明第二类错误风险已被控制← 正确答案
  • B.显著结果需结合效应量和置信区间解释← 正确答案
  • C.功效够高可以替代p值作为唯一判定依据
  • D.显著性与功效共同保证结论更可靠← 正确答案

答案：ABD。功效 = 1-β，功效足够高意味着若真实效应存在，本次实验大概率能发现它，配合 p<0.05 就同时控制了误报和漏检两类风险。显著性只回答“有没有差异”，效应量回答“差异多大”，两者互补。C 错误：功效衡量检测能力，不能取代对当前证据显著性的判断。