实验设计基石：样本量与功效分析

可视化演示

展示统计功效如何随样本量增长、效应量大小的关系，以及第一类与第二类错误的权衡决策。

统计功效概念

质检员小王面对两筐苹果，她拟定了抽查方案：随机挑 30 个苹果尝。但她心里打鼓：“如果右边那筐真的更甜，我这 30 个苹果的方案，到底能不能把这个差异尝出来？” 这种“方案查出真相的能力”在统计学中有一个响亮的名字——统计功效（Statistical Power）。功效不是玄学，而是一个可以计算、可以设定的硬指标，它决定了你的实验是“睁眼瞎”还是“火眼金睛”。

统计功效建立在假设检验的语境之上。实验前我们提出两个假设：原假设 $H_0$ 声称“两组没有差异”，备择假设 $H_1$ 声称“两组有差异”。判断过程可能犯两类错误：第一类错误是“冤枉好人”，两组明明没差异，你却宣称有差异，记为 $\alpha$；第二类错误是“放走坏人”，两组确实有差异，你却宣称没差异，记为 $\beta$。统计功效，正是“不放过坏人”的概率：

回到苹果场景：如果小王的抽查方案只有 0.3 的功效，意味着两筐苹果明明甜度不同，她有七成概率会给出“没区别”的错误结论，这样的实验做了等于白做。功效 0.8 是一道分水岭：低于它，实验结论像靠抛硬币；达到它，才算一份拿得出手的证据。

效应量计算

小王现在知道自己的方案需要 0.8 的功效，但她很快发现一个更基本的问题：两筐苹果到底“差多少”？如果左边是甜橙味，右边是酸柠檬味，尝一个就能分辨；如果只是甜度差 0.1 个单位，可能要尝几百个才有把握。这个“差异的大小程度”，就是效应量（Effect Size）。统计学将它与数据的波动性放在一起比，得出了一个无量纲的标准化指标——Cohen's d。

效应量把“均值差”换算成“标准差的倍数”，公式如下：

其中 $\mu_1 - \mu_2$ 是两组均值之差，$\sigma$ 是总体的标准差（实践中用合并标准差 $s_{pooled}$ 估计）。

Cohens 的直觉标准是：$d=0.2$ 为小效应（苹果甜度几乎无法靠舌头分辨），$d=0.5$ 为中等效应（能尝出“这个更甜”，但不强烈），$d=0.8$ 为大效应（清爽的酸甜对比，一口便知）。在 A/B 测试中，点击率提升 0.5% 常被当作小效应，而教育干预使考试分数提升 0.5 个标准差则是中等效应。效应量不是冰冷的数学，而是你手里那颗苹果“差异的浓度”。

样本量公式

小王此刻手握三张牌：功效 0.8、显著性水平 $\alpha=0.05$、以及预估的效应量。她终于要回答最初那个问题——“到底该尝多少个苹果？” 统计学家帮她把答案直接写成了解析公式。对于两组均值比较实验，每组所需样本量 $n$ 为：

其中 $\delta = \mu_1 - \mu_2$ 是两组均值差，$\sigma^2$ 是组内方差，$Z$ 是对应分位点的标准正态临界值。

代入数值体验一下：设 $\sigma=1$、$\delta=0.4$、$\alpha=0.05$、功效 0.8，则每组约需 $2 \times (1.96+0.84)^2 / 0.16 \approx 98$ 个样本。如果把效应量降到 0.2，样本量会飙升到近 400——差异越微弱，需要的证据越多。这就是为什么成熟的实验团队从不拍脑袋定样本量，而是先用公式算清楚。

错误控制

把显著性水平定成多少，相当于给质检流程设定了“误杀红线”。小王如果规定“只要有一丝酸味嫌疑就判不合格”，那么 $\alpha$ 会很高，好苹果大量被冤枉；如果规定“必须铁证如山才能判定”，$\alpha$ 很低，但坏苹果也容易漏网。这就是 $\alpha$ 与 $\beta$ 之间的拉扯。统计学中，检验的严肃性由 $\alpha$ 把关，检测的灵敏度由 $1-\beta$ 守护。

另一个隐蔽但关键的决策是单侧与双侧检验。如果我们只关心“新方案是否更好”，用单侧检验，$\alpha$ 集中在尾巴一侧，$Z$ 临界值从 1.96 变为 1.645，样本量随之变小；如果我们只想证明“有差异，不论方向”，就用双侧检验，$\alpha$ 平分到左右两个尾巴。注意，单侧必须在实验开始前锁定，看到数据再改方向，相当于替自己开后门，会让第一类错误率膨胀。

参数权衡

小王算完样本量后犯难了：98 个苹果？车间一天的产量才 50 个，实验要跑两天，可批发商明天就来收货。“预算约束”逼着她重新审视四个参数——显著性 $\alpha$、功效 $1-\beta$、效应量 $d$、样本量 $n$——它们就像跷跷板的两端，压低一端必然抬高另一端。降低 $\alpha$ 会让 $n$ 变大；降低功效目标会让 $n$ 变小；效应量记得不准，整个计算都会偏。

遇到预算卡壳时有几条务实的退路：一是用前期数据或行业基准更精准地估计效应量，减少浪费；二是接受稍高的 $\alpha$（比如 0.1）换取可行性；三是把功效从 0.8 降到 0.7，明确告知利益相关方“检出能力打了个折扣”。还有一类更常见的场景——比例估计（如调查用户满意度），对应的样本量公式为：

其中 $p$ 是预估的总体比例，$E$ 是允许的误差范围（精度）。

这节的核心心法是：样本量的尽头不是精确的数学，而是资源的艺术。优秀实验设计者会像老练的采购员一样，在“科学严谨”与“成本可行”之间找到一个让各方都接受的平衡点。

A/B测试实战

让我们把质检场景搬进互联网。产品经理小林想验证“新版首页是否提升注册转化率”。他的苹果变成了用户流量，他的舌头变成了统计检验。按照学过的流程，他先确定核心指标——注册转化率从 3.0% 提升到 3.3%，这是 0.3% 的提升，折合效应量 $d \approx 0.1$ 的小效应；然后设定 $\alpha=0.05$、功效 $0.8$，代入公式算得每组需要约 1.6 万用户；最后他需要确认一个工程问题——实验要跑多少天？

流量分配与运行时长是 A/B 测试落地时绕不开的计算。设网站每日访问量为 $V$，实验流量占比为 $r$（例如 50% 用户进入实验），则每天每组能分到 $V \times r / 2$ 个用户，达到每组样本量 $n$ 所需的天数为：

林经理代入数字：$n=16000$、$V=100000$、$r=0.5$，得到 $T = 32000 / 50000 = 0.64$ 天。但别急着开香槟——这个数字建立在完美随机分流的理想假设上，真实世界还要考虑周末流量波动、新老用户差异、学习效应等因素。稳妥的做法是预留 20% 冗余时间，并在实验上线后第 3 天做一次"基线检查：两个组的流量是否均衡、指标是否异常。至此，从统计功效到效应量，从公式推演到流量预算，一条完整的实验设计链路就此打通。

## AI应用场景 ### 产品A/B测试排期 - **AI流程阶段**：实验设计（Experiment Design）- **解决的问题**：以往产品经理常常"上线跑两周看结果"，导致样本严重过剩或不足——样本过剩浪费流量红利，不足则结论不可靠。利用样本量计算，在改动上线前就能根据预估效应量算出最小样本量与运行天数，让每一次产品迭代都有明确的实验周期和统计底气。- **具体案例**：某内容 App 想验证"推荐算法 v2 是否提升人均时长"。历史数据显示人均时长均值 12 分钟、标准差 4 分钟，预期提升 3% 即 0.36 分钟，得效应量 $d=0.09$。设定 $\alpha=0.05$、功效 0.8，算得每组约需 7700 用户；按日活 50 万、50% 流量进入实验计算，$T \approx 0.06$ 天，但考虑新老用户分层，最终排期 3 天完成实验。- **相关职业角色**：数据科学家、算法工程师、增长产品经理 ### 临床试验患者入组规划 - **AI流程阶段**：研究方案设计（Study Planning）- **解决的问题**：临床研究招募患者成本极高、周期极长。若入组人数不够，可能等了一年却得到"无统计学差异"的无效结论；若入组过多，则浪费大量受试者暴露在试验风险中。功效分析在方案阶段就精准规划入组人数，同时保护受试者权益。- **具体案例**：某药物二期试验，对照安慰剂，预期血压下降幅度差为 8 mmHg，标准差 15 mmHg，即 $d=0.53$。在 $\alpha=0.05$、功效 0.8 下，算得每组 56 人，共需 112 名患者。申办方据此申请伦理审批、评估招募中心数量，将试验周期控制在 9 个月内。- **相关职业角色**：生物统计师、临床研究科学家、医学总监 ### 用户满意度调研 - **AI流程阶段**：数据采集（Sampling）- **解决的问题**：发问卷时"发得越多越放心"是常见误区。用比例估计样本量公式，可以在调研启动前确定最小回收量，兼顾成本与精度，避免无效的过度发放。- **具体案例**：某电商平台想调查"物流满意度比例"，预估满意率为 85%，希望 95% 置信度、误差 ±2%。代入公式 $n = 1.96^2 \times 0.85 \times 0.15 / 0.02^2 \approx 1224$ 份问卷。因此在短信推送 1800 份（考虑 70% 答复率）即可达成目标，比"群发 1 万份"节约了 5 倍推送成本。- **相关职业角色**：用户研究工程师、数据分析师、市场调研专员

Python 演示

import mathimport numpy as npfrom scipy import stats  def sample_size_mean(delta, sigma=1.0, alpha=0.05, power=0.8):    z_alpha = stats.norm.ppf(1 - alpha / 2)    z_beta = stats.norm.ppf(power)    n = 2 * (z_alpha + z_beta) ** 2 * sigma ** 2 / delta ** 2    return math.ceil(n)  def verify_power(n, delta, sigma=1.0, alpha=0.05, trials=2000):    hits = 0    rng = np.random.default_rng(42)    for _ in range(trials):        ctrl = rng.normal(0, sigma, n)        trt = rng.normal(delta, sigma, n)        t_stat, p_val = stats.ttest_ind(ctrl, trt)        if p_val < alpha:            hits += 1    return hits / trials  if __name__ == "__main__":    d = 0.4    n = sample_size_mean(d)    emp_power = verify_power(n, d)    print(f"每组所需样本量: {n}")    print(f"蒙特卡洛实测功效: {emp_power:.3f}")

1. z_alpha = stats.norm.ppf(1 - alpha / 2)把显著性水平 α=0.05 换算成 Z 临界值 1.96，对应公式中的 $Z_{1-\alpha/2}$。
2. z_beta = stats.norm.ppf(power)把目标功效 0.8 换算成 Z 值 0.84，对应 $Z_{1-\beta}$。
3. n = 2 * (z_alpha + z_beta) ** 2 * sigma ** 2 / delta ** 2原样套用两样本均值比较的样本量公式。
4. rng.normal(delta, sigma, n)生成效应量为 delta 的实验组数据，模拟“真实存在差异”的世界。
5. stats.ttest_ind(ctrl, trt)对两组数据做独立样本 t 检验，返回 p 值。
6. if p_val < alpha: hits += 1计数“成功拒绝原假设”的次数，最终比例就是实测功效。

常见误区

面试题