A/B测试该跑多少样本才够

可视化演示

通过神经网络训练过程展示Dropout正则化如何随机丢弃神经元防止过拟合，对比训练损失与验证损失的变化趋势。

先算账再开饭

你经营一家奶茶店，请了 3 位朋友当试吃员，想判断新配方是否更胜一筹。3 个人的口味天差地别：有人嗜甜、有人怕甜、有人觉得两杯都一样。哪怕新配方确实更好，这点差异也淹没在大家的口味噪声里。反过来，你要是请全城 10 万人来试喝，结论自然无懈可击，但试吃的成本、时间和精力都远远超出收益。办一场实验，最先要回答的问题永远是：到底请多少人才算够？

A/B 测试也是同一道理。我们随机把用户分成两组，一组看旧页面（对照组），一组看新页面（实验组），终极目标是比较两组转化率谁高谁低。但用户的转化行为本身就充满随机性：今天流量恰好来自周末休闲用户，明天恰好赶上大促。如果每组只有几十个人，真实提升会被这层随机噪声盖住，实验就像在嘈杂的集市里听人耳语——什么都听不真切。样本量太少，统计功效（检测出真实效果的概率）不足，真实效果检测不出来；样本量太多，实验拖得久、流量烧得快，还挤占了其他实验的机会。

计算样本量，就是在实验正式开始前做一次“预算规划”。它告诉你：给定可接受的风险和想要的分辨精度，最少需要多少用户才能把信号从噪声里拎出来。这不仅是数学题，更是实验科学的地基——地基没打好，后面跑得再热闹也是白搭。一家成熟的团队，不会在没算样本量之前就贸然上线实验，因为那等于闭着眼睛投钱。

四个关键参数

在奶茶店试吃之前，你得先把评审规则说清楚：第一，我们能承受“把好配方误判成坏配方”的风险吗？第二，我们希望有多大的把握发现“新配方确实更好”？第三，旧配方的真实水平是什么？第四，新配方要提升多少才值得换？这四个问题，对应着样本量计算的四个关键参数——它们就像是试吃评审团的四项约定，缺一不可。

第一个是显著性水平 α（通常取 0.05），代表“冤枉”的概率——新配方其实不差，却因为随机波动被误判为没有提升。α 越小，评审越严格，需要的试吃者也越多。第二个是统计功效 1-β（通常取 0.8），代表“发现真相”的能力——新配方确实更好时，实验能检出这个差异的概率。第三个是基线转化率 p₁，即当前旧版本的真实转化水平，它是实验的“参照系”，就像试吃前先要知道旧配方的受欢迎程度。第四个是最小可检测效应 MDE（记作 δ），即你心里认为“值得动手改配方”的最小提升幅度——如果新配方只提升 0.1%，根本不值得冒风险换配方，那实验就无需为此准备海量样本。

四个参数环环相扣：α 管误报，1-β 管漏报，p₁ 管参照，δ 管目标。它们共同决定了样本量的量级。任何一个参数拍脑袋乱设，样本量都会跟着跑偏，就像评审规则随意修改，试吃结果自然失去公信力。理解这四个参数，是读懂一切样本量方法的前提。

参数影响规律

评审席的松紧程度直接决定请客人数。假设你把标准收紧：误杀好配方的一点点风险都不想承担（α 从 0.05 降到 0.01）；同时要求 95% 的把握发现真实提升（功效从 0.8 提到 0.95）；还定下“新配方必须提升 1% 才算数”这种苛刻目标（δ 变小）。请的试吃者必然成倍增加。反之，如果你对误判很宽容、只求七成把握、只在乎 5% 以上的大提升，那请少量试吃者就够了。

四个参数对样本量的影响方向可以这样记：α 越小、功效越高、MDE 越小，所需样本越大。其中 MDE 的影响是平方级的——它出现在样本量公式的分母上，MDE 缩小一半，样本量就要扩大 4 倍，这就是实验设计中最容易踩的“平方诅咒”。很多团队把 MDE 设得过于乐观（比如想检测 0.5% 的提升），算出来要跑好几个月，实验根本做不下去——不是样本量公式错了，而是评审标准定得太严。

基线转化率的影响则是“两头小、中间大”：p 越接近 0.5，方差 p(1-p) 越大，样本需求越高；p 靠近 0 或 1 时，转化事件非常稀有或非常普遍，方差变小，样本需求也降低。换句话说，转化率本就五五开的产品最难做实验——就像一群口味极为分散的顾客，你想分辨出细微的配方差异，自然要请更多人。

效应量

在安静的包间里尝味和在嘈杂的大堂里尝味，分辨差异的难度完全不同。同样是“新配方好喝一点点”，如果顾客口味本来就千差万别，你就需要更多人来试吃才能得出可靠结论。效应量的本质，正是把“差异的绝对值”和“个体波动的程度”放在同一把尺子上比较。两组差异哪怕绝对值相同，如果数据本身波动很大，就是“弱效应”，需要更多样本才能看清；反之就是“强效应”。

对于转化率这类 0-1 数据，一种常用的效应量定义是：

效应量的价值在于：它把“10% vs 12%“和”40% vs 42%”这两个看似同等的目标区分开来——前者接近低基数、波动小、易检测；后者接近五五开、波动大、更难检测。理解了效应量，你就能解释为什么有些实验跑一周就有结论，有些实验跑一个月还是没动静——它们的分辨难度本来就不在同一个量级。

计算公式

把四个参数和效应量放进同一个算式里，就得到经典的样本量公式（两组样本相等时）：

实际工作中，当两组转化率接近时，常用更简洁的合并方差近似：

实操流程

定好试吃名单，就能排期开张了。把你的参数代入公式：α=0.05、功效=0.8、基线转化率 p₁=10%、MDE=2%。先用正态分布反函数求 z 值（z_{1-α/2}=1.96，z_{1-β}=0.84），再代入简化公式：n ≈ 2×(1.96+0.84)²×0.11×0.89÷0.02² ≈ 3837。也就是说，每组需要约 3837 个用户，两组总共约 7674 人。

接下来对照你的日流量估算周期。如果产品每天有 1 万流量，按 50% 分流到实验，每组每天得 5000 人，不到 1 天就能跑完；如果每天只有 1000 流量，每组每天 500 人，则需要约 8 天。这一步把抽象的“样本量”翻译成具体的“排期”，让项目经理一看就知道实验要花多久。

最后检查可行性：如果算出来要跑三个月，说明目标太精细或标准太严，需要回调整参数——通常优先放大 MDE（从 1% 放到 2%），或者放宽 α。实践中还可以借助在线样本量计算器（如 Evan Miller 的经典工具）和各类统计平台快速验证。算完、排期、上线、看结果——每一步都有章可循，试吃大会才能开得明明白白。

AI 应用场景

Python 演示

import mathfrom scipy import stats  def calc_sample_size(alpha=0.05, power=0.8, baseline=0.10, mde=0.02):    z_alpha = stats.norm.ppf(1 - alpha / 2)    z_beta = stats.norm.ppf(power)    p1 = baseline    p2 = baseline + mde    p_pool = (p1 + p2) / 2    n = (z_alpha + z_beta) ** 2 * 2 * p_pool * (1 - p_pool) / (mde ** 2)    return math.ceil(n)  def sample_size_summary():    n = calc_sample_size()    print("对照组与实验组每组所需样本量:", n)    print("实验总样本量:", n * 2)  if __name__ == "__main__":    sample_size_summary()

1. z_alpha = stats.norm.ppf(1 - alpha / 2)把显著性水平 α 映射为标准正态分布的临界 z 值，α=0.05 时输出约 1.96
2. z_beta = stats.norm.ppf(power)把统计功效映射为对应的 z 值，功效=0.8 时输出约 0.84
3. p_pool = (p1 + p2) / 2合并两组转化率，得到平均转化率，用于近似计算方差 p̄(1-p̄)
4. n = (z_alpha + z_beta) ** 2 * 2 * p_pool * (1 - p_pool) / (mde ** 2)完整的简化样本量公式，分子是严格程度、分母是信号强度
5. return math.ceil(n)样本量向上取整，保证实际执行时只多不少

常见误区

面试题