做A/B测试前先把实验设计好

可视化演示

展示A/B测试实验设计三大核心：假设检验框架（H0/H1与两类错误）、样本量与统计功效计算、流量分桶与实验周期规划。切换模式查看各维度，拖动滑块调节最小可检测效应（MDE）。

实验设计概述——先画蓝图再动工

换菜单前，成熟的主厨不会直接改动配方，而是先写一份试菜计划：接下来两周，每桌客人随机分到“旧配方桌”和“新配方桌”，记录点单率、剩菜量、回头客数。这份计划就是实验设计。它回答四个问题：要证明什么、拿什么衡量、拿多少人来试、试多久。

A/B 测试本质上是一个受控对比实验：把用户随机分成两组，一组看旧版本（对照组 A），一组看新版本（实验组 B），最后比较两组在目标指标上的差异。实验设计是整个流程的第一步，也是最容易出错的一步——设计错了，后面数据跑得再漂亮，结论也是空中楼阁。

完整的设计包含五个要素：假设设定（原假设与备择假设）、指标选择（主指标与护栏指标）、样本量计算、流量分桶规则、实验周期。这五件事互相牵连：样本量决定需要多少天，分桶比例决定每天能积累多少样本，指标方差决定样本量公式里的 σ²。从统计视角看，实验真正要估计的是两组均值之差 Δ，它的不确定性由两组样本量和方差共同决定。

蓝图里每一个数字都对应餐厅的一个具体决策：要招待多少客人（样本量）、怎么分桌（分桶）、记哪些账（指标）、观察几周（周期）。图画好了，厨房才不会乱。

假设设定——先立一个“无罪的被告”

法律上有“疑罪从无”，实验里也有同样的原则。你想证明新配方更好，但统计检验不会先去证明“它好”，而是先假设“它并没有更好”——这个默认立场叫原假设 H₀；你真正想证明的“新配方更好”叫备择假设 H₁。

为什么非得反着来？因为“证明两者没差别”几乎不可能——差异总归存在，只是大小问题。正确姿势是：假设没差别，然后收集数据，看有没有足够强的证据推翻这个假设。就像法庭上先假设被告无罪，检方拿出证据，证据足够强才能定罪。

技术细节包括单尾/双尾检验：如果只关心“新版是否提升”（单方向），用单尾检验；如果任何方向的差异都算有变化，用双尾检验。检验前还需定显著性水平 α，通常取 0.05，含义是“原假设为真时，我们错误地拒绝它的概率不超过 5%”——允许有 5% 的概率冤枉好人。

先立好“被告”和“举证标准”再开庭。假设定错了方向，后面的实验跑得再精确，也只是在错误的问题上自嗨。

指标选择——点单率还是投诉率？

判断新菜好不好，不能只看客人点没点。有人图新鲜点一次，吃完再也不来；有人嫌上菜慢，但碍于面子没投诉。单一指标永远有盲区，所以指标要分主次、成体系。

主指标是最终拍板的尺子，它必须直接反映业务目标，比如复购率、支付转化率、人均使用时长。护栏指标是“不能跌破的底线”：投诉率、退款率、页面加载延迟、收入。没有护栏，实验可能出现“转化率升了 20%、退款率翻倍”的灾难——看似赢了，实则亏了。

指标还有两个专业属性：口径和灵敏度。口径指指标的定义与埋点规则（什么算一次点击、一次转化算在谁头上），口径不一致，结果不可比；灵敏度指指标对变化的响应程度，太稀疏的指标（比如“百万用户里只有几人触达”）会让实验需要天文数字般的样本量。选定指标后，实验最终靠 z 统计量来判断两组差异是否显著。

好比一份菜谱要同时看“回头客率”（主）和“后厨事故率”（护栏）。指标在实验开始前就白纸黑字定好，实验结束才不会“什么好看就报什么”。

样本量计算——最少要招待多少客人

试菜要招待多少客人？3 个人不够——今天一个客人心情差，就能把评价拉低三成。3 万个人又太多——等测完，季节都换了。样本量是实验设计里最“数学”的一步。

计算样本量需要四个输入：显著性水平 α（假阳性上限，通常 0.05）、检验功效 1-β（β 是假阴性率，通常取 0.2 即功效 80%）、指标的方差 σ²（来自历史数据或预实验）、想检测出的最小效应 δ（业务方认为值得投入的最小提升）。输出的是“每组最少需要的用户数”。

直觉上，δ 越小（想分辨越细微的差异）、σ 越大（指标越不稳），需要的样本就越多。公式里 $(z_{\alpha/2}+z_\beta)^2$ 是固定常数，真正起决定作用的是 σ²/δ²。注意公式算的是“每组”人数，两组总共要 2n。

客人数量先算好，才知道实验要跑多久、分多少流量。否则跑了一周发现“数据不够、没法下结论”，重来一次的成本远比设计时多花一天要高。

流量分桶——把客人公平分成两桌

如果让服务员挑客人试新菜，老主顾全被分到新菜桌，结果当然“新菜更受欢迎”——这不是新菜好，是选人有偏。分桶的核心是“公平”：两个组除了版本不同，其他特征分布必须可比。

业界最通用的做法是用 user_id 做哈希取模：把用户 ID 映射成一个均匀分布的整数，除以 K 取余数，得到 0 到 K-1 的桶号；桶号小于 K/2 的进对照组，大于等于 K/2 的进实验组。同一个用户整个实验周期永远落在同一个桶，不会“串组”。K 通常取 100 或 1000，方便按 1% 的粒度控制灰度比例。

两个进阶概念：桶间隔离与正交分层。桶间隔离指同时跑多个实验时，一个用户进了实验 A 的实验组，就不该再进实验 B 的实验组，避免两个版本的改动互相污染。正交分层则是先用性别、城市、新老客等关键维度把用户分层，再在层内随机分流，确保两组关键人群比例一致；配合正交表，能让多个实验共用同一批流量而不互相干扰。

分桶就像餐厅排座：客人随机落座，而不是让熟客都坐新菜品鉴桌。分得公平，结论才立得住。

实验周期——测一周还是一季度？

样本量算出来了，但实验要跑多少天？周一中午的客流和周日晚上完全不同，月初和月末、淡季和旺季也不同。如果只测一天，你测到的是“这一天”而不是“这款产品”。

最短周期可以估算：所需总样本量除以每天能进入实验的用户数。公式是 $T_{\min} = 2n / (r \cdot U)$，其中 n 是单组样本量，r 是分桶进实验的用户比例，U 是日均活跃用户。但数学算出来的只是下限，还要加上两个现实约束：至少覆盖一个完整自然周（含周末），以及留出“新奇效应”消退的时间——用户刚看到新界面会因好奇而多点击，几天后热度退去，效果才回到真实水平。

实践中还有周内效应（工作日与周末行为差异大，要分层查看）、季节效应（大促、节假日的干扰项不可控）和网络效应（社交产品中，实验组用户的行为会影响对照组用户，导致“干净对照”失效）。周期定得过短，会把“新鲜感”当成“真效果”。

别看到“第 3 天 p<0.05”就急着收工——那可能只是顾客图新鲜。菜单测试坚持完整一周，才敢说结果不是天气给的。

辛普森悖论——合起来看反而被坑

你按门店分别看，新菜在每一家店的日销量都比旧菜高；但把所有门店合起来，新菜总销量反而更低。这不是数据造假，甚至不是分桶失败——这是著名的辛普森悖论。

原理藏在加权平均里：总转化率不是各层转化率的简单平均，而是按各层样本量加权的平均。如果实验组的流量恰好集中在转化率低的分层（比如小门店、冷淡季），即使每个分层内实验组都领先，一加权，整体平均值反而被拖到对照组之下。悖论的本质是“层的权重分布不均衡”。

解法有四步：设计时记录关键分层变量（城市、新老客、设备类型）；分析时先按层看、再合并看；发现分层方向和总体方向矛盾，立即停下找混淆变量；必要时按层加权修正总体估计，最终报告按层呈现，避免被单一总数误导。

就像把两家好餐厅和八家差餐厅的营业额混在一起算“平均表现”，好餐厅的优势被稀释。实验设计时把分层变量记进埋点，是最后一道保险——别让一个总数毁掉所有判断。

AI 应用场景

Python 演示

import mathimport random # 标准正态分布的临界值表, key 为单侧概率Z_TABLE = {0.025: 1.96, 0.05: 1.645, 0.10: 1.282, 0.20: 0.842} def sample_size(alpha, beta, sigma, delta):    # 根据显著性水平 alpha, 功效 1-beta, 指标标准差 sigma, 最小效应 delta 计算每组样本量    z_alpha = Z_TABLE[alpha / 2]    z_beta = Z_TABLE[beta]    return int(math.ceil(2 * (z_alpha + z_beta) ** 2 * sigma * sigma / (delta * delta))) def simulate_ab(rate_a, rate_b, n, seed=7):    # 模拟 A/B 实验: 两组各 n 个用户, 按伯努利分布转化    random.seed(seed)    conv_a = sum(1 for _ in range(n) if random.random() < rate_a)    conv_b = sum(1 for _ in range(n) if random.random() < rate_b)    p_a = conv_a / n    p_b = conv_b / n    se = math.sqrt(p_a * (1 - p_a) / n + p_b * (1 - p_b) / n)    z = (p_b - p_a) / se    return p_a, p_b, z def main():    rate_a = 0.10          # 对照组真实转化率    lift = 0.02            # 想检测出的最小提升: 2 个百分点    sigma = math.sqrt(rate_a * (1 - rate_a))  # 转化率的方差由率本身决定    n = sample_size(0.05, 0.20, sigma, lift)    print("设计目标: 检测出转化率从 10% 提升到 12%")    print("每组最少样本量:", n)    p_a, p_b, z = simulate_ab(rate_a, rate_a + lift, n)    print("实验结束: A=%.3f, B=%.3f, z=%.2f" % (p_a, p_b, z))    if z > 1.96:        print("结论: 拒绝原假设, 新版显著更好")    else:        print("结论: 证据不足, 不能拒绝原假设") if __name__ == "__main__":    main()

1. sigma = math.sqrt(rate_a * (1 - rate_a))转化率是"0/1"伯努利变量，它的波动由率本身决定，历史数据不够时用它近似
2. n = sample_size(0.05, 0.20, sigma, lift)把显著性 0.05、功效 80%、方差、最小效应四个设计参数翻译成样本量
3. se = math.sqrt(p_a * (1 - p_a) / n + p_b * (1 - p_b) / n)计算两组转化率差异的标准误，即“噪声”有多大
4. z = (p_b - p_a) / se信号除以噪声得到 z 统计量，对应正文中的指标比较公式
5. if z > 1.96:双尾 α=0.05 的临界值，超过它才有 95% 把握拒绝原假设

常见误区

面试题