机器学习中的A/B实验设计方法

可视化演示

通过交互式动画理解A/B实验的核心要素：样本量对置信区间的影响、流量分流策略、以及统计显著性检验的判断过程。

实验设计基础

老王拉面馆的招牌牛肉面卖了三年，他最近试了朋友的新配方：加了一味丁香，汤头更醇。可老王不敢直接全店换——万一老客不买账，招牌就砸了。他决定做一次“科学试吃”：让一部分客人吃旧配方，另一部分吃新配方，最后比较两碗面的满意度。

但“科学试吃”和“随口问问”之间，隔着一个关键动作：先把要证明的事说清楚。老王的直觉是“新配方更好”，可统计学喜欢反着来——先假设“新配方没有变好”，再看数据能不能推翻它。这个等着被推翻的假设叫原假设（H0），老王真正想证明的才叫备择假设（H1）。

A/B实验的一切设计都围绕这对假设展开。裁判可能犯两种错误：本来没效果，却判有效，叫第一类错误，出错概率记为 α（显著性水平），通常定在 0.05；本来有效，却没检测出来，叫第二类错误，出错概率记为 β，1−β 即统计功效——实验“发现真实效果”的能力。

把“误判代价”和“证明目标”先谈清楚，老王才知道这场试吃该怎么设计。就像打官司要先立“无罪推定”和“举证标准”，假设检验的骨架搭好了，后面所有计算才有落点。

样本量计算

试吃要请多少客人才足够？请少了，结果全凭运气；请多了，食材成本和等待时间都扛不住。老王急需一个数：每组最少多少份。

这个数取决于四个输入：显著性水平 α（允许误判的概率）、统计功效 1−β（想抓住真实效果的概率）、效应大小 δ（新配方相对旧配方预期提升多少）、以及波动率——好评率越接近 0.5，顾客意见越分裂，需要的样本就越多。

对于好评率这类“转化率”指标，经典公式是把这四个输入串在一起：

代入老王的数据：旧好评率约 0.48，新配方预期 0.56，α=0.05，功效取 0.8，算得每组约 608 份。按每天 200 位食客、五五分流算，六天左右就能完成——比“先跑一个月再说”高效得多。

分流策略

谁来吃哪碗，不能由老王说了算，更不能让客人自己选。上午排队的上班族和下午茶的闲客，客群本来就不一样；爱尝鲜的顾客若自己挑了新配方，两组的差异就被“自选择”污染了。

正确做法是随机分流：每位顾客来，掷一枚公平的硬币决定吃哪碗。线上的“硬币”是用户 ID 哈希取模——把 ID 均匀映射到 0~99，小于 50 进实验组，其余进对照组。分组对用户不可见、不可选，对运营人员也无法预知。

若用户画像差异明显，可先按特征分层再随机（分层抽样），每层内比例均衡，方差更小；同时跑多个实验时，要用互斥实验保证同一用户只进一个实验，或用正交分层设计让多个实验互不污染（重叠实验）。老王按“新客/老客、堂食/外卖”把食客分成四层，每层内再随机，两组里的老客比例、外卖比例几乎一模一样，之后的比较才真正公平。

指标选择

两碗面的“胜负”用什么尺子量？老王起初只看好评率。但朋友提醒：客人第一次尝鲜觉得新奇，随手给个好评，隔天却可能不再上门。单一指标会骗人。

指标要分层设计：核心指标是本次实验要验证的“胜负手”；护栏指标是不能变差的底线；北极星指标则是产品长期价值的代表。把它们归一化后加权成一个总分，就是 OEC（总体评估准则）。

电商改版是典型例子：核心指标设购买转化率，护栏指标设页面加载时长与崩溃率，北极星是长期复购率。老王最终敲定：核心指标用“复购率”，护栏指标用“出餐时长、差评率”，再以 OEC 总分定输赢。尺子统一了，实验才不会公说公有理。

显著性检验

试吃落幕：新配方好评率 56%，旧配方 48%，相差 8 个百分点。可老王心里打鼓——几百份样本的差距，会不会只是运气？

显著性检验就是用来量化“运气成分”的。对转化率这类比例指标，用 z 检验（小样本可用 t 检验）：先算一个标准化的统计量 z，再换算成 p 值。p 值的含义是：如果新配方真的没效果，出现当前差距（或更极端差距）的概率有多大。p 小于事先定的 α=0.05，就有统计证据拒绝原假设。

比 p 值更直观的是置信区间：对两组的真实差计算 95% 置信区间，若区间完全不含 0，说明差异显著；区间越窄，估计越精确。老王盯着监控面板上两条渐渐收窄的置信带：起初严重重叠，看不出名堂；样本越攒越多，带子越分越开，最终完全分离——直到这一刻，他才敢把新配方端上全店菜单。

常见陷阱

实验第三天，新配方领先 5%，老王兴冲冲要全店换新。朋友拦住他：你这是“中途偷看”。每偷看一次就相当于做一次检验，假阳性率被悄悄抬高，最后可能被“偶然的领先”骗了——这就是过早停止陷阱。

老王还想顺手比较 3 个配方变体，同时监控 10 个指标。比较得越多，纯靠运气撞出“显著”的概率越大，必须做多重比较校正。最简单的是 Bonferroni 校正：把 α 除以比较次数 m。

另两个坑更隐蔽：回头客反复来试吃，同一人被计入多次，样本不再独立；门口挂“新品试吃”的牌子后，老客碍于情面打感情分——霍桑效应（新奇效应）让数据失真。老王撤了牌子，限定每人只计一次，把显著性阈值按 Bonferroni 调低后再下结论。数据干净了，结论才站得住脚。

实验流程

把每个零件组装起来，一场科学试吃就变成一套可复用的“菜谱”。老王把它写成了四步流程，每次上新照方抓药。

需求定义：写下假设、核心指标和决策标准；实验设计：算样本量、定分流方案、定指标与校正规则；运行监控：守住护栏指标、禁止中途偷看、异常时熔断；决策复盘：结合 p 值、效应量、置信区间和业务成本，决定全量、灰度还是放弃。

上线不是终点。A/B 实验的结论还要回到业务里验证：复购数据是否真的跟上、护栏指标有没有长期波动。如今老王店里每次上新都走同一套流程，他不再拍脑袋赌配方，而是让数据替顾客投票——这正是机器学习模型线上评估的金标准：用小流量实验，换取高确定性的决策。

AI 应用场景

Python 演示

import mathimport random  def normal_cdf(x):    return 0.5 * (1 + math.erf(x / math.sqrt(2)))  def z_test_two_proportions(n_c, n_t, k_c, k_t):    p_c = k_c / n_c    p_t = k_t / n_t    p_bar = (k_c + k_t) / (n_c + n_t)    se = math.sqrt(p_bar * (1 - p_bar) * (1 / n_c + 1 / n_t))    z = (p_t - p_c) / se    p_value = 2 * (1 - normal_cdf(abs(z)))    return z, p_value  def needed_sample_size(p_c, p_t, alpha=0.05, power=0.8):    z_alpha = 1.96    z_beta = 0.84    delta = p_t - p_c    n = (z_alpha + z_beta) ** 2 * (p_c * (1 - p_c) + p_t * (1 - p_t)) / delta ** 2    return math.ceil(n)  def run_one(n, p_c, p_t):    k_c = sum(1 for _ in range(n) if random.random() < p_c)    k_t = sum(1 for _ in range(n) if random.random() < p_t)    _, p_value = z_test_two_proportions(n, n, k_c, k_t)    return p_value < 0.05  if __name__ == "__main__":    p_c, p_t = 0.48, 0.56    n = needed_sample_size(p_c, p_t)    print("每组所需样本量: %d" % n)    random.seed(42)    trials = 1000    hits = sum(1 for _ in range(trials) if run_one(n, p_c, p_t))    print("1000次模拟实验检出显著的比例: %.3f" % (hits / trials))    print("该比例应接近理论功效 0.80, 说明样本量计算可靠")

1. n = (z_alpha + z_beta) ** 2 * (p_c * (1 - p_c) + p_t * (1 - p_t)) / delta ** 2样本量公式：四要素（α、功效、波动率、效应量）全部体现在这一行。
2. se = math.sqrt(p_bar * (1 - p_bar) * (1 / n_c + 1 / n_t))计算两组比例差的标准误，样本量越大标准误越小。
3. p_value = 2 * (1 - normal_cdf(abs(z)))用正态分布累积函数求双尾 p 值。
4. hits = sum(1 for _ in range(trials) if run_one(n, p_c, p_t))模拟 1000 次实验，统计多少次能正确检出真实差异。
5. random.seed(42)固定随机种子，保证结果可复现，方便复试。

常见误区

面试题