A/B测试分层设计与随机化单元选择指南

可视化演示

动态演示A/B测试分层设计与随机化单的核心机制，通过开始/执行/监控/完成四种模式展示关键概念与交互流程。

1. 分层设计原理

回到火锅店。为了试新锅底，你把食客随机分到两组。结果第一晚的统计显示：新锅底组好评率 65%，老锅底组只有 40%——你大喜过望。但店长泼了一盆冷水：今晚是公司团建包场，全是无辣不欢的老顾客，恰好被随机分进了新锅底组。他们的满意是因为口味本来就合，不一定是锅底更好。随机分组在人数不多时，不能保证“新顾客和老顾客均匀分布”。

这就是分层设计的用武之地。分层设计（stratified design）的思路是：在随机分配之前，先把用户按某些关键属性分成几个“层”（stratum），比如新用户/老用户、iOS/Android、一线城市/下沉市场；然后在每一个层内部，独立地做一次随机分配，保证每个层里实验组和对照组各占一半。这样做的好处是，层内的组间均衡是“强制”的，而不是“看运气”的。整体实验组的构成，等于各层实验组的加权平均，所以新老比例、机型比例等关键维度在两组之间天然一致。数学上，分层后总体均值的估计量是各层均值的加权和：

回到火锅店，分层设计就像先把顾客按“能不能吃辣”引入不同包间，再在每个包间内均匀地分两种锅底。这样无论来了多少公司团建，每个包间里两种锅底的比例都纹丝不动，新锅底的“口碑测量”才真正干净——分层不是让随机更“随机”，而是让均衡更“确定”。

2. 随机化单元类型

好，现在要决定“把什么分到两种锅底”。你是按“人”分——张先生从今天起只吃新锅底？还是按“次”分——张先生每次来都掷一次硬币决定？还是按“手机”分——张先生用 Android 手机进店时吃新锅底，用 iPhone 时吃老锅底？这三种分法，就是随机化单元的三个层次。

随机化单元（randomization unit）是我们做随机分配的最小单位，它决定了实验处理施加在什么粒度上。用户级（user-level）：一个用户的所有访问都归同一组，最常用，适合功能体验类实验；会话级（session-level）：用户每次访问重新分组，适合广告展示、页面皮肤等即时性实验；设备级（device-level）：按设备 ID 分组，适合硬件适配、操作系统类实验。为什么单元选择如此重要？因为分析时我们默认样本服从“独立性假设”。如果用会话级随机化，同一个用户贡献了好几个会话，这些会话之间天然相关——一个用户的多次行为绝不是独立的。这种相关可以用组内相关系数来刻画：

火锅店最合理的做法通常是“按人分锅底”——张先生的味觉偏好是长期一致的，今天吃辣锅明天吃清汤锅，等于同一个食客分别试了两种锅底，数据看似多了一倍，其实高度雷同，最后只会让你误以为“两种锅底差别不大”。选择随机化单元，本质是选择“锅里装的是哪一份食客体验”。

3. 网络效应处理

火锅店最棘手的场景来了：张先生和同事小李坐在同一桌，张先生尝了一口新锅底，赞不绝口，小李受他影响也点了新锅底；甚至隔壁桌飘来的麻辣香味，都可能让清汤锅组的顾客偷偷咽口水。这就是实验中的“串味”——你的分组被社交互动污染了。

这类现象在 A/B 测试里叫网络效应（network effect）和溢出效应（spillover effect）。当你按用户级随机化时，一个用户改变行为会通过社交关系传导到同为对照组的另一个用户身上，导致两组的差异被稀释或夸大。比如社交产品做“邀请好友得红包”实验，被邀请的人可能没被分到实验组，行为却照样被改变。识别溢出效应的关键是问一句：“没进实验组的人，是不是被间接改变了？”

应对思路是调整随机化单元：从“单个用户”升级为“一群相互关联的用户”。最常用的是社交聚类分流（把社交关系紧密的簇整体分配到同一组）和集群随机化（按地域、社群、班级等集群分组）。但集群化会损失统计效率，需要测量设计效应：

火锅店的做法是：把坐在一起聚餐的食客当作一“桌”来分锅——这一整桌都吃新锅底或都吃老锅底，而不是把同桌的朋友拆散。虽然“拆散分”能让你更快得到结论，但那结论会被串味污染，不如整桌一锅端更可信。

4. 样本量与功效

店长想确认“新锅底比老锅底满意度高 5 个百分点”，该安排多少位试吃员？如果只请 10 个人，正好有一半人感冒了吃啥都觉得淡，随机波动就能吞掉 5 个百分点的差异；如果请 1000 个人，再小的差异也能被揪出来。样本量不够，实验就是白做。

样本量估算需要四个输入：显著性水平 $$\alpha$$（一般取 0.05）、统计功效 $$1-\beta$$（一般取 0.80）、指标波动性 $$\sigma$$ 和你期望检测的最小效应量 $$\delta$$。四者的关系刻在下面的公式里：

举个例子：转化率基线 10%，想检测 1 个百分点的提升（$$\delta=0.01$$），方差按 $$p(1-p)=0.09$$ 估算，算出每组约需 3 万人。如果只分到 3000 人，那这个实验对 1% 的差异几乎"失明"。实际操作中还要考虑分层带来的方差削减（$$\sigma^2$$ 会小一些）和网络效应带来的 DEFF 膨胀（样本量乘回 DEFF）。请试吃员不是越多越好，但至少要够“分辨出你想验证的那个口味差距”。

5. 实施与监控

火锅店每天要接待几百桌客人，后厨总调度必须确保：张先生今天坐 A 桌（新锅底），明天再来还坐 A 桌，不能因为他换了座位就窜到 B 桌。如果同一批食客今天吃新锅底明天吃老锅底，满意度数据就彻底乱了。实验平台的“总调度”就是一致性哈希分流：把每个随机化单元（用户 ID、会话 ID 或设备 ID）映射到一个固定桶号，同一个 ID 不管来多少次、被多少个实验读取，永远落在同一个桶里：

实施阶段还要做好实验隔离——多个实验并存时，不能让实验 A 的分组影响实验 B 的指标；同时注意群体时序效应——不同日期进入实验的用户构成可能不同，实验周期要覆盖完整的星期周期。而监控与回滚是最后一道防线：实时观察两组的样本量比例和核心指标水位，业界常用 SRM（样本比例不均衡）检测来发现分流故障：

总调度把每个食客和桌号绑定死，新锅底组的顾客永远吃新锅底，不会串台；每晚上打烊后还要对数表——如果发现某桌人数蹊跷地少了一半，那一定是排号系统出了 bug，得连夜排查，绝不能把这一晚的数据混进分析。

6. 常见坑与最佳实践

新手服务员最容易犯的错：按人分锅、却按“用餐次数”记账；明明店里只有“能辣”和“不能辣”两类客人，非要分成十几种微辣、轻辣、中辣、重辣小间，结果每个小间坐不满 5 个人，随机分组形同虚设。这些错误在 A/B 测试里有名字：单元错配（随机化单元是用户级，分析时却按会话级聚合，夸大样本量、低估方差）、分层过度（分层维度太多、每层样本太少，层内随机失去意义）、样本比例不均（流量比例失衡还照常上线，带病分析）。

单元错配尤其隐蔽，因为“伪样本量”会让标准误被严重低估。设同用户有 $$m$$ 个会话，真实标准误需要乘上设计效应的平方根：

老练的火锅店店长会把流程固化成菜单：分人不分次、分层不过三、每晚必对数。一套稳定的实验流程，和一套稳定的锅底配方同样重要——让顾客吃得明白，让店主改得放心。

AI 应用场景

Python 演示

import numpy as npfrom scipy import stats rng = np.random.default_rng(2024) N_USERS = 600P_NEW = 0.3N_TRIALS = 200 # 分层属性: 新用户转化率更高, 与核心指标强相关new_user = rng.random(N_USERS) < P_NEWbase_rate = np.where(new_user, 0.18, 0.06) # 每个用户 1~4 个会话, 模拟重复访问n_sessions = rng.integers(1, 4, N_USERS)uid = np.repeat(np.arange(N_USERS), n_sessions)  def aggregate_by_user(conv):    total = np.zeros(N_USERS)    cnt = np.zeros(N_USERS)    np.add.at(total, uid, conv)    np.add.at(cnt, uid, 1)    return total / np.maximum(cnt, 1)  def run_once(unit):    if unit == "user":        g_user = rng.random(N_USERS) < 0.5        g = g_user[uid]    else:        g = rng.random(len(uid)) < 0.5    conv = rng.random(len(uid)) < base_rate[uid]    if unit == "user":        y = aggregate_by_user(conv)        return stats.ttest_ind(y[g_user], y[~g_user]).pvalue    return stats.ttest_ind(conv[g], conv[~g]).pvalue  p_user = [run_once("user") for _ in range(N_TRIALS)]p_sess = [run_once("session") for _ in range(N_TRIALS)] fpr_user = np.mean(np.array(p_user) < 0.05)fpr_sess = np.mean(np.array(p_sess) < 0.05) print("无真实效应时, 用户级随机化假阳性率: {:.3f}".format(fpr_user))print("无真实效应时, 会话级随机化假阳性率: {:.3f}".format(fpr_sess))  def run_stratified():    g_user = np.zeros(N_USERS, dtype=bool)    for layer in [False, True]:        idx = np.where(new_user == layer)[0]        g_user[idx] = rng.random(len(idx)) < 0.5    conv = rng.random(len(uid)) < base_rate[uid]    y = aggregate_by_user(conv)    return y[g_user].mean() - y[~g_user].mean()  def run_random():    g_user = rng.random(N_USERS) < 0.5    conv = rng.random(len(uid)) < base_rate[uid]    y = aggregate_by_user(conv)    return y[g_user].mean() - y[~g_user].mean()  diff_strat = [run_stratified() for _ in range(N_TRIALS)]diff_rand = [run_random() for _ in range(N_TRIALS)] print("完全随机分组 组间差异标准差: {:.4f}".format(np.std(diff_rand)))print("分层随机分组 组间差异标准差: {:.4f}".format(np.std(diff_strat)))

1. new_user = rng.random(N_USERS) < P_NEW生成分层属性，新老用户转化率不同，制造组间不平衡的隐患
2. np.add.at(total, uid, conv)把会话级转化聚合回用户级，避免把同一用户的多次访问当成独立样本
3. g = g_user[uid]用户级组别广播到该用户的所有会话，实现“一人一锅底”
4. stats.ttest_ind(...).pvalue对两组均值做独立样本 t 检验，返回 p 值
5. for layer in [False, True]在每个分层内独立随机分流，这是分层设计的核心
6. y[g_user].mean() - y[~g_user].mean()计算两组均值差，分层后该差异的标准差应更小

常见误区

面试题