动态定价：A/B验证

可视化演示

演示实验分组、样本量计算与统计显著性检验，理解动态定价策略上线前的因果验证方法与网络效应处理。

实验设计分组

小林把客人在试吃摊前随机分流：左边卖18元的老价，右边卖22元的新价。如果他把爱喝奶茶的学生全部引导到22元摊，把怕贵的上班族全部引导到18元摊，那实验还没开跑就已经输了——因为分组不公，人群差异会被误认为价格差异。

实验设计的核心是“唯一变量”原则：实验组和对照组之间，除了价格不同，其他条件都应尽量保持一致。具体要做三件事：随机分流，用用户ID哈希或随机算法把访客分到两组；同时同地开摊，避免“先试老价一周，再试新价一周”这种前后对比；分层采样，先按城市、会员等级、设备、新老用户分层，再在每个层内分别随机分流，以消除人群结构差异。

在设定实验目标时，我们会先估计“效应量”。效应量是标准化的组间差异，它把收入或转化率的均值差除以个体波动，得到一个可跨场景比较的数值。效应量直接决定了后续样本量计算，也决定了实验要检测的“最小有意义的提升”到底是多少。

摆摊前先认清客人的成分，避免把高消费街区全部派到贵价摊。分组公平了，后续的品鉴会才有公正可言。

样本量计算

小林的试吃摊要请多少人才够？人太少，两摊之间偶尔多来一个顾客就可能反超；人太多，实验拖到秋天，新品已经变成陈品。所以实验开始前必须先做预算——样本量计算就是统计意义上的“预算表”。

样本量计算依赖三个输入：显著性水平 α，通常取 0.05，表示允许 5% 的概率在没有差异时误判为有差异；统计功效 1-β，通常取 0.8，表示如果真实差异存在，检验有 80% 的把握能发现它；最小可检测效应 Δ，是实验想捕捉到的最小价格影响。把这三者代入两组均值比较的样本量公式，即可估算每组需要多少人。

试吃摊的“人气预算”不是越多越好，而是用统计公式把需要的顾客数算得刚刚好，不浪费流量，又不至于在关键时刻失手。

显著性检验

两周测试结束后，小林看到22元摊的销售额更高，但他心里打鼓：这会不会只是运气？毕竟下雨天、周末客流、偶尔路过的大客户都会制造波动。统计学的回答是：把波动量化出来，看差异在多大程度上超出偶然范围。

显著性检验的第一步是设定零假设，即“两组转化率没有差异”；备择假设则是“实验组转化率确实不同”。随后计算一个 z 统计量，把它换算成 p 值。p 值的含义是：在零假设为真的前提下，看到当前差异或更极端结果的概率。当 p 值小于 0.05 时，我们拒绝零假设，认为差异显著。

就像试吃摊的销量波动有大有小，z 检验把“客流量带来的噪音”也算进去，剩下的才算真本事。p 值很小，说明这个销量差距更像是来自价格本身，而非偶然路过的人群。

网络效应处理

小林发现22元摊的销量里，有将近一半是顾客拍照后拉来的朋友。朋友之间买不买是相互影响的：如果一个人看到朋友买了贵价奶茶，自己也愿意买贵价，那么“个体顾客”就不再是独立的试吃单元。此时还按个人随机分组做检验，会把样本的独立性错当成立，标准误被低估，显著性被夸大。

这种场景在网络效应显著的行业非常常见：拼团分享、家庭共享账号、打车供需溢出、社交电商口碑传播。识别网络干扰的标志是“用户行为之间互相传染”或“一个实验组的行为会影响到另一个组的结果”。处理思路是提升随机化的分析单元：把随机分组从“单个用户”提高到“门店”“社区”“城市”等聚类层级，让同一聚类内的人保持相同价格，再以聚类单元做分析。

同时，样本量要按“设计效应”放大。设计效应衡量聚类导致的信息损失：当组内个体高度相似时，有效样本量会少于实际人数，因此我们需要更多样本弥补。

朋友成群结队来试吃时，要把“群”当作一个整体来算账，不能假装每个人都是独行的陌生人；否则实验数据闪耀，真实上线后却被现实打脸。

实验周期确定

小林的两个摊才开了两天，新价胜出。谁知第三天突然下雨，贵价摊前冷冷清清，老价摊靠熟客撑着才没崩。他意识到：只测两三天的摊，根本说明不了长期问题。

定价实验的周期至少应该覆盖一个完整业务周期：电商至少包括一周的工作日和周末，出行要覆盖早晚高峰和恶劣天气，旅游酒旅要看节假日与季节。即使样本量提前达标，也不能提前叫停——因为未覆盖完整周期的实验，可能错过特定时间窗口才会出现的用户行为差异。此外，新产品刚上架通常会有“新奇效应”，用户因为新鲜感而点选高价新品，过一两周热度回落，真实转化率才会浮出水面。

实验天数由目标样本量、日均客流量和实验流量占比共同决定。若每天可用流量不足，实验就会自动拉长；若流量充足，也要预留完整业务周期作为下限。

试吃不是摆一上午就收摊，而是必须经历雨天、晴天、工作日和周末，结论才不会变成“一时的人气泡沫”。

多重检验校正

小林这次不是只试一款价格，而是一口气试了5个价格档位，同时观察点击率、转化率、客单价、复购率4个指标——相当于做了20次显著性检验。如果每次都按 5% 的误报率判断，那么“总有一个指标冒出假阳性”几乎是必然事件。

这就是多重比较问题：检验次数越多，整体犯第一类错误的概率越大。解决思路有两种：严格控制的 Bonferroni 校正，适合关键、少量、彼此独立的检验；更实用的 FDR 方法，控制“假发现率”，适合指标很多、希望优先找出真实信号的场景。

Bonferroni 校正最直观：把总显著性水平 α 分摊到每一次检验上，得到单次检验的阈值 α'。如果 10 次检验希望总体误报不超过 5%，那么单次阈值就是 0.005。

试吃券抽奖时，抽一次中奖是运气，抽20次总能撞上一次“中奖感”。校正阈值，就是为了分辨那是真对味口，还是抽奖次数带来的幻觉。

AI 应用场景

Python 演示

import mathimport random def compute_sample_size(effect, sigma, alpha=0.05, power=0.8):    # 标准正态分位点近似：alpha/2 双侧约1.96，power=0.8 约0.84    z_alpha = 1.959963985    z_beta = 0.84162123    numerator = 2 * (z_alpha + z_beta) ** 2 * sigma ** 2    denominator = effect ** 2    return math.ceil(numerator / denominator) def ab_test_z(conv_a, n_a, conv_b, n_b):    # 两组转化率的 z 检验，返回 z 值和 p 值    p_a = conv_a / n_a    p_b = conv_b / n_b    p_pool = (conv_a + conv_b) / (n_a + n_b)    se = math.sqrt(p_pool * (1 - p_pool) * (1 / n_a + 1 / n_b))    if se == 0:        return 0.0, 1.0    z = (p_b - p_a) / se    p_val = 2 * (1 - 0.5 * (1 + math.erf(abs(z) / math.sqrt(2))))    return z, p_val def simulate_one_round(n, p0, p1, seed):    rng = random.Random(seed)    conv_a = sum(1 for _ in range(n) if rng.random() < p0)    conv_b = sum(1 for _ in range(n) if rng.random() < p1)    return ab_test_z(conv_a, n, conv_b, n) if __name__ == "__main__":    # 设定：对照组真实转化率 0.42，实验组 0.48    p0, p1 = 0.42, 0.48    sigma = 0.5    effect = p1 - p0    n = compute_sample_size(effect, sigma)    print("理论每组样本量:", n)     trials = 200    hits = 0    for i in range(trials):        z, p = simulate_one_round(n, p0, p1, seed=i)        if p < 0.05:            hits += 1    print("200轮模拟中拒绝原假设的比例:", round(hits / trials, 3))

1. compute_sample_size把正文中的样本量公式翻译成函数，输⼊效应量与标准差，输出每组所需人数。
2. z_alpha = 1.959963985对应 α=0.05 的 97.5% 标准正态分位点，用于双侧检验。
3. z_beta = 0.84162123对应功效 0.8 的 80% 分位点，表示检验有 80% 的把握识别真实差异。
4. p_pool = (conv_a + conv_b) / (n_a + n_b)合并两组转化次数，用于计算零假设下的标准误。
5. math.erf用误差函数近似正态分布累计概率，把 z 值换算成 p 值。
6. simulate_one_round模拟一轮实验，用随机数生成两组转化人数并执行 z 检验。
7. trials = 200循环模拟 200 轮，统计显著率，验证功效是否接近 80%。

常见误区

面试题