实验时长计算：多久才能得出结论

可视化演示

可视化两组分布的统计显著性检验过程，通过调节效应量和样本量观察p值变化，判断结果是否具有统计学意义。

时长决定因素

想象你受雇去判断一片湖里值不值得大批进货。出发前你不可能直接甩竿碰运气，而是要问自己四个问题：这湖多大？鱼群密度如何？我想发现的最小鱼群规模是多大？我能容忍'误报有鱼'和'漏掉鱼群'到什么程度？这四个答案决定你需要甩多少竿、钓多少天。A/B 测试的实验时长，也是由四个因素共同决定的：日流量、最小可检测效应、显著性水平和统计功效。

日流量对应湖面大小：每天能进入实验的用户越多，样本积累越快，实验天数越短。最小可检测效应（MDE）对应你想发现的最小鱼群：你想分辨出 1% 的提升，比分辨 2% 的提升难得多，所需样本量大约按平方关系增长。显著性水平 α 对应你对“误报有鱼”的容忍度：要求越严格，需要的证据越多。统计功效则对应你的捕捞技术：技术越好，同等条件下需要的时间越少。

这四个变量不是孤立起作用的，它们统一汇聚成一个方向性的关系：

所以渔夫出发前要做的第一件事，不是直接下竿，而是把湖面大小、目标鱼群、误判容忍度和捕捞把握这四件事想清楚。这四个变量定了，实验时长的骨架也就立起来了。

最小样本量

现在到了核心问题：到底要甩多少竿？假设湖里的真实“含鱼率”是 10%，你想以 80% 的把握发现哪怕 2% 的提升。统计学家给你一张“捕鱼量公式”——最小样本量公式。它把所有的主观要求（α、功效、MDE）和客观条件（基线转化率）换算成一个具体的竿数：每组需要多少用户。

在 A/B 测试中，转化率类指标的最小样本量公式如下。设 A 组基线转化率为 \(p_0\)，B 组预期转化率为 \(p_1\)，每组样本量相等：

这个公式的分子里，\(Z_{\alpha/2}\) 是显著性水平对应的临界值，\(Z_\beta\) 是功效对应的临界值；分母则是两组转化率差值的平方。分子的方差项刻画的是转化率波动的固有程度，分母刻画的是你希望捕捉的信号强度。信号越弱，要求的竿数就越多。

有了这张“竿数公式”，你就能算出要准备多少鱼饵、分几天抛完，而不是凭感觉说“钓三天就收工”。样本量不是拍脑袋的天数，它是一道有标准解的算术题。

统计功效

功效可以理解成渔夫的“收竿技术”。同样是诱饵和湖水，高手能把咬钩的鱼稳稳拉上来，新手却频频脱竿。统计功效 \(1-\beta\) 衡量的就是：当真实效果确实存在时，你的实验能够“钓上来”（检测到）它的概率。如果一个有效果的改动上线，实验却有一半概率说“没效果”，那这个实验就像一只漏鱼的破网。

给定样本量 n，功效对应一个 \(Z_\beta\) 值：

计算出的 \(Z_\beta\) 再通过标准正态分布换算成功率 \(\Phi(Z_\beta)\)。公式直观地说明：真实差异越大、样本量越多，\(Z_\beta\) 越大，功效越高；显著性门槛越严格，功效越低。行业惯例把功效设为 80%，即真实效果存在时，实验有 80% 的概率给出“显著”结论。

如果功效只有 50%，相当于用抛硬币决定是否钓到鱼——效果明明存在，实验却有一半概率说“没效果”。所以在规划时长时，功效设定直接决定样本量大小：功效从 80% 提到 95%，所需样本量会显著上升，实验周期也随之拉长。

周期效应处理

钓鱼有个经验：清晨和傍晚鱼最活跃，正午和深夜几乎没口；春天鱼群靠近岸边，冬天就沉到深水。如果渔夫只挑清晨去钓三天，会觉得“这湖鱼真多”；只挑正午去，会觉得“这湖没鱼”。A/B 测试的流量同样带有周期性——工作日和周末的用户行为差异，有时比版本差异还大。

周期性效应指实验效果随星期、季节、促销活动周期发生波动。如果你只跑了周一到周三的数据，就算样本量够了，结论也只代表“工作日用户”，无法推广到周末场景。处理策略通常有四条：一是至少覆盖一个完整周，最好覆盖 2-3 个完整周；二是按日期分层，保证各组在工作日和周末的流量占比一致；三是警惕节假日和购物节，敏感时期让路或单独建实验；四是在排期时加入缓冲天数。

以下是考虑了周期与缓冲的时长公式：

聪明的渔夫会记录“几点鱼口好、什么季节鱼靠岸”，实验规划者也要把周期写进排期表，否则你拿到的“湖况报告”只属于某一个时辰，而不是一整片湖。

提前停止规则

河边最沉不住气的钓友，浮漂刚微微一动就猛提竿，结果十有八九是空竿，还吓跑了鱼。A/B 测试中的“偷看”是同一回事：实验跑了两天，瞄一眼 p 值，发现 0.03 < 0.05，兴奋地宣布“实验成功，上线新版本！”这种操作非常危险。

危险来自多次检验：统计检验的有效性依赖“预先设定的唯一一次判定”。每偷看一次 p 值，就等于多了一次隐性的假设检验，整体假阳性率随之膨胀。假设你每隔几天偷看一次，一共看了 k 次，那么整体 α 不再是 0.05，而是：

当 k=10 时，\(\alpha' \approx 0.40\)。也就是说，即使新版毫无效果，你也有约 40% 的概率在某次偷看时看到“显著”。这完全违背了实验设计的初衷。正确做法是：事前按样本量公式算好时长，在计划时间内不做中途决策；如果确实需要中间检查，使用序贯检验这类专为重复检验设计的框架；把最短实验时长设为硬门槛，未达标前不解读任何 p 值。

老钓手知道，提竿的时机不是看浮漂的每一次抖动，而是等浮漂给出“确实咬稳了”的信号——先按计划下竿，到了预定时间再收竿。实验也是如此：忍住偷看的冲动，才能在收竿时拿到可信的结论。

时长计算实战

现在把所有装备整合成一张钓鱼计划表。已知每天的预计客流量、当前转化率、想验证的提升幅度，以及可接受的误判风险，如何算出实验要跑多少天？实战中通常分四步：确定 p0、MDE、α、功效；用最小样本量公式算出每组所需 n；用日流量估算总天数；最后向上取整到完整周期并加缓冲。

核心的时长换算公式：

其中 n 是最小样本量公式算出的每组样本量，2n 是两组总样本量，d 是每天可用于实验的总流量。举个具体例子：假设 p0=10%，想检测到 MDE=2%（即 p1=12%），α=0.05，功效=80%。代入公式得到每组约 3840 个样本，总样本约 7680。若每日总流量为 5000，则纯积累天数为 1.54 天。但考虑到周期效应，向上取整到 7 天，再留 2 天缓冲，最终计划定为 9 天。

钓鱼计划表最终呈现的不再是“钓到多少条就收竿”，而是“几号到几号、每天钓几小时、留几天余量应对风雨”。这样即便中间出现流量波动，计划依然可靠，结论依然立得住。

AI 应用场景

Python 演示

import mathfrom scipy import stats  def min_sample_size(p0, p1, alpha=0.05, power=0.8):    z_alpha = stats.norm.ppf(1 - alpha / 2)    z_beta = stats.norm.ppf(power)    var = p0 * (1 - p0) + p1 * (1 - p1)    n = (z_alpha + z_beta) ** 2 * var / ((p1 - p0) ** 2)    return math.ceil(n)  def experiment_days(daily_traffic, p0, p1, alpha=0.05, power=0.8,                    cycle=7, buffer=2):    n = min_sample_size(p0, p1, alpha, power)    total = 2 * n    days = total / daily_traffic    days = math.ceil(days / cycle) * cycle + buffer    return n, total, days  if __name__ == "__main__":    p0, p1 = 0.10, 0.12    daily = 5000    n, total, days = experiment_days(daily, p0, p1)    print("每组样本量:", n)    print("总样本量:", total)    print("建议实验天数:", days)

1. z_alpha = stats.norm.ppf(1 - alpha / 2)查标准正态分布表，得到双尾 α=0.05 对应的 1.96。
2. z_beta = stats.norm.ppf(power)功效 80% 时对应的 z 值约 0.84。
3. var = p0 * (1 - p0) + p1 * (1 - p1)两组转化率方差之和，即公式里的波动项。
4. n = (z_alpha + z_beta) ** 2 * var / ((p1 - p0) ** 2)最小样本量公式的直接翻译。
5. days = total / daily_traffic先用总样本量除以日流量，得到纯积累天数。
6. days = math.ceil(days / cycle) * cycle + buffer向上取整到完整周期再叠加缓冲，覆盖工作日与周末。
7. if __name__ == "__main__":命令行直接运行，输出可复制的排期结论。

常见误区

面试题