实验结果分析与置信区间计算

可视化演示

置信区间概念

阿贵是渔村最细心的渔夫。村长让他上报鱼塘的平均鱼长，他撒了一网，捞起 20 条，量完一算平均 50.2 厘米。第二天再撒一网，平均变成了 49.1 厘米。村长皱眉：“你昨天说 50.2，今天说 49.1，明天我该信哪个？”点估计就是这个尴尬——它总想报一个数，可样本一换，数字就跟着变。

统计学的解法不是把数字报得更准，而是把话说得“留有余地”：报一个区间，比如“平均长度可能在 47.5 到 52.5 厘米之间”。这个由样本构造出来的区间，就是置信区间（Confidence Interval, CI）。它把样本的变异性考虑在内：只要是抽样就有波动，只报单点必然骗人。区间的中心通常用样本均值，宽度由“把握程度”和“抽样波动”共同决定。

正式地说，设 $x_1, x_2, \dots, x_n$ 是来自总体的独立同分布样本，目标总体均值为 $\mu$。样本均值是 $\mu$ 的点估计：

村长听完一拍大腿：“早说嘛！与其报一个天天变的数，不如给我一个范围，我心里有底。”从单点到区间，是新手走向专业分析师的第一步：承认不确定性，并用区间明确地把不确定性量化出来。

中心极限定理

为什么这一网就能代表全塘？阿贵不服：我撒十网，每网的平均值都不一样。统计学家笑了：你撒一百网试试——把这一百个网的平均值画成直方图，奇迹出现了：它们像钟形一样堆在真值 50 附近，越靠外越少。这就是中心极限定理（Central Limit Theorem, CLT），统计推断的“定海神针”。

CLT 告诉我们：不管鱼的长度分布多古怪（左偏、右偏、甚至双峰），只要每次捞的鱼相互独立且方差有限，当样本量 n 足够大时，样本均值 $\bar{X}$ 的抽样分布近似服从正态分布。它的中心就是总体均值 $\mu$，但方差从原来的 $\sigma^2$ 缩小为 $\sigma^2 / n$——因为取平均的过程把个体波动“摊薄”了。

这个定理是构建置信区间的理论基石。没有它，我们连“均值大概落在哪”都无法谈；有了它，我们才能放心地用一条正态曲线去刻画“撒网均值”的运气波动。其数学表达为：

阿贵现在明白了：单网均值会飘，但“网的平均值”这个随机变量有稳定规律。他捏着这把“尺子”，对接下来的计算有了底气。

区间计算流程

村长要的是数字，不是定理。阿贵问：区间到底怎么算？统计学家给了他一份四步清单：先算样本均值 $\bar{x}$；再算标准误 $SE = \sigma / \sqrt{n}$（σ 已知时）；接着查临界值 $z_{\alpha/2}$；最后组装成“中心 ± 裕量”的区间。

以阿贵那网为例：n = 20，$\bar{x} = 50.2$，已知 $\sigma = 3$。标准误 $SE = 3 / \sqrt{20} \approx 0.671$，95% 置信水平对应的临界值 $z_{0.025} = 1.96$，于是：

得到区间 $[48.89, 51.51]$。

如果总体标准差 σ 未知（现实中更常见），就用样本标准差 s 代替 σ，同时把 z 临界值换成 t 分布临界值 $t_{\alpha/2, n-1}$。t 分布和正态长得几乎一样，但尾部更厚——因为用 s 估计 σ 又引入了额外不确定性，厚尾就是为这份“不确定”留的安全余量。样本越大，t 分布越接近正态。

阿贵把四步清单贴在船篷上：量鱼、算 SE、查表、算区间。村长看到“[48.89, 51.51]”的牌子乐了：“这才像句人话。”

置信水平解读

村民好奇：95% 是不是说“真实平均长度落在区间里的概率是 95%”？统计学家摇头：“严格说，不对。真正的长度 μ 是固定的一个数（比如 50.3 厘米），它要么在本区间里，要么不在，不存在‘概率’一说。95% 说的是方法：如果我重复撒 100 次网、建 100 个区间，大约 95 个会罩住 μ。”

这正是频率学派的核心逻辑：参数是固定的，随机的是区间。每次抽样得到的区间都不同，有的长有的短，有的偏左有的偏右；但只要方法正确，长时间重复下来，覆盖率为 95%。用数学语言表达：

其中 $1 - \alpha$ 就是置信水平。置信水平越高（比如从 95% 提到 99%），临界值 $z$ 越大，区间越宽——因为你想“更稳”，就得把网撒得更开。与此同时，样本量 n 增大会让标准误缩小，区间变窄。区间宽度大致与 $1/\sqrt{n}$ 成正比：样本量变成原来的 4 倍，区间宽度才减半。

阿贵真的撒了 100 网，画了 100 个区间，发现 97 个罩住了 50.3 那条绿线。“村长你看，这方法真不赖！”村长点头：“比碰运气可靠多了。”记住：95% 是方法的长期命中率，不是某一个区间的“个人概率”。

实验分析应用

第二年，渔村采购了新式渔网 B，想跟老网 A 比效率。统计学家说：这不难。把 A、B 两张网各试一段时间，记录每次捕获的平均鱼重，然后比较两组均值差的置信区间，而不是只比谁的数字大。

设 A 组观测 $\bar{x}_A$、样本方差 $s_A^2$、样本量 $n_A$，B 组对应 $\bar{x}_B$、$s_B^2$、$n_B$。两组均值差的 95% 置信区间为（Welch 近似）：

判断规则很简单：如果区间整体大于 0，说明 B 网显著更好；整体小于 0，说明 A 网更好；如果区间包含 0，说明证据不足——此时不能说“两组一样”，只能说“现有数据无法证明差异”。同时还要看效应量（均值差的实际幅度），大样本下很容易出现“统计显著但实际效果微不足道”的情况。

阿贵试了 2000 次后算出均值差区间 $[0.011, 0.029]$，全部大于零——新网确实更高效，而且提升幅度也有据可查。村长拍板：采购新网！这正是 A/B 测试的日常：用置信区间代替“感觉”，用数据代替“我觉得”。

实践注意事项

统计学家最后在渔村墙上贴了一张“避坑清单”：区间算得对，结论还可能错。第一坑是样本量不足。实验前就要用公式估算每组需要的样本量，而不是等跑完再看 p 值：

其中 E 是能接受的最大估计误差（区间半宽）。E 越小，需要的样本量越大——想要更精细的结论，就得花更多“试验成本”。第二坑是多重比较。如果同时测 8 个新网，每个检验 α = 0.05，即便所有新网都无效，至少出现一个假阳性的概率约 $1 - 0.95^8 \approx 34\%$。此时需要 Bonferroni 校正（α 除以比较次数）或控制 FDR。第三坑是数据质量：埋点重复、流量切分不均、用户重叠，相当于渔网漏了鱼，区间再漂亮也是“垃圾进，垃圾出”。第四坑是解读原则：统计显著不等于业务显著，p < 0.05 只说明信号存在，效应量才说明信号有多大。

阿贵把这份清单贴在船篷另一侧。从此每场实验：先估样本量，再盯数据质量，最后结合区间和效应量下结论。“算得对不等于结论对，坑要一个一个绕过去。”

AI 应用场景

Python 演示

import randomimport math  def mean_ci(data, conf=0.95):    """计算样本均值的置信区间(大样本近似, z 分布)"""    n = len(data)    mean = sum(data) / n    var = sum((x - mean) ** 2 for x in data) / (n - 1)  # 样本方差(无偏估计)    se = math.sqrt(var / n)    z = 1.96 if conf == 0.95 else 2.576 if conf == 0.99 else 1.645    return mean - z * se, mean + z * se  def diff_ci(a, b, conf=0.95):    """两组均值差的置信区间(Welch 近似)"""    na, nb = len(a), len(b)    ma = sum(a) / na    mb = sum(b) / nb    va = sum((x - ma) ** 2 for x in a) / (na - 1)    vb = sum((x - mb) ** 2 for x in b) / (nb - 1)    se = math.sqrt(va / na + vb / nb)    z = 1.96 if conf == 0.95 else 2.576 if conf == 0.99 else 1.645    return (ma - mb) - z * se, (ma - mb) + z * se  def required_sample_size(effect, sigma, conf=0.95):    """给定可检测效应量 effect 和标准差 sigma, 预估每组所需样本量"""    z = 1.96 if conf == 0.95 else 2.576    return math.ceil(2 * (z * sigma / effect) ** 2)  def main():    random.seed(42)    # 对照组 A: 均值 0.10; 实验组 B: 均值 0.12 (真有效应)    a = [max(0, 0.10 + 0.03 * random.gauss(0, 1)) for _ in range(2000)]    b = [max(0, 0.12 + 0.03 * random.gauss(0, 1)) for _ in range(2000)]    lo, hi = diff_ci(a, b)    print("A 组均值: %.4f, B 组均值: %.4f" % (sum(a) / len(a), sum(b) / len(b)))    print("均值差 95%% 置信区间: [%.4f, %.4f]" % (lo, hi))    if lo <= 0 <= hi:        print("区间包含 0, 差异不显著")    else:        print("区间不包含 0, 差异显著 (p < 0.05)")    n = required_sample_size(effect=0.02, sigma=0.03)    print("发现 0.02 效应所需每组样本量约: %d" % n)  if __name__ == "__main__":    main()

1. random.seed(42)固定随机种子，保证每次运行结果可复现，实验分析的第一步就是可复现。
2. diff_ci(a, b)用 Welch 近似计算两组均值差置信区间，不假设两方差相等，适合真实 A/B 数据。
3. va = sum(...) / (na - 1)用 n-1 做分母的无偏样本方差，小样本下更准确。
4. required_sample_size(effect, sigma)实验前根据想检测的最小效应和波动水平，估算每组样本量。
5. if lo <= 0 <= hi判断区间是否包含 0，这是显著性结论的唯一依据。

常见误区

面试题