LLM评估中的A/B测试与统计显著性判断

可视化演示

展示A/B实验用户随机分组、p值统计显著性检验与零假设分布，以及多重比较假阳性率膨胀与Bonferroni校正方法。

实验设计基础：把“碰运气”变成“做实验”

小美在市中心开了家奶茶店，研发了一款燕麦奶新配方。她想知道新配方是否真的更受欢迎，于是决定做一次“同店测试”：接下来两周，每天前 100 位顾客按进店顺序编号，偶数号尝新配方，奇数号尝老配方，打烊后统计两组的满意率和复购率。这个看似简单的设计，其实包含了 A/B 测试最基本的四个要素：随机分配、对照组、样本量和实验周期。

先看随机分配。如果小美让顾客自己选配方，喜欢尝鲜的年轻人会涌向新配方，偏好经典口味的老顾客留在老配方——两组人群在年龄、口味偏好上天然不同，哪怕配方完全一样，满意度也会出现差异。随机分配的价值，就是让两组在“人”的维度上尽量相似，从而把后续观察到的任何差异，都归因于“配方”本身，而不是“谁喝了它”。对照组则提供了“什么都不变时”的基准线，没有对照组，实验组数据就成了无锚点的孤岛。

有了随机分配和对照组，还需要回答“每组多少人”。样本太少，实验像用一把钝尺子量头发丝，新配方明明更好也测不出来；样本太多，实验周期拖长，浪费流量和机会成本。这时需要用样本量公式做好预算：

小美把公式代入后算出需要约 600 人，于是她决定把实验跑满两周而非三天——因为她知道，样本量不够时得出的“新配方更好”，很可能只是“这批顾客刚好偏爱燕麦奶”的偶然。在 LLM 评估中同理：新模型对比旧模型，至少要让每组积累到预设的对话样本量，再谈结论。

指标定义选择：用哪把尺子量“更好”

要判断新配方好不好，小美可以看“当场满意度评分”，也可以看“一个月内回头购买率”。当场评分容易受当天顾客心情影响，复购率更能反映真实喜爱，但要等一个月才有结果。不同尺子量出不同结论，这就是指标选择的重要性。

在统计实验里，指标分三类角色。核心指标是实验前预先指定的首要决策依据，通常只有一个，比如“四周内复购率”或 LLM 评估中的“任务完成率”。代理指标是能间接反映核心目标、但更易快速获取的度量，比如“首 token 延迟”——延迟越低用户越不耐烦，它与满意度相关但并非目标本身。护栏指标用来发现“副作用”：新配方满意度高了，但投诉率也飙升，这种实验不能上线；对应 LLM 场景就是“有害内容率”“PII 泄露次数”这类必须守住的底线。

指标选好后还要统一口径。“满意率”是指“评分 ≥ 4 星的对话数 ÷ 总对话数”，还是“评分 ≥ 4 星的用户数 ÷ 总用户数”？分子分母差一个字，结果可能天差地别。口径不预先锁定，实验结束后再挑对自己有利的算法，本质上就是在操纵结论。

小美最终把“四周内复购率”定为核心指标，“当场甜度评分”作为代理指标，“投诉率”作为护栏指标，并提前写清了复购率的计算口径——连续四周内再次购买的人数占初始购买人数的比例。这样一来，实验结束前没有人能“灵活解释”数据，结论才经得起推敲。

假设检验原理：先假设“没有差别”

小美把数据拿给学统计的朋友看，朋友说：我们不妨先假设“新旧配方没有差别”，然后看数据——如果在“没有差别”的世界里，观察到当前这么大差异的概率非常低，就说明这个假设很可能不成立，差异是真实的。这就是假设检验的“反证法”逻辑。

零假设（H₀）通常表述为“两组无差异”，对应 LLM 场景就是“新模型与旧模型的效果一样”。备择假设（H₁）是“确实存在差异”。我们不会直接证明 H₁ 为真，而是尝试用数据推翻 H₀——这种“先假设无辜”的思路，像极了法庭上的无罪推定：证据不足时，被告（新模型）不能被判有罪（不能宣布显著提升）。

要量化“证据有多强”，统计学定义了 P 值：

显著性水平 α 是预先划定的“惊讶阈值”，通常取 0.05：当 P < α 时，我们说“结果在统计上显著”，拒绝零假设；否则“不显著”，保留零假设。两类错误随之而来：第一类错误（假阳性）是把没差别说成有差别，犯错的概率就是 α；第二类错误（假阴性）是把有差别说成没差别，概率是 β。α 和 β 此消彼长，就像你要在“误伤无辜”和“放过真凶”之间做权衡——这正是前面样本量公式中同时出现 Z_{1−α/2} 与 Z_{1−β} 的原因。

小美恍然大悟：P 值是“巧合的程度”，而不是“新配方比旧配方好的概率”。朋友见她听得认真，又提醒了一句：“别忘了，P 值小于 0.05 只说明差异不像随机波动，它可没说差异有多大。”

显著性计算：把差异放到同一把尺子上

两组顾客满意率分别是 62% 和 65%，相差 3%。这 3% 是大是小？取决于波动性。如果每组的评分像天气一样阴晴不定，3% 的差异可能就是噪声；如果评分非常稳定，3% 就可能是真实信号。统计学要做的事，就是把“差异的大小”和“波动的大小”放到同一把尺子上比较。

这把尺子就是 Z 统计量：分子是两组均值差，分母是两组均值差的标准误（波动刻度的度量）。公式如下：

在实际应用中，样本量不大或总体方差未知时，常用 T 检验替代 Z 检验——原理相同，只是用 t 分布替代正态分布，阈值略大于 1.96。LLM 评估中，scipy.stats.ttest_ind 一行即可完成计算。

除假设检验外，置信区间是更有信息量的工具：95% 置信区间是“重复抽样 100 次，约 95 次的区间会包含真实差异”。区间不包含 0，等价于 P < 0.05；而区间宽度还能告诉你估计的精度。最后，效应量（如 Cohen's d）回答“差异到底有多大”——P 值管“是否可信”，效应量管“值不值得关心”。

小美现在明白：3% 的差异在大样本下可以非常“显著”，但效应量可能很小，小到不值得为此更换配方。“显著”和“重要”，从来不是一回事。

常见统计陷阱：奶茶店前辈的血泪教训

小美在社群分享实验结果，一位开过三家店的前辈提醒她：你盯着 20 个指标看，每个都有 5% 的概率“假显著”，20 个里面至少冒出一个显著的概率超过 64%——你以为挖到了金矿，其实是随机噪声在刷存在感。这就是 LLM 评估中最常见的陷阱。

多重比较：比较的指标或分组越多，纯靠随机得到显著结果的概率越大。如果你同时看“回答质量、延迟、点赞率、转人工率、PII 泄露、幻觉率……”20 个指标，其中某个指标 P < 0.05 根本不足为奇。对策：预先指定唯一核心指标；若必须看多个指标，用 Bonferroni 校正（把显著性阈值除以比较次数，比如 20 个指标时阈值降为 0.05/20 = 0.0025）。

选择性偏倚：实验结束后只挑显著的结果汇报，把不显著的指标悄悄藏起来。这种“先打靶后画圈”的做法，让结论带上强烈的自我安慰色彩。对策：像小美一样，实验启动前就写好分析计划，锁死核心指标和判定规则。

提前停止：实验没到预定样本量就每天盯 P 值，一旦 < 0.05 就欢呼下线。频繁查看会大幅膨胀第一类错误——因为“总有一次会碰巧显著”。有模拟研究表明，中途多次查看会让实际假阳性率从 5% 飙升到 20% 以上。对策：样本量和截止时间提前定死，实验期间不看 P 值。

幸存者偏差：只看到成功上线的实验，看不到因失败未归档的实验。如果团队只汇报“提升显著的 3 个实验”，而忽略了另外 7 个“没有显著提升”的实验，管理者会严重高估新方案的成功率。对策：建立实验登记制度，成功失败一律归档，定期复盘“失败实验”。

前辈最后说：“统计陷阱不可怕，可怕的是你相信自己不会掉进去。”小美把这条经验写进了门店手册：核心指标只有一个，样本量提前算好，实验期间不看 P 值，实验结束一次性分析。

结果解读决策：显著了，然后呢？

假设实验结果显示新配方满意度显著提升 1%，但新配方成本比老配方高 30%。小美该上新吗？统计判断只是第一步，业务决策才是终点。这个场景在 LLM 评估中每天都在发生：新模型在离线测试中 P 值显著，但推理成本翻倍、延迟增加 200 毫秒——上不上？

首先要区分统计显著与实际显著。P < 0.05 只说明差异“不太可能是偶然”，不说明差异“有商业价值”。一个由几万样本测出的 0.1% 提升，在统计上可能显著，在业务上却毫无意义。实际显著性要看效应量和置信区间下限：如果 95% 置信区间是 [+0.1%, +0.3%]，那最优情况下也只提升 0.3%，不值得为此承担成本风险。

其次是业务可行性：新增成本、运维复杂度、用户体验的长期影响、以及“护栏指标有没有悄悄变差”。LLM 场景中尤其要算清楚账——更强的模型往往更贵、更慢；如果用户感知不到质量差异，那这个模型升级就是负收益。

综合起来是一个决策框架：第一关，统计显著（可信度达标）；第二关，效应量足够（提升值得在意）；第三关，业务成本可接受（资源与风险可控）；第四关，护栏指标无恶化（没有牺牲安全与体验）。四关都过才上线。

小美算了一笔账：1% 的复购提升带来的毛利增长，覆盖不了燕麦奶原料上涨的成本，于是她选择不全面替换老配方，而是把新配方作为“限定款”小范围售卖，用真实市场反应继续积累数据——这本身就是新一轮实验的开始。

评估流程建设：把实验变成习惯

经历了这次实验，小美学到一个道理：单次实验可以靠运气，长期可靠的结论需要制度。她开始把实验方法固化成门店的标准流程——这正是一个成熟的 LLM 运维团队要做的事。

实验平台是基础设施。在 LLM 运维中，平台需要支持按请求粒度随机分流：比如将 10% 的线上对话请求标记为实验组，余下 90% 为对照组，同时保证同一个用户在不同会话中可能进入不同组别也完全合理。平台还要记录每个请求的实验标识、模型版本号、prompt 版本号，方便事后追溯——没有实验标识的数据，再好看也无法归因。

监控告警保障实验不失控。实验期间的护栏指标（有害内容率、PII 泄露、服务错误率）要实时监控，一旦超阈值立即熔断，宁可牺牲实验也要保护用户体验。这就像奶茶店如果发现新配方导致投诉暴增，必须先停售，而不是“等实验跑完再说”。

复盘机制沉淀团队经验。每次实验结束后输出标准报告：假设是什么、样本量多少、P 值若干、效应量多大、结论如何、后续 Action 是什么。重要的是，无论成功失败都要归档——失败实验的复盘往往比成功实验更有价值。

持续迭代是最终目标。A/B 测试不是一次性工作，而是“实验 → 分析 → 决策 → 上线 → 再实验”的持续循环。第二家奶茶店开业时，小美已经把“先实验、后上线”印成了门店手册——她知道，制度和统计直觉，才是她这家小公司真正的护城河。

AI 应用场景

Python 演示

import numpy as npfrom scipy import stats def simulate_llm_ab_test(visits_per_day=500, days=14,                         old_success=0.62, lift=0.03):    """模拟 LLM 应用两个版本的用户满意率 A/B 实验。     每天两组各接收 visits_per_day 次会话请求，    old_success 是旧模型满意率，lift 是新模型相对旧模型的提升。    """    np.random.seed(42)    old_scores, new_scores = [], []    for _ in range(days):        old_scores.extend(            np.random.binomial(1, old_success, visits_per_day))        new_scores.extend(            np.random.binomial(1, old_success + lift, visits_per_day))    return np.array(old_scores), np.array(new_scores) def analyze_and_decide(old, new, alpha=0.05):    """计算统计显著性并给出上线建议。"""    t_stat, p_value = stats.ttest_ind(new, old)    old_rate, new_rate = old.mean(), new.mean()    diff = new_rate - old_rate    print(f"旧版本满意率: {old_rate:.3f} ({len(old)} 个样本)")    print(f"新版本满意率: {new_rate:.3f} ({len(new)} 个样本)")    print(f"提升幅度: {diff:+.3f}")    print(f"t 统计量: {t_stat:.3f}, P 值: {p_value:.4f}")    if p_value < alpha:        print(f"结论: P 值 {p_value:.4f} < {alpha}，差异显著，可考虑上线")    else:        print(f"结论: P 值 {p_value:.4f} >= {alpha}，差异不显著，继续实验") if __name__ == "__main__":    old, new = simulate_llm_ab_test()    analyze_and_decide(old, new)

1. np.random.binomial(1, old_success, visits_per_day)模拟每个用户的“成功/失败”结果（1 表示满意），这是实验中最基本的伯努利试验。
2. old_scores.extend(...)把每天的模拟结果累积成完整样本，对应真实场景中“实验期间持续采集数据”。
3. stats.ttest_ind(new, old)对两组做独立样本 t 检验，返回 t 统计量和 P 值；这是显著性判断的核心一步。
4. p_value < alpha将 P 值与预先设定的显著性水平 α 比较，决定是否拒绝零假设（新模型无提升）。

常见误区

面试题