Arena Elo 的对战样本量需求：多少场比赛，排名才算数？

可视化演示

对战样本量需求关系到Arena Elo排名的统计可靠性。Elo分数的置信区间与对战次数直接相关，足够的样本量才... 切换模式查看不同维度。

概率论基础：猜拳的胜负

想象两位大厨站在擂台前对决，每轮对战就是一次“猜拳”——A 出石头，B 出布，结果只有胜负两种可能。如果两位大厨水平完全相等，那么每次猜拳的胜率就是 50%，就像抛一枚公平的硬币。用数学的语言说，每一次对战都是一次伯努利试验——只有两种结果的随机实验，而对战的总场次 N 中，A 获胜的次数 X 服从二项分布。

但这里有个微妙之处：现实中的两位模型并非完全平等。A 的真实胜率可能是 53%，B 是 47%。这意味着每次猜拳时，A 有 53% 的概率获胜——单看一次结果毫无规律，但如果连续猜拳 1000 次，A 大概会赢 530 次。这就是大数定律的威力：当试验次数趋向无穷时，观测到的胜率会收敛到真实胜率。

$$P(\hat{p} \to p) = 1 \quad \text{当} \quad N \to \infty$$

1. 概率极限：随着试验次数 N 趋向无穷，估计值收敛于真实值的概率等于 1

$$\lim_{N \to \infty} P(|\hat{p} - p| > \varepsilon) = 0$$

2. 胜利次数：N 场对战中 A 获胜的次数服从二项分布

$$X \sim \text{Binomial}(N, p)$$

有了这个概率论地基，我们就能回答一个关键问题：观测到的胜率与真实胜率之间，误差到底有多大？这就要引入置信区间的概念。回到我们的美食排位赛：你通过品尝几十道菜，估算出 A 师傅获胜概率是 54%，但你心里清楚，这个 54% 是有水分的——真实水平可能落在 48% 到 60% 的区间内。这个“可能落在哪个范围内”，就是下一节的置信区间。

置信区间原理：实力的范围圈

当你想知道 A 师傅的真实实力时，只给一个孤零零的分数（比如 Elo 1500）是不够的——这就叫点估计，它像用一支箭射中靶心的概率，单次射偏太常见了。更稳健的做法是画一个范围圈：我们有 95% 的把握说，A 师傅的真实 Elo 落在 [1485, 1515] 之间。这个范围圈就是置信区间。

置信区间的宽度由两个因素决定：观测数据的波动性（方差）和样本量。根据中心极限定理，当对战次数足够多（通常 N > 30），样本均值的分布会趋近正态分布，于是置信区间可以精确地表示为“点估计 ± 一个与 1/√N 成正比的值”。

$$\text{CI} = \hat{\theta} \pm z_{\alpha/2} \times \frac{\sigma}{\sqrt{N}}$$

1. 点估计：用样本数据算出的一个最可能的值（靶心）

$$\hat{\theta} = \frac{1}{N}\sum_{i=1}^{N} X_i$$

2. 标准误：估计量的标准差，衡量“散布圈”的半径

$$\text{SE} = \frac{\sigma}{\sqrt{N}}$$

3. 区间构造：点估计左右各扩展一段距离，构成范围圈

$$\hat{\theta} \pm z_{\alpha/2} \times \text{SE}$$

这个公式透露了一个极其重要的关系：置信区间宽度与 √N 成反比。这意味着，如果你想让区间变窄一半，需要把样本量变为原来的 4 倍——这是典型的“边际收益递减”陷阱。下节我们将反解这个公式，直接算出需要的最低对战次数。

样本量公式：最少要打几场

现在我们面临一个实际工程问题：如果排名需要精度达到 ±10 Elo（即置信区间半宽 d = 10），最少需要多少场对战？这就像举办美食大赛前先算好预算——要采购多少食材、请多少位评审，才能让最终排名有足够的说服力。反推样本量的方法很简单：把置信区间公式改写成“解出 N”。

我们从区间公式出发，令半宽等于精度要求 d：d = z_{α/2} × σ/√N，然后两边平方并移项，就得到著名的样本量公式。这里的 z_{α/2} 是标准正态分布的分位点（95% 置信度下等于 1.96），σ 是单场对战胜负的标准差（Elo 系统中经验值约 200），d 是你设定的精度阈值。

$$n = \left( \frac{z_{\alpha/2} \times \sigma}{d} \right)^2$$

1. 设定精度：确定你能接受的误差半宽 d，比如 ±10 Elo

$$d = z_{\alpha/2} \times \frac{\sigma}{\sqrt{n}}$$

2. 解出 n：等式两边除以 z 和 σ，再平方，把 n 单独留在一边

$$n = \left( \frac{z_{\alpha/2} \times \sigma}{d} \right)^2$$

3. 代入数值：95% 置信度 z=1.96，σ≈200，d=10

$$n = \left( \frac{1.96 \times 200}{10} \right)^2 \approx 1537$$

代入实际数值，你会发现惊人的结果：要达到 ±10 Elo 的精度，至少需要约 1537 场对战！而如果只要求 ±50 Elo（约 61 场），区间放宽 5 倍，样本量直接缩小 25 倍。这就是为什么在 Chatbot Arena 上，一个模型往往要积累上千场用户对战才能获得相对稳定的排名——评测精度是“烧”出来的，不是省出来的。

精度需求权衡：你有多较真

上节揭示了“精度是昂贵的”，这节我们来量化“昂贵”背后的权衡逻辑。假设你是大赛组委会主席，现在需要决定：把置信度定在 90% 还是 99%？把精度定在 ±10 还是 ±30？这些选择会指数级改变所需样本量，而置信水平与精度阈值共同定义了排名的可信度。

在 Arena 的实际场景中，95% 置信度是行业默认的“黄金标尺”——这对应 z = 1.96。如果你追求 99% 置信度（z = 2.576），同等精度下样本量需要增加到原来的 1.73 倍；反之，如果允许放宽到 90% 置信度（z = 1.645），所需样本量则缩减到原来的 70%。精度阈值 d 的影响更为剧烈：由于平方反比关系，d 每减半，所需样本量变成 4 倍。

$$\frac{n_{99}}{n_{95}} = \left( \frac{2.576}{1.96} \right)^2 \approx 1.73$$

1. 置信度比值：99% 与 95% 置信度所需样本量之比，等于两者 z 值之比的平方

$$\frac{n_{α_1}}{n_{α_2}} = \left( \frac{z_{α_1/2}}{z_{α_2/2}} \right)^2$$

2. 精度平方效应：精度要求提高 k 倍（d 缩小 k 倍），样本量变为 k² 倍

$$n(d/k) = k^2 \times n(d)$$

这种权衡直接决定了评测项目的周期预算：精度要求越高，测试成本以平方速度攀升，而排名带来的收益边际递减。聪明的评测设计者会在“够用精度”和“可负担成本”之间寻找平衡点——比如先跑 500 场快速筛选，对胜出的候选再追加 1000 场精确排名。

显著性检验：这不是巧合

假设你统计了 800 场对战，A 以 52% 的胜率领先 B。请问这个 52% 是真实实力的体现，还是随机波动开的玩笑？显著性检验就是回答这个问题的工具——它像一场“法庭审判”，先假设被告无罪（两位模型水平相等），再看法庭证据（胜率差异）是否足够超出合理怀疑（随机波动范围）。

具体操作是：计算一个p 值，即在“水平相等”的零假设下，观测到如此大胜率差异的概率。如果 p 值小于 0.05，我们就拒绝零假设，认为差异具有统计显著性。在 Arena 排名中，这对应着两个模型 Elo 分差的置信区间是否完全避开了 0。

$$z = \frac{\hat{p}_A - 0.5}{\sqrt{0.25 / N}}$$

1. 零假设：设定两模型水平相等，胜率真实值为 0.5

$$H_0: p_A = 0.5$$

2. 检验统计量：观测胜率与 0.5 的差值，除以标准误（在零假设下方差为 0.25/N）

$$z = \frac{\hat{p}_A - 0.5}{\sqrt{0.25 / N}}$$

3. p 值判定：若 |z| > 1.96（对应 p < 0.05），则差异显著

$$p = 2 \times (1 - \Phi(|z|)) < 0.05$$

这解释了为什么 Chatbot Arena 的排行榜会区分“有显著差异”与“无显著差异”的相邻名次——当两个模型的对战场次不足导致置信区间重叠时，它们之间的排名其实处于统计学上的“并列”，谁前谁后没有实际意义。误判风险（把随机波动当真实差异）会误导研究者与用户，因此检验这道关卡是榜单可信度的守门员。

实际评测考量：预算与现实的平衡

理论公式给了我们“最小样本量”的答案，但现实中还要叠加一层约束：成本预算和时间预算。假设一次用户对战需要 10 秒推理时间 + 平均 30 秒等待用户响应，那么 1537 次对战约需要 17 个小时的连续评测。这时的关键决策发生在边际收益递减的曲线上——第 100 场对比第 500 场，置信区间收窄了；但第 1000 场对比第 1500 场，收窄幅度就小得多了。

聪明的评测规划者会设计分层策略：用少量样本（如 300 场）做初步筛选，淘汰明显劣势的模型；只有进入决赛圈的候选，才投入完整样本量（1500+ 场）做精确排名。这样既避免了把资源浪费在注定淘汰的模型上，又保证了最终排名的统计可靠性。

$$\text{Cost}(n) = c_{\text{单场}} \times n, \quad \frac{\partial (\text{CI 宽度})}{\partial n} = -\frac{\sigma z_{\alpha/2}}{2} n^{-3/2}$$

1. 成本线性增长：总成本 = 单场成本 × 场次，每多一场就多一份开销

$$\text{Cost}(n) = c \times n$$

2. 收益递减：置信区间宽度对角色的导数是负的，且随 n 增大趋近于 0

$$\frac{d(\text{CI 宽度})}{dn} = -\frac{\sigma z_{\alpha/2}}{2} n^{-3/2}$$

资源约束不只是“钱”，还包括 GPU 空闲时段、用户参与度衰减、模型版本迭代周期等现实因素。一个模型的 Elo 排名尚未收敛，新版模型已经发布了——这就导致评测结果总在追赶模型的版本。因此实际工作中，评测团队常使用序贯检验思路：每积累 100 场就检查一次置信区间是否达到预期精度，达到即止，未达到则继续追加。

应用与前景：谁来用这场盛宴

样本量需求的理论看似枯燥，它却是 Arena 排行榜公信力的基石。榜单解读环节中，有经验的 AI 从业者看排名时，首先会看模型名旁边的对战次数——当两个模型对战不足 800 场时，即便 Elo 分差有 15 分，也不会急于下“新模型更强”的结论。学术研究中，论文作者引用 Arena 排名作为模型对比证据时，必需要求结果达到统计显著性阈值，否则评审会直接质疑结论的可靠性。产品迭代过程中，团队选择是否替换线上模型时，会先跑一批 A/B 对战数据，用本文的样本量公式估算出需要多少场才能获得可信结论。

$$\text{决策阈值} = \begin{cases} \text{采纳新模型}, & \text{ΔElo} - z_{\alpha/2} \cdot \text{SE} > 0 \\ \text{维持现状}, & \text{否则} \end{cases}$$

1. 决策规则：当两个模型 Elo 差异的置信区间下界大于 0 时，才放心采纳新模型

$$\Delta \text{Elo} \pm z_{\alpha/2} \times \text{SE}$$

2. 业务落地：把这个规则嵌入模型评估管线，自动判定是否通过“替代门禁”

$$\text{如果 CI 下界} > 0 \Rightarrow \text{通过，否则不通过}$$

展望未来，LLM 竞技场的样本量需求会向两个方向发展：一是自适应采样——根据当前胜率差距动态调整对战次数，把资源集中在难分伯仲的模型上；二是联邦式共享数据——多个评测机构交换匿名对战结果，扩大有效样本量。但无论方向如何，“样本量决定置信度”这个统计本质不会改变。每一次看榜、每一次引用排名、每一次基于 Arena 决策，都值得反问一句：“这场盛宴，我看得够多吗？”

AI 应用场景

Python 演示

import mathfrom scipy import stats def min_battles(z_alpha=1.96, sigma=200.0, d=10.0):    """根据精度要求计算最少对战数"""    n = (z_alpha * sigma / d) ** 2    return int(math.ceil(n)) def significance_test(wins, losses):    """检验观测胜率是否显著区别于50%"""    n = wins + losses    if n == 0:        return 0.5, 0.0, False    p_hat = wins / n    se = math.sqrt((p_hat * (1 - p_hat)) / n)    z = (p_hat - 0.5) / se    p_value = 2 * (1 - stats.norm.cdf(abs(z)))    return p_hat, se, (p_value < 0.05) def ci_after_n_battles(n, sigma=200.0, z_alpha=1.96):    """计算n场对战后的置信区间半宽"""    return z_alpha * sigma / math.sqrt(n) def main():    print("=== Arena Elo 对战样本量需求计算器 ===\n")    for acc in [50, 30, 20, 10, 5]:        n = min_battles(d=acc)        print(f"精度 ±{acc} Elo  →  需要 {n} 场对战")     print("\n=== 显著性检验示例（800场，52%胜率）===")    p, se, sig = significance_test(wins=416, losses=384)    print(f"观测胜率: {p:.1%}, 标准误: {se:.3f}, 是否显著: {sig}")     print("\n=== 置信区间随样本量收窄 ===")    for n in [100, 500, 1000, 1537, 3000]:        hw = ci_after_n_battles(n)        print(f"n={n:5d}  →  区间半宽 ±{hw:.1f} Elo") if __name__ == "__main__":    main()

1. min_battles(z_alpha, sigma, d)实现核心公式 n = (z·σ/d)²，返回向上取整的整数。这是评测排期的“预算计算器”关键入口。
2. significance_test(wins, losses)计算观测胜率、标准误与 p 值，返回是否显著。对应正文“这不是巧合”的假设检验逻辑。
3. z = (p_hat - 0.5) / se这是 z 检验统计量，衡量观测胜率偏离 50% 多少个标准误，是 p 值计算的源头。
4. p_value = 2 * (1 - stats.norm.cdf(abs(z)))双边检验 p 值，若小于 0.05 则差异显著，等价于检查置信区间是否避开 0。
5. ci_after_n_battles(n, sigma, z_alpha)由置信区间公式直接计算给定场次下的区间半宽，帮你看榜时判断排名可信度。

常见误区

面试题