Arena Elo：Elo评分系统

可视化演示

展示Elo预期胜率计算与评分更新机制、Chatbot Arena模型排行榜与Bootstrap置信区间分析，交互切换模式查看Elo评测各维度。

评分起源

小区乒乓球俱乐部早年没有积分制，谁强谁弱全凭几个老队员拍脑袋。有人抱怨“上周明明打赢了老王，怎么排名还垫底”，裁判也说不清。直到记分员翻出一本泛黄的国际象棋棋书，把里面的“等级分”搬到了乒乓球台，争议才平息下来。

这套等级分制度由匈牙利裔美国物理学家 Arpad Elo 在 1960 年代提出，1970 年被国际棋联（FIDE）正式采用。它的核心哲学是：每个选手背后有一个隐藏的“真实实力”分数，每一场比赛都是对这个分数的带噪观测——赢一场不一定说明更强，但赢多了分数自然会爬上去。

2023 年以来，LMSYS 团队把这套思想迁移到 AI 评测：让两个大模型匿名回答同一个用户问题，由真人投票选出更优者，再用 Elo 更新分数。由此诞生了 Chatbot Arena（现称 LMArena）。如今“排行榜第几名”已经成为模型发布时最有分量的宣传语之一。

老棋书里的智慧跨越了半个多世纪，从黑白棋盘一路走进神经网络时代。它告诉我们：只要存在“两两对决”和“胜负反馈”，就能给任何参赛者排出一张可信的座次表。

核心公式

记分员的小本本上最关键的一步，是赛前先算出“谁更可能赢”。实力差距越大，爆冷概率越低。这个“赛前预期”在 Elo 里叫做期望得分，公式如下：

比赛结束后，记分员根据“实际结果”和“赛前预期”的偏差来改分。如果结果符合预期，分数几乎不动；如果爆冷，分数大幅调整。更新公式如下：

记分员的这套“期望账本”保证了公平：强手胜弱手只加一分，因为那是理所当然；弱手爆冷胜强手能加二十分，因为那颠覆了账本。正是这种不对称，让积分永远向“真实实力”靠拢。

对战机制

俱乐部不可能让所有会员两两打一遍——那需要几百场比赛。于是采用“随机配对、现场挑战”的方式：谁有空谁上台，每场比赛都是一次独立抽样，打得多的人分数自然更可信。

LLM 竞技场也沿用了同样的思路。它并不要求所有模型两两全覆盖，而是让“对局”自然发生，核心流程有四步：随机挑选两个模型，用户提交一个真实问题，两个模型匿名作答，用户投票选优或判平。系统每收到一条有效投票，就触发一次 Elo 更新。

这种异步机制带来三个好处。一是省数据：对局数只需随模型数量线性增长，就能支撑起可靠的排名，而不是两两全排列的平方级成本。二是去偏见：匿名展示让用户无法因为品牌名气而偏心，只能凭答案质量说话。三是近真实：用户提交的 prompt 来自真实世界，覆盖编程、写作、数学、闲聊等自然分布，比固定测试集更能反映“群众口碑”。

在篮球场上这叫“自由组队”，在 AI 评测里这叫“众包对局”。Elo 不挑剔对手，也不挑剔观众，它只要求一件事：对决是真实的、随机的、足够多的。

参数调优

记分员发现，小本本上还有三个旋钮可以调：K 值像是“记分员的脾气”，初始分像是“大家的起跑线”，400 像是“难度标尺”。调得不合适，榜单要么疯疯癫癫，要么死气沉沉。

K 值是单局最大调整量。国际棋联的做法是新手用 K=40，顶尖高手用 K=10，因为高手的分数已经过大量对局校准，不该被单场意外撼动。LLM 竞技场常取 K≈24，并在 10 到 32 之间调参。K 大收敛快但噪声大，K 小稳定但反应慢，这是一对绕不开的矛盾。

初始分数决定新模型入场时的起点。国际象棋标准是 1500，部分竞技场采用 1000。初始分并不神秘——它最终会被对局“冲掉”，但它决定了新模型在冷启动期会排在哪个位置。标尺 400 则决定“分差到胜率”的映射：调小它，分数普遍膨胀；调大它，分数普遍收缩，榜单的“水分”也随之改变。

除此之外，配对策略也很讲究：随机配对能保证无偏，但有些系统会让“对局次数少的模型优先出战”，以加速数据收集。调这三个旋钮就像调音箱的高低音——没有绝对正确的值，只有“适合当前赛场”的值。

数据处理

擂台赛裁判收到的投票并不都可信：有人乱点一通，有人只投自己喜欢的队伍，还有人觉得两边都好干脆弃权。如果把这些脏数据直接记进小本本，榜单就会被系统性地带偏。

因此，真正落地的 Elo 系统都配备一条数据清洗流水线。第一层是内容过滤：剔除答非所问的对话、内容为空或明显离题的样本。第二层是行为过滤：限制同一用户重复投票，识别并剔除机器人刷票。第三层是标签净化：有些竞技场只统计“明确关注了系统提示词”的用户投票，以降低恶意操纵。

平局也是一种重要信号。两个模型势均力敌时，硬分胜负会让分数被单场运气左右，所以 Arena 将平局记为 0.5 分，双方都获得小幅修正。最后，光有点估计还不够——榜单上“第一名比第二名高 20 分”，这 20 分到底是真差距还是噪声？统计学家用 Bootstrap 重采样给出置信区间：

裁判最后给出的不是一句“某队排名第几”，而是一份带着误差带的报告。把运气和噪声明明白白标出来，榜单才经得起推敲。

算法性能

新入会的小白选手头几场分数乱跳，赢了强手能加 20 分，输给新手又能跌回去。这不是记分员出错，而是因为他的实力还没被“校准”——所有评分系统在冷启动期都会这样。

冷启动问题是 Elo 迁移到 LLM 评测时最明显的痛点：新模型对局少，分数噪声大，过早打出排名会误导用户。常见的对策是设置“最小对局数”门槛，比如至少几百场投票才有资格上榜。同时，榜单尾部的模型因为对局稀疏，分数波动剧烈，因此通常只展示前几十名，避免把噪声当真相。

随着对局数增加，分数更新的幅度会逐渐收窄，最终趋于稳定。工程上常用如下收敛判据：

老球员的分数纹丝不动，不是因为他们不打比赛，而是因为大量对局已经把他们的分数“校准”到位。收敛越快、越稳的系统，越能让人信任那张榜单。

优化演进

老记分法有个先天缺陷：所有观众的投票权重一模一样，但懂球的人和随手乱点的人，显然不该拥有同样的影响力。于是记分员开始给投票“称重”——靠谱的观众权重更高，乱点的观众权重趋近于零。

这就是加权投票的思路：根据用户历史投票与大众共识的一致性，动态调整每条投票的权重。与之配套的还有平局的精确建模：把 0.5 分从“折中”升级为“概率模型的一部分”。这些改进最终都指向同一个统计框架——Bradley-Terry 模型，它给出两个模型对战胜率的显式形式：

现代竞技场还会按 prompt 语言、答案长度、对话轮数分组计算分数，以消除“长答案偏好”和“英语偏好”带来的偏差。经过这些打磨，“英雄榜”不再是一本粗糙的小本本，而是一台精心校准的统计机器。

AI 应用场景

Python 演示

import mathimport random  class ArenaElo:    """A lightweight Elo rating system for LLM battle evaluation."""     def __init__(self, k=32, initial=1500):        self.ratings = {}        self.k = k        self.initial = initial     def get_rating(self, model):        return self.ratings.get(model, self.initial)     @staticmethod    def expected(ra, rb):        return 1.0 / (1.0 + 10.0 ** ((rb - ra) / 400.0))     def report(self, winner, loser, tie=False):        ra, rb = self.get_rating(winner), self.get_rating(loser)        ea = self.expected(ra, rb)        sa, sb = (0.5, 0.5) if tie else (1.0, 0.0)        self.ratings[winner] = ra + self.k * (sa - ea)        self.ratings[loser] = rb + self.k * (sb - (1.0 - ea))     @staticmethod    def model_win_prob(delta_mu, scale=0.7):        return 1.0 / (1.0 + math.exp(-delta_mu / scale))     def simulate(self, models, rounds=3000, seed=42):        random.seed(seed)        true_mu = {m: random.gauss(0.0, 1.0) for m in models}        for _ in range(rounds):            a, b = random.sample(models, 2)            if random.random() < self.model_win_prob(true_mu[a] - true_mu[b]):                self.report(a, b)            else:                self.report(b, a)     def leaderboard(self):        return sorted(self.ratings.items(), key=lambda x: x[1], reverse=True)  def main():    models = ["model-alpha", "model-beta", "model-gamma", "model-delta",              "model-epsilon"]    arena = ArenaElo(k=24)    arena.simulate(models, rounds=3000)    print("Leaderboard after 3000 random battles:")    for rank, (name, score) in enumerate(arena.leaderboard(), 1):        print("  {}. {}: {:.1f}".format(rank, name, score))  if __name__ == "__main__":    main()

1. self.ratings.get(model, self.initial)新模型首次出现时默认拿到初始分，无需提前注册。
2. return 1.0 / (1.0 + 10.0 ** ((rb - ra) / 400.0))期望得分公式的代码形态，核心就是一个 logistic 函数。
3. self.ratings[winner] = ra + self.k * (sa - ea)胜者分数更新：实际得分减期望得分，再乘 K。
4. sa, sb = (0.5, 0.5) if tie else (1.0, 0.0)平局双方记 0.5，胜负则胜方记 1、负方记 0。
5. return 1.0 / (1.0 + math.exp(-delta_mu / scale))用 Bradley-Terry 概率模拟“真实世界”里强者胜出的概率。
6. random.sample(models, 2)随机匿名配对，保证对战无偏。
7. random.seed(seed)固定随机种子，让实验可复现。
8. sorted(self.ratings.items(), key=lambda x: x[1], reverse=True)按分数降序生成排行榜。

常见误区

面试题