Arena Elo：人类偏好对战

可视化演示

演示LLM竞技场中人类偏好对战机制：盲测成对比较、Elo评分动态更新与Bradley-Terry胜率模型，展示对战数据如何转化为模型排名，支持三模式切换。

蒙面对战：看不见门派的擂台

武林大会最讲究公平：台下观众若是知道出招者来自“名门正派”，心里先入为主的敬仰，就会让胜负失了本色。于是主办方给每位登场选手蒙上黑纱，观众只看招式，不看门派。这一蒙，就是 Arena 评测的第一条规矩——盲测。

在 Arena 平台上，用户打开页面会看到两个模型的回答并排陈列，界面不透露任何一方来自哪个大模型。用户的任务只有一个：凭直觉投票，哪个回答更合自己的心意，就选哪边。这就是一场“人类偏好对战”：模型 A 对模型 B，投票结果不是 A 胜就是 B 胜，偶尔还有平局。由此，平台获得海量“谁比谁更受真实用户欢迎”的对战记录。

收集到一场场对战结果后，评测系统需要一个简单的统计量，来描述模型 A 在“对战池”中的表现——偏好胜率：

观众在擂台上的每一票，都被写成一条记录：谁对谁、谁胜谁负。千万条这样的小记录汇在一起，才构成后续一切排名的原材料——没有蒙面对战，就没有英雄榜的根基。

Elo积分：盟主的记分簿

蒙面擂台一场接一场，几百场下来，观众根本记不住谁赢过谁。武林盟主索性挂出一本记分簿：每个人从 1000 分开始，赢了加分、输了扣分。但加分多少不看场次，而是看对手的强弱——打败公认高手，涨分如飞；赢一个无名小卒，只是聊胜于无。

这套记分逻辑来自国际象棋大师 Arpad Elo 的评级系统，Arena 原封不动把它搬来评价大模型。两个模型对战前，系统先根据双方当前分数估算 A 的预期胜率：

比赛结束后，再用实际结果修正分数：

记分簿上的数字从不停滞：每一场对战都会让赢家加分、输家减分。武林英雄榜的每一次刷新，背后都是这本记分簿在无声运转。

对战采样：赛程安排是门学问

武林大会若总让榜首欺负榜尾，观众看腻，榜单也失真——赢弱者没什么信息量，输弱者却会掉很多分。聪明的盟主懂得排赛程：让实力相近的好手多碰面，偶尔也给新人安排热身局。这份赛程智慧，在 Arena 里叫对战采样策略。

平台接入了上百个模型，不可能让每个组合都打满几十场。若要求全部两两对战，组合数会迅速爆炸：

于是 Arena 采用两种采样策略搭配使用：天梯采样优先挑选分数尚未被确认、且彼此接近的模型对战，每场都压在高信息量的对决上；均匀采样则让所有模型以相近概率出场，防止新模型或小众模型被冷落。

赛程排得好，观众看得爽，榜单也更可信。Arena 的工程团队每天都在两种采样策略之间找平衡：既让老牌强者互相消耗，也让无名新秀拥有登场亮相的机会。

排名解读：英雄榜上的置信区间

英雄榜贴出来，观众为“星尘 1180 分、月影 1150 分”的差距争论不休：只差 30 分，月影真的比星尘弱吗？盟主在榜上画了一道道“模糊带”——这就是置信区间，它提醒所有人：分数不是一个精确数，而是一个范围。

Arena 官方在计算每个模型的 Elo 分数后，会通过 bootstrap（自举法）反复重抽样，得到分数的波动范围，再用正态分布的 95% 界限画出置信区间：

只有当两个模型的置信区间不重叠时，才能说一方显著领先另一方。如果区间互相重叠，榜单上就应视为并列。

观众再看榜单时，别只盯整数分差，先看两条“模糊带”是否重叠。朦胧不是坏事——它让英雄榜多了一分诚实，少了一分误读。

评测价值：全江湖都信这份榜

老江湖为什么认这份榜？因为它不是盟主一个人拍板，而是几百万场真实观众投票的结晶。观众用脚投票，比任何专家评审都更贴近“用户心中最强”这四个字的真实含义。

模型能力评估的江湖里，传统 benchmark（如 MMLU、GSM8K）考的是“做题”，Arena 考的是“对话”。做题高手未必让用户用得舒服，而 Arena 的偏好对战直接度量了真实对话中的综合体验。如何验证这份排行榜本身可靠？研究者会把 Arena 排名与另一组人工排序做相关性分析，常用 Spearman 秩相关系数：

相关系数越接近 1，说明排行榜与人类直觉越一致，评估越可信。

这份榜单的分量，来自它把“用户是否满意”这位终极裁判请进了评测席。对行业而言，它既是模型实力的度量衡，也是技术进步的路标。

局限挑战：榜单也有暗面

再公平的擂台也有猫腻：观众会不自觉偏爱“字数多”的长篇答案，会觉得排在前面的回答更可靠，还有少数人会恶意刷票。英雄榜的光鲜背后，其实正与这些暗面缠斗。

Arena 最典型的系统误差有几种：位置偏差——同样两个回答，放左边和放右边的得票率不同；长度偏好——更长的回答平均得到更多票；众包噪声——投手随意乱点或作弊。这些偏差都会悄悄扭曲 Elo 分数的相对关系。

以位置偏差为例，官方用“翻转位置再测一次”的策略来抵消：同一对回答，左右顺序随机打乱。将两种位置下的偏好率取平均，得到更干净的估计：

擂台永远不可能绝对干净，但有了翻转、过滤、大样本这些“除噪术”，英雄榜才能在噪声中保持体面。看懂这些暗面，才算真正读懂了 Arena。

---

AI 应用场景

Python 演示

# -*- coding: utf-8 -*-"""Arena Elo 模拟器, 人类偏好对战与评级排名"""import random  class ArenaElo:    """模拟一场蒙面武林大会"""     def __init__(self, players, k=32):        self.players = list(players)        self.ratings = {p: 1000.0 for p in self.players}        self.battle_count = {p: 0 for p in self.players}        self.k = k        self.true_strength = {}     def expected(self, ra, rb):        """根据双方 Elo 分计算 ra 方的预期胜率"""        return 1.0 / (1.0 + 10.0 ** ((rb - ra) / 400.0))     def p1_win_prob(self, p1, p2):        """用隐藏的真实强度(Bradley-Terry 模型)生成偏好"""        s1 = self.true_strength.get(p1, 0.5)        s2 = self.true_strength.get(p2, 0.5)        return s1 / (s1 + s2)     def battle(self, p1, p2, p1_won):        e1 = self.expected(self.ratings[p1], self.ratings[p2])        e2 = 1.0 - e1        if p1_won:            self.ratings[p1] += self.k * (1.0 - e1)            self.ratings[p2] -= self.k * e2        else:            self.ratings[p1] -= self.k * e1            self.ratings[p2] += self.k * (1.0 - e2)        self.battle_count[p1] += 1        self.battle_count[p2] += 1     def run(self, rounds):        for _ in range(rounds):            p1, p2 = random.sample(self.players, 2)            p1_won = random.random() < self.p1_win_prob(p1, p2)            self.battle(p1, p2, p1_won)     def leaderboard(self):        return sorted(self.ratings.items(), key=lambda x: -x[1])  if __name__ == "__main__":    random.seed(42)    arena = ArenaElo(["星尘", "月影", "天火", "霜华"])    # 真实世界中只有裁判知道的隐藏强度    arena.true_strength = {"星尘": 0.7, "月影": 0.5, "天火": 0.3, "霜华": 0.1}    arena.run(300)    print("=== 蒙面武林大会英雄榜 ===")    for rank, (name, rating) in enumerate(arena.leaderboard(), 1):        print(f"第{rank}名 {name}: {rating:.1f} 分, 出战 {arena.battle_count[name]} 场")

1. return 1.0 / (1.0 + 10.0 ** ((rb - ra) / 400.0))这就是 Elo 预期胜率公式的代码形态，把分差映射成 0 到 1 的赢面概率
2. s1 / (s1 + s2)用隐藏真实强度按 Bradley-Terry 模型生成用户偏好，强度越高的模型赢面越大
3. self.ratings[p1] += self.k * (1.0 - e1)胜者加分：加的分等于 K 乘以超出预期的部分，赢强手加得多
4. self.ratings[p2] -= self.k * e2败者扣分：扣的分等于 K 乘以对手预期胜率，输给弱者扣得多
5. random.sample(self.players, 2)均匀随机采样一对模型对战，模拟 Arena 的随机配对机制
6. sorted(self.ratings.items(), key=lambda x: -x[1])按 Elo 分数降序排序，生成最终的英雄榜

常见误区

面试题