Open LLM Leaderboard：开源大模型竞技场

可视化演示

展示开源大模型在MMLU/ARC/HellaSwag/TruthfulQA等基准测试上的排名对比，切换查看不同维度评测结果。

榜单定位

社区图书馆的公告栏上贴了一张大黄纸：凡是愿意公开“出身”的学生，都可以来参加一年一度的综合能力大赛，考完按平均分贴红榜。这场“社区联考”，就是 Open LLM Leaderboard 的世界。它不像是教育局发的红头文件，更像家长们自发组织的“民间成绩单”——权威来自透明和共建。

这个榜单由 HuggingFace 主办，只接收开源大模型；任何团队都可以通过社区提交模型评测请求，由统一流程打分后上榜。每个模型考完，成绩单实时更新，全球开发者都能看到。它的定位很清晰：不是某个厂商的自卖自夸，而是整个开源社区共同维护的公信力排名。

榜单的核心指标是一个看起来有点朴素的数字：平均分。做法是把模型在多个评测科目上的得分加起来，再除以科目数。别小看这个算术平均，它是整个红榜排名的唯一依据，也是接下来所有讨论的出发点。

$$\displaystyle \bar{S}=\frac{1}{N}\sum_{i=1}^{N}S_i$$

1. 认识符号 \\(\bar{S}\\)：读作“S 拔”，表示该模型所有科目得分的平均分，榜单最终就按它从高到低排序。

$$\displaystyle \bar{S}$$

2. 累加 \\(\sum_{i=1}^{N} S_i\\)：把第 1 科到第 \\(N\\) 科的得分全部相加；\\(S_i\\) 是第 \\(i\\) 个科目的得分，\\(N\\) 是科目总数。

$$\displaystyle \sum_{i=1}^{N} S_i$$

3. 除以 \\(N\\) 求平均：用总分除以科目数 \\(N\\)，使得科目数不同的模型也能站在同一条起跑线上比较。

$$\displaystyle \frac{1}{N}$$

就像大赛红榜只看总平均分一样，这份榜单给了你一个最省事的参照系。但“平均分第一名”在真实世界里未必是你要找的那个学生——这层分寸，我们留到后面的“排名解读”慢慢拆。

评测维度

大赛当然不止考一门课。社区联考一共设置了六门科目，其中三门名声最大：全科知识卷、科学推理卷、生活常识卷。它们分别对应 MMLU、ARC 和 HellaSwag——这三个名字你会在任何大模型评测文章里反复遇见。

MMLU 是一张覆盖历史、法律、物理等几十个学科的大综合卷，考的是“知识面广不广”；ARC 是科学推理题，给你一段实验描述，考你能不能推出结论，对应“分析能力”；HellaSwag 则是生活常识题，给出半句话让你选最合理的结尾，对应“对世界的直觉理解”。另外还有 Winogrande（指代消解）、TruthfulQA（真实性判断）、GSM8K（数学应用题）三门补充科目。

每门科目都按“答对率”计分。以 MMLU 为例，它的得分就是答对题目数占总题数的百分比：

$$\displaystyle \text{Acc}=\frac{C_{\text{correct}}}{T_{\text{total}}}\times100\%$$

1. 分子 \\(C_{\text{correct}}\\)：答对的题目数，自动阅卷机每判对一题就给模型记一分。

$$\displaystyle C_{\text{correct}}$$

2. 分母 \\(T_{\text{total}}\\)：本门科目的题目总数，它决定了分数的满分天花板在哪。

$$\displaystyle T_{\text{total}}$$

3. 乘上 \\(100\\%\\)：把比值换算成百分制，让六门科目的分数量纲统一，方便最后加总求平均。

$$\displaystyle \times 100\%$$

一句话记住这层设计：六门科目就像六个维度的体检报告，平均分只是“体重指数”，单项才是“血压血脂”——单科差异在后面的模型选型里，往往比总分更值钱。

自动评测

这么多试卷，要是让老师一份份人工判卷，几个月都判不完。社区联考的秘密武器是一台“自动阅卷机”：所有学生用同一张答题卡、同一套提示词模板（prompt），机器在流水线上批量判分，几分钟就能出一批成绩。

技术上，评测框架先用统一的提示词把题目拼装好喂给模型，再让模型在几个候选答案里挑一个。注意，挑答案不是看谁“说得大声”，而是比较每个选项的“生成概率”——模型觉得某句话越像自己会自然说出来的，这个选项的得分就越高。这种打分方式在自然语言处理里叫“对数似然”打分。

具体来说，模型给一个候选答案打的分，是这句话中每个词出现概率的对数之和：

$$\displaystyle \text{Score}(x)=\sum_{t=1}^{T}\log P_{\theta}(x_t \mid x_{<t})$$

1. 概率 \\(P_{\theta}(x_t \mid x_{<t})\\)：给定前面已经生成的词串 \\(x_{<t}\\)，模型认为下一个词是 \\(x_t\\) 的概率；\\(\theta\\) 是模型的全部参数。

$$\displaystyle P_{\theta}(x_t \mid x_{<t})$$

2. 取对数 \\(\log\\)：一串词的概率连乘起来会小到计算机无法表示，取对数把乘法变成加法，同时分数越高代表模型越“自信”。

$$\displaystyle \log P_{\theta}(x_t \mid x_{<t})$$

3. 求和 \\(\sum_{t=1}^{T}\\)：把整句话每个词的得分累加，得到该候选答案的总分，最后选总分最高的那个答案作为模型的输出。

$$\displaystyle \sum_{t=1}^{T}$$

自动阅卷最大的价值是“控制变量”：所有模型面对完全相同的输入和打分规则，剩下的差异基本只来自模型本身。这正是红榜敢于背书的原因——但也埋下了隐患，详见后面的“背答案风波”。

复测机制

成绩张贴后，社区并不一锤定音。如果你觉得某个学生分数可疑——比如平时作业全错、考试却接近满分——可以发起“成绩复核”。这就是 Open LLM Leaderboard 的复测机制，相当于现实世界里的成绩申诉窗口。

复测流程分三步走：第一步，在社区发起投票，攒够一定人气才算有效申请；第二步，主办方人工复核提交材料，确认模型版本和评测配置没有造假；第三步，用同一套评测框架重新跑一遍这个模型，如果新分数和原分数差异明显，就修正榜单排名。

那“差异明显”怎么界定？榜单用相对偏差来衡量两次评测的差距：

$$\displaystyle \Delta=\frac{\left|S_{\text{retest}}-S_{\text{first}}\right|}{S_{\text{first}}}$$

1. 分子 \\(\left|S_{\text{retest}}-S_{\text{first}}\right|\\)：复测分数与首次公布分数的绝对差，加绝对值保证差值恒为非负，只看差距不看方向。

$$\displaystyle \left|S_{\text{retest}}-S_{\text{first}}\right|$$

2. 分母 \\(S_{\text{first}}\\)：首次公布的分数，用来把绝对差归一化为相对比例，让 80 分和 60 分的模型可以用同一把尺子衡量。

$$\displaystyle S_{\text{first}}$$

3. 设定阈值：若 \\(\Delta\\) 超过约定的阈值（例如 5%），管理员就介入调查并修正排名，防止随机抖动反复改写红榜。

$$\displaystyle \Delta > \text{threshold}$$

这套“投票—复核—重测”的流程，给误会留了出口，也给弄虚作假留了威慑。它让红榜不再是主办方的一言堂，而是整个社区共同维护的信用体系。

刷榜争议

大赛办了几年后，有人发现了“高分捷径”——不是把知识学好，而是把往年真题背下来。这就是刷榜争议的根源，专业说法叫数据泄漏与过拟合。

数据泄漏指训练语料里混进了评测题库的原题，模型等于提前看到了答案；过拟合指模型把“题目—答案”的对应关系背得滚瓜烂熟，换一道没见过的变形题就原形毕露。开源模型的训练语料大量来自公开网络爬虫，而很多评测题也公开挂在网上，两边很容易“撞车”，所以这个问题在开源世界格外难防。

刷榜的程度可以用一个简单的重叠率来量化——训练语料与评测题库的“撞车”比例：

$$\displaystyle \text{Overlap}=\frac{\left|D_{\text{train}}\cap D_{\text{bench}}\right|}{\left|D_{\text{bench}}\right|}$$

1. 交集 \\(\left|D_{\text{train}}\cap D_{\text{bench}}\right|\\)：训练语料集合 \\(D_{\text{train}}\\) 与评测题库集合 \\(D_{\text{bench}}\\) 共有的题目数量，也就是“背过的真题数”。

$$\displaystyle D_{\text{train}}\cap D_{\text{bench}}$$

2. 分母 \\(D_{\text{bench}}\\)：评测题库的题目总数，作为重叠比例的基准。

$$\displaystyle D_{\text{bench}}$$

3. 比值意义：一般认为重叠率超过 3%～5% 就要给模型打上“背题嫌疑”标签，v2 版本的防刷机制就是围绕这个指标设计的。

$$\displaystyle \text{Overlap}$$

背答案的学生总能在一场考试里风光，但换张新卷子就露馅。刷榜带来的信任危机，让整个社区开始反思：红榜上的分数，到底考的是真实能力，还是记忆力？

排名解读

红榜贴出来，最兴奋的是家长——他们想拿着榜单给孩子挑学校。但聪明的家长不会只看总分第一，而是先想清楚“我家孩子需要什么”。解读模型排名，也是同一个道理。

这里有四条实战经验：第一，总分只做粗略参照，别当圣旨；第二，重点看目标场景对应的单科，比如要做数学题就盯 GSM8K，要做知识问答就看 MMLU；第三，留意分数的误差范围，两个模型差 0.3 分根本说明不了谁更强；第四，结合参数量权衡，同分情况下选更小的模型，部署成本通常低得多。

“误差范围”怎么理解？评测本质上是一次抽样考试，模型真实的水平并非一个点，而是落在某个区间里，统计学上叫置信区间：

$$\displaystyle \text{CI}=\bar{S}\pm z_{\alpha/2}\cdot\frac{\sigma}{\sqrt{n}}$$

1. 中心 \\(\bar{S}\\)：多次评测或抽样得到的平均分，是置信区间的中心点，也是榜单上展示的那个数字。

$$\displaystyle \bar{S}$$

2. 波动项 \\(z_{\alpha/2}\cdot\frac{\sigma}{\sqrt{n}}\\)：\\(z_{\alpha/2}\\) 是对应置信水平的临界值（常用 1.96），\\(\sigma\\) 是分数标准差，\\(n\\) 是评测样本量；\\(n\\) 越大，区间越窄，分数越可信。

$$\displaystyle z_{\alpha/2}\cdot\frac{\sigma}{\sqrt{n}}$$

3. 区间含义：真实能力大概率落在“平均分 ± 波动项”之间，当两个模型的置信区间大面积重叠时，就别急着分高下。

$$\displaystyle \bar{S} \pm z_{\alpha/2}\cdot\frac{\sigma}{\sqrt{n}}$$

把榜单当“选校参考”而不是“判决书”，这是解读排名的第一课：先问场景，再看单科，最后才轮到总分。

榜单局限

任何考试都有盲区，这场社区联考也不例外。最核心的问题是：题库是相对静态的，而知识是流动的、应用场景是无限的。一套试卷不可能测出模型在真实世界里的全部本事。

榜单的局限可以归纳为四条：第一，静态题库，模型迭代多轮后旧题逐渐失去区分度，大家分数都逼近天花板；第二，知识失真，题型固定导致分数与真实任务表现的相关性下降；第三，忽略安全，榜单不测价值观对齐、有害内容拦截这类安全能力；第四，偏科掩盖，平均分把“文科满分、理科零分”和“样样都行”混为一谈。

“偏科掩盖”可以用一个简单的统计量——极差——来量化，也就是最高分与最低分之间的差距：

$$\displaystyle G=\max_i S_i-\min_i S_i$$

1. 最大值 \\(\max_i S_i\\)：该模型在所有科目中最强一科的得分。

$$\displaystyle \max_i S_i$$

2. 最小值 \\(\min_i S_i\\)：最弱一科的得分。

$$\displaystyle \min_i S_i$$

3. 极差 \\(G\\)：两者之差，\\(G\\) 越大说明越偏科；平均分相同的两个模型，极差可能一个是 5 分、一个是 30 分，能力结构完全不同。

$$\displaystyle G$$

考场的盲区提醒我们：红榜分数是“在特定试卷上的表现”，不是“在真实世界的战斗力”。知道榜单测什么、不测什么，往往比记住排名本身更重要。

V2改进

面对背题风波和旧题失效，社区管委会决定办“第二届大赛”，从头改规则。这就是 Open LLM Leaderboard v2——一场针对 v1 所有病根的“试卷大改革”。

v2 的改进集中在四个方面：题库版本化，每次评测锁定题库版本号，旧题不再悄悄复用，杜绝“题库悄悄泄露”；更新科目组合，引入更能反映真实能力的题目，让考试追着实际应用跑；防刷升级，加入数据污染检测，重叠率超标的模型会被打上标记；流程透明，公开模型提交信息和评测配置，让复测可追溯、可审计。

v2 还改掉了总分算法——不再简单平均，而是给不同科目分配不同权重，突出对真实应用的指导意义：

$$\displaystyle S_{v2}=\sum_{k=1}^{K} w_k\, b_k,\qquad \sum_{k=1}^{K}w_k=1$$

1. 加权和 \\(\sum_{k=1}^{K} w_k b_k\\)：\\(b_k\\) 是第 \\(k\\) 个基准的得分，\\(w_k\\) 是它的权重；权重越大的科目，对最终总分的拉动越明显。

$$\displaystyle w_k b_k$$

2. 权重归一 \\(\sum_{k=1}^{K} w_k=1\\)：所有权重加起来等于 1，保证总分仍然稳定在百分制附近，不会因为科目数量增减而失真。

$$\displaystyle \sum_{k=1}^{K} w_k = 1$$

3. 设计意图：从“机械平均”升级为“加权融合”，让总分更贴近“这个模型在我的场景里好不好用”，而非简单的六科一视同仁。

$$\displaystyle S_{v2}$$

第二届大赛未必完美，但方向是对的：让考试追着真实能力跑，而不是让真实能力追着考试跑。这也是整个开源评测社区不断进化的缩影。

AI 应用场景

Python 演示

# -*- coding: utf-8 -*-"""简易 Open LLM Leaderboard：给两个模型跑统一评测并做复测体检。"""import random BENCHMARKS = ["MMLU", "ARC", "HellaSwag", "Winogrande", "GSM8K"]  class ModelCard:    """一份模型成绩卡：记录各科目基础分与复测分。"""     def __init__(self, name, base_scores, leaked=False):        self.name = name        self.base_scores = dict(zip(BENCHMARKS, base_scores))        self.leaked = leaked          # 是否在训练时见过真题        self.scores = dict(self.base_scores)        self.test_count = 0           # 用 _count 后缀避免与方法同名     def evaluate(self, subjects):        """统一自动评测：每个科目各跑一次并记录得分。"""        for subject in subjects:            raw = self.base_scores[subject]            if self.leaked and random.random() < 0.6:                raw = min(100.0, raw + random.uniform(2.0, 6.0))            self.scores[subject] = round(raw, 1)        self.test_count += 1     def average(self):        """榜单平均分：所有科目得分的算术平均。"""        return sum(self.scores.values()) / len(self.scores)     def contamination(self):        """复测体检：平均分偏差超过阈值即疑似刷榜。"""        base_avg = sum(self.base_scores.values()) / len(self.base_scores)        return self.average() - base_avg  def main():    random.seed(42)    models = [        ModelCard("诚实模型", [72.0, 68.0, 75.0, 70.0, 30.0]),        ModelCard("背题模型", [70.0, 65.0, 72.0, 68.0, 25.0], leaked=True),    ]    for model in models:        model.evaluate(BENCHMARKS)        diff = model.contamination()        print(f"{model.name}: 平均分 {model.average():.2f}, "              f"复测偏差 {diff:+.2f}, 疑似刷榜: {diff > 3.0}")  if __name__ == "__main__":    main()

1. self.base_scores = dict(zip(BENCHMARKS, base_scores))把科目名与分数绑成字典，相当于给每个模型建一科一档的成绩册。
2. model.evaluate(BENCHMARKS)所有模型跑完全相同的科目与打分流程，复刻榜单的“自动阅卷机”。
3. if self.leaked and random.random() < 0.6模拟背题模型：遇到常见题型时分数随机上浮，这是数据泄漏的缩影。
4. def average(self)榜单排名的核心算法：把所有科目分数加起来除以科目数。
5. model.contamination()复测体检：比较原始成绩与复测成绩的偏差，偏差超过 3 分就亮黄牌。

常见误区

面试题