MMLU-Pro：给“学霸扎堆”的旧考场来一次大升级

可视化演示

评测升级背景

教务处翻看过去三年的成绩册，发现学霸们的分数一年比一年靠近：第一年的分差还有 5 分，第三年已经缩小到 1 分。老师们开会时叹气：“不是学生不努力，是卷子不够难。”同样的场景发生在 AI 圈：MMLU 问世初期能很好地反映模型知识水平，但顶级模型很快冲到 85%～90% 以上的高分区，彼此差距只有 1～3 个百分点，第一梯队几乎“挤成一团”。

MMLU 的全称是 Massive Multitask Language Understanding，一个覆盖 57 个学科、数万道四选一选择题的评测集。它把模型当“考生”，答对一题得一分，最后用“正确率”打分。这套规则简单透明，在模型能力普遍较弱时非常有效，就像期中考能轻松区分“及格”和“不及格”。

可当所有顶级模型都拿高分时，分数的微小差异可能只是采样噪声，而不是真实能力差异。这时评测便进入“饱和态”：分数无法再告诉我们“谁更强”，也无法引导模型继续改进。研究者需要一份更能“拉开差距”的新试卷，这就是 MMLU-Pro 诞生的直接原因。

所以教研组明白了一个道理：考试的目的不是让所有人开心，而是把差距“考”出来。升级这场考试，本质上是在升级我们观察模型能力的“显微镜”。

核心设计改进

教研组的升级方案有三条：把选项从 4 个加到 10 个、把学科面铺得更广、把“背答案”的题换成“考推理”的题。这三板斧，招招都打在“分数饱和”的命门上。

MMLU-Pro 构建了一个包含约 1.2 万道题的新题库，覆盖计算机、数学、物理、化学、生物、法律、经济、工程、哲学、心理学等 14 大领域。最直观的变化是答题格式：从 A～D 四选一，变成 A～J 十选一。每一个选项都经过精心设计，多个干扰项“看起来都合理”，模型必须真正理解题目，而不是靠排除法或表面模式得分。

为什么选项增加这么重要？因为选项越多，“蒙对”越难。四选一时，纯瞎猜也有 25% 的正确率；十选一时，猜中概率只有 10%，靠运气拿分的空间被压缩了一大半。这正是奥赛的出题原则：不是把知识点考得更偏，而是把“运气分”和“技巧分”都压到最低，逼考生拿出真本事。

题目难度进阶

新试卷发下来，学霸们发现题风大变。以前是“杜甫的《春望》写于哪一年”这类一个知识点定答案的送分题；现在变成了“某案件涉及合同违约与侵权竞合，结合经济赔偿原则与最新司法解释，判断最合理的判决依据”。一句话里叠了好几个推理环节，稍不留神就会掉进干扰项的陷阱。

MMLU-Pro 的核心升级之一，就是大幅提高“多步推理题”的占比，同时压缩纯记忆题。这类题目需要模型先后完成多步逻辑推导，任何一步出错，整道题就可能答错。就像接力赛，四棒选手不可能每一棒都完美发挥，棒数越多，掉棒概率越大。

假设每一步推理的成功率都是 90%（已经很高了），四步连起来全部正确的概率是 0.9×0.9×0.9×0.9≈66%。步骤越多，全对越难。这正是 MMLU-Pro 能区分“会背”与“会想”的原因：死记硬背的模型在单步知识题上可能不差，但在多步推理题上会迅速掉分。MMLU-Pro 就是给模型安排了一场“推理接力赛”，比的不是单棒速度，而是整支队伍的稳定性。

区分度优势

升级后的第一次模考，教研组眼前一亮：旧考分差只有 2～3 分的学霸们，在新考中从 84 分一路排到 58 分，整整 26 分的落差。谁是“真学霸”、谁是“熟能生巧”，一眼便知。教研组在总结报告里写：“一场好的考试，应该让第一名不敢松气，让最后一名心服口服。”

在真实的评测数据中，MMLU-Pro 同样展现了更强的区分度。同样是顶级模型，在 MMLU 上的差距可能只有 1～2 个百分点，在 MMLU-Pro 上则可能相差 10 个百分点以上——这种差距更能反映模型在复杂推理上的真实水平，而不是被高分天花板抹平。

区分度可以量化为“第一名与最后一名之间的分数差”，也可以用标准差来衡量：分数越分散，说明评测越能把不同水平的模型区别开。MMLU-Pro 通过提高难度和砍掉猜测空间，让分数分布重新“摊开”，成为更可靠的评测信号。

质量控制体系

考试升级还有一个大难题：泄题。奥赛出题组发现，市面上流传的“真题集”越来越多，如果考生提前背过答案，考试就失去了意义。AI 圈也一样，模型训练数据里可能早就“见过”评测原题，这种现象叫数据污染——它就像考生在补习班刷过原题，分数再高也不代表真实水平。

MMLU-Pro 在构建时特别注重质量控制：从 MMLU 原题池中筛选出更难的题目，再由人类专家逐题审核、重写与扩充；同时系统性地检查新题与公开语料库的相似度，把与训练数据高度重合的题目直接剔除。这就像奥赛组委会不仅要出好题，还要确保任何考生都没在补习班“刷过”原题。

数据污染的严重程度可以用“泄漏率”衡量：泄漏率越高，评测分数的可信度越低。MMLU-Pro 通过人工审核与去重过滤，尽量把泄漏率压到最低，保证“考生”没有见过原题，考出来的分数才真正代表能力。考试公平，分数才有说服力。

评测应用价值

新考试上线后，这张成绩单迅速成为各方关注的焦点：学校用它在全省排名，培训机构用它调整课程，学霸们用它定位自己的短板。MMLU-Pro 分数在 AI 圈同样扮演着“成绩单”的角色：研究团队在论文中报告它，工程团队在迭代中盯住它，采购方在选型时对比它。

对研究团队来说，MMLU-Pro 是论文中必须报告的重要基准之一；对工程团队来说，它是模型迭代时的回归测试指标；对采购方来说，它是不同模型选型时最直观的对比依据。由于 MMLU-Pro 的分数梯度更明显，它已成为评估前沿模型推理能力的“试金石”。

一个常用观察指标是“难度落差”：同一模型在 MMLU 与 MMLU-Pro 上的分数之差。落差越大，说明该模型对“难度提升”越敏感，也侧面反映其推理能力尚有提升空间；落差越小，说明模型在复杂题目上依然稳健。教研组最后把成绩单贴进了校史馆，旁边写了一句话：“考试的价值不在分数本身，而在分数背后指引的方向。”

AI 应用场景

Python 演示

import randomimport math  def eval_score(true_rate, n_questions=1000):    # 模拟一个模型答 n 道题, 每道题按真实水平答对    return sum(1 for _ in range(n_questions) if random.random() < true_rate) / n_questions  def stddev(values):    # 计算一组分数的标准差, 数值越大说明分数越分散    avg = sum(values) / len(values)    return math.sqrt(sum((v - avg) ** 2 for v in values) / len(values))  def simulate():    random.seed(2024)    models = [        ("Model-A", 0.91, 0.84),        ("Model-B", 0.90, 0.79),        ("Model-C", 0.90, 0.74),        ("Model-D", 0.89, 0.68),        ("Model-E", 0.88, 0.63),        ("Model-F", 0.88, 0.58),    ]    mmlu_scores, pro_scores = [], []    print("模型        MMLU      MMLU-Pro    落差")    print("-" * 44)    for name, mmlu_rate, pro_rate in models:        s_old = eval_score(mmlu_rate)        s_new = eval_score(pro_rate)        mmlu_scores.append(s_old)        pro_scores.append(s_new)        print(f"{name:<8}  {s_old:.3f}    {s_new:.3f}    {s_old - s_new:.3f}")    print("-" * 44)    print(f"标准差     {stddev(mmlu_scores):.4f}    {stddev(pro_scores):.4f}")    print("新考标准差更大, 说明区分度更强")  if __name__ == "__main__":    simulate()

1. random.seed(2024)固定随机种子，让每次运行结果可复现，便于团队间对比。
2. eval_score(true_rate, n_questions)用随机采样模拟“考生”答题，真实水平越高，答对概率越大。
3. s_old - s_new计算同一模型在新旧考试中的“落差”，落差越大说明对难度越敏感。
4. stddev(mmlu_scores)计算旧考分数的标准差，数值小说明大家挤在一起。
5. stddev(pro_scores)新考标准差明显更大，量化验证“分数被重新拉开”。
6. f"{name:<8} {s_old:.3f}"格式化输出，让成绩单对齐美观，便于阅读。

常见误区

面试题