MMLU-Pro：从四选一到十选一的AI能力大考

可视化演示

展示MMLU-Pro的增强设计：选项数量从4增至10、专业领域覆盖扩大、对高性能模型的区分度提升，通过交互理解LLM评测基准的演进。

诞生背景

班主任翻看成绩单时发现问题：班级前十名的分数都挤在 93 到 98 分之间，这张卷子根本分不出谁强谁弱。为什么？因为试卷太“友好”——题目大多是课本原话，答案只有 4 个选项，不会的同学闭眼蒙也有 25% 的命中率。靠运气能拿到的分太多，真实实力的差距就被掩盖了。

这就是原版 MMLU 的处境。MMLU（Massive Multitask Language Understanding，大规模多任务语言理解）于 2020 年发布，用 57 个学科、约 1.5 万道四选一选择题，考查模型从小学常识到大学专业课的通识知识。它曾经非常成功：模型的分数从随机水平一路爬升，成为判断 LLM“见过多少世面”的金标准。

但随着 GPT-4 等顶尖模型把分数推到 90% 以上，问题来了——接近满分的卷子出现了天花板效应（ceiling effect，即分数逼近上限后难以再区分高低）。真实水平 90 分的模型和 97 分的模型，在卷面上都表现为“很厉害”，可它们在真实任务上的体验差距巨大。再加上 4 选 1 给了随机猜测 25% 的保底分，低水平模型也被抬高了分数。评测逐渐失去了区分度。

$$\displaystyle P_{\text{random}} = \frac{1}{N}$$

1. N（选项个数）：每一道选择题提供的候选项数量。原版 MMLU 是 4 个，MMLU-Pro 升级为 10 个。

$$\displaystyle N = 4 \quad \text{或} \quad N = 10$$

2. 1/N（随机猜中概率）：完全不会时瞎选，恰好选中正确答案的概率。N 越大，这个概率越小。

$$\displaystyle \frac{1}{4} = 25\%, \quad \frac{1}{10} = 10\%$$

班主任意识到，想挑出真学霸，必须先换一张能“拉开差距”的卷子。同样的逻辑，AI 研究者意识到：想让顶尖模型继续进步，必须先有一把更精细的尺子。MMLU-Pro 就是在这样的需求下诞生的——[MMLU-Pro 论文](0) 的出发点，正是“原版考卷已经测不出高手了”。

核心升级

班主任连夜出了新卷子。第一招，把选择题从“四选一”改成“十选一”（A 到 J），蒙对的概率从 25% 暴跌到 10%；第二招，题目不再是“世界上最高的山峰是哪座”这种送分题，而是先给一段材料，要求结合多个知识点推理；第三招，考试范围从语数外扩充到医学、法律、物理、经济等专业领域。每一招都直指原版考卷的软肋。

这三招正好对应 MMLU-Pro 的三大核心升级：选项扩增、结构复杂、领域扩展。在 MMLU-Pro 中，每道题配备 10 个选项（A-J），题干更长、干扰项经过精心设计，数据集约 1.2 万道题，在原 MMLU 的 57 个学科基础上补充了更多专业科目。它不是简单地把旧题换个选项，而是重新命题、重写题干、重新筛选。

为什么选项数量如此关键？信息论告诉我们，选项越多，一道题携带的“考试信息量”越大。用信息熵衡量，4 选 1 的每道题只有 2 bit 的不确定性，而 10 选 1 有约 3.32 bit。更重要的是，多出来的 6 个选项不是凑数的，而是“看起来像正确答案”的迷惑选项，这迫使模型真正理解概念，而不是靠词频统计或模式匹配蒙混过关。

$$\displaystyle H = \log_2 N$$

1. log2（以 2 为底的对数）：一种数学运算，回答“要翻多少倍才能达到 N”的问题。N 每翻一番，H 增加 1 bit。

$$\displaystyle \log_2 2 = 1$$

2. 代入 N 求值：N=4 时 H=2 bit；N=10 时 H≈3.32 bit，每道题的信息量提升了约 66%，选择空间变大让猜题更不划算。

$$\displaystyle \log_2 4 = 2, \quad \log_2 10 \approx 3.32$$

就像班主任给每道题都加了“防蒙锁”，又给整张卷子扩大了知识面，MMLU-Pro 让考试不再是记忆力的比拼，而是知识运用与多步推理的较量。

题目解析

打开新考卷，你会觉得题目“既眼熟又陌生”。它还是选择题，但题干像一篇小阅读材料，选项像一排长得差不多的孪生兄弟。数学题可能先讲一段“农场主围栏”的故事，再让你把条件翻译成方程；法律题可能给一段案情，让你判断应适用哪条原则。每道题都在逼你“多想几步”。

这类题目在 MMLU-Pro 中有几个鲜明特征。学科分布上，STEM（科学、技术、工程、数学）、人文社科、专业领域（法律、医学、经济、心理学等）三分天下；题型上，以多步推理型选择题为主，部分题目涉及图表和代码片段；推理要求上，从“是什么”的单步知识检索，升级为“为什么、怎么办”的多步逻辑链。

我们可以在直觉上用“题目复杂度”来刻画难度：复杂度 C 等于题干长度 L 乘以推理步数 R。原版 MMLU 的题目大多 L 短、R=1，一步检索就能答对；MMLU-Pro 的题目 L 明显变长、R 普遍在两步以上，复杂度成倍上升。同时，10 个选项中的干扰项不是随便凑的，而是经过设计的“看似合理答案”——这正是区分能力高低的关键。

$$\displaystyle C = L \times R$$

1. L（题干长度）：题干的字符数或信息量，衡量输入材料的多少。MMLU-Pro 的题干普遍比原版更长、信息更密。

$$\displaystyle L_{\text{MMLU}} < L_{\text{MMLU-Pro}}$$

2. R（推理步数）：得出答案所需的逻辑步骤数。原版多为一步检索（R=1），升级版需要多步推导（R≥2）。

$$\displaystyle R_{\text{MMLU}} = 1, \quad R_{\text{MMLU-Pro}} \geq 2$$

3. 乘积 C：两个因素相乘共同决定复杂度，任一项变大，题目难度都随之上升。

$$\displaystyle C = L \times R$$

换句话说，新考卷不再问“你知道什么”，而是问“你能用知识解决什么”——这恰恰是现实世界中真正重要的能力。

评测流程

一次靠谱的竞赛，绝不只是把试卷印出来。出题人要先请各科老师一起命题（数据构建），再统一监考（评测流程），最后按同一把尺子判分（评分标准）。MMLU-Pro 的评测流程同样讲究，每一步都在为“分数可信”服务。

数据构建上，MMLU-Pro 从原 MMLU 题目和新增候选库中筛选，由人工专家与多个模型共同审查，淘汰那些“模型普遍答对但题干有歧义”或“过于简单”的题目，最终保留约 1.2 万道高质量题。这样做的目的是降低噪声，让分数更真实地反映能力，而不是反映题目质量。命题环节相当于“请各科教研组反复磨题”。

评测时，模型在 zero-shot（不给示例直接作答）和 few-shot（给几个示例再作答）两种模式下分别答题；判分采用最简单也最公平的口径：整卷准确率，即答对题数除以总题数。需要特别提醒：分数只在同一次考试内部可比，MMLU-Pro 的 70 分和原版 MMLU 的 70 分完全是两码事，就像高考 600 分和初中期末考 600 分不可同日而语。

$$\displaystyle \text{Accuracy} = \frac{N_{\text{correct}}}{N_{\text{total}}} \times 100\%$$

1. N_correct（答对题数）：模型输出与标准答案完全一致的题目数量。

$$\displaystyle N_{\text{correct}} = \text{答对的题目总数}$$

2. N_total（总题数）：考试包含的全部题目数量，MMLU-Pro 约为 12000 道。

$$\displaystyle N_{\text{total}} \approx 12000$$

3. ×100%（化为百分数）：把比例换算成百分制，方便排行榜展示与比较。

$$\displaystyle 0.87 \times 100\% = 87\%$$

班主任深知：判卷标准越统一，成绩单越有说服力。MMLU-Pro 之所以被各大厂商和论文广泛引用，正是因为它从命题到评分的整个“考试流程”经得起推敲。

价值意义

新成绩单发下来，班主任喜出望外。原本挤在 93 到 98 分的同学们，这次从 62 分一直排到 88 分，谁是扎实的学霸、谁靠运气冲刺，一目了然。MMLU-Pro 带来的正是这种“重新拉开差距”的能力。

技术上，这叫区分度提升。原版 MMLU 顶尖模型得分接近饱和，研究者和工程师难以比较“谁比谁强一点点”；MMLU-Pro 把顶尖模型的得分压到 60% 到 80% 区间（人类基线约 74%），让细微差异变得可测量。分数不再是“大家都好”，而是“谁更好、好在哪里”。

这把精细尺子的价值体现在三个层面。对能力区分：减少天花板效应，让高性能模型之间的细小差距现形；对推动进步：排名靠后的团队能据此定位短板、改进训练，形成良性竞争；对行业参考：论文实验、厂商发布会、开源模型排行榜，都以 MMLU-Pro 作为重要的评测信号。可以说，它已经成了 LLM 能力评估领域的“权威考场”。

$$\displaystyle D = S_{\text{top}} - S_{\text{second}}$$

1. S_top（最高分）：最强模型在基准上的准确率。

$$\displaystyle S_{\text{top}} = S_1$$

2. S_second（次高分）：第二名模型的准确率，它与最高分的差值越小，说明越难分辨相邻名次。

$$\displaystyle S_{\text{second}} = S_2$$

3. 差值 D：分差越大，越能区分相邻名次。MMLU-Pro 上顶尖选手之间的分差通常比原版更明显。

$$\displaystyle D = S_1 - S_2$$

尺子变精细了，进步才有据可依。MMLU-Pro 不是为了让模型考得难看，而是让真正的强者从“都差不多”的迷雾中走出来——考场越严格，冠军才越有含金量。

现实应用

竞赛结束了，但成绩单的使命才刚刚开始。班主任用成绩单做三件事：推荐学生参加市赛（选型）、调整下学期的教学方案（优化）、向家长和校长汇报成果（发布）。AI 从业者拿到 MMLU-Pro 的成绩单后，做的事情惊人地相似。

第一，模型选型。一家公司要接入大模型做客服，厂商都说自己“MMLU 90 分+”，根本无法比较。这时看 MMLU-Pro 的细分学科得分——金融、法律、心理学的单项成绩，往往比总分更能预测模型在业务上的表现。第二，发布评测。厂商发布新模型时，用 MMLU-Pro 相对上一代的提升幅度作为硬核卖点，比“又涨了两个点”的旧基准更有说服力。第三，能力画像与研究支撑。研发团队根据各学科得分的“偏科”情况，调整训练数据分布与对齐策略。

实际操作中，很多团队不会只用总分，而是做一套加权综合得分：按业务需求给不同学科分配权重，再计算总分。比如金融客服更看重经济学和法律，这两类权重可调到 40%，其余学科占 60%。这样算出来的分，才真正贴合自己的业务场景——毕竟班主任最终关心的是“适不适合去打市赛”，而不是“总分是不是全班第一”。

$$\displaystyle S_{\text{total}} = \sum_{i=1}^{m} w_i \times \text{Acc}_i$$

1. m（学科数）：参与评分的学科种类，如数学、物理、法律、医学等。

$$\displaystyle m \approx 60$$

2. w_i（第 i 个学科的权重）：该学科在业务中的重要性，所有权重之和为 1。

$$\displaystyle \sum_{i=1}^{m} w_i = 1$$

3. Acc_i（单科准确率）：模型在第 i 个学科上的准确率，乘上权重后逐科累加，得到业务视角下的总分。

$$\displaystyle S_{\text{total}} = w_1 \times \text{Acc}_1 + w_2 \times \text{Acc}_2 + \cdots$$

班主任不会因为一张成绩单就断定学生的一生；聪明的工程师也不会因为一个排行榜就迷信某个模型。MMLU-Pro 提供的是高质量的“参考分”，最终决策，永远要回到自己的业务考场上去验证。

AI 应用场景

Python 演示

"""Simulate the discrimination gap between original MMLU (4 options)and MMLU-Pro (10 options). Two mock LLMs take both exams; a modelanswers right with prob = knowledge + (1 - knowledge) / num_options."""import random  class MockModel:    """A mock LLM. knowledge in [0,1]: 0.5 is mediocre, 1.0 is perfect."""     def __init__(self, name, knowledge):        self.name = name        self.knowledge = knowledge     def pass_prob(self, num_options):        # 会做的概率 + 不会时随机猜对的概率        return self.knowledge + (1 - self.knowledge) * (1 / num_options)  def run_exam(model, num_questions, num_options, seed=42):    """Let the model answer num_questions items, return accuracy."""    random.seed(seed)    prob = model.pass_prob(num_options)    correct = 0    for _ in range(num_questions):        if random.random() < prob:            correct += 1    return correct / num_questions  def main():    models = [        MockModel("Model-A k=0.85", 0.85),        MockModel("Model-B k=0.95", 0.95),    ]    num_questions = 2000    for num_options in (4, 10):        if num_options == 4:            exam_name = "original MMLU (4 options)"        else:            exam_name = "MMLU-Pro (10 options)"        print("===== %s =====" % exam_name)        scores = []        for m in models:            acc = run_exam(m, num_questions, num_options)            scores.append(acc)            print("%s : %.2f%%" % (m.name, acc * 100))        gap = (scores[1] - scores[0]) * 100        print("gap between top two models : %.2f%%" % gap)        print()  if __name__ == "__main__":    main()

1. return self.knowledge + (1 - self.knowledge) * (1 / num_options)核心概率公式：会做的概率 + 不会时随机猜对的概率，选项越多运气成分越低。
2. random.seed(seed)固定随机种子，保证两场考试的条件可复现，对比才公平。
3. for num_options in (4, 10):同一批模型分别参加两场考试，隔离出“选项数”这一变量。
4. if random.random() < prob:每次答题生成一个随机数，模拟“是否会做”的事件。
5. gap = (scores[1] - scores[0]) * 100计算顶尖与普通选手的分差：4 选 1 约 7.5%，10 选 1 约 9.0%，差距被放大。
6. if __name__ == "__main__":脚本入口，保证模块被导入时不会误执行测试逻辑。

常见误区

面试题