想象一下，全球大学联合举办一场超级通识考试，一张卷子横跨 57 个学科：从古希腊哲学、美国内战，到 DNA 双螺旋结构、刑法中的正当防卫，共 1.6 万道四选一单选题。人工智能界真的有这样一场考试，它的名字叫 MMLU（大规模多任务语言理解）。自 2020 年诞生以来，它成了大模型界的“高考”——GPT、Claude、Llama、Gemini 等顶尖模型都在这张考卷上亮出过成绩单。但是，就像高考考不出创造力一样，MMLU 也有泄题、饱和、应试技巧等暗角。读懂这张 AI 考卷的出题逻辑、评分规则与局限性，你才能真正看懂大模型排行榜上那些耀眼的数字，而不是被它们牵着鼻子走。

岗位关联

对 AI 从业者来说，理解 MMLU 意味着你能客观拆解模型能力、识别评测分数的水分，在模型选型与研发迭代中做出更理性的判断。

目录
  1. 可视化演示
  2. 评测背景
  3. 57学科构成
  4. 评测方式
  5. 模型成绩排名
  6. 基准测试局限
  7. 评测进化方向
  8. AI 应用场景
  9. Python 演示
  10. 常见误区
  11. 面试题

可视化演示

展示MMLU覆盖57个学科的知识评测分布、各大模型成绩排名对比与基准局限性分析，帮助客观解读评测分数。

本节配有交互动效（进入视口后自动加载，约 3KB）。

MMLU 57学科分布 覆盖STEM/人文/社科/医学等57个学科，14042道多选题 不同学科领域模型表现差异显著，理工科整体优于人文 MMLU = Σ(subject_score) / 57 全面知识广度评测

评测背景

最早的 AI 能力测试，是一场面谈式的口试。1950 年图灵提出：如果一台机器在对话中能“骗过”人类考官，让考官分不清对面是人还是机器，就说明它有智能。这个设想很浪漫，但作为考试却很尴尬——每个考官问的问题不一样，评分标准全凭主观，同一个模型上午和下午可能得到完全不同的评价。就像两个学生分别面试两位风格迥异的考官，考出来的分数根本没有可比性。

于是，AI 界开始借鉴教育界“标准化笔试”的经验。笔试的最大优点是：所有考生拿到同一张卷子、同一套评分标准。2020 年，研究者 Hendrycks 等人发布 MMLU，正是把这场标准化笔试推向极致——一套由 57 个学科、约 1.6 万道四选一单选题组成的统一考卷，彻底取代了“考官自由提问”式的口试。模型不再需要临场发挥与考官周旋，只需要面对固定题目，给出 A、B、C、D 中的一个答案。

MMLU 的评分方式是所有标准化考试中最基础的那个公式——正确率：

就像标准化笔试终结了口试的“人情分”和“随机性”，MMLU 用统一考卷让所有大模型站上了同一条起跑线。这是它能够迅速走红、成为各家模型必报成绩的根本原因——大家终于可以用同一把尺子量不同身高的选手了。

Accuracy=CorrectTotal×100%\text{Accuracy} = \frac{\text{Correct}}{\text{Total}} \times 100\%
通俗地说，正确率就是答对题数占全部题数的百分比，答对 80 题、总共 100 题，得分就是 80%。
  1. 分子 Correct统计模型在所有题目中答对的次数。好比阅卷老师在答题卡上打勾的数目，只有选项与标准答案一致才算对。
    Correct\text{Correct}
  2. 分母 Total试卷的总题数，也就是参加评分的全部题目数量。相当于考试的总分，所有题目无论难易都按一题一分计算。
    Total\text{Total}
  3. 乘以 100%把分数换算成易读的百分制，方便在排行榜上直观比较。高中考试里 60 分及格、90 分优秀，AI 考场上人们同样习惯用百分比说话。
    ×100%\times 100\%

57学科构成

拿到 MMLU 这张考卷，最先让人震撼的是考试目录——它不像任何一门科目的期末考，更像是一本百科全书被塞进了一份试卷。哲学系学生要面对量子力学，医学生要回答美国历史，法学生要计算概率统计。这正是设计者的野心：不做单科特长生，要考就考“通识素养”。

整张卷子大致可分为几大板块：人文社科类包括哲学、历史、地理、经济学、心理学、法律常识等；理工类包括物理、化学、生物、计算机科学、数学等；医学卫生类包括临床知识、营养学、流行病学等；另外还有商学、会计、法学等职业相关学科。57 个学科各有各的题目数量，有的学科有几百道题，有的只有几十道，但整体加起来构成了那约 1.6 万道题的巨型题库。

这种分层设计的直接结果，是总量巨大、覆盖面极广的题目池。把所有学科的题量相加，就得到了总题数：

一张覆盖 57 个学科的考卷，逼着模型“德智体美劳全面发展”。如果某个模型只擅长代码、却对历史地理一窍不通，它在 MMLU 上的成绩就会立刻暴露短板。可以说，正是这种百科全书的广度，让 MMLU 成为“知识广度和推理能力”的双重验金石。

Qtotal=∑i=157qiQ_{\text{total}} = \sum_{i=1}^{57} q_i
这个公式的意思是：总题量等于 57 个学科各自题数的累加和，一科都不会落下。
  1. 求和符号 Σ来自希腊字母 Sigma，表示“从头到尾累加”。生活里你算一周总开销，把周一到周日的每笔支出加在一起，就是这个符号在做的事。
    ∑i=157\sum_{i=1}^{57}
  2. 每一项 qᵢ代表第 i 个学科的题数，比如“哲学 300 题”“物理 200 题”。i 从 1 数到 57，正好对应 57 个学科。
    qiq_i
  3. 总和 Q_total将所有学科的题库量拼起来，就得到 MMLU 的总题量，约 15908 道。考生想靠临阵磨枪背下全部题目，几乎是不可能的。
    QtotalQ_{\text{total}}

评测方式

考卷有了，接下来要解决一个关键问题：模型怎么答题？在标准化考试里，学生拿到答题卡，用 2B 铅笔涂黑 A、B、C、D 四个选项之一。MMLU 给模型规定的“答题卡”，就是一段结构化的提示词——把题目文本和四个选项按固定格式拼接成一段文字，模型只需生成一个表示答案的字母。

这场考试有两种常见的“开卷”策略。零样本（0-shot） 是闭卷裸考：直接把考题丢给模型，不许看任何例题，答得出来算本事。少样本（few-shot） 则是半开卷，考试前先在提示词中放入几个例题和正确答案，相当于告诉模型“你看，这样答题”，然后再让它做正式考题。5-shot 就是给 5 道例题再考，这在 MMLU 评测中是最主流的协议。

当模型输出一个选项字母后，系统会自动与标准答案比对并打分。这一过程的数学表达是一个平均值公式：

有了这套统一的提示词模板和自动评分机制，任何机构都能公平地复现评测结果。就像如果所有人都用同一张答题卡、同一台阅卷机，那 90 分就是 90 分，谁也做不了假。

accuracy=1N∑i=1N1[a^i=ai∗]\text{accuracy} = \frac{1}{N} \sum_{i=1}^{N} \mathbb{1}[\hat{a}_i = a_i^*]
这个公式本质上是：把每一道题“答对记 1，答错记 0”，然后求所有题的平均值，得到的就是整体正确率。
  1. 平均值 1/N × Σ对所有 N 道题的结果取平均，相当于把每题的得分加起来除以总题数。就好比老师算出全班平均分，想知道整体水平如何。
    1N∑i=1N\frac{1}{N} \sum_{i=1}^{N}
  2. 预测答案 âᵢ模型对第 i 题输出选项字母，比如“B”。它来自模型对提示词的生成，是模型自己的判断。
    a^i\hat{a}_i
  3. 标准答案 aᵢ\*数据集中预先标注的正确选项，带星号表示“权威答案”。它由出题人人工审核确认，是打分时的唯一依据。
    ai∗a_i^*
  4. 指示函数 1[ ]括号内条件成立记 1，不成立记 0。它就是阅卷老师在答题卡上画的那一个勾：预测答案和标准答案一致，就得一分。
    1[a^i=ai∗]\mathbb{1}[\hat{a}_i = a_i^*]

模型成绩排名

每年的高考放榜总是几家欢喜几家愁，MMLU 的“放榜”同样牵动着 AI 圈的神经。在 2023 年到 2024 年间，各家的旗舰模型轮番刷新这张榜单：GPT-4 的标准评测成绩在 86% 上下，Claude 3 系列达到相近甚至略高的水平，Gemini Ultra 借助更复杂的思维链推理甚至逼近了 90%，而开源领域表现最好的 Llama 3 70B 也拿到了 82% 左右的成绩。

这张成绩单最有趣的地方，是它给出了一个非常具体的人类参照物——人类专家在这套卷子上的平均正确率约为 89.8%。换句话说，人类专家仍然略胜顶尖模型一筹，但差距已经从“天壤之别”缩小到了“近在咫尺”。同时，成绩单内部也呈现出明显的“偏科”现象：许多模型在数学和物理等理工科目上表现优异，但在法学、哲学等需要精细语言理解的科目上频频失手。

衡量一个模型与人类专家的距离，可以用一个简单的差值公式：

榜单上的数字很解渴，但我们也要清醒地意识到：MLU 分数就像高考分数一样，只是一个维度的度量。它衡量的是“此刻这套卷子上谁更会涂答题卡”，而不是“谁的人生更成功”。模型的真实价值，取决于它在实际任务场景中能解决多少问题。

gap=HumanAcc−ModelAcc\text{gap} = \text{HumanAcc} - \text{ModelAcc}
这个差值告诉你模型离“人类专家水平”还有多少距离；如果差值为负数，说明模型已经超越了人类专家基线。
  1. HumanAcc 人类正确率人类专家在 MMLU 57 个学科上的平均正确率，约 89.8%。它就像考场里的“状元线”，是所有模型追赶的目标。
    HumanAcc\text{HumanAcc}
  2. ModelAcc 模型正确率被评测模型在同样考卷上的正确率，比如 86%。这是模型在统一环境中跑出来的可复现指标。
    ModelAcc\text{ModelAcc}
  3. 作差 gap用人类正确率减去模型正确率，得到二者的差距。如果模型得分 86%，差距就是 3.8%，说明还差不到 4 个百分点；如果模型得了 92%，差距为负，说明它已经越过了基准线。
    gap=89.8%−86%=3.8%\text{gap} = 89.8\% - 86\% = 3.8\%

基准测试局限

任何考试都有漏洞，MMLU 这张大卷也不例外。最让人警惕的是“泄题”问题——如果我们监督一个学生考试，发现他手里的真题和考试卷一模一样，那他的满分就毫无意义。大模型训练时通常会吃掉整个互联网上的文本，而 MMLU 的题目早已在网上流传多年。这意味着训练语料中很可能已经混入了测试题，模型分数的含金量因此大打折扣。

第二重局限是“分数饱和”。当顶尖模型的成绩已经逼近乃至超过 89.8% 的人类专家线，试卷的区分度就大幅下降了。就像高考人人都是 700 分，大学怎么筛选人才？MMLU 对最强模型的鉴别力越来越弱，90 分和 92 分之间的差距，可能仅仅是噪声，而不是能力差异。

检测数据污染最直接的方法，是看训练数据与测试题之间是否存在文本重叠：

除了泄题与饱和，MMLU 还有更深层的问题：它只考单选题，测不出模型的多步推理、创造力、诚实度和实际动手能力。一个学生可能在“选择题押题班”里练出 95 分，却连一片文章都写不出来。这提醒我们，看待一个 90 分的 MMLU 成绩时，应该像看待一张漂亮的文凭——它证明了一些东西，但绝不是全部。

Overlap=∣Dtrain∩Dtest∣∣Dtest∣\text{Overlap} = \frac{|D_{\text{train}} \cap D_{\text{test}}|}{|D_{\text{test}}|}
这个公式报告的是：测试题目中有多大比例能在训练数据里找到“原题或高度相似的变体”。重叠比例越高，考试越“漏题”。
  1. 交集 D_train ∩ D_test表示既出现在训练语料里、又属于测试题的样本集合。如同老师在考前发现，练习册里有一道题竟然和期末考试原题一模一样。
    Dtrain∩DtestD_{\text{train}} \cap D_{\text{test}}
  2. 基数为 | |统计集合中的元素数量。外层绝对值符号表示“这个交集里有多少个题目”，是定量的关键一步。
    ∣Dtrain∩Dtest∣|D_{\text{train}} \cap D_{\text{test}}|
  3. 除以 |D_test|用交集题数除以测试集总数，得到“泄题率”。如果结果是 0，说明完全没泄题；如果到了 0.2，说明两成测试题可能都被模型在训练时“背过”。
    ∣Dtest∣|D_{\text{test}}|

评测进化方向

面对 MMLU 的种种局限，出题方们没有坐以待毙，而是像教育考试院一样不断迭代考卷。最直接的升级是 MMLU-Pro：它把选项从 4 个增加到 10 个，剔除了许多“看一眼就会”的记忆型题目，大幅提高了需要推理的计算题比例，并让人类专家重新审校答案质量。相比原版 MMLU，MMLU-Pro 的分数整体下降，却更能反映模型的真实推理水平。

另一条路线是继续“拔高难度天花板”。GPQA（研究生水平的谷歌防伪问答）由顶级科研人员出题，题目难度是研究生级别的自然科学问题，必须由领域专家才能解出。在这个考场上，人类专家的正确率高达七八成，而 AI 模型长期只有三四成——它给最强模型留出了足够的区分空间。

为了让模型在单题上的回答更稳定可靠，研究者还常用“自洽采样”策略：让模型对同一道题多次作答，取出现次数最多的答案作为最终结果。这就像考试蒙题时找几个同学对答案——多数派往往更靠谱：

评测标准和模型的进化，像一场没有终点的军备竞赛。MMLU 让我们看到了 AI 知识的广度，MMLU-Pro 和 GPQA 则试图测出 AI 推理的深度。也许未来还会出现更全面的综合评测，把代码、对话、多模态等能力一并纳入，但我们可以确定：任何单一考试都无法定义智能的全部，真正的能力评估永远需要多张考卷相互印证。

Accself=NmajorityNtotal\text{Acc}_{\text{self}} = \frac{N_{\text{majority}}}{N_{\text{total}}}
这个公式表示：最终答案的正确率，等于“多数派票数”占总采样次数的比例。采样次数越多，这个结果通常越稳定。
  1. 多次采样 N_total让模型对同一个问题独立作答多次，例如问 10 遍。每次答案不完全相同，因为模型生成带有随机性。相当于同一道题让模型反复做了很多次。
    NtotalN_{\text{total}}
  2. 多数派票数 N_majority在若干次回答中，出现次数最多的选项所获得的票数。比如 10 次里有 7 次选了 A，那 A 就是多数派。
    NmajorityN_{\text{majority}}
  3. 两者相除得到该答案的可信度。若 7/10=0.7，说明模型有七成把握；若 10/10=1.0，说明模型高度自信。
    NmajorityNtotal\frac{N_{\text{majority}}}{N_{\text{total}}}

AI 应用场景

发布前的能力体检

阶段：模型评估与迭代阶段

解决的问题：大模型公司在发布新模型前，需要快速确认模型在通用知识上的基线水平。传统方式是内部人工抽测，费时费力且样本不全面，容易漏掉模型在某一学科上的严重缺陷。使用 MMLU 后，产品团队可以自动跑完全部 57 个学科，获得一张细颗粒度的能力雷达图，既能看到总分，也能看出模型偏科的方向。

具体案例：某 AI 公司发布新一代对话助手前，用 MMLU 做回归测试，发现新模型总分提高了 3 个点，但法律学科分数下降了 5 个点。团队针对法律语料重新微调，避免了面向律师用户的灾难性体验。

企业大模型选型的“赛马机制”

阶段：技术选型与采购阶段

解决的问题：企业客户在多个供应商间做选择时，往往被各家宣传数据弄得眼花缭乱。传统方式靠看官网发布的单一数字，却不知这些分数是在不同评测环境下得到的。MMLU 提供了一套相对标准化的横向比较框架，帮助决策者把模型对不同学科知识的掌握情况拆开来看。

具体案例：某教育科技公司要选型大模型做“全科智能辅导老师”，采购团队跑了一次 MMLU 分学科评测，发现模型 A 总分高但数学薄弱，模型 B 总分略低但理工科扎实。考虑到辅导场景以数理化为主，公司最终选择了模型 B 并做了针对性微调。

定位模型学科短板并定向优化

阶段：模型训练与数据增强阶段

解决的问题：训练团队需要知道下一次训练该往哪个方向加大投入。传统方式看整体 Loss 曲线，难以定位“知识盲区”。MMLU 的分学科报告恰好充当“体检报告”，直接指出模型在哪几个科目上低于平均线，让团队对症下药。

具体案例：一家开源大模型团队发现模型在“医学”科目上比同规模基线低 8 个百分点，随即在预训练语料中增加了医学教科书和论文的比例，并在微调阶段补充医学问答对。下一轮评测，该学科分数提升了 6 个百分点，模型在医疗问答产品中的表现也随之改善。

Python 演示

python85 行
# -*- coding: utf-8 -*-# 演示 MMLU 格式的评测流程: 加载题目 -> 模型作答 -> 分学科统计正确率import jsonimport osimport random  def build_sample(subject, count):    # 构造指定学科的一组模拟题目    rows = []    for i in range(count):        rows.append({            'subject': subject,            'question': 'Which statement about %s %d is correct?' % (subject, i),            'choices': [                'The %s episode %d is true' % (subject, i),                'An unrelated fact',                'Another wrong statement',                'A common misconception'            ],            'answer': random.randint(0, 3),        })    return rows  def ensure_data(path='sample_mmlu.jsonl'):    # 若文件不存在则生成一个简化 MMLU 格式的示例数据集    if os.path.exists(path):        return    random.seed(42)    all_rows = []    subjects = ['history', 'physics', 'biology', 'law', 'psychology']    for sub in subjects:        all_rows.extend(build_sample(sub, 8))    with open(path, 'w', encoding='utf-8') as f:        for row in all_rows:            f.write(json.dumps(row) + '\n')  def load_data(path='sample_mmlu.jsonl'):    # 按行读取 JSON，还原为题目列表    rows = []    with open(path, 'r', encoding='utf-8') as f:        for line in f:            rows.append(json.loads(line))    return rows  def keyword_predict(question, choices):    # 一个极简的“模型”: 靠问题与选项的单词重叠率作答    q_words = set(question.lower().split())    scores = [len(q_words & set(c.lower().split())) for c in choices]    if max(scores) > 0:        return scores.index(max(scores))    return random.randint(0, len(choices) - 1)  def evaluate(rows):    # 统计整体正确率和分学科正确率    correct = 0    total = len(rows)    subject_result = {}    for row in rows:        pred = keyword_predict(row['question'], row['choices'])        ok = pred == row['answer']        correct += ok        info = subject_result.setdefault(row['subject'], {'hit': 0, 'num': 0})        info['num'] += 1        info['hit'] += ok    return correct / total, subject_result  def main():    ensure_data()    rows = load_data()    acc, report = evaluate(rows)    print('- MMLU sample accuracy: %.2f%%' % (acc * 100))    for sub in sorted(report):        info = report[sub]        rate = info['hit'] / info['num']        print('%s: %d/%d = %.2f%%' % (sub, info['hit'], info['num'], rate * 100))  if __name__ == '__main__':    main()
目的：模拟 MMLU 的评测流程——加载 JSONL 格式的多选题目、让“模型”逐题作答、按学科统计正确率。你可以替换 keyword_predict 为真实的大模型接口，就变成了一套简易的 MMLU 评测工具。
  1. ensure_data()当 sample_mmlu.jsonl 不存在时，生成五个学科共 40 道模拟题，保证脚本开箱即用。
  2. load_data()逐行读取 JSONL 文件，把每一行解析成一个包含题目、选项与答案的字典，模拟真实 MMLU 的数据格式。
  3. keyword_predict()用“问题单词与选项单词重叠数量”做猜测，重叠越多越倾向选它；没有重叠则随机猜一个，模拟一个只会“应试技巧”的极简模型。
  4. evaluate()循环所有题目，将模型预测与标准答案比对，同时按 subject 学科字段聚合正确率。
  5. main()先确保数据存在，再加载、评测、打印整体准确率和分学科准确率，这就是 MMLU 排行榜的计算雏形。

常见误区

误区我看到某个模型 MMLU 拿了 90 分，觉得它已经比绝大多数人类更聪明了，问什么都能答对，基本算是 AGI 了。

正解MMLU 考的是单选题里的知识记忆和基础推理。它不考编程能力、不考长文写作、不考多轮对话、不考真实世界中的动手能力。就像高考状元可能不会修水管，MMLU 拿高分不代表模型能在现实任务中解决复杂问题。它是能力的“一项切片”，而不是完整画像。把 90 分理解为“模型在通识选择题上超过了大多数人类”更准确。

为何常见：宣传材料往往只展示最高分，容易让人把“某项评测高分”等同于“全面智能”，加上媒体推波助澜，就很难保持客观了。

误区某开源模型 MMLU 只有 60 分，比 GPT-4 差太多了，所以它是个没用的模型，做任何任务都不可靠。

正解MMLU 是英文为主的通识考试，很多模型因为训练语料偏重代码或某种语言，在这张卷子上得分不高，但在代码生成、中文助手、数学解题等专长领域可能非常出色。分数高低必须和任务场景结合着看，就像让数学竞赛金牌得主去做考古试卷，分数低不代表他脑子不行。

为何常见：单看一个基准分数是最省力的判断方式，但真实世界里的模型能力是多维度的，这种“一维归因”的思维惯性让人忽略了分数背后的适用边界。

误区我听说大模型有“规模效应”，所以参数越多的模型，MMLU 分数一定越好，小模型根本没有机会。

正解规模确实是影响因素之一，但训练数据的质量、清洗程度、持续微调与对齐策略同样关键。现实中，一个精心训练的中型模型完全可能在 MMLU 上超过一个粗糙堆参数的大号模型。就比如一个学生虽然花在学习上的总时长更多，但如果一直在看错误教材，效果反而更差。Size Matters 是有条件的，不是绝对的。

为何常见：Scaling Law 的流行让“大力出奇迹”变成了圈内共识，很多人忽略了它成立的前提是“数据和算力同比例高质量增长”。

误区既然各家公司都发布了 MMLU 分数，那我直接把数字放在一起从小排到大就是公正的排行榜了。

正解同一份 MMLU 考卷，采用不同的评测协议可能产生几个百分点的差异：是 0-shot 还是 5-shot？是否允许思维链？一次采样还是多次自洽投票？是否排除了模型可能见过的题目？这些都会影响最终数字。就像同样是 1000 米跑，顺风、逆风、海拔和跑道材质都会影响成绩，专业运动员的成绩是不能脱离条件交流的。

为何常见：企业发布成绩时往往会选择对自己有利的评测配置，又不把细节写进新闻稿，外部读者看到的就是一串被剥离了上下文的漂亮数字。

面试题

Q1. MMLU 的英文全称是什么？

单选题 · easy

  • A.大规模多任务语言理解← 正确答案
  • B.多模态语言理解新框架
  • C.元学习基准测试系统
  • D.大规模语言模型理解集

答案：A。MMLU 代表 Massive Multitask Language Understanding，译为“大规模多任务语言理解”。B 和 D 都保留了“理解”却改错了前缀，C 则把核心的“多任务语言理解”偷换成了“元学习”，都是干扰项。记住它是一场多学科知识考试，就能锁定 A。

Q2. MMLU 一共覆盖多少个学科？

单选题 · easy

  • A.57← 正确答案
  • B.87
  • C.50
  • D.32

答案：A。MMLU 的 57 个学科是其标志性特征，覆盖人文、社科、理工、医学等方向。87 和 50 是容易混淆的数字，32 则来自其他基准的印象。见到“57”和“约 1.6 万道题”这对数字，就能稳稳想起 MMLU。

Q3. 关于 MMLU 的 5-shot 评测方式，下列说法正确的是？

单选题 · mid

  • A.先给五个示例再出考题← 正确答案
  • B.给模型看五章复习资料
  • C.同一题问五遍再平均分
  • D.提供五个选项进行选择

答案：A。5-shot 是指在提示词中先放入 5 道带正确答案的例题，再让模型作答测试题。它属于少样本学习，目的是引导模型理解答题格式。B 中的“复习资料”和 C 中的“重复采样”是不同概念，D 说的则是选项数量，与 shot 无关。

Q4. MMLU 论文中人类专家正确率大约是多少？

单选题 · mid

  • A.大约89.8%← 正确答案
  • B.大约99.9%
  • C.大约70.5%
  • D.大约52.0%

答案：A。人类专家在 MMLU 全学科上的平均正确率约为 89.8%，这是评价模型时最常用的“人类基线”。99.9% 明显不符合真实选择题的难度，70.5% 和 52.0% 低于专家水平。记住 89.8% 这条虚线，就能判断模型何时真正“追平”了人类专家。

Q5. 以下哪些是 MMLU 基准的已知局限？

多选题 · mid

  • A.可能存在训练数据污染← 正确答案
  • B.只考选择题有局限性← 正确答案
  • C.分数趋于饱和难区分← 正确答案
  • D.考试结果完全没用处

答案：ABC。数据污染会虚高成绩，单选题只能覆盖有限能力，顶尖模型分数逼近 90% 后区分度下降，这三者都是 MMLU 公认的不足。D 过于绝对——MMLU 至今仍是重要的参考指标，只是不能单独作为智能的完整度量。

Q6. 检测 MMLU 数据污染最常用的技术手段是什么？

单选题 · hard

  • A.对比训练集与测试集重叠← 正确答案
  • B.人工逐条审阅全部题目
  • C.直接询问模型是否记得题目
  • D.观察模型答题速度是否变快

答案：A。数据污染检测通常通过 n-gram 或文本相似度计算训练数据与测试题目的重叠比例。人工审阅在海量语料前不现实，C 和 D 都是不可靠的“元认知”方法。重叠率越高，说明模型在训练时“见过”的考卷越多，分数可信度越低。

Q7. MMLU-Pro 相对于原版 MMLU 做了哪些改进？

多选题 · hard

  • A.题目数量更多且更偏推理← 正确答案
  • B.对每道题进行更多人验证← 正确答案
  • C.彻底改为自由文本作答
  • D.淘汰人类专家参与出题

答案：AB。MMLU-Pro 将选项扩展到 10 个，剔除低质量题目，并通过大量人工验证保证答案可推理、无歧义，因此 A 和 B 正确。它仍然是标准化选择题，不是自由文本作答，也正因为题目难度高更需要人类专家参与出题验证，C 和 D 错误。

Q8. “分数饱和”在 MMLU 语境下指的是什么？

单选题 · mid

  • A.分数逼近满分后无法再拉开差距← 正确答案
  • B.题库出量不足需要继续增加题目
  • C.模型训练过热导致考试成绩下降
  • D.人工阅卷出现不一致无法判定成绩

答案：A。当顶尖模型的成绩都逼近甚至超过人类专家的 89.8% 时，试卷的区分度就会下降，90 分和 92 分之间的差异更多是噪声而非能力差距，这就是“饱和”。B 是题量问题，C 是过拟合，D 是阅卷问题，三者都不是饱和的本意。

Q9. 在 MMLU 评测中，模型需要以什么格式输出答案？

单选题 · easy

  • A.必须从 ABCD 中选择一个答案← 正确答案
  • B.需要输出任意长度的自由文本
  • C.要求提供图像作为答案依据
  • D.需要录音来解释选择理由

答案：A。MMLU 是四选一单选题，评测时模型只需输出 A/B/C/D 中的一个字母，系统再与标准答案比对。自由文本会引入解析难度，图像和录音更是与 MMLU 的文本格式无关。这也是它能大规模自动评分的根本原因。

Q10. 关于模型规模与 MMLU 成绩的关系，正确的是？

多选题 · hard

  • A.参数规模增大会提升平均成绩← 正确答案
  • B.训练数据的质量同样非常重要← 正确答案
  • C.模型规模越大必然全面占优
  • D.小规模模型一定不可能超越

答案：AB。规模效应使参数增多整体上有助于 MMLU 成绩，但数据质量、微调策略同样会带来显著影响，因此 A 和 B 正确。C 的“必然全面占优”和 D 的“一定不可能超越”都过于绝对，现实中精心调优的中小型模型有可能在特定指标上超过一个粗糙的大型模型。