MMLU学科覆盖范围：LLM评测体系设计方法

可视化演示

交互展示MMLU评测基准的57个学科覆盖分布、知识难度层级和模型跨域性能对比，揭示LLM知识广度评估的设计方法。

MMLU基准概览

假设你受邀为全球最聪明的一群 AI 举办一场“文理全能知识奥运会”。组委会发下来一份厚厚的赛制手册：57 个比赛项目，从天体物理到法律条文，应有尽有；规则却简单得惊人——每个项目都是一张四选一的答题卡，没有教材、没有考官提示，选手只能凭自己“内存”里积累的知识作答。这份赛制手册，就是 AI 评测界的顶流基准 MMLU。它诞生的初衷，是想回答一个朴素的问题：一个模型到底“懂多少”？

MMLU 的全称是 Massive Multitask Language Understanding，即“大规模多任务语言理解”，由 Hendrycks 等人在 2020 年提出。它把 57 个学科各自当作一个“任务”，每个任务是一套独立的选择题，整个数据集包含超过 1.5 万道题目。为了公平，组委会还为每个学科准备了 5 道示范题，相当于赛前发给选手的“答题指引”，让模型理解规则后再正式开考。这种设计让“知识广度”第一次有了可批量、可自动化的测量方式。

从技术角度看，MMLU 的所有题目都是标准四选一（A/B/C/D），出题范围从小学常识一路延伸到大学专业课。它的高明之处在于，把“懂得多”这样一个主观描述，翻译成了客观分数：模型选对了就是 1 分，选错就是 0 分，不存在判卷争议。正因如此，MMLU 已经成为各大模型技术报告中雷打不动的“必考科目”，是横向对比模型能力的行业标尺。

$$\displaystyle P_{\text{瞎猜}} = \frac{1}{C} = \frac{1}{4} \approx 25\%$$

1. 明确选项总数：MMLU 每题固定提供 4 个候选项，这是概率计算的分母基础。

$$C = 4$$

2. 写出随机猜中概率：完全随机作答时，4 个选项中只有 1 个是正确的。

$$\displaystyle P_{\text{瞎猜}} = \frac{1}{C}$$

3. 代入数值得出结论：把 C=4 代入，得到 25% 的随机猜测基线。

$$\displaystyle P_{\text{瞎猜}} = \frac{1}{4} = 0.25$$

就像奥运会里“只要参赛就能获得纪念奖牌”，MMLU 中瞎蒙也有 25% 的保底正确率。但正是这个看似寒酸的保底数字，划出了知识与非知识的分界线——模型超过 25% 的每一分，都来自它真正“读过”并理解的东西。

学科领域全景

拿着组委会的“场馆地图”走进奥运村，你会发现 57 个项目被精心归进了四大主题场馆。STEM 馆大约 18 科，是科技含量最高的赛区，物理学、化学、计算机科学都在这里比拼；人文馆约 9 科，哲学、历史、法学陈列在橱窗里；社科馆约 10 科，经济学、心理学、社会学轮流上场；医学馆约 20 科，解剖学、临床知识、病毒学等专业科目密度最大。四个场馆相加，正好凑齐 57 个单项。

这样的领域划分绝不是随手拼凑。设计者刻意让试卷横跨自然科学、社会科学与人文学科，目的就是不给任何模型“偏科”的空间。只看代码生成能力，你无法判断它是否理解法律条文；只在文学题上拿高分，也不能说明它懂得化学反应。只有把各个领域的题目都摆上考台，才能拼出一幅完整的“模型知识能力画像”。这正是“学科覆盖”概念的核心价值：用覆盖的广度来定义知识面的宽度。

在实际评测中，研究者通常先按领域统计准确率，再汇总出总体分数。比如某模型在 STEM 领域得分 72%、人文 81%、社科 78%、医学 65%，总体平均约 74%。这份“领域成绩单”比单一总分信息量大得多——它能直接告诉训练团队，模型的短板在医学还是工程，后续应该往哪个方向补充语料。

$$\displaystyle \text{Coverage} = \frac{\sum_{j=1}^{57} \mathbb{1}(\text{Acc}_j \geq 60\%)}{57} \times 100\%$$

1. 设定达标阈值：把单科准确率达到 60% 视为“模型掌握了这门学科”。

$$\text{Acc}_j \geq 60\%$$

2. 用指示函数计数：数学里的“指示函数”就像计数器——条件成立记 1，不成立记 0。

$$\mathbb{1}(\text{Acc}_j \geq 60\%)$$

3. 求和并归一化：把所有学科的指示函数值加总，再除以总学科数 57，得到覆盖率。

$$\displaystyle \frac{\sum_{j=1}^{57} \mathbb{1}(\cdots)}{57}$$

四大场馆就像体检科的分类：内科、外科、眼科、耳鼻喉科各查一遍，才知道这个“学霸”是全科健康还是严重偏科。MMLU 的学科覆盖设计，本质上就是给模型做了一次全身体检。

知识层次分级

知识奥运会的赛制里还藏着一个细腻设计：同一场比赛中，既有给“小学生”准备的趣味题，也有让“研究生”皱眉的专业题。MMLU 的出题人刻意让难度跨越初等、中等、专业三个阶梯，模拟人类从学校到职场一路升级的知识积累过程。这样的设计，让评测不仅能回答“懂多少”，还能回答“懂到什么程度”。

具体而言，MMLU 中有不少题目只需要常识性知识，比如基础的地理与历史常识，这些内容在预训练语料里俯拾皆是，模型“读”过千遍万遍；另一些题目则要求扎实的学科功底，例如专业法学或临床医学，这类知识即使在人类世界也属于“少数人掌握的信息”。一个模型在这两个层级上的表现差异，直接反映了它知识储备的深度分布。

对评测设计者来说，分层是刻意打造的“难度梯度”。一个健康的模型，成绩通常呈现初等题最高、中等题居中、专业题最低的自然衰减曲线。如果哪个模型在专业题上反常地远超常识题，反而要拉响警报——这可能意味着评测数据泄漏进了训练集，分数出现了“作弊式”虚高。因此，知识层次不仅衡量“会多少”，还衡量“会得多”是否合理。

$$\displaystyle \text{Acc}_{\text{初等}} > \text{Acc}_{\text{中等}} > \text{Acc}_{\text{专业}}$$

1. 初等层准确率最高：常识类题目在公开语料中数量巨大，模型天然学得最扎实。

$$\text{Acc}_{\text{初等}}$$

2. 中等层有所衰减：需要一定学科背景的题目，只有部分模型能答好。

$$\text{Acc}_{\text{中等}}$$

3. 专业层最低：专家级题目知识稀缺，整体准确率自然滑落到底部。

$$\text{Acc}_{\text{专业}}$$

想象一位全能运动员：百米短跑（初等题）成绩出众，十项全能（中等题）表现良好，但让他去参加国际象棋大师赛（专业题）就力不从心了。这种“递减”恰恰是真实学习曲线的写照，也是评测设计者最想看到的正常信号。

题目设计机制

任何一场高规格考试，出题质量决定了考试的公信力。MMLU 组委会的“出题工艺”可以浓缩成一句话：把单选题做成一场精致的陷阱。每道题由一段题干和四个选项组成，四个选项中只有一个正确，其余三个干扰项看起来都相当合理——它们不是拿来凑数的，而是专门用来“钓鱼”的。

这种设计为什么至关重要？因为多选题天然适合机器评分的客观性，同时干扰项的存在又大幅提高了区分度。如果干扰项明显荒谬，模型靠排除法甚至瞎蒙都能得分，题目就失去了考察意义。MMLU 的题目大多脱胎于公开的标准化考试，选项经过命题专家反复打磨，专业科目的题目连受过教育的人类考生都要认真思索一两分钟。

从统计视角看，四选一结构为所有选手划定了明确的下限：随机作答的期望正确率就是 25%。设计者把全部模型的成绩放在以 25% 为原点的坐标系里——超过基线的部分，才是模型真正学到的知识增量。这也是为什么 MMLU 的得分几乎不会跌破 30%：能拿到这个分数，说明模型至少学会了识别题目与选项之间的浅层关联。

$$\displaystyle E[\text{Score}] = \sum_{i=1}^{N} \frac{1}{4} \times 1 = \frac{N}{4}$$

1. 单题猜中概率：每题 4 个选项等概率选择，猜中概率即 1/4。

$$\displaystyle \frac{1}{4}$$

2. 期望的线性叠加：每题都是独立事件，总期望等于各题期望之和。

$$\displaystyle \sum_{i=1}^{N} \frac{1}{4} \times 1$$

3. 整理成简洁结果：N 个 1/4 相加，等于 N/4，即期望答对题数。

$$\displaystyle \frac{N}{4}$$

出题如同设置路障：四个选项看似都是平坦大道，只有一条通向正确答案，其余三条都通往“看似合理但本质错误”的悬崖。正是这些精心设计的陷阱，让 MMLU 的每一分都沉甸甸的，经得起推敲。

评测执行流程

比赛日正式到来，裁判的执裁规则却简单得近乎苛刻：只看最终答案对不对。模型在一道题上选错了选项，就是 0 分；选对了，就是 1 分。整场考试的成绩就是答对题数除以总题数——准确率。没有印象分、没有过程分、没有申诉环节，一切凭答题卡上的 ABCD 说话。

为了让评比更贴近真实使用场景，评测一般分成两种模式：零样本（zero-shot）和少样本（few-shot）。零样本直截了当地把题目丢给模型，考验它“临场发挥”的本事；少样本则会先给模型看几个示范题，相当于赛前热身，让它理解作答格式后再正式答题。两种模式的分差也颇有讲究——擅长从示例中学习的模型，few-shot 分数往往有明显提升，这反映的是模型的“阅读理解与新规则适配”能力。

正式评测时，模型对每个选项计算一个预测分数，取分数最高的选项作为最终答案，再与标准答案比对并累计正确数。为了保证实验可复现，评测代码会固定提示词模板、采样参数和随机种子，任何团队用同一套流程都能得到同样的结果。这套严谨、透明的测量流程，正是 MMLU 能成为行业“裁判”的根基。

$$\displaystyle \text{Accuracy} = \frac{\sum_{i=1}^{N} \mathbb{1}(\hat{y}_i = y_i)}{N} \times 100\%$$

1. 逐题比对预测与答案：模型给出预测选项 \(\hat{y}_i\)，与标准答案 \(y_i\) 比对。

$$\hat{y}_i = y_i$$

2. 指示函数累计命中的题数：答对记 1、答错记 0，再对所有题目求和。

$$\displaystyle \sum_{i=1}^{N} \mathbb{1}(\hat{y}_i = y_i)$$

3. 除以总题数并化为百分数：命中数除以 N，得到 0 到 1 之间的比例，再乘 100%。

$$\displaystyle \frac{\sum_{i=1}^{N} \mathbb{1}(\cdots)}{N} \times 100\%$$

裁判员不关心选手“思考过程有多优美”，只关心答题卡上的那个涂黑选项是否与标答一致。这种“铁面无私”的评分哲学，恰恰是 MMLU 最大的公平所在——任何模型、任何团队，在准确率面前一视同仁。

价值与局限

颁奖典礼上，奖牌榜熠熠生辉：GPT-4、Claude、Llama 各显神通，MMLU 总体分数从早期的 50% 一路上探到 85% 以上。但老练的评委心里清楚，任何考试都有盲区，奖牌榜再亮眼，也只是一张局部地图。

MMLU 的核心价值在于，它把“知识广度”变成了一个可追踪、可对比的量化信号。过去我们说一个模型“懂得多”，只是模糊的主观感受；现在，论文里写一句“该模型在 57 个学科中的 42 科超过人类平均水平”，就是掷地有声的硬指标。这类信号直接推动了预训练数据配比、对齐策略等环节的迭代——训练团队看到短板学科，就能反向调整语料构成。

但硬币的另一面是两大不可回避的局限。其一，数据饱和：随着训练语料爆炸式膨胀，MMLU 的题目可能混入训练集，导致分数虚高，评测的边际价值下降。其二，学科偏差：57 个学科并非等权抽样，医学等领域科目数量偏多，总分容易被少数“大块头”领域主导，掩盖其他领域的问题。因此，负责任的研究者都会同时给出分学科成绩、领域平均分和学科间差异，而不是只报一个漂亮的总分。

$$\displaystyle \sigma = \sqrt{\frac{1}{57} \sum_{j=1}^{57} \left(\text{Acc}_j - \overline{\text{Acc}}\right)^2}$$

1. 计算学科平均成绩：先求 57 个学科准确率的平均值。

$$\displaystyle \overline{\text{Acc}} = \frac{1}{57}\sum_{j=1}^{57}\text{Acc}_j$$

2. 求每个学科的偏差：用单科成绩减去平均成绩，得到偏科程度。

$$\text{Acc}_j - \overline{\text{Acc}}$$

3. 偏差平方后求平均：平方消除正负抵消，再对所有学科取平均。

$$\displaystyle \frac{1}{57} \sum_{j=1}^{57} \left(\text{Acc}_j - \overline{\text{Acc}}\right)^2$$

4. 开方得到标准差：开平方还原量纲，得到可直接解读的波动幅度。

$$\displaystyle \sigma = \sqrt{\frac{1}{57} \sum_{j=1}^{57} \left(\text{Acc}_j - \overline{\text{Acc}}\right)^2}$$

奖牌榜固然耀眼，但聪明的教练从不会只盯着总排名——他们更在意选手在哪些项目上“瘸腿”。MMLU 既是一面镜子，照出模型知识的广度；也是一张警示牌，提醒我们任何单一指标都只是拼图中的一块。读懂它的价值，也看穿它的局限，才是评测设计者应有的素养。

AI 应用场景

Python 演示

# -*- coding: utf-8 -*-"""模拟 MMLU 分学科评测: 按领域汇总模型的准确率表现""" import random # 学科 -> 领域映射 (MMLU 57 科的部分示例)SUBJECTS = {    "stem": ["physics", "chemistry", "biology", "computer_science", "math"],    "humanities": ["philosophy", "history", "law"],    "social_sciences": ["economics", "psychology", "sociology"],    "medicine": ["anatomy", "clinical_knowledge", "medical_genetics"],} def simulate_subject(seed, base=0.6, noise=0.15):    """模拟某模型在单一学科上的准确率"""    rng = random.Random(seed)    return min(0.99, max(0.2, base + rng.uniform(-noise, noise))) def evaluate_model():    """遍历所有学科, 为每科生成模拟准确率"""    results = {}    seed = 42    for domain, subjects in SUBJECTS.items():        for sub in subjects:            seed += 1            results[sub] = simulate_subject(seed)    return results def domain_report(results):    """按领域聚合, 输出平均准确率和覆盖学科数"""    report = {}    total_acc = 0.0    total_cnt = 0    for domain, subjects in SUBJECTS.items():        accs = [results[sub] for sub in subjects]        avg = sum(accs) / len(accs)        report[domain] = {"avg": avg, "count": len(accs)}        total_acc += sum(accs)        total_cnt += len(accs)    report["overall"] = {"avg": total_acc / total_cnt, "count": total_cnt}    return report if __name__ == "__main__":    scores = evaluate_model()    report = domain_report(scores)    for domain, stat in report.items():        print("%-14s 准确率 %.1f%% (%d 科)" % (domain, stat["avg"] * 100, stat["count"]))

1. SUBJECTS = {...}定义学科到领域的映射关系，相当于赛制手册里的“场馆分区分组”
2. simulate_subject(seed, base=0.6, noise=0.15)用可控随机数模拟模型在某单一学科上的准确率
3. results[sub] = simulate_subject(seed)记录每科成绩，等价于“裁判给每个单项打分”
4. accs = [results[sub] for sub in subjects]取出同一领域内全部学科的成绩列表
5. report[domain]["avg"] = sum(accs) / len(accs)计算该领域的平均准确率，即“场馆平均分”
6. report["overall"]["avg"] = total_acc / total_cnt汇总所有学科，得到模型的总体成绩
7. print(...)打印出四大领域加总体的完整“成绩单”，方便直观对比

常见误区

面试题