MMLU准确率计算：LLM知识能力评测方法

可视化演示

展示MMLU评测的三级准确率计算流程（学科→领域→总分），以及Few-shot提示对准确率的影响对比。

考试概览：一张综合知识考卷

想象你是一位班主任，想快速了解班级整体水平。你不可能只考数学，那样无法反映语文和英语能力。于是你精心设计了一份涵盖 57 个学科的综合性考卷——从抽象代数到医学伦理，从美国历史到计算机科学。这就是 MMLU 的设计思路：它不押注单一领域的深度，而是追求知识宽度的全面覆盖。

MMLU 的全称是 Massive Multitask Language Understanding，即“大规模多任务语言理解”。这张“考卷”包含约 14000 道多项选择题，跨越 57 个学科，从人文学科到理工科再到专业领域，试图量化评估大模型的知识广度和语言理解能力。它希望通过大量不同领域的题目，来反映模型“知道多少东西”。

这个基准由加州大学伯克利分校等机构的研究者于 2021 年提出，其设计初衷是弥补当时评测基准覆盖领域窄、题目难度低的缺陷。MMLU 的题目来源包括真实考试（如 GRE、SAT）、专业书籍和在线学习资源，题目按学科分组，每个学科下又有不同数量的题目。这种结构与标准化考试高度相似，因此它的结果常被研究者当作模型知识能力的“官方成绩单”。

1. 学科全景：57 个学科覆盖 STEM、人文社科、专业领域等多个方向

$$\text{学科数}=57$$

2. 题量规模：总计约 14000 道单选题，保证统计可靠性

$$\text{总题数}\approx 14000$$

3. 评测目标：通过多学科覆盖衡量模型的知识广度

$$\text{知识广度}=\sum_{i}^{57}\text{学科}_i$$

题目格式：标准化的四选一

让我们看看这张“考卷”的一道题目长什么样。每个问题由两部分组成：题干（提问或描述情境）和四个选项（A、B、C、D）。模型的任务是从四个选项中选出唯一正确的答案。回答只需给出选项字母——就像考试时涂答题卡，不需要写出解题过程。

在 MMLU 数据集中，每个样本格式为：问题文本 + A. 选项1 B. 选项2 C. 选项3 D. 选项4，正确答案则预先给定为 A、B、C、D 中的一个。评测时，模型需要输出一个字母（或包含字母的文本），评测系统提取模型输出的答案字母与实际答案比对。这种设计使得评分极其明确和客观。

题目难度分布很广。有些是基础常识题，有些则是专业领域的难题，比如“下列关于细胞凋亡的说法，哪一项是正确的？”这种难度梯度使得 MMLU 既能区分知识储备不足的小模型，也能挑战能力顶尖的大模型。为了平衡难度，答案位置（即正确答案是 A、B、C 或 D）在数据集中均匀分布，防止模型通过位置偏好作弊。

1. 题干部分：描述问题或给出情境

$$\text{题目}=\text{题干}$$

2. 四个选项：每个选项独立成行，前缀字母编号

$$\text{选项}_k\in\{A,B,C,D\},\quad k=1,2,3,4$$

3. 标准答案：数据集中每个样本标注唯一正确答案

$$\text{答案}\in\{A,B,C,D\}$$

评分标准：准确率怎么算

考完试当然要批改试卷。MMLU 的评分逻辑非常简单透明：对每道题，如果模型输出的答案字母与标准答案一致，该题计 1 分；否则计 0 分。最后，将所有题的得分求和，除以总题数，就得到准确率。这个指标也叫 Top-1 分数（即只考虑模型排名第一的预测结果），用公式表达简洁明了。

正式地，设总题数为 N，第 i 道题模型的预测为 pred_i，标准答案为 true_i，则第 i 题的得分是：

整体准确率为：

这里有个细节值得注意：模型的答案需要精确匹配标准答案字母。如果模型输出的是“正确答案是 B”这样的完整句子而非单独的字母，评测系统往往不能自动提取出 B 这个字母，导致该题判错。因此，在评测时通常会给模型加上“只输出答案字母”的格式约束，这正是少样本提示（few-shot prompting）的重要作用。

少样本提示：给模型的示范答案

回到班级考试的类比：考试前，老师通常会先讲一两道例题，告诉学生答题卡的填涂方式。MMLU 评测中也存在类似的“例题”环节，这就是少样本提示（few-shot prompting）。在少样本设置下，评测者会在提问之前，先给模型展示几个“题目+正确选项字母”的示范对（例如 5 个），让模型理解“输出格式应该是单个字母”。

相比之下，零样本（0-shot）设定则不给模型任何示范，直接抛出题目。这对模型的指令理解能力提出了更高要求——模型必须自己推断出“你想让我回答选项字母”。研究发现，MMLU 上使用 5-shot 提示通常比 0-shot 提高几个百分点的准确率，因为示范明确了输出格式，减少了因格式错误导致的误判。

选择合适的示范数量需要在效果与成本间权衡：示范越多，模型越能理解格式，但也占用更多的输入上下文长度，增加推理成本。实际评测中，最常用的是 5-shot 设置——这也成为社区默认的“标准考卷配置”。

1. 零样本：直接给模型看题目，要求做出选择

$$\text{输入}=\text{题目}$$

2. 少样本：先展示 K 个问答示范对，再正式提问

$$\text{输入}=\{q_1,a_1,q_2,a_2,\dots,q_K,a_K,\text{目标题目}\}$$

3. 示范作用：示范对让模型理解输出格式应为单个字母，减少格式错误

$$\text{正确格式率}\propto K$$

分数解读：多少分才算好

现在我们拿到了一份模型成绩单：准确率 70%。这个数字是好是坏？得有个参照系。MMLU 是四选一的选择题，纯靠随机猜测的准确率是 25%——这是最底线的“零分基准”。一个什么都不懂、只会乱猜的模型，得分应该在 25% 附近。

人类的水准则高得多。研究发现，具有大学学历的人类应试者在 MMLU 上的平均得分约为 89%。这意味着，当一个模型的准确率达到 80% 时，它已经超过了大多数人类的平均水平。截至 2025 年初，最先进的闭源大模型（如 GPT-4、Claude 3.5）在 MMLU 上的准确率已经突破 90%，而开源模型的顶尖水平则在 85%-88% 区间徘徊。

但一个总分并不能说明全部。模型可能在某些学科特别强，而在另一些学科严重偏科。例如，一个模型在法律和医学细分科目上得分很高，但在物理和化学上可能只有随机水平。评测工程师应当关注各学科的细项分数，才能全面了解模型的能力画像。

1. 随机基线：四选一中随机猜测的期望准确率

$$\text{随机准确率}=\frac{1}{4}=25\%$$

2. 人类基准：大学学历人类受试者的平均表现

$$\text{人类平均}\approx 89\%$$

3. 最佳表现：截至 2025 年初最强模型的成绩

$$\text{顶级模型准确率}>90\%$$

结果对比：模型的排名之争

当所有模型都站在同一条起跑线上，用同一张 MMLU 考卷、同样的 5-shot 提示、同样的评分脚本进行评测时，准确率数字就具有直接的可比性——就像标准化考试，分数是公平竞争的标尺。但 Ai 评测工程师要特别小心一个陷阱：只有使用相同的评测协议（同样的提示模板、同样的示范数、同样的解码参数），分数才真正可比。

跨论文比较模型时，常常会发现同一个模型在不同论文中报告的 MMLU 分数差异很大，原因往往出在评测协议的不同。比如，有的团队用 0-shot，有的用 5-shot；有的用 top_p=0.1 的解码参数，有的用贪婪解码。这些细节都会显著影响得分。业内逐渐形成共识：报告 MMLU 分数时必须注明评测设置，5-shot 成为最常用的标准配置。

除了总分对比，分学科分析也极具价值。一个模型可能在“高中计算机科学”和“国际法”两个科目上的准确率相差 50 个百分点以上。这种细粒度的能力画像，能为模型迭代方向提供比单个总分丰富得多的信息。同时，也要关注模型规模与 MMLU 分数的关系——通常参数量越大，MMLU 准确率越高，但增幅会逐渐减缓，这就是所谓的“规模收益递减”。

1. 同协议可比：使用相同提示词、相同示范数、相同解码参数

$$\text{可比性}:\text{协议}_A=\text{协议}_B$$

2. 分学科分析：按学科分组计算准确率，生成能力画像

$$\text{学科准确率}_j=\frac{\text{学科}_j\text{答对数}}{\text{学科}_j\text{题数}}$$

3. 规模关联：准确率随参数量增加而上升，但增幅递减

$$\text{准确率}\propto \log(\text{参数量})$$

评测原则：保证分数公平可靠

要让准确率真正可信，评测过程本身必须科学规范。首先要守住的第一条防线就是测试集保密。如果一个模型的训练数据中包含了 MMLU 的测试题目，那它的高分就毫无意义——它是“背过答案的学生”，而不是“掌握了知识的学生”。这就是数据污染问题。研究者需要追踪模型的训练数据来源，检查是否包含 MMLU 测试集的内容。

第二条原则是多次运行取均值。语言模型的解码过程带有随机性（尽管 MMLU 评测常用贪婪解码以降低随机性），但即便使用贪婪解码，不同运行间的结果差异也可能来源于批次处理、浮点精度等因素。稳健的做法是在相同设置下重复评测 2-3 次，报告平均准确率，以减少评估噪声。

第三条原则是固定提示模板。提示措辞的微小变化（比如问“以下哪个是正确答案？”或“请选择正确答案：”）都可能影响模型的表现。为了确保可复现性和公平性，社区通常采用固定的、预先设计好的提示模板，比如统一格式：“以下是关于{{subject}}的单项选择题，请选择正确答案。”然后附加示范。

1. 防污染：确保训练数据未包含测试集内容

$$\text{污染}=(\text{训练集}\cap\text{测试集})\neq\varnothing$$

2. 取均值：重复评测多次并报告平均值

$$\text{稳健准确率}=\frac{1}{M}\sum_{j=1}^{M}\text{Accuracy}_j$$

3. 固定模板：所有模型共享同一提示模板和示范集

$$\text{模板} = \text{常量}$$

认识局限：高分不等于全能

回到班主任的类比：一位学生在 MMLU 这种综合考试中得了 90% 的高分，是不是就代表他无所不知？显然不是。首先，MMLU 考的是“知识记忆”和“选项识别”，而不是“深度推理”。一个模型可能见过大量类似题目，从而记住了正确答案，但它面对一个全新的、需要多步推理的问题时可能束手无策——知识和推理是两种不同的能力。

其次，数据污染问题让高分变得更加可疑。顶尖模型训练时使用的网页数据规模极大，其中难免包含 MMLU 测试题的痕迹。研究者发现，某些模型在 MMLU 上的得分与其训练数据中 MMLU 相关内容的重合度高度相关，这提醒我们不能单凭 MMLU 分数妄下定论。

最后，选择题形式本身有其局限：它只评测“识别正确答案”的能力，而不涉及“生成答案”的能力。一个模型可能在选择题中表现出色，但在开放式问答、写作、代码生成等实际任务中表现平平。因此，全面的模型评测应当将 MMLU 与其他基准（如编程、数学推理、多轮对话）结合，才能形成对模型能力的立体认识。

1. 知识≠推理：记忆正确答案不等于具备推理能力

$$\text{高分}\nRightarrow \text{强推理}$$

2. 污染风险：训练数据可能已包含测试题

$$\text{可信度}={1-\text{污染程度}}$$

3. 形式局限：选择题仅评测识别能力，不评测生成能力

$$\text{生成能力}\notin \text{选择题评测范围}$$

AI 应用场景

Python 演示

# -*- coding: utf-8 -*-"""MMLU 准确率计算演示程序"""import randomimport statistics  class MMULUEvaluator(object):    """模拟 MMLU 评测的简单评估器"""     def __init__(self, num_subjects=3, num_questions=10):        self.num_subjects = num_subjects        self.num_questions = num_questions        # 模拟模型：每个学科有不同的真实知识水平        self.true_scores = {}        # 每个学科的真实准确率基线        self.base_rates = {}        for subj_id in range(self.num_subjects):            self.base_rates[subj_id] = 0.3 + subj_id * 0.25            self.true_scores[subj_id] = []     def mock_answer_correct(self, subj_id):        """根据学科真实水平随机判断是否答对"""        return random.random() < self.base_rates[subj_id]     def evaluate(self, num_runs=1):        """在模拟数据集上评测，返回各学科准确率和总分"""        all_results = []        for run in range(num_runs):            correct_counts = [0] * self.num_subjects            total_counts = [0] * self.num_subjects            for q_index in range(self.num_questions):                subj_id = q_index % self.num_subjects                total_counts[subj_id] += 1                if self.mock_answer_correct(subj_id):                    correct_counts[subj_id] += 1            run_results = []            for subj_id in range(self.num_subjects):                accuracy = correct_counts[subj_id] / total_counts[subj_id]                run_results.append(accuracy)                self.true_scores[subj_id].append(accuracy)            all_results.append(sum(run_results) / self.num_subjects)        return all_results  def format_report(accuracies, num_questions):    """打印格式化评测报告"""    print("=== MMLU 模拟评测报告 ===")    print("总题数: %d" % num_questions)    for idx, value in enumerate(accuracies):        print("学科 %d 准确率: %.1f%%" % (idx + 1, value * 100))    overall = sum(accuracies) / len(accuracies)    print("总体准确率: %.1f%%" % (overall * 100))    return overall  def main():    random.seed(42)    print("启动 MMLU 准确率模拟评测")    evaluator = MMULUEvaluator(num_subjects=3, num_questions=36)     print("\n--- 单次评测结果 ---")    accuracies = evaluator.evaluate(num_runs=1)[0]    overall_acc = format_report(accuracies, 36)     print("\n--- 多次运行取均值（抗噪） ---")    results = evaluator.evaluate(num_runs=3)    mean_acc = statistics.mean(results)    print("3 次运行总体准确率: %.1f%%" % (mean_acc * 100))    # 输出各学科多次运行的均值为最终结论    final_subject = []    for subj_id in range(evaluator.num_subjects):        subject_mean = statistics.mean(evaluator.true_scores[subj_id][-3:])        final_subject.append(subject_mean)        print("学科 %d 平均准确率: %.1f%%" % (subj_id + 1, subject_mean * 100))    print("最终综合准确率: %.1f%%" % overall_acc)  if __name__ == "__main__":    main()

1. random.seed(42)固定随机数种子，保证每次运行结果可复现
2. MMULUEvaluator(num_subjects=3, num_questions=36)构造评测器，模拟 3 个学科共 36 道题
3. self.base_rates[subj_id] = 0.3 + subj_id * 0.25为每个学科设定“真实水平”，模拟模型不同学科的强弱差异
4. def mock_answer_correct(self, subj_id)根据该学科真实水平，以相应概率返回“是否答对”
5. correct_counts[subj_id] += 1对答对的题目进行计数，这是计算准确率的基础
6. accuracy = correct_counts[subj_id] / total_counts[subj_id]本学科准确率 = 答对数 / 该学科总题数
7. sum(run_results) / self.num_subjects对学科准确率取平均，得到一次运行的综合准确率
8. evaluator.evaluate(num_runs=3)连续运行三次，返回三次的总体准确率列表
9. statistics.mean(evaluator.true_scores[subj_id][-3:])对各学科最近三次运行结果取平均，获得稳健的学科准确率

常见误区

面试题