多模态大模型评测基准MMMU

可视化演示

通过MMMU学科覆盖30学科6领域、MMBench能力维度20维感知推理知识、评测陷阱与迭代改进三个模式，展示多模态大模型评测基准的设计原理与最佳实践。

MMMU考试定位

考试季来了，出题组不找偏题怪题，而是从各大学的期末试卷、教材、课堂幻灯片里抽取题目。他们要的不是“这道题有没有见过”，而是“一个受过大学教育的人，看到这张图能不能调用自己的知识做出判断”。MMMU 就是这样一张为多模态大模型量身定制的“大学毕业考”——全称是 Massive Multi-discipline Multimodal Understanding and Reasoning，翻译过来就是“超大规模、多学科、多模态理解与推理”。

为什么要设计成这样？因为真实世界的文档从来不只是文字：一张电路图、一份病理切片、一幅建筑平面图，都需要模型同时“看图”和“读懂题意”。MMMU 把这种综合能力显式地变成一场考试，让不同模型在同一个标准下被衡量。它的题目不靠人工现场出，而是从真实大学学习材料里整理而来，所以天然带有“课程知识密集、图表多样、推理环环相扣”的学术气质。

从数据规模看，MMMU 包含约 1.1 万道大学水平的多项选择题，覆盖六大学科领域——艺术与设计、商科、科学、健康与医学、人文社科、技术——细分下来约 30 门学科，题型包括图表题、表格题、地图题、分子式题、数学题等十种左右。换句话说，它既要求 OCR 能力，又要求知识调用，还要求跨学科联想。

这张“大学考卷”的价值在于：它给所有多模态大模型划出了一条相对统一的能力基准线。就像高考成绩不能完全定义一个人，但至少能让大学招生办在成千上万名学生里快速筛选。MMMU 分数，就是多模态模型在“综合学业水平”上的初步排名。

MMBench练习册

如果说 MMMU 是期末大考，那 MMBench 更像体育老师随堂发的练习册——把“体能”拆成 100 米、立定跳远、引体向上，每一章只测一个单项。MMBench 的一大特色就是把多模态能力拆成细粒度的能力维度，比如视觉感知、定位、OCR、图表理解、关系推理、属性推理等。模型哪里强、哪里弱，一翻练习册的评分页就能看出来。

MMBench 由 OpenCompass 社区发布，题目以多选题为主，整体规模约 3000 道，同时提供中英文两个版本。它不需要人工阅卷，模型输出选项编号后，评测脚本自动比对答案，因此可以低成本、大规模、可复现地跑分。它不追求“大学水平的知识深度”，而是强调“能力地图的完整覆盖”，很适合用来做模型能力体检。

如果把两个基准放在一起看：MMMU 考的是“综合学业水平”，MMBench 考的是“分项身体素质”。前者看总排名，后者看短板在哪里。一家公司如果只想快速判断哪个 API 更适合做扫描文档问答，可以先用 MMBench 看 OCR 和信息抽取能力；如果想全面评估模型能不能处理复杂的图表型专业知识库，则更适合用 MMMU 这种综合卷。

所以 MMBench 的意义不在于“比 MMMU 更厉害”，而在于它是 MMMU 的互补工具：大考定排名，练习册找短板。聪明的备考者不会只盯着一张总成绩单，还会翻开练习册，把每一道错题对应的能力模块圈出来，再针对性地补课。

试卷构成设计

现在我们把一张试卷拆开来看。每一道多模态选择题，就像试卷上的一道“图文混合题”：左边贴一张图，右边写一段问题，下面排四个选项。缺少任何一块，这道题都不成立。用集合语言描述，一道评测题可以被看成四个要素组成的整体：

这个设计非常巧妙。把答题变成“四选一”，既降低了自由生成带来的评分难度，又让不同模型的输出可以机械比对。但同时也意味着题目必须设计得足够“烧脑”——如果选项之间存在明显表述差异，模型靠语言模式就能猜对，那这道题就失去了考察意义。所以 MMMU 的出题人会刻意加入大量需要看图、算数、推理的题目，让“蒙”变得很难。

回到比喻：一份好的图文混合考卷，图片不是装饰，而是答题的必要条件；选项不是凑数，而是掩盖真实答案的干扰项。只有“看图才能做、推理才能对”的题目，才能真正筛出多模态理解能力，而不是单靠文本统计就能糊弄过去。

阅卷标准指标

考卷出好了，谁来打分、怎么打分？答案是一个朴素到不能再朴素的规则：数对错。模型输出一个选项编号，阅卷程序把它和标准答案比对，对了记 1 分，错了记 0 分，最后把所有题目的得分率算出来，就是模型的基准分数。这套阅卷标准可以用一个简洁的公式表达：

阅卷还有一条隐藏规则：输出格式约束。MMMU 这类基准通常要求模型直接输出 "A"、"B"、"C"、“D“ 这样的单个字符，而不是长篇大论。为什么？因为自由文本里可能写着 ”我觉得答案是 C，但 B 也有道理”，解析起来既慢又容易产生歧义。强制输出选项编号，就像考试要求在答题卡上涂黑格子，机器一扫就能读出来，公平且高效。

同时，阅卷人还要警惕“瞎蒙也能得分”的情况。四选一选择题的随机猜测基线是 25%，如果一个模型得分只有 28%，那就说明它本质上还在蒙。评测报告通常会把随机基线、人类专家分数一并列出，让读者知道分数到底处在什么水平线上。回到比喻：阅卷标准越统一，考试成绩越有可比性；而基线分数和人类分数，就是那张成绩单上的“及格线”和“满分线”。

闭源学霸表现

卷子改完了，成绩公布栏贴出几位“学霸”的分数。在 MMMU 上，闭源大模型的表现非常能说明问题：GPT-4V 拿到 57.4 分，Gemini Ultra 拿到 59.4 分，Qwen-VL-Max 拿到 45.9 分，而人类专家的综合水平大约在 80 分上下。这些数字意味着什么？意味着即使是最强的商业模型，面对大学水平的多学科图文推理，也仍然有明显的提升空间。

| 考生 | MMMU 得分 |

| --- | --- |

| 人类专家 | 约 80 |

| Gemini Ultra | 59.4 |

| GPT-4V | 57.4 |

| Qwen-VL-Max | 45.9 |

为什么分数都不高？因为 MMMU 的题目往往需要“先看图、再调用专业知识、最后做多步推理”，比如看一张分子结构图判断反应产物，或者看一组来自财报的图表计算增长率。这类任务对早期的视觉模型来说是降维打击，对今天的大模型来说也依然有挑战。GPT-4V 和 Gemini Ultra 分数接近，说明两家在综合能力上旗鼓相当；Qwen-VL-Max 作为开源代表能上 45 分，已经说明国产多模态模型进步显著。

从比喻的角度看，这些学霸不是“门门满分”，而是“总分领先”。有的擅长看图表，有的擅长文字理解，有的知识面广但容易在复杂推理上翻车。只看总分，你只能知道谁更接近及格线；要看清各自的优劣势，还得回到 MMBench 那种分项练习册上去逐科对比。这也提醒我们：榜单数字是决策的起点，不是终点。

开源模型冲刺

看到学霸们的高分，开源模型团队也想冲刺提分。备考策略无非三条：选好复习资料、学会答题技巧、针对薄弱环节补课。放到多模态模型的语境下，对应着数据策略、提示工程和微调技巧。

数据策略是“复习资料”。要提升模型在 MMMU 上的表现，最直接的方法是收集高质量的图文对数据，尤其是大学教材里的插图、图表、表格和对应的问答。数据质量优先于数量：让模型反复做十道同类型题，不如给它一千道覆盖不同学科的图文题。因为 MMMU 考的是“广”和“深”，单一领域的数据再大，也难以提升跨学科推理能力。

提示工程是“答题技巧”。在零样本或少样本评测中，给模型的提示措辞会显著影响分数。例如告诉模型“请先分析图片内容，再逐步推理，最后只输出选项编号”，比直接丢一道题过去更稳定。这种“先看后想再答”的引导，能把模型的推理过程规范化，减少答非所问的情况。但要注意，提示工程只是技巧，能帮模型把已有能力发挥出来，却补不出它没学过的知识。

微调技巧是“针对性补课”。如果在开源模型上做监督微调，可以选择把 MMMU 风格的图文推理题加入训练集，让模型学会“看图—推理—作答”的链路。衡量冲刺效果可以用相对提升率：

回到比喻：一份好资料 + 一套好技巧 + 一轮补课，是开源模型冲刺的标准三件套。但真正的学霸从来不只刷一套卷子——他们会拿三套不同的模拟题反复检验，确认自己是真的变强了，而不是把某张卷子的答案背下来了。

备考陷阱避坑

冲刺路上最大的陷阱不是题目太难，而是“作弊式刷题”。有些团队为了让模型的榜单分数好看，直接把公开测试集混进训练数据，或者反复在测试集上调整提示词直到分数最高。这种做法就像考生提前背下了标准答案，考场上当然下笔如飞，但换一张新卷子就原形毕露。测试集污染是评测中最常见的学术不端，也是榜单公信力的大敌。

第二个陷阱是“过拟合刷题”。就算不直接泄漏测试集，如果训练数据里塞了大量与 MMMU 风格高度雷同的题目，模型也可能学到“看到这种排版就选某个模式”的捷径。它在 MMMU 上分数飙升，在 MMBench 或真实业务数据上却毫无提升。这就是典型的“只会做原题，不会做变式”，和死记硬背的考生没有本质区别。

第三个陷阱是“单一基准定生死”。只盯着 MMMU 一个分数，很容易被数据集自身的偏差误导。比如某些学科题目偏多，模型在该学科强，总分就被拉高；又比如随机基线是 25%，一个 30 分的模型和一个 50 分的模型之间的差距，需要结合学科分项、人类基线、多次运行方差一起看。正确的做法是采用多基准交叉验证：MMMU 看综合排名，MMBench 看分项能力，再加上自建的小规模业务集做实地验收。

在比喻里，这些陷阱对应的都是同一个道理：考试的意义是检验真实能力，而不是教学生猜题。一个负责任的备考团队，会把“防污染、防过拟合、多基准验证”当成铁律，而不是等分数公布后才去解释为什么榜单和实际效果对不上。守住底线，分数才有价值。

AI 应用场景

Python 演示

import jsonfrom collections import Counter def compute_accuracy(pred_file, report_subject=True):    total = 0    correct = 0    subject_total = {}    subject_hit = {}    with open(pred_file, 'r', encoding='utf-8') as f:        for line in f:            line = line.strip()            if not line:                continue            item = json.loads(line)            pred = str(item['pred']).strip().upper()            ans = str(item['answer']).strip().upper()            total += 1            hit = 1 if pred == ans else 0            correct += hit            subj = item['subject']            subject_total[subj] = subject_total.get(subj, 0) + 1            subject_hit[subj] = subject_hit.get(subj, 0) + hit    acc = round(correct / total * 100, 2) if total else 0.0    result = {'total': total, 'correct': correct, 'acc': acc}    if report_subject:        per = {s: round(subject_hit[s] / subject_total[s] * 100, 2) for s in subject_total}        result['per_subject'] = per    return result def main():    sample = [        {'id': 1, 'subject': 'art', 'answer': 'A', 'pred': 'A'},        {'id': 2, 'subject': 'math', 'answer': 'B', 'pred': 'C'},        {'id': 3, 'subject': 'art', 'answer': 'B', 'pred': 'B'}    ]    with open('mini_mmmu.jsonl', 'w', encoding='utf-8') as f:        for item in sample:            f.write(json.dumps(item) + '\n')    print(compute_accuracy('mini_mmmu.jsonl')) if __name__ == '__main__':    main()

1. with open(pred_file, 'r', encoding='utf-8') as f:只读方式打开评测结果文件，避免误改原始数据。
2. pred = str(item['pred']).strip().upper()把模型输出转成大写并去掉空格，防止 “a“ 和 ”A” 被判错。
3. hit = 1 if pred == ans else 0将答对记为 1、答错记为 0，相当于阅卷老师在答题卡上画勾或画叉。
4. subject_total[subj] = subject_total.get(subj, 0) + 1按学科累计题目总数，用于后续分科统计。
5. acc = round(correct / total * 100, 2) if total else 0.0对应准确率公式，计算整体得分率并保留两位小数。
6. if __name__ == '__main__':让脚本既能被导入调用，也能直接运行并打印演示结果。

常见误区

面试题