多模态推理：MathVista数学视觉

可视化演示

基准概述：一张给AI的看图数学考卷

张老师出卷前，先想清楚一个问题：我到底要考什么？如果只考口算，一张纸就够了；但他发现，孩子们在生活中遇到的数学问题常常「长在图片里」——水电表读数、购物小票、导航地图，纯文字题根本覆盖不了。于是他把考试定位成「在视觉场景中运用数学」。MathVista 就是张老师这张考卷的名字。

在技术世界里，MathVista 是由微软等机构的研究者在 2023 年提出的多模态评测基准，目前包含 6000 多道数学视觉题。它要求模型同时完成两件事：第一，从图像中提取关键信息，比如柱状图的高度、几何图形的边长、函数曲线的走势；第二，基于这些信息做数学推理，比如估算、比较、计算、证明。和传统的文本数学题不同，MathVista 的很多题目拿掉图片就无解，因为条件藏在图里，逼着模型真正去「看图」。

MathVista 的评测目标非常明确：衡量多模态模型在 STEM 领域的视觉推理水平，为「图 + 文 → 数字答案」这一类能力提供标准化考卷。它不是考试的全部，却是最贴近「理科看图做题」的一门综合卷。

看图数学题型：试卷上的四大板块

考卷发下来，学生发现题目分四大板块。第一板块「图表问答」：柱状图、折线图、饼图旁边跟着问题，比如「哪个季度销量最高」。这类题考的是读刻度、比大小、做差值运算，眼睛看不清坐标轴就等于没做。

第二板块「几何图形」：三角形、圆形、立体展开图，要求算角度、求面积、判断对称性。模型得先理解图形的空间结构，才能推理。第三板块「函数图像」：给一条抛物线或若干散点，问你斜率、交点、顶点坐标，难点在把曲线上的点和代数关系对应起来。第四板块「场景数学」：一张真实照片配上数学应用题，比如「图中冰箱高度约 180cm，柜子高度约是多少」，需要从复杂场景里抓出关键物体和数量关系。

这种分类看似简单，实际上每个板块都在考不同的能力组合：图表题考「视觉精度 + 计算」，几何题考「空间想象 + 逻辑」，函数题考「符号对应 + 代数」，场景题考「视觉理解 + 数学建模」。张老师靠这四大板块，把「看图算数」这件事拆解得清清楚楚。

数据集构成：试卷是怎么组出来的

试卷不是张老师凭空编的。MathVista 的题目主要从已有数据集重组而来：研究者把图表类、几何类、函数类、场景类数据汇总，筛选出适合多模态评测的题目，再为每道题补充标准答案和解析说明。这样就保证了「有据可查」，而不是随手编造。

目前数据集规模超过 6000 道题，按题型、难度分层组织。难度上既有一眼能看出的简单题，也有需要多步推理的难题，这样的分布才能拉开模型之间的差距。标注方式上，答案通常是确定性数值或选项，方便自动评分，也支持人工抽检复核。

一句话概括：MathVista 是一份「收集整理 + 二次加工」的标准化试卷，而不是原创题库。它的价值在于把散落各处的数学视觉题统一放进一个考场，让所有模型在同一套题上公平竞争。

评测流程方法：发卷、作答、批改三步走

考试当天流程很固定，三步走。第一步「发卷」：把图像和问题拼接成 Prompt 输入给模型，让模型看图并回答。第二步「作答」：模型生成自由文本，可能是一句话、一个数字甚至一段推理，形式随意。第三步「批改」：这是最讲究的一步，因为模型输出是自由文本，不能直接比对，需要先把答案抽取出来，再与标准答案比对。最后统计全卷正确率，公式如下：

这个公式简洁，背后却藏着 MathVista 评测的一大工程难题：如何把模型的自由文本可靠地变成「可比对答案」。为此团队设计了专门的答案抽取与正则匹配流程，简单题直接匹配数字，复杂题则用规则或人工辅助。只有完成这一步，准确率才有意义。

挑战难点解析：学生集体丢分的四类题

批改完，张老师发现有几类题学生集体丢分。第一类是「细粒度感知」的题：图像里极小号的数字、柱状图上细密的刻度线、几何图形中标注的边长——模型一个看漏，后面全错。第二类是「空间关系推理」：判断两个图形的相对位置、想象折叠后的形状、识别旋转后的三角形，这些任务对人类简单，对只有像素和注意力机制的模型却很吃力。

第三类是「符号公式理解」：图像里的公式、变量下标、数学符号（Σ、√、分数线）往往比普通文字更难识别，容易被模型读错。第四类是「多步计算」：先读图提取数据，再建立方程，最后算结果，中途任何一步偏差都会让答案差之千里。

这四个难点恰好构成多模态数学推理的「四座大山」，也是 MathVista 能拉开模型差距的原因——它不考死记硬背，而是考「看见 → 理解 → 推理」的完整链路。

应用价值：批改分数不只是排名

分数不能只用来排名，张老师还会按题型统计得分率来调整教学。MathVista 对 AI 从业者的价值同样如此。第一，能力诊断：用 MathVista 跑一遍模型，你能快速了解它在数学视觉任务上的总体水平，相当于给模型做了一次「理科体检」。第二，误差分析：按题型、难度、图像类型分组统计，定位模型短板——是图表题弱，还是几何题崩？这比只看总分有用得多。

第三，训练方向指导：根据误差分析结果，有针对性地补充数据、调整训练策略，比如加强空间推理数据的合成。第四，研究推动：MathVista 开放评测也促进研究者对比不同架构、方法在同一标准下的表现，推动多模态推理研究的迭代。

一句话：MathVista 不只是「考卷」，更是老师和教研组手里的「学情分析报告」，帮我们把改进方向落到具体能力上。

局限性边界：一张考卷的测量极限

不过张老师心里清楚，一张考卷再好，也测不出学生的全部能力。MathVista 同样有边界。第一，数据覆盖有限：题目类型集中在图表、几何、函数、场景，无法覆盖真实世界中千变万化的数学视觉问题。第二，评估偏差：自由文本答案抽取、选择题选项顺序、标注噪声等都会影响分数，可能让模型「蒙对」或「被误伤」。

第三，过拟合风险：模型可能记住题目的统计规律，而不是真正学会看图推理；基准一旦被刷熟，分数就会虚高。第四，与真实任务的差距：真实场景中问题模糊、信息冗余、答案开放，而 MathVista 的题目有清晰的标准答案，高分不等于能直接解决工业界问题。

所以，明智地使用 MathVista 的方式是：把它当作「体检报告」，而不是「能力的全部」。用它的分数发现趋势，再结合真实业务验证，才能避免被一张考卷误导。

AI 应用场景

Python 演示

"""MathVista 评测流程演示: 简单准确率与分组误差分析""" import random  class ModelSimulator:    """模拟一个多模态大模型: 以一定准确率答对题目"""     def __init__(self, acc=0.75):        self.acc = acc        self._count = 0     def answer(self, choices, correct_idx):        """模拟模型读图后从选项中选答案"""        self._count += 1        choices_len = len(choices)        if random.random() < self.acc:            return correct_idx        candidates = [i for i in range(choices_len) if i != correct_idx]        return random.choice(candidates)  QUESTIONS = [    {"type": "chart", "choices": [25, 30, 35, 40], "answer": 1},    {"type": "geometry", "choices": ["30度", "45度", "60度", "90度"], "answer": 2},    {"type": "function", "choices": [1, 2, 3, 4], "answer": 0},    {"type": "scene", "choices": [10, 15, 20, 25], "answer": 3},]  def evaluate(model, data):    """计算总体准确率: correct / total"""    correct = 0    for q in data:        pred = model.answer(q["choices"], q["answer"])        if pred == q["answer"]:            correct += 1    return correct / len(data)  def group_report(model, data):    """按题型分组打印准确率, 定位模型短板"""    groups = {}    for q in data:        groups.setdefault(q["type"], []).append(q)    for g, items in groups.items():        acc = sum(            1 for q in items            if model.answer(q["choices"], q["answer"]) == q["answer"]        ) / len(items)        print(f"{g}: {acc:.2f}")  if __name__ == "__main__":    random.seed(42)    sim = ModelSimulator(acc=0.75)    print("总体准确率:", evaluate(sim, QUESTIONS))    group_report(sim, QUESTIONS)

1. if random.random() < self.acc:以概率 acc 模拟模型「读图后答对」，acc 越高模型越强。
2. candidates = [i for i in range(choices_len) if i != correct_idx]构造错误选项列表，模拟模型「真不会时随便猜一个」。
3. correct += 1对应公式里的指示函数，答对一题就累计 1 分。
4. return correct / len(data)算出总体准确率，即 Accuracy 公式的代码实现。
5. groups.setdefault(q["type"], []).append(q)把题目按题型分组，模拟 MathVista 的分维度误差分析。
6. print(f"{g}: {acc:.2f}")输出每个题型的得分率，一眼看出模型在哪类图上最弱。

常见误区

面试题