MathVista/MathVerse数学多模态推理

可视化演示

演示MathVista/MathVerse中图像分块编码、跨模态对齐与多模态CoT推理的全过程，通过三模式切换观察视觉特征如何辅助数学推理。

基准测试基础

张老师发现，以前的数学考试全是白纸黑字的题目，学生背熟公式就能高分。可现实中哪有那么多“读题即算”的数学？看股票折线图判断涨跌、读统计条形图计算占比、看几何部件图求面积——这些都要求“先读图、再推理”。于是张老师联合多位同事，从古至今（从已有数据集的积累到今天）设计了一套全新的全能考卷，取名 MathVista。

MathVista 本质上是一个评测基准（Benchmark）：不是用来训练模型的数据集，而是用来“考试”的标准化试卷。它的核心定位是衡量模型在视觉数学推理上的能力——即同时处理图像输入和文本问题，并给出数学结论。2023 年它由多家研究机构联合发布，包含约 6,141 道题目，覆盖从图表问答到几何解题的多个维度，专门填补此前纯文本数学基准（如 GSM8K）“看不见图”的盲区。

它的核心目标非常简单：把“感知”与“推理”放在同一张考卷上，逼着 AI 像人一样先看清图，再算对数。用数学语言描述，最朴素的评价标准就是答对率：

张老师这张卷子的高明之处，在于它把“看清图形”和“算对数学”绑定在一起——模型如果看不懂图表，哪怕计算能力再强，也只能在及格线附近挣扎。这就是 MathVista 存在的意义：让每个 AI 选手的“眼力”和“脑力”同时接受检验。

数据集构成

张老师出题时讲究“覆盖面”。他不像普通老师那样只出计算题，而是把题目分门别类：有的是看柱状图回答问题，有的是看几何图形求角度，有的是图文混合的应用题，还有纯粹考察图表阅读的视觉问答。每一类题目就像试卷里的不同大题，各有各的陷阱。

MathVista 的题目来源非常多元：它整合了 28 个已有的学术数据集，还新造了 3 个补充数据集，总共 31 个来源、6,141 道题。这么做的好处是“不押题”——不同来源的题目风格差异大，模型无法靠记忆特定模板得分。从图像类型看，既有统计图表（柱状图、折线图、饼图），也有几何示意图、科学图解和函数图像；从任务类型看，涵盖图表问答（FQA）、几何解题（GQA）、数学应用题（MWP）、视觉问答（VQA）等多种形态。

用概率的语言看，数据集就像不同颜色弹珠混合的罐子，每种题型占一定比例：

正因为数学题披上了各种“图像外衣”，模型想拿高分就不能只依赖预训练时背过的题海，而必须真的学会从像素到数字、从图形到结论的完整通路。这套丰富多元的题库，就是张老师给所有 AI 选手出的一张“百科全书式”考卷。

评估指标体系

考卷设计好了，怎么阅卷又成了难题。张老师定下规矩：不能只看一个总分，因为题型难度差异很大——几何题可能比简单图表题难得多，如果平均用力，模型只要专攻简单题就能刷分。于是他想到了“加权阅卷”：给不同题型分配不同的权重，重要题型占分更高，再按权重汇总成综合得分。

官方还采用了多层保障措施：首先是人工评估，由标注者核对答案是否正确，尤其对主观题进行二次审核；其次是GPT-4V 辅助评分，用强模型当“助教”批量预判答案，之后再由人工抽检，兼顾效率与质量。这样既避免了单一人为误差，也防止自动评分器被“投喂”误导。

加权平均准确率的数学表达如下：

张老师的阅卷标准像极了高考的“卷面分+难度系数”：不是每道题等值，而是按考纲权重科学计分。有了这套加权体系，模型想靠“刷简单题”混高分的路就被堵死了——难题答不出，综合成绩照样难看。

主流模型表现

第一波“考试成绩”公布时，张老师并不意外：人类选手的均值约为 84.6%，而当时最强的商用多模态模型 GPT-4V 也只有约 49.4%。什么概念？相当于人类考 85 分，学霸 AI 只考了 49 分，刚刚及格线都摸不到。Gemini Pro 系列紧随其后，约 45.8%；开源社区的顶级模型普遍在 30% 左右徘徊；而随机瞎猜的基线只有 17.7%。

这份成绩单告诉我们三件事：第一，看图做数学远未解决，顶尖模型也才刚过人类的一半；第二，商用闭源模型暂时领先，但差距并不像想象中那么大；第三，开源模型的追赶空间巨大，从 30% 到 50% 之间仍有 20 个百分点的等待填补。

用相对提升率可以清晰量化某个模型比基线强多少：

张老师把成绩单贴在最显眼的走廊里，每个模型都有属于自己的名次。“学霸”并非不可战胜，人类基线仍然是高高在上的参照物。这也提醒所有 AI 从业者：多模态数学推理这条赛道，才刚刚跑完第一圈。

推理能力剖析

为什么这么难？张老师走进考场，观察 AI 选手们的答题全程，终于发现了门道。一个成功的解题过程可以拆成四步：看图——视觉编码器把像素变成特征向量；联想——多模态融合模块把图像特征和文字问题对齐；计算——语言模型沿着数学逻辑链逐步推导；回答——生成最终答案。四步环环相扣，任何一环掉链子，整道题就崩了。

从概率视角看，模型的答案生成是一个自回归过程：每一步都取决于前面已经生成的文字和原始的图像、文本输入。假设图像为 v、文本问题为 t，模型生成答案 y 的概率可以分解为每一步条件概率的连乘：

张老师总结：AI 解题就像学生在草稿纸上一步步演算，只不过这位学生的“眼睛”是视觉编码器，“大脑”是语言模型。MathVista 考察的正是这条完整链条——哪一环薄弱，错误就会在最终答案上暴露无遗。

挑战与局限

张老师在批改试卷时，发现了三类高频“通病”，几乎每个模型都会犯。第一，视觉幻觉：模型会“看到”图里根本不存在的数字或线段——比如柱状图明明是 7，模型自信地读成 12。第二，计算精度不足：面对大数乘除或多步运算，语言模型的“心算”总是差那么一点点，个位数字出错是家常便饭。第三，鲁棒性差：把原图稍微裁剪、旋转或换一种配色，答案可能立刻从正确翻成错误，说明模型并没有真正理解图形结构。

这些局限反映在指标上，就是准确率天花板被压低。从公式看，错误率与准确率互为补集，模型想提升 1 个百分点的准确率，就要减少同样多的错误：

张老师摇着头在试卷上写下评语：“眼会了，手没会；图会了，数没对。”这三个通病不是孤立问题——视觉幻觉源于图文对齐不充分，计算精度源于语言模型的符号能力天生薄弱，鲁棒性差源于训练数据里图样形态太单一。认识这些局限，正是提升模型能力的起点。

优化策略

既然找到了通病，张老师就开始给 AI 选手们开“补习班”。第一招是提示工程（Prompt Engineering）：在提问时明确告诉模型“先描述图中数据，再列式计算”，相当于叮嘱学生“审题要看清、步骤要写全”。第二招是思维链引导（Chain-of-Thought）：让模型把推理过程逐步写出来，计算中间步骤外显，减少“跳步出错”。第三招是多模态对齐：通过对比学习或指令微调，让视觉特征和文字语义在向量空间里更好地“对上频道”。

从概率生成的角度看，思维链相当于把答案生成拆分成多个中间步骤（推理链），模型在多个候选链条中挑选总概率最大的最终答案：

补习班的效果相当明显：加了思维链提示之后，不少模型的分数能提升 3 到 8 个百分点。张老师满意地点点头——AI 和普通学生一样，学会“把思路写清楚”之后，正确率自然就上来了。

未来趋势

就在 MathVista 成为行业标杆之际，隔壁的李老师提出了质疑：“一张静态考卷只能测出最终分数，可我们并不知道模型是不是真的在看图！”于是 MathVerse 诞生了。它的创新在于多视角控制：同一道数学题，生成“完整图文”“局部裁剪”“纯文字描述”“完全无线索”四种版本，分别考同一批模型。如果模型在“纯文字”和“完整图文”下得分差不多，说明它根本没认真看图；如果去掉图像就大幅掉分，才证明视觉信息真正被利用了。

这种设计把评价从“看分数”升级为“看能力结构”。研究者常常使用跨视角一致性来衡量模型是否稳定：

一致性高意味着“离了图也能答对”，往往说明模型在依赖文本捷径；一致性低则说明视觉依赖强。未来的发展方向，正是从“单张卷子打总分”走向“多视角体检报告”——让每个 AI 的视觉短板、推理特长都清清楚楚。张老师和李老师相视一笑：这两位出题人的接力，让 AI 的数学之路越考越明白。

AI 应用场景

Python 演示

# -*- coding: utf-8 -*-"""MathVerse 风格多视角评估演示模拟三个模型在四种视角下的答题表现,计算准确率与跨视角一致率, 判断模型是否真的在看图""" import random MODEL_PROFILES = {    "VisionStrong":   {"vision": 0.85, "reasoning": 0.40},    "ReasoningStrong": {"vision": 0.30, "reasoning": 0.85},    "Balanced":        {"vision": 0.70, "reasoning": 0.70},} VIEWS = [    ("full", "完整图文"),    ("crop", "局部裁剪"),    ("text", "纯文字"),    ("empty", "无线索"),]  def answer_probability(model_one, view_key):    """按模型能力与视角难度计算答题正确概率"""    vision, reasoning = model_one["vision"], model_one["reasoning"]    probs = {        "full": 0.62 * vision + 0.28 * reasoning + 0.10,        "crop": 0.40 * vision + 0.24 * reasoning + 0.08,        "text": 0.10 * vision + 0.60 * reasoning + 0.06,        "empty": 0.02 * vision + 0.30 * reasoning + 0.03,    }    return probs[view_key]  def simulate_one_question(model_one, rng):    """对一道题返回4个视角的对错列表"""    answers = []    for key, _name in VIEWS:        answers.append(rng.random() < answer_probability(model_one, key))    return answers  def evaluate(model_name, num_questions, seed=42):    """统计某个模型的视角准确率与全视角一致率"""    rng = random.Random(seed + hash(model_name) % 100)    hits = [0, 0, 0, 0]    consistent = 0    for _index in range(num_questions):        answers = simulate_one_question(MODEL_PROFILES[model_name], rng)        for pos, is_correct in enumerate(answers):            if is_correct:                hits[pos] += 1        if all(answers):            consistent += 1    return hits, consistent  def main():    num_questions = 300    print("各视角准确率(%) 与 全视角一致率(%)\n")    for model_name in MODEL_PROFILES:        hits, consistent = evaluate(model_name, num_questions)        accs = [hits[i] / num_questions * 100.0 for i in range(4)]        line = " | ".join(f"{acc:.1f}" for acc in accs)        print(f"{model_name:16s} | {line} | 一致率 {consistent / num_questions * 100:.1f}")  if __name__ == "__main__":    main()

1. MODEL_PROFILES = {...}定义三个模型的能力画像：视觉模型、推理模型、均衡模型，对应三种典型的 AI 骨架。
2. def answer_probability(...)核心模拟函数：同一道题在不同视角下，视觉和推理能力的贡献权重不同，越依赖图像的视角越考验“视力”。
3. probs = {...}每个视角的答对概率公式，例如“纯文字”视角中推理权重 0.60 远高于视觉的 0.10，模拟“看不见图只能靠脑补”的场景。
4. def simulate_one_question(...)对一道题生成 4 个视角的对错标记，像给同一份考卷出四个版本。
5. if all(answers):只有当四个视角全部答对才计为一次“跨视角一致”，这是 MathVerse 评估一致率的核心逻辑。
6. def evaluate(...)综合统计各视角命中数和一致率，输出似 MathVerse 论文风格的对照表格。

常见误区

面试题