VQA基准：ScienceQA多模态

可视化演示

展示ScienceQA大规模多模态多选题的评测流程、文本与图像跨模态融合问答结构、以及三大科学学科的分类占比与答题准确率对比。

基准画像

把 ScienceQA 想象成一张精心设计的“高中科学统考卷”。普通测验只问“答案是什么”，而这张卷子题目自带配图、文字说明、甚至老师的课堂讲义，最后还要你在答题卡上写“为什么这么选”。作为教务主任，你关心的不只是学生选对没有，更关心他是不是真的看懂了图和上下文。ScienceQA（Science Question Answering）正是这样一个多模态科学问答基准，它把 21,000 多道中小学科学选择题带进 AI 评测圈，并给每道题都配上了标准答案和一段人类教师的推理讲解。

从技术上看，这份数据集的题目来自真实课程与考试资源，覆盖自然、社会、语言等学科；每道题被组织成“问题 + 上下文 + 多选选项”的结构，而上下文又分为图像、文本、讲义三类。相比过去只问“图里有什么”的 VQA 数据集，ScienceQA 把 VQA 升级成“看懂图 + 读懂文 + 运用常识推理”的综合测试。它的评测目标定位很精准：既看模型选答案的准确率，也看模型生成解释的质量，相当于把“客观题”和“主观题”放进同一场考试。

准确率是这类基准最直观的收卷标准，其整体计算口径如下：

所以，整张考卷的合格率，就是“答对数 ÷ 总题数”。理解了这把尺子，你就能读懂所有论文里 ScienceQA 的准确率数字。

数据集结构

这场统考的考卷内容是怎么排版的？ScienceQA 的题目像报纸的“图文并茂”版面：约一半题目带图像，三分之一的题目带文本上下文，还有一部分题目附“讲义”——一段像老师课堂讲解一样的背景知识。整张卷子按学科分成自然、社会、语言三大类，再细分成生物、地理、化学、物理等课程子集，保证每个知识点的题目都有足够的数量，避免某门课垄断整场考试。

这种结构设计背后是“诊断式出题”的思路。教务主任想看学生到底卡在哪一科、哪一类，于是把成绩按课程、上下文类型、题目难度逐层切分。工程师拿到这份数据后，也要按同样的切分方式观察模型：它在“带图的地理题”上掉分，还是在“纯文本的化学题”上掉分？只有细粒度地拆开看，评测才有诊断价值，而不是给一个笼统的 70% 就完事。

我们不妨把题目上下文形式记为集合：

所以，ScienceQA 的数据结构本质上是“多模态的上下文工程”：出题人精心搭配图文与讲义，倒逼模型做模态路由。这一点和你做真实业务时“排版多模态数据”非常像——信息放在哪一栏，模型就会往哪个方向使劲。

多模态编码

学生拿到带图的生物题，先看图片，再看文字，最后把两者在脑子里拼接成一个整体理解。ScienceQA 时代的多模态模型，同样需要一个“左右脑协作”的编码机制：文本被语言编码器变成一串 token 向量，图像被视觉编码器（如 ViT）变成一组 patch 向量，然后通过跨模态注意力层让两类向量互相“提问、回答”。这个过程就像图片在问文字：“我画的是线粒体，它在题干里叫什么？” 文字在问图片：“实验装置图里的箭头方向是哪边？”

在统一语义空间里，图文 token 被拼接成一条长序列，交给 Transformer 做自注意力建模。跨模态注意力是这里的核心：每个文本 token 的 Query 会去匹配所有图像 token 的 Key，从而把视觉信息加权融合进文本表征；反过来，图像 token 也会吸收文本语义。这种“双向参考”就是模型能结合常识看图答题的秘密。把它写成简化直觉，就是“查询—键”的注意力权重计算：

当你看到论文里说“模型利用图像提升了 7 个点”，本质就是这套注意力机制让文字查询成功地从图片里借到了关键证据。

评测指标

评卷时，教务主任不会只看总分，还要按“题组”看小分。ScienceQA 最常用的评测指标是分类准确率（Accuracy），而且按多个维度分组报告：按学科（自然/社会/语言）、按上下文（有图/无图/带讲义）、按题目难度。更重要的是，ScienceQA 对“多选答案”和“推理解释”分开打分——就像阅卷老师先看答题卡选项对不对，再看主观题解释好不好，两套评分互不混淆。

带图像上下文题目的准确率，可以写成对“有图子集”单独求平均的形态。这种按子集求准确率的做法，用于消融实验非常有力：你把图像输入遮掉，再测一次准确率，两次之差就是图像的贡献度。参考成绩（人类专家约 88%、GPT-3 思维链约 77%）也提供了“及格线”——AI 学生不是和自己比，而是和人类阅卷组的水平比。带图子集的准确率公式如下：

在工程汇报里，这种“子集小分 + 消融差”的格式，比抛一个总准确率更有说服力——老板一眼就能看出模态输入的真实价值。

模型与可信度

往年统考总会流传一份“各班平均分排名”，ScienceQA 论文也给出了清晰的模型家族排名。简单文本问答基线（只把题目当文本处理）在 50% 上下挣扎；纯语言模型靠海量常识能到 60%~70%；视觉语言多模态模型突破 75%；加上思维链（Chain-of-Thought）提示后能达到 80% 以上；而人类专家则稳定在 88% 左右。这张“成绩榜”告诉我们一条核心规律：每一种模态都是加分项，会“边做边说理”的模型又比只会选答案的模型更接近人类水平。

但“排名”可信吗？这就要看数据的“出身”了。ScienceQA 的题目源于真实教材与考试资源，答案和解释由教育工作者整理，相比众包随手标的题目，它的标注噪声更低，因此作为评测尺子更可靠。在读任何论文的 “ScienceQA 90%“ 之前，先问三个问题：它用了什么上下文？它算的是哪个子集？它的提示词是否见过训练数据？多模态模型的对比必须限定在同样的”考试条件”下，否则就像让一个学生开卷、另一个闭卷，分数再高也没有说服力。

把这种可信度思想写成一句话：上线前不要只信一个基准的绝对分数，要看它在这个基准上的相对提升是否在多个子集上一致复现。思维链增益报告 5 个点，如果在有图题上增益 8 点、无图题上只增益 2 点，那结论就该写成“CoT 主要增强了读图推理”，而不是笼统的“CoT 就是好”。基准是尺子，结论才是被测量的长度。

实践与选型

教务主任拿到成绩单后要安排补课，工程师拿到 ScienceQA 成绩后要安排优化。实践的第一步是基准选型判断：如果你的业务是多模态问答（教育、客服、文档问答），ScienceQA 就是很好的“体检套餐”，它同时覆盖图文和推理；如果你只关心 OCR 识别，选纯视觉基准更合适。第二步是少样本适配，ScienceQA 支持从训练集抽样几个例子构造 few-shot 提示，让你不需要微调就能评估一个还没定型的模型。

第三步是类别短板分析：把验证集按学科和上下文切成小份，逐份跑准确率，找出“带图的气候题”这类重灾区，再决定是补数据、改提示还是换模型。第四步是提示词调优：把题目、图像、上下文按固定模板拼装，加上"Let's think step by step"式的思维链前缀，往往能在 ScienceQA 上取得立竿见影的稳定提升。这一整套流程，和你日常做多模态评测的 PDCA（计划-执行-检查-改进）完全同构：

| 步骤 | 动作 | ScienceQA 中的体现 |

| --- | --- | --- |

| 选基准 | 明确评测目标 | 用 ScienceQA 测多模态推理 |

| 分数据 | 切训练/验证/测试 | 学科与上下文子集划分 |

| 跑评测 | 统一推理配置 | 固定提示词与解码参数 |

| 读指标 | 看总体+分项 | 准确率、解释质量、消融 |

| 再优化 | 定位短板迭代 | 按子集短板做提示词调优 |

这张表是整个评测闭环的“工作台”，每次迭代都是围绕它转一圈。记住：基准不是为了刷分，而是为了让每一次模型改动都有可量化的证据。

AI 应用场景

Python 演示

"""Quickly evaluate question types and report per-category accuracyon ScienceQA with the HuggingFace datasets library.Purely for demonstration: option indexes are used as ground truth."""from collections import Counter, defaultdicttry:    from datasets import load_datasetexcept ImportError as e:    raise SystemExit("pip install datasets -q") from e  def has_image(item):    return item.get("image") is not None  def make_answer(row, index):    if not row.get("choices") or "choice" not in row["choices"]:        return None    return row["choices"]["choice"][index]  def compute_accuracy(rows):    pred_count, total = 0, 0    for row in rows:        answer = make_answer(row, 0)        if answer is None:            continue        total += 1        if answer == row.get("answer"):            pred_count += 1    return pred_count / max(total, 1)  def main():    ds = load_dataset("derek-thomas/ScienceQA", split="train")    rows = [x for x in ds if x.get("answer") is not None and x.get("choices")]    print("total candidates:", len(rows))    print("with image:", sum(int(has_image(x)) for x in rows))    print("overall full accuracy (option 0 only):",          round(compute_accuracy(rows), 4))     cat_counter = defaultdict(int)    for row in rows:        cat_counter[row["category"]] += 1    print("per-category counts:", dict(cat_counter))     split_dict = defaultdict(list)    for x in rows:        split_dict["img" if has_image(x) else "txt"].append(x)    for key, subset in split_dict.items():        print("accuracy of", key, round(compute_accuracy(subset), 4))  if __name__ == "__main__":    main()

1. load_dataset("derek-thomas/ScienceQA", split="train")从 HuggingFace 拉取 ScienceQA 训练集，就像从题库系统导出考卷。
2. make_answer(row, index)从 choices 列表里取出指定位置的选项文本，作为模型的预测答案。
3. if answer == row.get("answer")把预测答案和标准答案比对，相当于阅卷时核对答题卡。
4. compute_accuracy(rows)统计答对数除以总题数，正是上文整体准确率公式的代码翻译。

常见误区

面试题