VQA评估指标：十人纸条定公道

可视化演示

三步展示VQA评估指标：10标注者软评分机制（min(1, 多数/3）)、答案预处理标准化流程（小写/去冠词/去标点/数字转单词）、以及VQA Acc/EM/MMBench三类指标对比。

评测难题

村庄丰收节上，最热闹的是“看图猜果”大赛。主持人举着果子的图画，台下 10 位评审各自伏案写纸条，不许互相偷看。为什么不让大家齐声回答？因为一个果子，有人看颜色说“红苹果”，有人辨切面说“脆甜果”，还有人盯着叶子说“带梗果实”——如果只允许一个标准答案，好答案反而会被冤枉。多样就是这场比赛的底色。

VQA（视觉问答）就是这样一场“猜果比赛”：让 AI 看一张图、读一个自然语言问题、再给出自然语言答案。问“图里有什么水果”，可以答“苹果”“红苹果”“一种红色水果”，它们是不同粒度上的正确答案。这跟选择题、判断题完全不同——不存在唯一的标准答案，这是开放问答与生俱来的特性。

若用传统的“精确匹配”——模型答案必须和一个官方参考答案一模一样才算对——那么“红苹果”和“红色水果”这种合理变体会被误杀，评测结果会低估模型真实能力。这就是 VQA 评测的核心难题：如何在答案合法的多样性与打分标准的客观性之间取得平衡。于是评测者提出了“合法答案集合”的思路。

想通了这一点，村长决定：每道题都请 10 位评审各自写答案，把“对不对”变成“多少人同意”。这就是 VQA 评测的第一块基石——多样性靠人群来兜底。

基准蓝图

猜果大赛要办得长久，光有“十人评审”的念头不够，还得把规则固化成一份比赛章程：用哪些图、问哪些问题、请哪些评审、怎么计分。VQA 基准就是这个“章程”，它把评测流程标准化，让每一场“比赛”都可复现、可比较。没有章程的比赛，成绩再高也无人信服。

VQA 基准首先规定了任务的定义：输入一张图片和一个自然语言问题，模型输出一个短答案。为了收集数据，研究者从 MS COCO 图片集出发，让众包工人看图提问，再请另一批工人独立作答；每道评测题收集 10 个人工答案，构成标注答案集。图片、问题、答案三元组一起，组成了基准的“考卷”。

这份数据规模相当可观——数万张图片、数十万道题、上百万条人工答案。更重要的是，它对所有团队开放同一套训练与评测切分，保证大家在同一张考卷上比拼。正因如此，VQA 基准在多模态模型评估领域奠定了重要地位，成为衡量“看得懂图、答得了问”的标准测试场。

有了章程，各村各户都能按同一套规则办赛，成绩单才能跨队对比。VQA 基准在视觉与语言交界处竖起了一根公平的量尺，后来的多模态大模型评测都愿意先拿它测一测。

软准确率

现在，最关键的计分规则登场了。计分员拿到选手答案后，不是和一张“标准答案”比对，而是逐张数 10 位评审的纸条：几张纸条与选手答案完全一致？3 张及以上——满分；1 张或 2 张——按比例给分；0 张——零分。村民们围在公告栏前，第一次见到这种“数人头”的计分法。

这套规则在 VQA 官方评测中叫“软准确率”（soft accuracy）。之所以“软”，是因为它不像硬匹配那样非对即错，而是根据命中人工答案的数量给出连续的部分分。它默认一个朴素的道理：分数高低，取决于有多少独立标注者与模型“英雄所见略同”。一个人写的答案可能是偶然，三个人不约而同写同一答案，那就是共识。

技术细节如下：设 m 为 10 个人工答案中与模型预测完全相同（规范化后）的个数，则单题得分等于 min(m/3, 1)。也就是说 m 达到 3 就得满分；m=1 得 1/3 分，m=2 得 2/3 分。这个"3"是经验选出的证据线：至少三位独立标注者写同一个答案，基本可以认定它正确且无歧义。

回到赛场上，选手喊出“红苹果”，三名评审的纸条上正是“红苹果”——计分员大笔一挥，满分！村民们点头：三个人都这么说，还能错到哪里去？软准确率就这样用“人数”替代了“标准答案”，既给多样答案留了活路，又守住了底线。

答案规范化

纸条比对之前，还有一道马虎不得的工序：誊清。评审写“Red Apple“，选手说”red apple”，如果照原样比对，明明同一个意思却判成不同答案。计分员先把所有纸条和选手答案都誊写成统一格式，再开始数人头——这一步，就是答案规范化。

规范化只做四件“表面功夫”：统一转为小写；去掉 a/an/the 等冠词；把数词（one、two）转成阿拉伯数字（1、2）；清理多余标点与空白。它不做语义理解，不把“红苹果”和“赤色水果”合并——同义词的包容不靠规范化，而靠“有没有人这么写过”。

规范化的价值在于让匹配更稳健，同时保持规则简单透明。由于规范化对预测答案和 10 个人工答案一视同仁，它不会偏袒模型，也不会错过合理表达。它是软准确率“软”的第一次体现：字面上的一点点差异，不再成为扣分的理由。

誊清之后，纸条与选手答案才有“同台比字”的资格。村民感慨：这细节看似琐碎，却能免去多少冤枉的失分——好规格，就藏在这样的工序里。

评测公平性

有村民质疑：如果选手答得合理，但 10 位评审都没写过，难道就零分？计分员解释：比赛讲究公允，分数必须建立在“有人确实这么写过”的证据上，否则各说各有理，无法对比。但反过来，只要 1 位评审写过，就能拿 1/3 分——这份宽容，正是公平的体现。

评测公平性体现在四个设计上：第一，容忍同义变体，所有人类写过的答案都有机会得分；第二，部分匹配给部分分，1 人认可得 1/3、2 人认可得 2/3；第三，随机猜测得零分，无依据的乱答撞不上任何纸条；第四，分数可解释，每一个分数都能追溯到“有几位标注者同意”。

这些特性让软准确率既不是“一刀切”的严苛，也不是“和稀泥”的宽松。模型不会因为表达稍有不同就被扣光，也不会因为“自认为对”就白拿分。它把“答案正确性”变成了一道可以核算的工程量——每 1/3 分都对应一位真实标注者的认同。

计分员把规则贴在大赛公告栏上，选手心服口服。分数的公平不在人情，而在“白纸黑字的证据链”——这正是 VQA 基准能赢得信任的原因。

评测流程

猜果大赛的完整流程：发图 → 收纸条 → 选手作答 → 誊清纸条 → 逐题数人头 → 汇总成榜。VQA 评测同样是流水线作业，任何一个环节出错，都会让最终分数失真。流程的标准化，保证了不同团队跑出的数字可以互相比较。

标准评测流程分四步。第一步，模型推理：把图片和问题喂给模型，得到一句预测答案。第二步，规范化处理：把预测答案和 10 个人工答案都清洗成统一格式。第三步，逐题计分：对每道题套用软准确率公式，得到单题 Acc。第四步，聚合统计：把所有题的得分取平均，得到模型在评测集上的 VQA Score。

聚合时的 N 是评测题目总数。N 越大，单题的偶然波动越被摊平，成绩也就越稳定——所以基准测试总是尽量保留大规模、多样化的评测题，而不是只考几十道样题。这也是为什么我们看到的 VQA 分数动辄建立在几十万道题之上。

成绩榜张贴出来那天，所有流程都一模一样，没人质疑数字的来路。评测流程的标准化，让“谁更会看图说话”成为一道可复算的算术题。

基准价值

丰收节年复一年，猜果大赛越办越出名。别的村庄也照着章程办赛，有人甚至用同一册果实图来选拔眼神最尖的年轻选手。一套好的评测规则，价值不在于某一场比赛的输赢，而在于它成为可以反复使用、跨队比较的公共尺子。

VQA 基准的价值同样如此。它提供了标准化评测方案：同一批图片与问题、同一份人工答案、同一套软准确率计分脚本。多模态大模型发布时，几乎都会报告 VQA Score；研究者用这个分数横向对比不同模型的视觉语言能力，量化“哪个模型更聪明”。这套“考卷”也因此成为行业事实标准。

评测工具的开源让价值进一步放大：任何人下载数据和评估脚本，就能复现论文成绩。随着社区推进，基准也在演进——比如平衡图片与问题的搭配以减少语言先验，扩充问题类型以覆盖更多能力维度。而软准确率作为计分内核，始终被保留并沿用。用分段函数回顾这道计分章程，三行规则一目了然。

从一张纸条到一道公式，从一场村赛到一个基准，软准确率用最朴素的“人数”逻辑，撑起了开放答案评测的公平与实用。下次看到任何多模态模型的 VQA 分数，你都能读懂数字背后的十人评审团。

AI 应用场景

Python 演示

import re # VQA 软准确率计算器: 十个人工答案 vs 模型预测 ARTICLES = {'a', 'an', 'the'}NUM_WORDS = {    'zero': '0', 'one': '1', 'two': '2', 'three': '3',    'four': '4', 'five': '5', 'six': '6', 'seven': '7',    'eight': '8', 'nine': '9', 'ten': '10'}  def normalize(answer):    """规范化: 小写, 去冠词, 数词转数字, 清理标点"""    tokens = re.findall(r"[a-z0-9']+", answer.strip().lower())    cleaned = [NUM_WORDS.get(token, token) for token in tokens               if token not in ARTICLES]    return ' '.join(cleaned)  def soft_accuracy(prediction, human_answers, threshold=3):    """单题软准确率 = min(命中人数 / threshold, 1)"""    pred = normalize(prediction)    hit = sum(1 for ans in human_answers if normalize(ans) == pred)    return min(hit / threshold, 1.0)  def evaluate_batch(predictions, ground_truths):    """聚合统计: 全部题目的平均软准确率"""    scores = [soft_accuracy(predictions[qid], ground_truths[qid])              for qid in predictions]    return sum(scores) / len(scores) if scores else 0.0  if __name__ == '__main__':    gt = {        'q1': ['red apple', 'Red apple', 'a red apple', 'red apple',               'red apple', 'apple', 'crimson apple', 'red fruit',               'red', 'red apple'],        'q2': ['blue', 'blue', 'sky blue', 'blue', 'light blue',               'blue', 'azure', 'blue', 'blue', 'deep blue'],        'q3': ['green', 'green', 'green', 'green', 'light green',               'green', 'green', 'green', 'green', 'emerald']    }    predictions = {'q1': 'red apple', 'q2': 'sky blue', 'q3': 'yellow'}    for qid in predictions:        print(qid, round(soft_accuracy(predictions[qid], gt[qid]), 3))    print('overall:', round(evaluate_batch(predictions, gt), 3))

1. tokens = re.findall(r"[a-z0-9']+", answer.strip().lower())一次性完成小写与标点清理，只保留字母数字和撇号。
2. cleaned = [NUM_WORDS.get(token, token) for token in tokens if token not in ARTICLES]丢掉冠词，并把数词 one、two 换成 1、2。
3. pred = normalize(prediction)规范化先行，预测答案与人工答案必须“同台比字”。
4. hit = sum(1 for ans in human_answers if normalize(ans) == pred)逐个比对 10 个人工答案，数出命中人数 m。
5. return min(hit / threshold, 1.0)软准确率核心：除以 3 再封顶，命中再多也不超过 1.0。
6. scores = [soft_accuracy(predictions[qid], ground_truths[qid]) for qid in predictions]对每道题分别算分。
7. return sum(scores) / len(scores) if scores else 0.0聚合平均，得到整个评测集的 VQA Score。

常见误区

面试题