VQA准确率怎么算？视觉问答评测指标

可视化演示

展示视觉问答的简单准确率、软准确率评分公式及多答案处理机制，直观理解VQA评测如何公平评估模型回答质量。

看图问答任务

在“猜图达人”节目的开场，主持人总会强调一句：“各位选手注意，这不是选择题，没有ABCD选项，答案要你自己想、自己说。”这正是VQA任务和传统图像分类最大的不同——它不给候选答案列表，AI必须自己读懂图片内容、理解问题意图，再组织一句自然语言回答。

这个任务的全称是 Visual Question Answering，输入是“一张图片 + 一个自然语言问题”，输出是一段自然语言答案。比如输入一张“戴帽子的猫坐在沙发上”的图片，问题是“这只猫在做什么？”，模型需要回答“睡觉”或“趴着”等合理答案。和ImageNet图像分类从1000个固定类别里挑一个标签不同，VQA的答案空间是完全开放的，理论上你可以回答出无限多种表述。

正因为答案开放，评测立刻遇到了挑战：两个模型，一个说“睡觉”，一个说“打盹”，谁能得分、谁不能得分？如果没有一套科学的度量方法，那这档“节目”就失去了公信力。于是，“如何判定回答是否正确”成了VQA领域最基础也最关键的问题。

人工标注多样性

赛前，导演组请来十位普通观众，让他们分别看一眼图片、写下自己的答案，然后把纸条封存。十个人面面相觑，谁也不知道别人写了什么。最终主持人拆开纸条时发现：十张纸条上写着六种不同的说法，有的写“睡觉”，有的写“趴着”，还有的写“休息”。

这就是VQA数据集的标注方式：每个问题由十位标注者独立回答，每位标注者只看到图片和问题，不参考其他人的答案。VQA v2等主流数据集正是通过Amazon Mechanical Turk这样的众包平台，为每张图片的每个问题收集约10条人工答案。

这种标注方式带来的直接结果就是答案分歧：当问题的主观性较强时，标注者之间的答案几乎不可能完全一致。与其说某个答案是“错的”，不如说图像理解本来就是多义的——“睡觉”“趴着”“打盹”都在描述同一个场景，只是角度和措辞不同。这就意味着，任何试图用“唯一正确答案”来评判VQA模型的方案，本质上都违背了任务的开放性。

简单准确率

如果导演组偷懒，只做一张标准答案卡，上面写着“睡觉”，那么选手只要说出“趴着”就会被判错。这种方法在自然语言处理里有个熟悉的名字——精确匹配（Exact Match），也叫简单准确率：模型输出和标准答案字符串一字不差才算对。

简单准确率的数学形式很直观：

其中 \(\hat{a}_i\) 是模型对第 \(i\) 题的预测答案，\(a_i^{*}\) 是该题的标准答案。

这个指标有两个致命缺陷。第一，它对同义表述零容忍，“趴着”和“睡觉”明明表达同一个意思，却被判错；第二，面对10位标注者给出的10个答案，你该选哪一个当标准答案？选“睡觉”的人多，但“趴着”也同样合理。简单准确率把答案开放性问题硬生生做成了“闭卷考试”，对AI显然不公平。

软准确率

导演组最终想出了一个更好的赛制：不设标准答案卡，而是把十位评审的答案全部公开。选手答完题后，主持人当众数一数——有几位评审的纸条上写着和选手一模一样的答案。只要这个数字达到3，选手就得分；数字越大，得分越漂亮。

这就是VQA官方采用的软准确率（VQA Accuracy） 的核心思想。它不追求“唯一正确答案”，而是看模型的预测答案能否获得足够多标注者的“共识票数”。

具体的计算公式如下：

其中 \(c_i\) 表示在第 \(i\) 个测试问题上，十位标注者中与模型预测答案完全相同的人数：

为什么阈值是“3“而不是”1“或”5“？如果是1人认可就算对，那么哪怕标注者随手乱写，模型都能得分，评测失去意义；如果是5人认可才算对，又会让”趴着“这类合理但人数较少的答案全部落榜，评测过于苛刻。3人约占10位标注者的三分之一，足以过滤掉个别标注者的随意性，同时保留开放答案的合理性。这个精心设计的”3“在数学上还有一个好处：当 \(c_i=2\) 时，模型得 \(2/3\) 分，相当于”部分正确“，这就是”软”准确率名字的由来——它不是非黑即白的0或1，而是允许介于两者之间。

评测流程设计

一档成熟的节目必然有标准化的录制流程：邀请观众、密封答案、选手答题、当场统计。VQA的评测也一样，只有流程标准化，分数在业界才有公信力。

整个评测流水线通常分四步。第一步是数据采集：在众包平台上收集图片和问题，并规定每张图片的每个问题都由10位独立标注者作答。第二步是答案聚合：把10条答案和图片、问题绑定在一起，构成测试集的标准答案包。第三步是数据划分：将数据分为训练集、验证集和测试集，其中测试集的标注答案严格保密，防止模型过拟合。第四步是评测实现：加载模型的预测文件，按软准确率公式逐题打分。

在官方评测脚本中，还有一个人性化的细节：分题型统计。VQA问题被分成三类——“是/否类”“数字类”“开放描述类”。是/否问题答案高度一致，数字问题必须精确匹配，开放描述类才完全依靠软准确率。最终报告分数时，除了总体准确率，还会分别给出这三类的准确率，帮助研究者定位模型的短板。

评估任意一个VQA模型的准确率，都需要一个可靠的参考实现。官方VQA评测脚本在GitHub上可以公开获取，任何团队的预测结果上传后都会用相同的代码统一打分——这就保证了不同论文、不同榜单之间的分数可以横向比较。

指标权衡

节目播出几期后，细心的观众发现一个问题：有位选手特别喜欢回答“是”和“睡觉”这类高频答案，虽然偶尔能蒙对几题，但真正需要细致观察的问题他几乎全军覆没。可他的总分居然不低，因为“猜图达人”的评分规则没有惩罚这种“万金油”打法。

软准确率也有类似的局限。它只关心“模型答案是否与标注者共识匹配”，不关心这个答案是否真的建立在图片内容上。如果一个模型总是输出训练集中最常见的答案，那么它在软准确率上的表现可能会虚高。因此，在实际评测中，软准确率从来都不是唯一的指标。

合理做法是多维指标组合：第一，按题型拆分准确率，单独看“是/否”“数字”“开放描述”三类成绩，能暴露模型在计数、颜色、空间关系等具体能力上的短板；第二，配合人工错误分析，把预测错误的样本聚类，观察模型系统性忽略的视觉元素；第三，关注答案的分布鲁棒性，如果模型的答案词汇局限在几十个高频词上，说明它并没有真正理解图片，只是在背答案。

此外，软准确率的标注成本是现实中必须面对的问题——每个测试问题至少需要10条人工标注，如果测试集包含数十万个问题，标注费用会非常可观。部分研究也会在验证阶段用5人标注或直接使用官方预标注数据，以平衡成本与可靠性。总之，软准确率是一个好指标，但它需要配合流程和业务场景来使用，才能真正反映模型的实力。

AI 应用场景

Python 演示

"""VQA软准确率计算演示：对比简单准确率与软准确率"""SAMPLES = [    {"question": "猫在做什么?",     "annotations": ["睡觉", "趴着", "睡觉", "打盹", "睡觉",                     "休息", "躺着", "睡觉", "闭眼", "静卧"],     "prediction": "睡觉"},    {"question": "图中水果是什么?",     "annotations": ["苹果", "苹果", "苹果", "苹果", "苹果",                     "苹果", "苹果", "苹果", "苹果", "苹果"],     "prediction": "苹果"},    {"question": "天空是什么颜色?",     "annotations": ["蓝色", "蓝色", "蓝", "蓝色", "淡蓝",                     "蓝色", "蓝色", "蓝色", "蓝色", "蓝"],     "prediction": "蓝"},    {"question": "地上有几个皮球?",     "annotations": ["3", "3", "3", "3", "3",                     "3", "3", "3", "3", "3"],     "prediction": "3"},    {"question": "狗正在干什么?",     "annotations": ["跑", "奔跑", "追球", "跑步", "运动",                     "跑", "跑步", "奔跑", "撒欢", "玩球"],     "prediction": "奔跑"},] def normalize(text):    """简单归一化: 去首尾空格和句号, 转小写"""    return text.strip().strip("。！？!?.").lower() def soft_accuracy(prediction, annotations, threshold=3):    """计算单样本软准确率: min(相同人数/阈值, 1)"""    same = sum(1 for a in annotations               if normalize(a) == normalize(prediction))    return min(same / threshold, 1.0) def exact_accuracy(prediction, annotations):    """简单准确率: 只与第一位标注者答案精确匹配"""    return 1.0 if normalize(prediction) == normalize(annotations[0]) else 0.0 def main():    exact_total = 0.0    soft_total = 0.0    for idx, sample in enumerate(SAMPLES, 1):        ea = exact_accuracy(sample["prediction"], sample["annotations"])        sa = soft_accuracy(sample["prediction"], sample["annotations"])        exact_total += ea        soft_total += sa        print(f"样本{idx} [{sample['question']}]")        print(f"  标注答案分布: {sample['annotations']}")        print(f"  模型预测: {sample['prediction']}")        print(f"  简单准确率: {ea:.1f}  软准确率: {sa:.1f}")        print()    n = len(SAMPLES)    print(f"总体简单准确率: {exact_total / n:.2f}")    print(f"总体软准确率: {soft_total / n:.2f}") if __name__ == "__main__":    main()

1. def normalize(text): return text.strip().strip("。！？!?.").lower()比较前先做归一化，把小写、首尾空格和句号等干扰因素清理掉，避免“Blue“和”blue”被误判为不同答案。
2. same = sum(1 for a in annotations if normalize(a) == normalize(prediction))遍历10位标注者的答案，数一数有多少人与模型预测完全一致，这就是 \(c_i\) 的Python实现。
3. return min(same / threshold, 1.0)软准确率公式落地：\(c_i/3\) 后封顶1，不到3人也允许给部分分数。
4. exact_accuracy(...)简单准确率的实现：只与第一位标注者（当作标准答案）进行比较，答对得1分，答错得0分。
5. 总体软准确率: {soft_total / n:.2f}把所有样本的软准确率得分取平均，得到测试集上的最终指标。

常见误区

面试题