GQA图推理：给AI出的“侦探推理考题”

可视化演示

可视化场景图结构化表示、多跳推理路径与GQA-VQAv2基准对比，滑块调节推理跳数观察准确率变化。

GQA诞生背景

侦探事务所的老板翻着实习生的“满分答卷”，眉头紧锁：这小子根本没看现场，靠统计规律就蒙了个好成绩。市面上所有VQA评测都是这样——问AI“图里有几个人”“这是什么颜色”，答案本身高度可猜，AI只要记住“多人数回答3、客厅场景回答沙发”这类关联，就能拿下高分。VQAv2虽然做了一步“答案分布平衡”，却依然停留在“看热闹”层面：模型不需要理解物体之间的关系，单个物体就够答对大部分题。

老板决定亲自出题：先把案发现场彻底勘察一遍，把每个嫌疑人、每件物品、每条关系都登记成一张结构化的“线索网络”，然后只出那些必须顺着线索网络才能回答的题。于是GQA诞生了——它基于Visual Genome中的11.3万张图像，构建出带场景图的图像库，并据此自动合成了超过2200万个问题。每个问题都不是孤立的，背后都挂靠在精确的关系网络上。

这套设计让GQA的定位变成了“结构化的推理考场”：它不再问你看到了什么，而是问你推出来了什么。训练过的模型再也不能靠背答案混分，必须真正读懂画面中“谁和谁有联系”。这正是新基准的意义——把VQA从“看图识字”拔高到“看图推理”。

老板看着新考题笑了：现在，每一个新来的实习生模型，都得在这份卷子上证明自己是真侦探，还是只会套模板的猜谜高手。

场景图结构

老板勘察现场的方式很特别：他并不满足于拍几张照片，而是把现场画成一张“人物·物品关系网”。每个对象是一个节点，每个对象的特征写在节点卡片里，而对象之间的空间和语义联系则用连线表示。这张关系网，就是AI领域的场景图（Scene Graph）。

在GQA中，每张图像都被标注成结构化的场景图，包含三类核心元素：物体节点、属性标注和关系三元组。物体节点就是画面中出现的每个具体对象，比如“猫”、“垫子”；属性标注描述这个对象本身的状态，比如“灰色的猫”、“柔软的垫子”；而关系三元组则是两个对象之间的结构化描述，比如（猫，坐在，垫子）——主语、谓词、宾语，一个不多一个不少。

用数学语言描述，一张场景图可以看成一个有向图 G = (O, E)，其中 O 是物体节点集合，E 是带类型标签的关系边集合。每条边都是一个三元组 (subject, relation, object)。这种符号化表示的意义在于：图像从“像素的海洋”变成了“可查询的关系数据库”——机器不用再瞪着眼睛看，而是可以像查档案一样按图索骥。

$$\mathcal{G} = (\mathcal{O}, \; \mathcal{E}), \quad \mathcal{E} = \{(o_i, r_k, o_j) \mid o_i, o_j \in \mathcal{O}\}$$

1. $\mathcal{O}$ 物体节点集合：图像中所有被识别出的对象，是推理中的“人物名单”。

$$\mathcal{O} = \{o_1, o_2, \dots, o_n\}$$

2. $\mathcal{E}$ 关系边集合：所有对象间的关系连线，是推理中的“联系记录”。

$$\mathcal{E} = \{e_1, e_2, \dots, e_m\}$$

3. $(o_i, r_k, o_j)$ 三元组：一条具体的关系记录，$o_i$是主体，$r_k$是关系类型，$o_j$是客体，对应“猫—坐在—垫子”。

$$(o_i, r_k, o_j) \in \mathcal{E}$$

4. $r_k$ 关系类型标签：关系种类如“坐在”“旁边”“穿着”，它决定了推理可以沿什么方向走。

$$r_k \in \mathcal{R}$$

回到比喻里：有了这张关系网，侦探破案就不再依赖目击证人的“感觉”，而是可以拿着通讯录按图索骥——先锁定一个人物，再看他的关系线连着谁，线线相扣，答案自然浮出水面。

组合问题生成

有了关系网，老板开始出题。他琢磨：怎么才能保证题目必须“动脑子”才能答出来？答案是把出题也变成流水线：写一个程序，从场景图里随机选一段关系链，把链上的每一个节点和每一条边翻译成自然的问句。这种程序化合成方式不仅高效，还天生自带“标准答案”和“推理路线图”。

GQA的合成引擎可以生成多种类型的问题：属性问题问“这只猫是什么颜色”，空间问题问“垫子右边是什么”，比较问题问“猫和狗哪个大”，逻辑问题问“有没有既在桌上又不在盘里的苹果”。更关键的是，每个问题都带有一份语义标注（semantic annotation）——记录这个问题需要经过哪几个场景图节点、沿哪几条边才能找到答案，相当于试卷附带了详细的“踩分点”。

$$q = \mathrm{Compile}(p_1, p_2, \dots, p_k), \quad p_i \in \mathcal{P}$$

其中 $p_i$ 是程序化查询中的基本操作（如“寻找节点”“过滤属性”“沿边跳转”），$\mathrm{Compile}$ 负责把这些操作编译成自然语言问句。GQA最终产出了超过2200万个问题，其中有约1200万带有完整语义标注——它们不是人写的，但比人写的更精确，因为每个问题背后都对应着一条确切的推理链。

1. $q$ 合成出的问句：最终的题目文本，比如“坐在垫子上的猫旁边有什么？”。

$$q = \text{"猫旁边有什么？"}$$

2. $\mathcal{P}$ 基本操作库：可用的推理原子操作，包括“定位节点”“沿关系跳转”“验证属性”等。

$$\mathcal{P} = \{ \text{Find, Jump, Filter, Verify} \}$$

3. $\mathrm{Compile}$ 编译过程：把一串操作按照逻辑顺序翻译成符合语法的问题。

$$\mathrm{Compile}(\text{Find(猫)}, \text{Jump(旁边)}, \text{Find()})$$

4. $k$ 操作数量：合成时选择的原子操作个数，它直接决定问题的推理复杂度。

$$k = \mathrm{Len}(p_1, p_2, \dots, p_k)$$

可以这样理解：程序化出题就像用乐高积木搭题目——每个零件（基本操作）都是标准的、可追溯的，拼出什么形状（多复杂的问题）完全由考官提前规划好。这种“可回溯”特性，是人工出题做不到的。

多跳推理

侦探查案时最核心的本领是什么？不是一眼看穿真相，而是顺着线索一层层追下去：先问目击者A“你当时在哪儿”，A说“在酒吧”，酒吧老板B说“那晚有个红发人坐了很久”，红发人C又和目标的特征是同一个。每一步都只是一次简单追问，但连起来就能破案。这种连续追问在GQA里叫多跳推理（multi-hop reasoning）。

GQA中的“跳”是指推理过程中沿场景图关系边移动的次数。一跳问题只需看一个物体就能回答，比如“猫是什么颜色”；两跳问题就要跨两条边，比如“坐在垫子上的猫的旁边坐着谁”——先找到猫的“坐在”对象垫子，再从垫子走“旁边”关系找出口节点。而GQA特意把问题设计成包含大量两跳、三跳甚至更深的推理链，目的是考察模型的推理深度。

组合推理的难点在于：模型在训练时见过的都是“猫坐在垫子上”这类具体三元组，考试时却可能遇到“电视机旁边放着一盆植物，植物后面是柜子”这样从未见过的新组合。它必须把已经学到的原子关系操作“组装”起来应对新场景，这就是组合泛化（compositional generalization）。一个只会背场景的模型，遇到新组合就现出原形。

$$\mathrm{depth}(q) = \max_{s \in \mathcal{S}(q)} \lvert s \rvert$$

1. $\mathcal{S}(q)$ 证据链集合：回答问题时所有可能的推理路线，每一条都是场景图中一条起点到终点的路径。

$$\mathcal{S}(q) = \{s_1, s_2, \dots\}$$

2. $\lvert s \rvert$ 证据链长度：一条推理路径中经过的关系边条数，也就是“跳数”。

$$\lvert s \rvert = \text{边的数量}$$

3. $\max$ 取最大值：推理深度定义为所有可行路线中最长的那条的长度，因为最长的路线才是真正的瓶颈。

$$\max_{s \in \mathcal{S}(q)} \lvert s \rvert$$

回到侦探比喻：跳数越多，追踪过程越容易跟丢线索。GQA要考察的，正是模型能像老侦探一样不跟丢、不跳步、还能排除干扰项地走完一整条证据链——而这种能力，恰好是所有真实推理任务的地基。

评测指标

判卷不能只数对错——老板深谙此道。一个实习生可能碰巧蒙对几题，也可能同一件事换个问法就前后矛盾，还可能答对了但理由完全是胡扯。所以GQA设计了一整套判卷标准，从四个维度给模型画像。

最基础的是准确性（accuracy）：答案是否和标注一致，这是最直白的得分；一致性（consistency）：对于语义相同、表述不同的一对问题，模型必须给出相同的答案，比如“猫的颜色”和“猫是什么颜色”本质是同一题，答对了前者却错了后者，说明模型没真懂；有效性（validity）：模型的答案必须是场景图中真实存在的物体或属性，不能答出图里根本不存在的东西；基础性（grounding）：答案必须能从场景图中找到支撑证据，也就是说模型要“拿出证据说话”，而不是猜出来的。

$$T = \underbrace{\mathrm{Acc}(a, a^*)}_{\text{答得准}} + \underbrace{\mathrm{Con}(a, a')}_{\text{不动摇}} + \underbrace{\mathrm{Val}(a, \mathcal{G})}_{\text{答得实}} + \underbrace{\mathrm{Grd}(a, \mathcal{G})}_{\text{有依据}}$$

这四个维度用分数加起来，构成对模型推理行为的整体评价。就算准确率相同，一个“四平八稳、答得实在”的模型，也比“时灵时不灵、纯靠猜”的模型更值得信赖。

1. $\mathrm{Acc}(a, a^*)$ 准确性项：模型答案 $a$ 与标准答案 $a^*$ 一致则得分，这是最容易理解的“对不对”。

$$\mathrm{Acc}(a, a^*) = \mathbb{1}[a = a^*]$$

2. $\mathrm{Con}(a, a')$ 一致性项：同一问题不同表述下两次作答 $a$ 与 $a'$ 必须相同，防止“一问就会，换问就废”。

$$\mathrm{Con}(a, a') = \mathbb{1}[a = a']$$

3. $\mathrm{Val}(a, \mathcal{G})$ 有效性项：答案 $a$ 必须是场景图 $\mathcal{G}$ 中的节点或属性，杜绝编造“不存在的人”。

$$\mathrm{Val}(a, \mathcal{G}) = \mathbb{1}[a \in \mathcal{O} \cup \mathcal{A}]$$

4. $\mathrm{Grd}(a, \mathcal{G})$ 基础性项：必须存在一条以答案节点为终点的有效证据链，确保“有据可查”。

$$\mathrm{Grd}(a, \mathcal{G}) = \mathbb{1}[\exists s: \mathrm{end}(s) = a]$$

这四个项就像侦探考核的四关：答得对、不反水、不胡编、有实据。过了这四关的模型，才配得上“会推理”三个字。

模型表现与启示

新考卷发下去，成绩单让全事务所沉默了。人类侦探的平均分是89.3%——毕竟关系图是照着现实画的，人看一眼就懂；但当时最顶尖的AI模型，分数只徘徊在60%上下，差了整整三十个百分点。要知道，在过去的VQAv2考卷上，AI和人类的差距也就十个百分点左右。GQA这一换考，把AI“照猫画虎”的本质暴露得干干净净。

差在哪里？不是AI不认识猫和垫子，而是它不理解“猫坐在垫子上”和“垫子在袋子旁边”这两个事实如何关联成一条完整的证据链。单独看每个物体它都懂，组合起来就乱了套——这恰恰印证了组合泛化是机器推理的核心瓶颈：认识零件不等于会组装。

但这份考卷的意义不在于打脸。它让研究者看清了改进方向：后来的多模态模型开始专门训练“关系感知”和“多步推理”能力，在GQA上的分数稳步爬升。更重要的是，GQA为视觉-语言模型评测树立了范式——用结构化标注和可追溯推理链来量化“理解力”，而不是用表面准确率自欺欺人。

老板把考卷收进档案柜，留下一句话：“以后凡是号称会看图的模型，先拿这张卷子过一遍。能答对的人，才算真进了侦探这行。”

AI 应用场景

Python 演示

#-*- coding: utf-8 -*-# 迷你GQA: 基于场景图三元组的多跳推理与评测模拟from collections import defaultdict class MiniGQA:    def __init__(self, triples):        # self.graph: object -> [(relation, neighbor)]        self.graph = defaultdict(list)        for subj, rel, obj in triples:            self.graph[subj].append((rel, obj))            self.graph[obj].append((rel, subj))     def seek(self, start, hops):        # 从start出发, 沿关系边走hops跳, 收集可达节点和证据链        frontier = {start}        chains = {start: [start]}        for _ in range(hops):            nxt = {}            for node in frontier:                for rel, neb in self.graph.get(node, []):                    if neb not in chains:                        chains[neb] = chains[node] + [neb]                        nxt[neb] = chains[neb]            frontier = set(nxt.keys())        return {n: c for n, c in chains.items() if len(c) == hops + 1}     def ask(self, question):        # 问题格式: (起点, 跳数, 期望答案类型)        start, hops, ans_type = question        found = self.seek(start, hops)        if not found:            return None, "未找到证据链"        # 取最短证据链的末端作为答案        best = min(found.items(), key=lambda kv: len(kv[1]))        return best[0], "->".join(best[1]) def make_qa():    # 三元组: (主语, 关系, 宾语)    triples = [        ("猫", "坐在", "垫子"),        ("垫子", "旁边", "袋子"),        ("袋子", "里面", "毛线球"),        ("毛线球", "颜色", "红色"),        ("沙发", "左边", "垫子"),    ]    gqa = MiniGQA(triples)    questions = [        ("猫", 2, "物体"),        ("毛线球", 2, "物体"),        ("沙发", 3, "物体"),        ("猫", 1, "物体"),    ]    return gqa, questions def evaluate(gqa, questions):    hits = 0    for q in questions:        ans, chain = gqa.ask(q)        ok = "OK " if ans is not None else "MISS"        if ans is not None:            hits += 1        print("{} 推理链: {} 答案: {}".format(ok, chain, ans))    print("综合得分: {:.0f}%".format(100.0 * hits / len(questions))) if __name__ == "__main__":    gqa, questions = make_qa()    evaluate(gqa, questions)

1. self.graph = defaultdict(list)建立以物体为中心、邻居带关系标签的邻接表，相当于给每个侦探配备了一本“关系通讯录”。
2. for subj, rel, obj in triples把三元组双向写入索引，因为“猫坐在垫子上”同时意味着“垫子被猫坐着”，双向才能无死角搜索。
3. def seek(self, start, hops)核心多跳搜索函数，每次循环向外扩张一跳，实现了场景图上的广度优先遍历。
4. chains[neb] = chains[node] + [neb]记录到达每个节点的完整推理路径，这就是GQA语义标注中“证据链”的雏形。
5. if len(c) == hops + 1只保留恰好走完指定跳数的路径，防止过短路径冒充长程推理。
6. min(found.items(), key=lambda kv: len(kv[1]))多条候选证据链时取最短链作为最可靠答案，和GQA的置信度聚合思路一致。
7. make_qa()构造迷你三元组数据集和测试问题集，模拟GQA从场景图合成问题的过程。

常见误区

面试题