多模态空间推理：空间认知评测方法

可视化演示

展示DocVQA如何通过OCR与布局理解从文档图像中定位信息并回答问题，以及ANLS评测指标计算流程。

评测定义

期末考试季，地理老师想考察学生是否真正“读懂”了教室布局。她不考背诵，而是掏出几张教室照片，问：“椅子在桌子的左边还是右边？”“讲台离门口近还是远？”这种考试有一个共同结构：给学生一张图，配一个问题，请学生说出答案。多模态空间推理评测正是这场考试的计算机版本。

把图换成图像数据、把问题换成自然语言查询、把答案换成模型输出的文本，就构成了评测的基本单元。研究者收集大量带布局标注的图片，写成标准化的空间问题，让模型逐一作答，再与人工标注的标准答案比对。评测的核心目标不是“模型认不认识物体”，而是“模型理不理解物体之间的几何联系”——这是关系级理解，而非单物体识别。

从数学上看，一次评测可以形式化为一个条件概率问题：给定视觉场景 V 和空间问题 Q，模型对每个候选答案 A 分配一个概率。评测关心的就是正确答案能否获得最高概率。量化这个概率的过程，就是标准答案与评分脚本的由来。

回到考场：老师出图、发卷、收卷、批改，评测平台做的正是同一件事——只不过“出题人”是数据集，“评卷人”是评分脚本。理解了这个定义，后面所有维度、基准与指标就有了统一的舞台。

评测维度

知道了考试形式，下一个问题是：出题人到底在考哪些能力？老师提问不会只问“讲台在哪”，她还会问“窗户在黑板左边还是右边”“门离讲台远不远”——这就是空间推理的三个基础维度：位置、方向、距离。位置判断回答“物体在哪里”，需要模型给出坐标级或区域级的定位；方向识别回答“A 相对 B 在哪个方位”，需要模型比较两个物体的空间先后；距离估计回答“A 离 B 有多远”，需要模型具备度量意识，能区分“很近”与“很远”。

这三者在评测实现中可以被统一封装成一个几何向量：设物体 A 的坐标是 $(x_A, y_A)$，物体 B 的坐标是 $(x_B, y_B)$，那么 A 相对 B 的偏移由坐标差刻画，方向角由反正切函数算出，距离由欧氏距离公式决定。标准答案正是从这些几何量翻译成自然语言方位词，比如“左上方”“右侧 2 米”。

老师眼里的“左前方两步”，在评测系统里就是一组坐标差、一个角度和一个距离值。三维度出题既覆盖了人类直觉中的“在哪、朝向、多远”，又保证了标准答案可以机械化生成，这正是空间推理评测可量化的根基。

评测基准

一场正规考试需要三样东西：题库、答题卡和评分标准。空间推理评测基准也是“三件套”：场景数据集、问题模板与量化指标。场景数据集是“考场”——一张张带有物体位置标注的图片，可能是真实照片也可能是渲染的合成房间，标注信息保证了标准答案可以被精确计算。问题模板是“考题”——把“物体 X 在物体 Y 的哪个方向？”“X 与 Y 谁离 Z 更近？”等问法参数化，批量生成题目。量化指标是“评分标准”——用统一公式给所有模型打分，让不同团队的结果可以横向量化对比。

最常见的指标是准确率（Accuracy）。设测试集共有 N 道题，对第 i 题，模型预测答案为 $\hat{a}_i$，数据集标注的标准答案为 $a_i^*$。两者相等记 1 分，否则记 0 分，最后求平均，得到 0 到 1 之间的分数。这一流程为视觉-语言能力量化提供了标准化评测方案和工具。

所有模型面对同一张卷子、同一套答案、同一个评分脚本，分数才具有可比性。评测基准的价值正在于此：它把“空间能力”这样一个模糊概念，压缩成一个可复现、可追踪的量化数字。

推理流程

一个学生答题时，眼睛先扫过卷面，大脑再构建场景关系，最后落笔写出答案。多模态模型的推理流程也分为对应的三步：视觉编码、几何建模、答案生成。第一步“看”：视觉编码器把图片像素转换成稠密特征图，相当于学生扫视教室；第二步“想”：模型在特征上比较不同物体的位置，建立几何关系，相当于学生心里比较“椅子在西侧，桌子在中央”；第三步“答”：文本解码器根据推理结果生成答案词。整个过程还需要跨模态对齐——把图像中的坐标信息与语言中的方位词对齐，否则模型“看懂了”却说不出。

形式化地看，模型是在所有候选答案上计算条件概率 $P_\theta(a \mid \cdot)$，再用 argmax 挑出概率最大的答案作为输出。值得注意的是，评测通常只能观测到输入与输出，中间“想”的过程被封装在参数里。因此空间推理的评测方法论强调“以终为始”：用标准答案约束输出质量，用准确率倒逼推理能力。

学生的“思考过程”被压缩进模型的权重矩阵，我们能观察到的只有输入和输出。这也是为什么评测要设计得足够精细——因为只有把题目出到位，才能从输出中窥见模型的真实空间推理水平。

应用价值

学生毕业后，方向感好的能当导游、开物流车；同样，空间推理能力强的模型才有资格走进真实物理世界。空间推理评测的第一个应用是具身智能——机器人要在真实房间中移动，必须理解“桌子在我左边”这类布局描述；第二个应用是机器人导航——把视觉场景推理成障碍物与目标的空间布局，才能规划出可行路径。

在这类系统中，空间推理模块充当感知与行动之间的桥梁。它接收当前时刻的视觉画面 $V_t$，输出场景中各物体的相对位置与可达性判断，再与任务目标结合，交给策略函数 $\pi$ 决定下一步动作 $a_t$。评测成绩因此成为模型能否胜任真实任务的“入职考试”——与其把候选模型逐个装进机器人里试错，不如先在空间推理基准上做一轮笔试筛选。

就像招聘测试的分数可以预兆工作表现，空间推理评测的分数为机器人部署提供了一个低成本的“能力预览”：笔试优秀的模型，才有更大把握通过真实环境的“路考”。

挑战难点

再聪明的学生也会被刁钻题难住：“这个盒子在你左边——是面朝盒子时说的，还是背对盒子时说的？”参考系一变，答案就变。空间推理评测面临三大挑战：参考系歧义、遮挡缺失与鲁棒性不足。

参考系歧义是最典型的陷阱。同一个“左边”，在自我中心视角和第三人称视角下指向完全相反。评测题目必须显式声明“以谁为参照”，或者提供额外上下文（如“面向讲台时的左边”）来消解歧义。遮挡与信息缺失则考验模型的推理韧性：当箱子挡住椅子的一半，模型不能靠“猜”蒙混，而要利用先验与部分可见信息推断完整布局。最后，评测还要做难度分级——如果所有题目都是“左还是右”的简单二选一，模型靠语言先验就能拿高分，分数就会“虚高”。

用条件概率的语言说，引入参考系上下文 $C_{\text{ref}}$ 后，答案分布应当随之改变；若模型感知不到这种改变，说明它根本不理解空间关系。好的评测基准必须把这些难点编码进题目，逼出模型的真实水平。

聪明的老师会在题干里补一句“面向讲台时”，好的评测基准同样用上下文钳制歧义、用遮挡增加难度、用分级防止虚高。逃避这些挑战的基准，只是把“空间推理”四个字印在卷面上，并没有真正考出空间推理。

AI 应用场景

Python 演示

# -*- coding: utf-8 -*-"""空间推理评测小示例：合成场景、生成方位题、候选模型作答、准确率评分"""import mathimport random  def build_scene():    """在 10x10 房间内随机摆放互不重叠的物体，返回 {名称: (x, y)}"""    names = ['桌子', '椅子', '箱子', '柜子', '台灯', '绿植']    scene = {}    for name in names:        while True:            x = round(random.uniform(1, 9), 1)            y = round(random.uniform(1, 9), 1)            if all(math.hypot(x - px, y - py) > 1.5 for px, py in scene.values()):                break        scene[name] = (x, y)    return scene  def get_answer(scene, a, b):    """返回标准答案：物体 a 相对物体 b 的主方位（上/下/左/右）"""    ax, ay = scene[a]    bx, by = scene[b]    dx = ax - bx    dy = ay - by    if abs(dx) > abs(dy):        return '右边' if dx > 0 else '左边'    return '下边' if dy > 0 else '上边'  def spatial_model(scene, question):    """候选模型：从题目中抽取两个物体名，再用坐标求方位"""    parts = question.replace('？', '').split('物体')    a = parts[1].split('在')[0].strip()    b = parts[2].split('的')[0].strip()    return get_answer(scene, a, b)  def evaluate(scene, n=50):    """随机出 n 道题，比较模型答案与标准答案，返回准确率"""    names = list(scene.keys())    hits = 0    for _ in range(n):        a, b = random.sample(names, 2)        q = f'物体 {a} 在物体 {b} 的哪个方向？'        truth = get_answer(scene, a, b)        pred = spatial_model(scene, q)        if pred == truth:            hits += 1    return hits / n  if __name__ == '__main__':    random.seed(42)    room = build_scene()    print('场景布局：')    for name, pos in room.items():        print(f'  {name}: {pos}')    acc = evaluate(room, n=50)    print(f'候选模型在 50 道空间方向题上的准确率：{acc:.2%}')

1. scene[name] = (x, y)把物体名映射为坐标，相当于“布置考场”并记录标准布局
2. math.hypot(x - px, y - py) > 1.5保证任意两个物体间距足够远，模拟真实房间不重叠的摆放
3. random.sample(names, 2)从物体列表中随机抽两个，动态生成一道空间方向题
4. q = f'物体 {a} 在物体 {b} 的哪个方向？'按模板生成自然语言题目，模拟基准中的问题生成器
5. get_answer(scene, a, b)从坐标计算标准答案，扮演“人工标注”的评分依据
6. if abs(dx) > abs(dy):按主方向轴判断：x 偏移更大就答左右，y 偏移更大就答上下
7. return '右边' if dx > 0 else '左边'把坐标差的正负号翻译成自然语言方位词
8. a = parts[1].split('在')[0].strip()候选模型从问题文本中解析出第一个物体名，模拟“看懂题目”
9. if pred == truth:预测与标准答案逐题比对，对应准确率公式中的指示函数
10. return hits / n计算答对比例，完成 Acc 指标的标准化打分

常见误区

面试题