想象你拿到一把陌生房子的钥匙，第一次走进这栋房子。房东在门口递给你一张任务卡，上面写着：“客厅茶几上放着什么颜色的马克杯？”你不能站在玄关一眼望穿整栋房子，必须走进去——推开卧室门扫一眼，路过厨房时往左拐，穿过走廊来到客厅，凑近茶几仔细辨认，然后才能回答。这就是 Embodied QA（具身问答）的日常：让AI智能体像这位“新房客”一样，在三维环境里主动走动、观察、记忆，最终回答关于环境的问题。它和只看一张图片的传统视觉问答（VQA）完全不同：VQA 是“看图说话”，Embodied QA 是“实地考察”。这篇文章会陪你把“看房”的每一步拆开——从任务定义、场景理解，到导航探索、视觉感知、记忆机制、联合建模，再到数据评估和未来挑战。

岗位关联

对AI从业者而言，Embodied QA 是具身智能与多模态大模型交汇的关键赛道，掌握它意味着你能驾驭“感知—决策—语言”全链路系统，为机器人、自动驾驶、智能导览等真实产品设计核心算法。

目录
  1. 可视化演示
  2. 1. 任务定义
  3. 2. 场景理解
  4. 3. 导航探索
  5. 4. 视觉感知
  6. 5. 记忆机制
  7. 6. 联合建模
  8. 7. 数据评估
  9. 8. 挑战展望
  10. AI 应用场景
  11. Python 演示
  12. 常见误区
  13. 面试题

可视化演示

本节配有交互动效（进入视口后自动加载，约 3KB）。

1. 任务定义

房东给新房客一张任务卡，上面写清楚三件事：从哪个位置出发、要回答什么问题、最多能走多少步。这就是具身问答每个任务的“游戏规则”。智能体不能站在门口凭空猜答案，必须用真实行动换取信息——推开门、走进房间、凑近物体，把观察到的内容记在心里，最后给出回答。

在学术上，Embodied QA（具身问答）被定义为：智能体在未知三维环境中从初始位置出发，通过一系列动作（前进、转向等）主动探索，并结合视觉观察来回答自然语言问题。它由四个要素组成：初始状态、问题文本、标准答案和最大步数上限。传统的 VQA 只给一张静态图，模型被动“接收”画面；而 Embodied QA 的智能体是“探索者”，要为自己的信息获取负责——看到什么、走到哪里，都会直接影响答案质量。

每个任务都用这样一张“任务卡”来定义。理解任务定义，是读懂后续所有模块的基础——就像新房客先弄清楚规则，才知道该往哪个方向使劲。

T=(s0,  q,  a∗,  Tmax⁡)\displaystyle \mathcal{T} = (s_0,\; q,\; a^*,\; T_{\max})
这个公式像一张“看房任务卡”：\(s_0\) 是站在大门口的初始位置，\(q\) 是房东问你的问题，\(a^*\) 是藏在房间里的标准答案，\(T_{\max}\) 是房东给你的步数上限。
  1. 初始位置 \(s_0\)智能体在三维环境中的起点坐标，相当于看房之旅的“玄关”。
    s0s_0
  2. 问题 \(q\)任务要回答的自然语言问题，比如“茶几上有什么颜色的杯子？”。
    qq
  3. 标准答案 \(a^*\)评测时用于和智能体回答比对的正确答案，由数据集的标注者预先写好。
    a∗a^*
  4. 最大步数 \(T_{\max}\)允许执行的动作次数上限，超出则判该任务失败，提醒智能体别在房间里乱逛。
    Tmax⁡T_{\max}

2. 场景理解

新房客走进客厅，不会只盯着正前方那一块地方发呆，而是会快速转动脑袋，把“沙发在左、茶几在中、电视墙在右”这些空间关系拼成一幅心理户型图。场景理解要做的正是这件事：从智能体看到的局部画面中，构建出整个三维环境的布局认知。

具体来说，场景由三维网格模型表示，比如 Matterport3D 这类真实扫描的室内场景数据集，包含了墙壁、地板、家具等几何结构。智能体的相机每帧只能捕获一个局部视角，因此它必须学会把不同时刻看到的画面拼接起来：茶几旁边是沙发，沙发对面是电视柜。学术上，这些空间关系常被组织成“场景图”——一种以物体为节点、以相对位置为边的图结构。

有了场景图，智能体就能回答“沙发旁边有什么”这类空间问题，而不是靠像素硬猜。就像新房客记住了户型图，走路时心里才有底。

G=(V,  E)\displaystyle G = (V,\; E)
场景图相当于把房间画成一张“关系网”：每个节点就是一个家具，每条边就是两个家具之间的空间关系（前方、左侧、上方等）。
  1. 节点集合 \(V\)场景中所有物体的集合，每个节点表示一个实例，如“茶几”“沙发”。
    V={v1,v2,…,vK}V = \{v_1, v_2, \dots, v_K\}
  2. 边集合 \(E\)记录物体间空间关系的边，每条边带一个关系标签。
    E={(vi,rel,vj)∣rel∈R}E = \{(v_i, rel, v_j) \mid rel \in \mathcal{R}\}
  3. 关系集合 \(\mathcal{R}\)所有可能的空间谓词，如“正前方”“左侧”“上方”。
    R={正前方,左侧,右侧,上方,下方}\mathcal{R} = \{\text{正前方}, \text{左侧}, \text{右侧}, \text{上方}, \text{下方}\}

3. 导航探索

看房必须动腿：先左转走到走廊，再直行穿过客厅，途中还得避开挡路的纸箱。你不能瞬移到茶几前——每一步都是离散的物理动作。导航探索模块就是智能体的“双腿和方向盘”，负责决定每一步往哪里走。

在具身问答中，动作空间通常包括：前进、左转、右转、停止等离散动作。智能体在每个时刻看到当前画面和问题文本，输出一个动作。最简单的基线是随机乱走，但效率极低；更聪明的做法是让“问题”引导探索——如果问题问“厨房冰箱里的牛奶”，智能体就该优先向厨房方向移动，而不是去卧室参观。这种目标驱动策略大幅缩短了找到目标信息的路径。同时，导航还要学会避障，撞墙不仅浪费时间，还会消耗步数上限。

导航不是漫无目的地散步，而是带着问题找答案。就像有经验的新房客，听到“厨房”两个字，脚步自然就朝那个方向迈。

at=π(st,  q;  θ)\displaystyle a_t = \pi(s_t,\; q;\; \theta)
策略 \(\pi\) 就像看房时大脑里的“导航仪”：输入当前站的位置 \(s_t\) 和房东的问题 \(q\)，输出下一步动作 \(a_t\)。
  1. 动作 \(a_t\)第 \(t\) 时刻选择的动作，属于动作空间 \(\{\)前进，左转，右转，停止\(\}\)。
    at∈{前进,左转,右转,停止}a_t \in \{\text{前进}, \text{左转}, \text{右转}, \text{停止}\}
  2. 状态 \(s_t\)当前时刻智能体的位置和朝向，代表“我此刻站在哪儿、面朝哪儿”。
    sts_t
  3. 问题 \(q\)贯穿全程的任务文本，它让导航目标不再是“随便逛”，而是“去找答案需要的目标”。
    qq
  4. 策略参数 \(\theta\)神经网络中可学习的参数，通过训练数据不断调整，让导航越来越聪明。
    θ\theta

4. 视觉感知

看房靠眼睛。但智能体的“眼睛”不是普通相机，而是一双 RGB-D 眼睛：RGB 彩色图像告诉它物体的颜色和纹理，深度图像告诉它物体离自己多远、尺寸多大。两种信息合在一起，才能准确判断“那团红色是马克杯”以及“它就在茶几上”。

视觉感知模块承担三项任务：第一，物体检测——在画面中框出“杯子”“桌子”“门”等实例；第二，属性识别——判断颜色、材质、开合状态；第三，与导航协作——看到前方有门就穿过去，看到楼梯就判断要不要上楼。感知并不是孤立的，它时刻在为导航和回答提供证据。比如深度信息能帮助智能体判断前方障碍物的距离，从而决定是直行还是转向。

感知是具身问答的“眼睛”，没有它，导航就是闭眼走路，回答就是凭空想象。好眼睛让后续每一步都走得踏实。

ft=Fusion(ϕRGB(It), ϕD(Dt))\displaystyle f_t = \text{Fusion}\big(\phi_{\text{RGB}}(I_t),\ \phi_{D}(D_t)\big)
融合公式像“双眼叠加”：把颜色图像 \(I_t\) 提取出的特征和深度图像 \(D_t\) 提取出的特征合并成一个综合视觉特征 \(f_t\)，供大脑进一步使用。
  1. 彩色输入 \(I_t\)RGB 相机在时刻 \(t\) 拍下的彩色图像，提供颜色和纹理信息。
    ItI_t
  2. 深度输入 \(D_t\)深度传感器测得的距离图，每个像素值表示该点到相机的距离。
    DtD_t
  3. 编码器 \(\phi_{\text{RGB}}\) 与 \(\phi_D\)两个神经网络编码器，分别把彩色图和深度图压缩成紧凑的特征向量。
    ϕRGB(It),ϕD(Dt)\phi_{\text{RGB}}(I_t),\quad \phi_{D}(D_t)
  4. 融合函数将两类特征拼接或加权相加，得到对当前场景更完整的理解。
    Fusion(⋅,⋅)\text{Fusion}(\cdot, \cdot)

5. 记忆机制

新房客逛完三间房，不会把每一帧画面都塞进脑子，而是会掏出笔记本，写几行关键信息：“厨房有冰箱，冰箱门开着；客厅茶几上有个红色马克杯。”这份笔记本就是记忆机制——把模糊的、局部的观察沉淀为结构化的环境认知。

具身问答中的记忆主要有两种形式：一是场景记忆，记录“我在哪里见过什么”，维护一个带有空间坐标的物体清单；二是语义地图，把走过的区域网格化，在每个格子标注“这里是地板”“那里是厨房台面”。记忆的更新遵循渐进规则：新观测到的信息会与旧记忆融合，如果多次从不同角度看到同一个物体，它的置信度就会提高；反之，如果某个记录长期没有被新证据支持，就会被遗忘，防止地图无限膨胀。

记忆是连接“看到过”和“此刻需要”的桥梁。回答问题时，智能体不需要回放所有录像，只需翻阅这本不断更新的心理地图。

Mt=Update(Mt−1,  ft,  pt;  θm)\displaystyle M_t = \text{Update}\big(M_{t-1},\; f_t,\; p_t;\; \theta_m\big)
记忆更新相当于“往笔记本里写新发现”：拿上一时刻的记忆 \(M_{t-1}\)、当前观察到的视觉特征 \(f_t\)、以及当前位姿 \(p_t\)，一起生成新的记忆 \(M_t\)。
  1. 上一时刻记忆 \(M_{t-1}\)此前所有探索积累下来的场景知识，构成心理地图的旧版本。
    Mt−1M_{t-1}
  2. 当前视觉特征 \(f_t\)感知模块提取的最新观察，比如“看到一台冰箱”。
    ftf_t
  3. 当前位姿 \(p_t\)智能体现在的位置和朝向，让新信息能落在地图上正确的位置。
    ptp_t
  4. 更新函数判断新信息是否与旧记忆冲突，决定是新增、覆盖还是融合。
    Update(⋅,⋅,⋅)\text{Update}(\cdot,\cdot,\cdot)

6. 联合建模

看房这件事，走路、看东西、记笔记、最后开口回答，不是四个独立的人在分工，而是同一个大脑在统一调度。联合建模的目标，就是把导航、感知、记忆、回答串成一条完整的流水线，让每一环节都为最终答案服务。

最简单的做法是模块化架构：导航模块负责出动作，感知模块负责理解画面，记忆模块记录信息，回答模块基于记忆解码出自然语言答案。它们之间有明确的信息流接口。更进一步是端到端训练——整个系统像一个大的神经网络，只有总损失函数这一个“指挥棒”，梯度可以同时回传到导航和感知模块。这意味着，如果回答错了“颜色”，不仅语言解码器的参数会调整，连导航策略也会被修正，让智能体下次更倾向于走到能看清颜色的位置。跨模态对齐则确保“视觉特征”和“问题语义”映射到同一个向量空间，方便比较和推理。

联合建模的精髓是“协同”：走路不只是走路，而是为了看；看不只是看，而是为了回答。就像熟练的新房客，每一步、每一眼、每一笔记录，最终都指向那句答案。

L=Lnav+λ1Lper+λ2Lans\displaystyle \mathcal{L} = \mathcal{L}_{\text{nav}} + \lambda_1 \mathcal{L}_{\text{per}} + \lambda_2 \mathcal{L}_{\text{ans}}
总损失像“期末考试总评分”：导航考得怎么样、感知考得怎么样、回答考得怎么样，按权重加权成一张总成绩单，再反向推动每个模块改进。
  1. 导航损失 \(\mathcal{L}_{\text{nav}}\)衡量导航路径的优劣，如是否到达目标区域、路径是否绕路。
    Lnav\mathcal{L}_{\text{nav}}
  2. 感知损失 \(\mathcal{L}_{\text{per}}\)衡量物体检测和属性识别的准确程度。
    Lper\mathcal{L}_{\text{per}}
  3. 回答损失 \(\mathcal{L}_{\text{ans}}\)衡量生成答案与标准答案的匹配程度，通常用交叉熵。
    Lans\mathcal{L}_{\text{ans}}
  4. 权重系数 \(\lambda_1, \lambda_2\)调节三个损失的重要性，让训练更稳定。
    λ1,λ2\lambda_1, \lambda_2

7. 数据评估

不同房子测出不同成绩。为了让具身智能体能公平比较，研究者构建了专门的数据集和评测指标。最著名的数据集是 EmbodiedQA，它基于 Matterport3D 场景——一批真实扫描的室内三维房屋。每个样本包含一个起始位置、一个问题文本、一个标准答案，以及合格动作的步数限制。

评测分两层：第一层看“成功与否”，要求智能体不仅要答对问题，还要在探索过程中实际到达与问题相关的区域——比如问厨房里的事，智能体若从没进过厨房却蒙对答案，判失败；第二层看“效率如何”，两个智能体都答对了，但一个走了最短路径，另一个绕了大半栋房子，后者分数更低。下面这个 SPL 指标（Success weighted by Path Length）把两个维度合二为一。

好的评估指标让“能答对”和“会探路”都得到鼓励。具身智能不能光靠运气蒙答案，它必须真正走进房间、找到证据、再开口回答。

SPL=1N∑i=1NSi⋅Li∗max⁡(Li, Li∗)\displaystyle \text{SPL} = \frac{1}{N} \sum_{i=1}^{N} S_i \cdot \frac{L_i^*}{\max(L_i,\ L_i^*)}
SPL 像“看房效率评分”：不但看你有没有找到答案（成功率 \(S_i\)），还看你走的冤枉路多不多（最短路径 \(L_i^*\) 与实际路径 \(L_i\) 的比值）。
  1. 任务总数 \(N\)测试集中具身问答任务的总数。
    NN
  2. 成功指示 \(S_i\)第 \(i\) 个任务若答对且到达相关区域，\(S_i=1\)，否则为 0。
    Si∈{0,1}S_i \in \{0, 1\}
  3. 最短路径长度 \(L_i^*\)从起点到目标区域的理论最短距离。
    Li∗L_i^*
  4. 实际路径长度 \(L_i\)智能体真正走过的路径长度，用它和最短路径的比值衡量绕路程度。
    max⁡(Li,Li∗)\max(L_i, L_i^*)

8. 挑战展望

从样板间走向真实世界，具身问答还有不少硬骨头。第一个挑战是“部分可观测”：智能体永远只能看到眼前一小块区域，走廊尽头有什么必须走过去才知道，这就像看房时每间房门都关着，不推开就无法预知。第二个挑战是“长程探索”：大别墅有三个楼层，步数上限不够，智能体必须学会高效决策，把步数花在刀刃上。第三个挑战是“开放词汇”：训练数据里没有“扫地机器人”这个物体，现实看房中却可能遇到，模型需要借助常识进行泛化。

未来的方向包括：把大语言模型的常识注入导航与回答，让智能体听到“厨房灶台”就能推测附近有什么家具；让记忆机制与语言模型结合，形成可查询的“语言化地图”；以及引入动态环境——房间里的人会走动、门会被关上，智能体需要在变化中调整计划。

看房的新房客终究要搬进真正的生活。Embodied QA 的终极目标，是让智能体在任何一栋从未见过的房子里，都能自己走、自己看、自己记、自己答——像人一样笑着说出那句：“红色马克杯，就在客厅茶几上。”

---

Gap=Es∼Ptrain[ Acc(s) ]−Es∼Ptest[ Acc(s) ]\displaystyle \text{Gap} = \mathbb{E}_{s \sim P_{\text{train}}}[\,\text{Acc}(s)\,] - \mathbb{E}_{s \sim P_{\text{test}}}[\,\text{Acc}(s)\,]
泛化差距公式刻画了“样板间考100分、真实世界考60分”的落差：训练环境的平均准确率减去真实世界的平均准确率，差距越大，说明智能体越依赖特定场景、越缺少泛化能力。
  1. 训练分布 \(P_{\text{train}}\)训练时看到的三维场景分布，相当于精心布置的样板间。
    PtrainP_{\text{train}}
  2. 测试分布 \(P_{\text{test}}\)评测或真实部署时的场景分布，可能包含从未见过的房屋和物体。
    PtestP_{\text{test}}
  3. 准确率函数 Acc模型在某个场景下回答问题的平均准确率。
    Acc(s)\text{Acc}(s)
  4. 泛化差距 Gap两个期望准确率的差值，是衡量具身问答系统落地能力的关键指标。
    Gap\text{Gap}

AI 应用场景

家居服务机器人

阶段：具身问答系统应用部署

解决的问题：传统扫地机器人只能按预设路线清扫，无法回答“阳台上有没关严的水龙头吗”这类需要主动观察的问题。借助 Embodied QA 的思路，机器人在收到问题后先规划导航路径，前往目标区域，通过 RGB-D 视觉确认物体状态，再生成自然语言回复。

具体案例：主人出门前问机器人：“厨房台面上的调味瓶盖拧紧了吗？”机器人从充电座出发，规划到厨房的路径，途经走廊时避开宠物玩具，到达台面前停下，用深度相机对准调味瓶，确认瓶盖状态后回答：“调味瓶盖已拧紧。”整个过程就是一次完整的“看房问答”。

仓储盘点机器人

阶段：多模态感知与决策

解决的问题：传统仓库盘点靠人工逐排核对，效率低且容易出错。Embodied QA 技术让盘点机器人听懂自然语言查询，自主导航到指定货架，利用视觉感知读数计数，并把结果用语言反馈给仓管员。

具体案例：仓管员在平板上输入：“B区第三排货架第二层还有几箱矿泉水？”机器人根据问题中的“B区”“第三排”目标词规划路线，途中经过狭窄通道时执行避障，到达货架后调整视角拍摄深度图像，识别矿泉水的箱数并回答：“还剩 12 箱。”如果箱子被遮挡，它还会绕到侧面再观察一次。

博物馆导览机器人

阶段：人机交互问答系统

解决的问题：传统语音导览只能播放录制好的讲解，无法回答游客的定制化空间问题。Embodied QA 赋予导览机器人“实地查看后回答”的能力，将多轮对话、视觉感知与自主移动融为一体。

具体案例：游客问：“出口附近有几幅油画？”机器人先从当前展厅规划一条通往出口的路线，沿途用相机扫描墙面，检测画框并识别是否为油画，到达出口区域后统计所见，回答：“出口方向右侧墙上有 3 幅油画。”如果沿途有台阶，它会提前减速提醒游客注意安全。

Python 演示

python62 行
import math  class EmbodiedQAAgent:    def __init__(self, grid, target_name, target_pos, max_steps=60):        self.grid = grid                  # 二维地图：'#'墙、'.'可走、'T'目标        self.pos = [1, 1]                 # 起点坐标        self.target_pos = target_pos      # 目标坐标        self.target_name = target_name    # 目标物体名        self.max_steps = max_steps        # 步数上限        self.steps = 0                    # 已走步数        self.seen = set()                 # 记忆：看到过的物体     def _neighbors(self, pos):        r, c = pos        results = []        for dr, dc in [(0, 1), (0, -1), (1, 0), (-1, 0)]:            nr, nc = r + dr, c + dc            if 0 <= nr < len(self.grid) and 0 <= nc < len(self.grid[0]):                if self.grid[nr][nc] != '#':                    results.append((nr, nc))        return results     def _dist(self, pos):        return abs(pos[0] - self.target_pos[0]) + abs(pos[1] - self.target_pos[1])     def explore(self):        while self.steps < self.max_steps:            if tuple(self.pos) == tuple(self.target_pos):                self.seen.add(self.target_name)                break            nbrs = self._neighbors(self.pos)            if not nbrs:                break            nxt = min(nbrs, key=self._dist)            self.pos = list(nxt)            self.steps += 1        return self.steps     def answer(self, question):        if self.target_name in self.seen:            return "是的，我看到了" + question + "！只用了" + str(self.steps) + "步"        return "没有发现" + question + "，我探索了" + str(self.steps) + "步"  def run_demo():    grid = [        "#########",        "#.......#",        "#.###.#.#",        "#.#...#.#",        "#.#.###.#",        "#....T#.#",        "#########",    ]    agent = EmbodiedQAAgent(grid, "红色杯子", (5, 5), max_steps=40)    agent.explore()    print(agent.answer("红色杯子"))  if __name__ == "__main__":    run_demo()
目的：用一个二维网格地图模拟 Embodied QA 的核心循环——智能体根据“问题”提供的目标位置，在迷宫中起步探索，遇到墙壁绕行，到达目标后把物体写入记忆，最后基于记忆回答“你看到红色杯子了吗”。
  1. "#########"网格地图的墙壁用 # 表示，智能体只能走在 . 或 T 上，对应真实环境中的障碍物。
  2. self.seen = set()记忆机制的最小实现：看到目标物体就写进“笔记本”，回答时直接查。
  3. if self.grid[nr][nc] != '#':决策前的碰撞检测，确保智能体不会穿墙。
  4. def _neighbors(self, pos):返回当前位置可走的相邻格子，相当于动作空间。
  5. nxt = min(nbrs, key=self._dist)贪心策略：每一步选择离目标最近的格子，模拟“问题引导的目标驱动探索”。
  6. if tuple(self.pos) == tuple(self.target_pos):到达目标位置的判定，触发记忆写入并终止探索。
  7. self.seen.add(self.target_name)把“红色杯子”写进记忆，回答环节才能引用它。
  8. agent.explore()启动探索过程，执行导航-感知-记忆循环。
  9. print(agent.answer("红色杯子"))基于记忆生成最终答案，相当于语言回答模块。

常见误区

误区我以为把视频一帧一帧送给模型，再让模型回答，效果就和 Embodied QA 差不多了，反正都是看多帧图像。

正解Embodied QA 的核心区别在“主动决策”。看视频是被动接收固定画面序列，而具身智能体必须自己决定“下一步往哪走、朝哪看”，每一步行动都影响后续观测。就像看房时你主动走进厨房，而不是坐在监控室里看厨师做饭。被动看再多帧，也学不会“为什么选择拐进厨房”。

为何常见：因为 VQA 的火爆让很多人习惯用“图像输入”的视角理解一切视觉语言任务，忽略了 Embodied QA 的决策本质。

误区我觉得先训一个通用的“房间探索导航器”，再训一个“视觉问答器”，最后拼在一起，比联合训练更简单可控。

正解独立训练的导航器不知道问题是什么，只会“到处逛”，逛到哪算哪；而联合建模让导航也接收问题信号的梯度，学会“为回答而探索”。看到问题里提到“厨房”，导航策略才更愿意朝厨房走。就像看房新手被房东提醒“厨房有线索”，脚步自然更快。联合训练的效果通常显著优于模块拼接。

为何常见：软件工程里“模块化”的思想深入人心，但端到端梯度回传在具身任务中的协同收益往往被低估。

误区我认为记忆越全越好，把所有摄像头拍到的画面都保存下来，回答问题时翻看录像就行。

正解原始视频帧数据量巨大且冗余，直接保存会让检索困难和内存爆炸。具身问答的记忆应当是结构化的：语义地图按空间位置记录“哪里有柜子、哪里有门”，场景记忆记录“我在客厅见过红色杯子”这类浓缩事实。这就像看房时你不会录下全程视频，而是写几行笔记：“客厅茶几有红杯”。笔记才能高效支撑推理。

为何常见：因为人类直觉上觉得“记得越细节越保险”，忽略了具身系统的存储与检索代价。

误区我觉得只要最后答对了，就算系统合格，绕多少路不重要，因为结果一样。

正解Embodied QA 评测同时强调探索效率。如果智能体随机乱走了一大圈才偶然看到答案，路径过长、步数超限，同样算失败。SPL 指标把成功率和路径效率结合：走得越接近最短路径，得分越高。就像看房给你 30 步，你绕了 100 步才找到杯子，房东不会给你好评。

为何常见：传统 VQA 只看答案准确率，这种惯性思维被带入了具身任务，忽略了“行动代价”。

误区我认为只要把更多三维房屋数据喂给模型，Embodied QA 的表现就会持续提升，直到完美。

正解数据量不等于泛化能力。模型在训练场景（样板间）里增长的经验，未必迁移到测试场景（真实世界）。开放词汇、光照变化、物体摆放差异都会造成性能衰减。真正重要的是让模型学会结构化的探索与记忆策略，并借助大语言模型的常识进行泛化，而不是死记场景。

为何常见：深度学习“数据为王”的观念深入人心，但具身任务还面临 sim-to-real 鸿沟，数据的边际收益会快速递减。

面试题

Q1. Embodied QA 与静态 VQA 最本质的区别是什么？

单选题 · easy

  • A.在三维场景中主动探索← 正确答案
  • B.在静态图像上做高精度识别
  • C.在文本库中搜索最优答案
  • D.在音频信号里寻找线索

答案：A。Embodied QA 要求智能体在三维环境中主动决策、移动和观察，而静态 VQA 只需分析给定图片。A 准确描述了这个“主动探索”本质；B 仍是静态识别思路；C、D 分别属于文本检索和音频任务，与视觉问答无关。就像“实地考察”和“看图猜物”的区别。

Q2. 下列哪项是具身问答智能体的标准感知输入？

单选题 · easy

  • A.RGB彩色图像与深度图像← 正确答案
  • B.纯文本描述与标签
  • C.语音波形与旋律
  • D.键盘鼠标的事件流

答案：A。标准感知输入是 RGB-D 数据，彩色图提供颜色纹理、深度图提供距离信息。B 是文本输入，C 是音频输入，D 是交互设备的信号，都不属于视觉感知的范畴。好比看房靠眼睛（彩色+深度），而不是靠听声音。

Q3. SPL 指标主要用于衡量什么？

单选题 · easy

  • A.导航成功率和路径效率← 正确答案
  • B.图像生成的清晰程度
  • C.文本翻译的流畅程度
  • D.语音识别的准确程度

答案：A。SPL（Success weighted by Path Length）同时考虑任务是否成功以及实际路径与最短路径的比值。B、C、D 分别对应图像生成、机器翻译、语音识别领域的评估，与具身导航无关。如同评价看房效率：既要找到杯子，又别绕远路。

Q4. “场景记忆”在 Embodied QA 中的主要作用是什么？

单选题 · mid

  • A.跨视角积累信息辅助回答← 正确答案
  • B.提高单帧图像的分辨率
  • C.压缩问题文本长度
  • D.加快模型参数下载

答案：A。场景记忆把多次观察到的信息按空间位置整合，回答时可直接引用“客厅茶几上有红杯”。B 是图像超分辨的问题，C 是文本压缩任务，D 与模型部署相关，都与场景记忆无关。这就像看房笔记把不同房间的见闻汇总成一份地图。

Q5. 问题引导的探索策略可能利用哪些信息？

多选题 · mid

  • A.问题中的目标物体词← 正确答案
  • B.环境的语义地图← 正确答案
  • C.已探索区域的记忆← 正确答案
  • D.全局随机数种子

答案：ABC。问题中的“目标物体词”直接指路，语义地图提供“厨房可能在哪个方向”的先验，记忆则帮助避免重复走回头路。随机数种子只是随机性的来源，与引导探索无关。好比房东说“找厨房里的冰箱”，你自然会看向厨房方向并避开刚走过的走廊。

Q6. 以下哪些是 Embodied QA 联合建模的常见组成模块？

多选题 · mid

  • A.导航规划模块← 正确答案
  • B.视觉感知模块← 正确答案
  • C.自然语言回答模块← 正确答案
  • D.音频播放模块

答案：ABC。导航负责决定走向哪里，感知负责理解“看到什么”，回答负责把记忆变成自然语言，三者通过信息流紧密协作。音频播放不是 Embodied QA 的必要组成部分。就像看房时“动腿、睁眼、开口”三位一体，缺一不可。

Q7. 语义地图相比原始视觉帧的优势是？

单选题 · mid

  • A.显式组织物体与空间关系← 正确答案
  • B.包含更多高清像素
  • C.不需要相机传感器
  • D.能够直接输出最终答案

答案：A。语义地图以结构化方式记录“哪个位置有什么物体”，空间关系一目了然，内存占用小且便于推理。B 错误，语义地图不保存全部像素；C 错误，仍需相机提供输入；D 错误，地图是中间表示，不是最终答案。这就像看房笔记比全程录像更便于回顾。

Q8. Embodied QA 训练中最具挑战性的问题是什么？

单选题 · hard

  • A.稀疏奖励下的长程探索← 正确答案
  • B.单步分类精度不足
  • C.数据标注人员不够
  • D.显示分辨率过低

答案：A。智能体往往要走很多步才能看到与问题相关的物体，中间几乎没有奖励信号，导致梯度难以回传，训练极其困难。B、D 是感知单元的局部问题，C 是数据工程问题，都不是核心瓶颈。仿佛看房者走了半天也没看到“线索”，没有反馈就不知道该不该继续往这个方向走。

Q9. 具身问答面临的开放世界挑战包括哪些？

多选题 · hard

  • A.未见过的新物体类别← 正确答案
  • B.部分可观测的环境← 正确答案
  • C.长距离跨房间导航← 正确答案
  • D.固定摄像头角度

答案：ABC。新物体类别考验模型泛化能力，部分可观测要求智能体在信息不全时决策，长距离导航考验步数分配和记忆管理。固定摄像头角度不是挑战，反而不动视角会降低灵活性。就像第一次走进真实住宅，处处可能与样板间不同。

Q10. 在部分可观测环境下，哪种框架最适合建模具身问答的决策过程？

单选题 · extreme

  • A.部分可观测马尔可夫决策过程← 正确答案
  • B.线性回归预测下一个词
  • C.决策树做规则分类
  • D.朴素贝叶斯文本分类

答案：A。POMDP 显式建模“智能体无法看到全局状态，只能依据观测和历史记忆做决策”，这正是具身问答的数学框架。线性回归、决策树、朴素贝叶斯分别是回归、分类、文本工具，无法刻画状态转移和长期记忆。好比看房者不知道门后有什么，但可以根据以往经验和当前脚下位置决策下一步。