室内VLN导航R2R数据集

可视化演示

展示VLN从自然语言指令(NL)经编码器(Enc)生成动作(Act)后驱动Agent在室内房间中导航的过程，基于R2R/RxR数据集评测。

任务与定义——蒙眼游客的第一课

想象你站在陌生商场中庭，朋友用蓝牙耳机给你下达指令：「穿过喷泉右转，到黄色招牌的咖啡店」。你努力环顾四周，辨认店铺与路标，一步一步把语言转成脚下动作。你无法展开地图，只能靠眼睛和耳朵实时决策。这就是VLN的日常：视觉语言导航（Vision-and-Language Navigation） 要求智能体同时理解两个模态——眼前的全景图像和一段自由文本指令，在室内环境里做出离散的空间移动。

R2R数据集把这个日常压缩成一场可重复的考试。它不只考「能不能找到终点」，还考「每走一步，是否依据可见场景与语言语义做出了正确的十字路口选择」。模型不再拥有全局地图，每一步的行动都必须从当前观察中推断，这比传统SLAM导航更接近人类问路的方式。

形式上，在每个时间步 $t$，模型需要基于全方位观察、完整指令以及自身的记忆状态来决策：

这一节告诉开发者：VLN不是单纯的目标检测，也不是机械的路径规划，而是「看—听—想—动」的闭环决策。正如游客必须把朋友的话与眼前的景物对应起来，模型也必须学会跨模态对齐——这正是多模态算法的核心魅力。

R2R数据构建——商场实景的3D沙盘

要给「蒙眼游客」出考卷，首先得有一座真实的商场。R2R团队使用了 Matterport 设备对90栋真实住宅进行3D扫描，把房间、走廊、楼梯都变成数字孪生体。每个可站立的全景点位称为一个视点（panorama），视点之间通过门洞或走廊连接，形成一张室内导航图。

有了这张图，下一步就是「出题」。系统在图上随机挑选起点与终点，然后调用最短路径算法，生成一条从A房间到B房间的导航路径。这条路径就是Agent需要完成的「标准答案」。为了保证难度合理，路径长度和转向复杂度都经过人为控制，避免出现横穿房间墙壁的诡异走法。

数据规模上，R2R共包含90栋建筑、约10,800个全景视点，以及7,189条路径。每一条路径都被标注了自然语言指令，最终得到21,567条英文指令。可以这样理解：

如果把R2R比作练习题册，那么Matterport扫描就是「商场的真实照片集」；导航图是「对外开放的走廊地图」；最短路径就是「朋友给出的最优行走路线」。这套构建流程后来成为许多室内视觉语言导航数据集的标准范式。

路径与指令——三位朋友的三套说法

数据集的灵魂不是图像，而是人写的指令。R2R团队没有用机器自动生成文本，而是请众包人员对着3D路径「看图说话」。每位标注员戴上虚拟相机，沿着路径走一遍，然后用自然语言描述如何从起点走到终点。这就像请三位朋友分别描述同一条商场路线：甲说「出了电梯右转，走到喷泉边」，乙说「沿着中庭往北，在雕塑旁拐弯」，丙说「直奔咖啡店，注意避开服务台」——说法各不相同，但指的路是同一条。

为了让指令足够多样，R2R规定每条路径必须由3位不同标注员各写一条指令。由此产生的是21,567条口语化、充满指代与空间参照的英文指令，而不是单调的「左转90度，前进5米」。

随后，数据集按建筑划分为训练集与测试集，其中关键策略是设置了两类验证环境：

这种「三个臭皮匠，顶个诸葛亮」的标注策略，确保了模型不会对某一种句式过拟合。而刻意划分出的「未见环境」，等于考试时突然给你换一座完全陌生的商场——这正是R2R最考验真功夫的地方。

RxR数据集——三语导游的时间戳魔法

R2R之后，研究者意识到：世界上大多数人并不说英语。于是 RxR（Room-across-Room） 数据集应运而生：它不仅覆盖了 英语、印地语、泰卢格语 三种语言，还把路径长度和指令长度都大幅提升。R2R里的指令平均约29个词，而RxR的指令更长、更贴近真实对话，像是导游现场口述而非背诵说明书。

RxR最独特的发明是时间戳（timestamp）。在标注过程中，标记者不仅写下「走过喷泉右转」，还要标记说出这句话时，虚拟人影走到了路径的百分之多少。这等于给语音导航配上了一帧一帧的字幕，让模型能够把「语言」与「动作」逐词对齐——从粗粒度的「整段指令导航」升级为细粒度的「边说边走」。

如果把R2R比作三位朋友用中文描述路线，那么RxR就是三个不同国籍的导游，边带路边用母语讲解，并且用摄像机记录下了「讲到哪儿、走到哪儿」。这种时间戳信息让后来的模型能够在长任务中精确定位自己——是RxR对VLN社区最重要的贡献之一。

导航策略——先抄作业，再试错拿糖

有了考卷，怎么教AI答题？早期主流方法分为两派：模仿学习（Behavior Cloning, BC） 与 强化学习（Reinforcement Learning, RL）。

模仿学习的思路最直白：让模型「抄作业」。R2R已经给出了每段指令对应的专家路径，因此我们可以从数据里采样出「观察—动作」对，让策略网络拟合专家的选择。这就像实习生先在工位上模仿老师傅的一招一式，不需要自己踩坑：

但纯模仿有一个隐患：训练时模型每一步都看到专家动作（teacher forcing），真正部署时一旦走错一步，后面的状态全是自己造成的「垃圾输入」，就陷入恶性循环。

强化学习则让Agent在环境中「试错拿糖」。走对方向给正奖励、原地打转或撞墙给负奖励，通过最大化累计折扣回报来优化策略：

现代VLN模型（如VLN-BERT、HAMT等）通常先在大规模图像—文本对上进行预训练，再在R2R上微调。预训练像是「看遍各种商场宣传册」，微调则是「在自家商场实地练习」。三位一体，缺一不可。

评测指标——成功之外还要看效率

考试总要打分。R2R最经典的两个分数是 导航成功率（Success Rate, SR） 与 路径加权成功率（SPL）。

成功率很直觉：Agent停下时，和目标的直线距离在3米以内，就算导航成功。这个阈值参考真实场景——站在咖啡店门口3米内，人就已经看得到店招了：

但成功率的缺点很明显：它不管你绕了多少冤枉路。你从商场东门绕到西门再回到咖啡店，只要有3米内也算成功——显然不合理。因此SPL把「路径效率」也纳入考核：

SPL的哲学很像外卖平台给骑手打分：不仅看是否送达，还看是否「走了预估的最短路线」。因此，SR与SPL必须一起报告——两者差距越大，说明模型越「路痴但倔强」。

挑战与未来——换个商场就迷路？

即便R2R训练了多年，VLN模型依然面临一个尴尬现实：在未见过的建筑上，成功率会大幅跳水。这就是「泛化差距（Gap）」——模型背下了考试答案，却没有真正学会「在陌生商场里看路牌」。

未来方向之一是细粒度对齐：借助RxR时间戳，让模型真正理解「说话时走到哪里」，而不是把指令当整体编码；另一个方向是连续动作导航——从R2R的离散图节点走向自由坐标移动，让机器人真正迈开腿走进真实世界；此外，跨语言泛化、长尾指令理解、以及噪音场景下的鲁棒性，都是学术界正在攻关的高地。可以预见，VLN会像当年的ImageNet一样，从数据集演进催生出完整的技术栈，最终让室内服务机器人、AR导航眼镜真正落地。

AI 应用场景

Python 演示

# -*- coding: utf-8 -*-"""迷你VLN演示：模拟R2R数据集的构建与SR/SPL评测""" import random  class MiniEnv:    """5x5网格商场平面图"""     def __init__(self):        self.goal = (4, 4)        self.obstacles = {(1, 1), (2, 1), (3, 1), (4, 1), (1, 4)}     def is_passable(self, pos):        x, y = pos        return 0 <= x < 5 and 0 <= y < 5 and pos not in self.obstacles  def sample_path():    """模拟R2R路径采样：从入口走到咖啡店"""    return [(0, 2), (0, 3), (0, 4), (1, 4), (2, 4),            (2, 3), (3, 3), (4, 3), (4, 4)]  def make_instructions(path):    """为同一条路径写3条不同风格的指令（模拟众包标注）"""    return [        "直行到尽头右转，再走到底就是咖啡店",        "沿着过道向东，在喷泉旁右转，终点是咖啡店",        "先朝灯光方向走去，过了玻璃门右拐就能看到咖啡店",    ]  def build_dataset(num=30):    """构造迷你R2R数据集：每条路径配3条指令"""    dataset = []    for _ in range(num):        path = sample_path()        dataset.append({"path": path,                        "instructions": make_instructions(path)})    return dataset  def evaluate(dataset, noise=0.0):    """执行导航并计算成功率SR与路径加权成功率SPL"""    random.seed(42)    n = len(dataset)    sr_count = 0    spl_sum = 0.0    for item in dataset:        path = item["path"]        shortest = len(path) - 1        pos = path[0]        actual = 0        for i in range(1, len(path)):            target = path[i]            if random.random() < noise:                continue            pos = target            actual += 1        if pos == path[-1]:            sr_count += 1            spl_sum += shortest / max(actual, shortest)    return sr_count / n, spl_sum / n  def main():    dataset = build_dataset(30)    print("迷你R2R数据集完成：%d条路径，每条%d条指令" % (        len(dataset), len(dataset[0]["instructions"])))    for noise in (0.0, 0.2, 0.6):        sr, spl = evaluate(dataset, noise=noise)        print("噪音=%.1f  SR=%.2f  SPL=%.2f" % (noise, sr, spl))  if __name__ == "__main__":    main()

1. dataset.append({"path": path, "instructions": make_instructions(path)})模拟R2R中「每条路径配3条指令」的核心设计，让数据天然具备语言多样性。
2. random.seed(42)固定随机种子，让实验可复现；R2R官方评测同样要求统一随机种子保证公平。
3. shortest = len(path) - 1用路径步数近似最短路径长度，对应SPL公式里的 $l_i$。
4. if random.random() < noise: continue模拟模型犯错「原地发呆」，实际走过的步数变少或变多，扭曲路径效率。
5. spl_sum += shortest / max(actual, shortest)SPL公式的核心：若实际路径比最短路径长，比值立刻下降，正确惩罚绕路。
6. for noise in (0.0, 0.2, 0.6)用不同噪音强度模拟「模型越来越笨」，直观对比SR与SPL的灵敏度差异。

常见误区

面试题