想象你是外卖平台的产品经理。平台新招了几百个跑腿小哥，现在要评选出“最佳骑手”。你只看一个数据行吗？比如“有没有把餐送到”。显然不够——有的骑手绕了半个城区才送到，有的骑手虽然送到了但比预计晚了两小时，还有的骑手在中途兜圈子观赏风景。要客观评价一位跑腿小哥，我们需要同时看多个维度的数据：送没送到（成功率）、偏离正确目的地多远（导航误差）、有没有走冤枉路（路径效率）、以及整段轨迹是不是合理（轨迹相似度）。 视觉语言导航（VLN）模型的评测，和评选骑手如出一辙。给模型一句自然语言指令（比如“上楼后左转，进入第二个房间”），模型在真实场景中决定每一步怎么走。但我们若只问“最后有没有到达目标位置”，就会忽略掉大量重要信息：它是迷路了半小时才碰巧找到，还是一步冤枉路都没走？它最后停下的位置，离真正目标到底还有多远？SPL、NE、SDTW 这三个指标，就是评测“AI 跑腿小哥”的三把不同标尺，分别从“终点偏差”“路径效率”“轨迹相似度”三个视角为模型打分。

岗位关联

学会这三个评估指标，你就能科学客观地衡量自己的 VLN 模型表现，在论文对比、方法调优、落地选型时不再被单一数字蒙蔽双眼。

目录
  1. 可视化演示
  2. 评测框架与输入
  3. 任务定义与参考线
  4. NE 导航误差
  5. SPL 加权成功率
  6. SDTW 轨迹相似度
  7. 指标对比与应用
  8. 评估实践流程
  9. AI 应用场景
  10. Python 演示
  11. 常见误区
  12. 面试题

可视化演示

通过SPL路径加权成功率、NE导航误差、SDTW动态时间规化三个模式，展示视觉语言导航评估指标的计算原理与物理含义。

本节配有交互动效（进入视口后自动加载，约 3KB）。

SPL路径加权成功率 SPL综合考虑成功率与路径效率实际路径越接近最短路径得分越高 最短路径为参考基准实际路径长度与最短路径比值决定惩罚系数 SPL = SR × (shortest / max(actual, shortest)) SPL是VLN评估最具影响力的复合指标兼顾终点精度与路径效率

评测框架与输入

我们在外卖平台评选跑腿小哥时，会准备一张评分表，上面列着“是否准时”“是否绕路”“客户评价”等栏目。评分表本身，就相当于一套评测框架——它明确规定了我们要看哪些维度。VLN 评测也是如此。模型接收两个输入：一句自然语言导航指令（比如“直走穿过走廊，在书架处右转进入卧室”）和当前可见场景图像。模型输出的是一个动作序列，也就是它走过的轨迹。这些数据被喂入评测框架，框架分别计算“终点偏差”“路径效率”“轨迹相似度”三个视角的得分。

为什么必须建立多维度框架？想想看，如果一个骑手疯狂绕路，但最后还是把餐送到了，平台评“最佳骑手”时如果只看“送达率”，他也会拿高分。可实际上他浪费了大量的时间。VLN 模型同理：只看到达率，绕路狂魔也能得满分；只看终点误差，走到一半就放弃的模型反而可能得分不低。因此，一个好的评测框架必须同时记录轨迹坐标、指令、终点点位和最优路径四个要素，才能支撑三个指标的计算。

评测框架本身并不复杂——本质是“输入什么、记录什么、输出什么”的规范。真正讲究的是后续三个指标的算法设计，它们各自捕捉了评测框架中的不同信息。

任务定义与参考线

评估跑腿小哥需要一张完整的“任务卡”：起点在哪里、终点是哪个地址、最优路线是哪条。没有这些参考信息，你说他绕路了，他还能反驳“你又没说哪条路最近”。VLN 评测的任务定义同样需要四条关键信息：第一，导航指令对应的真实终点点位（ground-truth goal）；第二，从起点到终点的最优路径长度；第三，模型实际走出的轨迹；第四，用于计算距离的坐标系统。

以 R2R 数据集为例，每条样本都包含一段人工指令、一个全景图的起点节点、一个目标节点（真实终点），以及由最短路径算法算出的参考轨迹。这个参考轨迹不会写进输入给模型，但它是评测时的“标准答案”。就仿佛外卖平台的调度系统私下算出最短路径，用于事后评价骑手有没有绕路。

有了任务定义，我们才能回答三个问题：模型最终停在哪里（用于 NE）、它走了多远（用于 SPL）、它走的形状像不像参考路线（用于 SDTW）。如果没有“最优路径”这条参考线，SPL 和 SDTW 就完全无法计算——这就像没有菜谱标准，你没法评判厨师这道菜做得正不正宗。

NE 导航误差

现在进入第一个具体标尺——NE（Navigation Error，导航误差）。把它想成“偏离目标多远”的直尺：跑腿小哥最终停下的位置，离客户真正的办公室门口，直线距离是几米？如果小哥最终停在了隔壁公司门口，NE 就是两间办公室的大门之间的距离。NE 的英文全称是 Navigation Error，衡量的是“预测终点”与“真实终点”之间的直线距离（欧氏距离）。

NE 的计算直截了当：对每条测试轨迹，取模型动作序列最后的位置作为预测终点，计算它和真实终点坐标的欧氏距离，再对所有测试样本取平均。公式如下：

NE 的优点是非常直观：一个数字就能看出模型“最后一步准不准”。但它也有明显盲区——它完全不关心模型过程中怎么走的。一个绕了整栋楼、最后歪打正着停在目标门前的模型，NE 依然可以非常低。这就好比评选“最佳骑手”时只量他最后一次落脚点离客户家门口有多近，完全无视他路上花了两小时。

NE=1N∑i=1N∥pi−gi∥2\displaystyle \text{NE} = \frac{1}{N} \sum_{i=1}^{N} \lVert \boldsymbol{p}_i - \boldsymbol{g}_i \rVert_2
可以把 NE 理解为一把只量终点的直尺：简单直观，但看不到中途绕路，必须配合其他指标使用。
  1. 终点坐标向量$\boldsymbol{p}_i$ 表示第 $i$ 条轨迹中模型最终停下的位置坐标，是一个二维或三维向量；$\boldsymbol{g}_i$ 表示第 $i$ 条轨迹的真实终点坐标。
    偏差向量=pi−gi\text{偏差向量} = \boldsymbol{p}_i - \boldsymbol{g}_i
  2. 求欧氏距离$\lVert \cdot \rVert_2$ 表示向量的 L2 范数，即两点之间的直线距离——就像用尺子直接量两个门牌号之间的直线长度。
    ∥pi−gi∥2=(xpi−xgi)2+(ypi−ygi)2\lVert \boldsymbol{p}_i - \boldsymbol{g}_i \rVert_2 = \sqrt{(x_{p_i}-x_{g_i})^2+(y_{p_i}-y_{g_i})^2}
  3. 求和取平均$\frac{1}{N}\sum_{i=1}^{N}$ 把 $N$ 条测试轨迹的终点偏差全部加起来并除以 $N$，得到平均导航误差。数值越低，说明模型最终停得越准。
    NE=1N(轨迹1偏差+轨迹2偏差+⋯+轨迹N偏差)\text{NE} = \frac{1}{N}(\text{轨迹1偏差} + \text{轨迹2偏差} + \dots + \text{轨迹}_N\text{偏差})

SPL 加权成功率

SPL（Success weighted by Path Length，成功率加权路径长度）是 VLN 评测中最著名的指标。它的设计思路是：不能只看终点对不对，还要看走的距离是否高效。想象骑手 A 用 200 米直线到达，骑手 B 绕了 800 米也到达了——两人都成功，但 A 显然更优秀。SPL 就是把“路程效率”作为权重乘进成功率里。

SPL 的完整名称是 Success weighted by Path Length。先说成功率 SR（Success Rate），它衡量“到达目标”的样本比例。但 SR 只看结果不看过程，SPL 在此基础上引入路径长度比：模型实际走的路径越接近最短路径，得分越高；如果根本没到达终点，则该轨迹的 SPL 计为 0。公式如下：

SPL 比 NE 更能反映模型的真实导航能力，因为它同时惩罚“失败”和“绕路”。但它也有一个隐患：SPL 只关心总里程的比值，不关心轨迹的形状。一个模型走了完全错误的路线，但因为总长度恰好接近最短路径，SPL 依然可以很高——就好比骑手朝着反方向绕了一大圈，里程数碰巧接近最短路径，但你绝不会说他是个好骑手。

SPL=1N∑i=1NSRi⋅limax⁡(li,pi)\displaystyle \text{SPL} = \frac{1}{N} \sum_{i=1}^{N} \text{SR}_i \cdot \frac{l_i}{\max(l_i, p_i)}
SPL 像一把“效率秤”：称完是否送达，再称路程是否高效，但看不出轨迹形状是否合理。
  1. 成功标志$\text{SR}_i$ 是第 $i$ 条轨迹的成功标志变量——若到达目标则为 1，否则为 0。这一步就像评选骑手时先问“餐送到了吗”，没送到则整条轨迹不得分。
    SRi={1若轨迹 i 到达终点0否则\text{SR}_i = \begin{cases} 1 & \text{若轨迹 } i \text{ 到达终点} \\ 0 & \text{否则} \end{cases}
  2. 路径长度比$l_i$ 是第 $i$ 条轨迹的最短路径长度（由任务定义给出），$p_i$ 是模型实际走的路径长度。两者相除得到效率比值——1 表示恰好走最短路径，小于 1 说明绕路了。$p_i$ 至少等于 $l_i$，所以比值最大为 1。
    效率比=limax⁡(li,pi)=最短路径实际路径\text{效率比} = \frac{l_i}{\max(l_i, p_i)} = \frac{\text{最短路径}}{\text{实际路径}}
  3. 乘以成功标志SR_i 乘上效率比，使得“没送到”的轨迹贡献为零，“送到了但绕路”的轨迹贡献一个小于 1 的折扣系数。这就像骑手送达后，再看他实际里程与最短里程的比值，绕路了就扣分。
    SPLi=SRi×limax⁡(li,pi)\text{SPL}_i = \text{SR}_i \times \frac{l_i}{\max(l_i, p_i)}
  4. 对所有轨迹求平均$\frac{1}{N}\sum_{i=1}^{N}$ 把每条轨迹的加权得分累计后取平均，得到模型整体的 SPL 分数，范围 0 到 1，越高越好。
    SPL=1N(SPL1+SPL2+⋯+SPLN)\text{SPL} = \frac{1}{N}(\text{SPL}_1 + \text{SPL}_2 + \dots + \text{SPL}_N)

SDTW 轨迹相似度

SDTW（Success weighted by Dynamic Time Warping，动态时间规划加权成功率）是三个指标中最严格的。它不再只看终点或总里程数，而是把模型的整条轨迹拿来和参考轨迹做“形状对比”。这就像评价骑手时，不仅看他到没到、走了多远，还要把他实际骑行的路线图与最短路径路线图叠在一起，看每一步是否走对了方向。

SDTW 的核心技术是动态时间规划（DTW）。一个直观解释：两条轨迹长度可能不同（一个走了 10 步，另一个走了 20 步），DTW 会像一个有耐心的师傅，把两条轨迹按时间轴“扭动对齐”，找到最匹配的对应点对，然后计算对齐后的平均距离。如果两条轨迹形状相近，距离就小，相似度分数就高。在得到轨迹相似度分数后，再与成功标志结合，形成 SDTW 指标。公式如下：

SDTW 是最严苛的评估者：它用“全局视野”审视整段导航过程。一个模型即使最终到达了终点，但如果中途经历过多方向犹豫、大幅偏离参考路线，SDTW 也会给出低分。这也让它成为区分“碰巧到达”和“真正会导航”的利器。缺点是计算量比 NE、SPL 大许多，且对参考轨迹质量敏感。

SDTW=1N∑i=1NSRi⋅simdtw(τi,τi∗)\displaystyle \text{SDTW} = \frac{1}{N} \sum_{i=1}^{N} \text{SR}_i \cdot \text{sim}_{\text{dtw}}(\tau_i, \tau_i^{*})
SDTW 像一位“全程跟拍”的评委，把整条路线与理想路线逐一对比，揪出途中每一次犹豫和偏离。
  1. 轨迹序列表示$\tau_i$ 表示第 $i$ 条轨迹的实际路径点序列，$\tau_i^{*}$ 表示第 $i$ 条轨迹的最优参考路径点序列。它们就像两份骑手路线记录，一个写实走路线，一个写理想路线。
    τi=[x(0),x(1),…,x(T)],τi∗=[x∗(0),x∗(1),…,x∗(T∗)]\tau_i = [\boldsymbol{x}(0), \boldsymbol{x}(1), \dots, \boldsymbol{x}(T)], \quad \tau_i^{*} = [\boldsymbol{x}^{*}(0), \boldsymbol{x}^{*}(1), \dots, \boldsymbol{x}^{*}(T^*)]
  2. 动态时间规划相似度$\text{sim}_{\text{dtw}}(\cdot, \cdot)$ 计算两条轨迹的相似度（0 到 1）。DTW 算法寻找最优对齐路径，使对齐后所有点对距离之和最小，再换算成相似度。算法如下：
    D(i,j)=d(τi,τj∗)+min⁡(D(i−1,j),  D(i,j−1),  D(i−1,j−1))D(i,j) = d(\tau_i, \tau_j^{*}) + \min\big(D(i-1,j), \; D(i,j-1), \; D(i-1,j-1)\big)
  3. 相似度与成功率相乘$\text{SR}_i \times \text{sim}_{\text{dtw}}$ 同时要求“到达了”和“全程走得像”。这就像评选骑手时必须既送到餐，又全程路线合理——中途迷路乱窜，即使最后送达，轨迹相似度也会大幅拉低得分。
    SDTWi=SRi×simdtw(τi,τi∗)\text{SDTW}_i = \text{SR}_i \times \text{sim}_{\text{dtw}}(\tau_i, \tau_i^{*})
  4. 对所有轨迹平均$\frac{1}{N}\sum_{i=1}^{N}$ 汇总所有轨迹的得分，得到模型整体的 SDTW 指标。取值范围 0 到 1，越接近 1 表示模型越能沿着理想路径到达终点。
    SDTW=1N(SDTW1+SDTW2+⋯+SDTWN)\text{SDTW} = \frac{1}{N}(\text{SDTW}_1 + \text{SDTW}_2 + \dots + \text{SDTW}_N)

指标对比与应用

三个指标各有所长：NE 精确度量终点偏差，直观好用；SPL 同时兼顾成功率和路径效率，是业界最通用的首选；SDTW 严格度量全程轨迹与参考线的相似度，最能反映导航过程质量。它们不是竞争关系，而是互补关系。

我们可以把三者放在跑腿骑手的场景里同时理解：NE 问他“最后停在客户门口几米外”；SPL 问他“送到了吗 + 走了多少冤枉路”；SDTW 问他“全程线路是否接近最优路线”。一个真正优秀的骑手，应该三项都能拿到高分。在 VLN 模型的论文中，你几乎总是看到三者的组合：SR + SPL + NE 是标配，追求过程质量的还会加上 SDTW。

应用时应结合场景选择侧重：如果项目只关心最终能否到达目标（比如递送机器人到点放下物品），NE、SR 最重要；如果关心效率和成本（比如巡逻机器人续航有限），SPL 是重点；如果关心“走向”是否合理（比如导盲助手不能忽左忽右惊吓用户），SDTW 就成了关键指标。现实研究通常将三者同时报告，因为只有看齐三个维度，才能避免模型针对单一指标过拟合——就像外卖平台的“最佳骑手”评选，不能只奖给绕路但送达的骑手。

评估实践流程

了解了三个指标的定义，最后把它们放进真实的 VLN 评测流程里。一个规范的评估实验分四步走。

第一步，构建或选取带标注的评测数据集。每个样本必须包含起点坐标、导航指令、真实终点点位，以及由最短路径算法计算的最优路径长度。第二步，统一评测协议——用相同的模型输入形式、相同的离散动作空间（或连续控制）在所有测试样本上运行模型，记录完整轨迹坐标。第三步，对每条轨迹分别计算三个指标：NE 用模型终点与真实终点的距离；SPL 用轨迹是否到达 + 实际路径与最短路径的比值；SDTW 用 DTW 对齐算法计算轨迹与参考轨迹的相似度。第四步，汇总并分析短板：如果 SPL 低但 NE 低，说明模型最终停得准但总绕路；如果 SDTW 低但 SPL 高，说明模型总里程接近最优但路线形状飘忽不定。

以一个 R2R 数据集的评测流程为例：模型在 5000 条测试指令上逐条推理，记录每条轨迹的点位序列；评估脚本统一计算 SR、NE、SPL，并用 DTW 库计算 SDTW。最终输出一张指标表格，作为论文或项目报告的核心结果。这套流程就像外卖平台每个月公布的骑手排行榜——数据来源、计算方法、统计口径全部统一，才能保证不同模型之间的结果公平可比。

AI 应用场景

视觉导航机器人选型评估

阶段：模型评测与选型

解决的问题：一家物流机器人公司需要从两个视觉语言导航模型中挑选一个部署到园区。只看到达率，模型 A 成功到达率 80%，模型 B 到达率 72%，看似 A 更好。但结合 SPL 和 SDTW 后发现，模型 A 经常绕路，平均路径长度是最短路径的 3 倍，SDTW 只有 0.31；模型 B 虽然成功率略低，但路径效率更高，SDTW 为 0.58。三指标组合后，模型 B 反而更适合对续航敏感的园区配送场景。

具体案例：公司为两款模型在同一园区地图上运行 200 次配送任务，记录轨迹坐标、终点误差、路径长度，分别计算 NE、SPL、SDTW。模型 A 的 NE 平均 1.2 米（非常精准），但 SPL 仅 0.34（严重绕路）；模型 B 的 NE 平均 2.1 米（稍逊），但 SPL 达到 0.68，SDTW 高出 0.27。考虑到机器人电池只能支撑最短路径 1.5 倍的路程，最终选择模型 B。

VLN 学术论文基准对比

阶段：实验结果分析与论文撰写

解决的问题：VLN 研究的论文需要报告多个指标以证明方法有效性。沿用跑腿小哥的比喻，SR 只说明了“送达率”，审稿人往往会要求补充 SPL 来证明路径效率、报告 NE 来说明精度。如果你的方法设计目标是减少“中途犹豫”（比如引入历史记忆模块），SDTW 则是体现该优势的核心证据——因为它专门衡量全过程轨迹与参考线的相似度。

具体案例：某研究团队提出一种“轨迹记忆增强”的 VLN 方法，在 R2R 数据集测试时 SR 提升了 2%，SPL 提升了 3%，但 SDTW 显著提升了 12%。论文将 SDTW 作为主打结果，清晰论证了方法对导航过程质量的改善，最终被顶会接收。

仿真到真实环境的迁移评测

阶段：模型迁移评估

解决的问题：在仿真环境（如 Matterport 3D）中训练的 VLN 模型，部署到真实机器人时性能会下降。只对比 NE 可能得出“精度尚可”的乐观结论，但真实世界中绕路的时间成本很高。通过同时评测 SPL 和 SDTW，可以发现模型在真实环境中最主要的退化模式：是终点定位变差（NE 增大）、路径规划变差（SPL 下降），还是路线游移不定（SDTW 下降）。据此决定优先优化视觉感知还是路径决策模块。

具体案例：一位工程师在仿真中测试模型 SPL=0.51，实机测试 SPL=0.33，SDTW 从 0.45 降到 0.22，而 NE 仅从 1.1 米变为 1.6 米。数据显示主要问题出在过程轨迹而非终点定位，团队据此加强了全局路径规划能力，而非视觉定位模块。

Python 演示

python83 行
import math def l2_distance(pred_pos, true_pos):    """计算两个坐标点的欧氏距离（NE用）"""    return math.sqrt((pred_pos[0] - true_pos[0]) ** 2 +                     (pred_pos[1] - true_pos[1]) ** 2) def path_length(points):    """计算一条折线轨迹的总长度"""    total = 0.0    for i in range(1, len(points)):        total += l2_distance(points[i - 1], points[i])    return total def compute_ne(pred_end, true_end):    """NE指标：预测终点与真实终点的欧氏距离"""    return l2_distance(pred_end, true_end) def compute_spl(reached, shortest_len, actual_len):    """SPL指标：单个轨迹的成功加权路径长度"""    if reached == 0:        return 0.0    return shortest_len / max(shortest_len, actual_len) def compute_dtw_sim(pred_traj, ref_traj):    """简化版DTW轨迹相似度(基于平均距离换算)"""    n = len(pred_traj)    m = len(ref_traj)    dtw = [[0.0] * (m + 1) for _ in range(n + 1)]    for i in range(n + 1):        dtw[i][0] = float('inf')    for j in range(m + 1):        dtw[0][j] = float('inf')    dtw[0][0] = 0.0    for i in range(1, n + 1):        for j in range(1, m + 1):            cost = l2_distance(pred_traj[i - 1], ref_traj[j - 1])            dtw[i][j] = cost + min(                dtw[i - 1][j],                dtw[i][j - 1],                dtw[i - 1][j - 1]            )    avg_dist = dtw[n][m] / max(n, m)    return max(0.0, 1.0 - avg_dist / 10.0) def compute_sdtw(pred_traj, ref_traj, reached):    """SDTW指标：合并成功标志与DTW相似度"""    dtw_sim = compute_dtw_sim(pred_traj, ref_traj)    return reached * dtw_sim if __name__ == '__main__':    # 三条样例轨迹：short为良好轨迹，detour为绕路轨迹，fail为失败轨迹    refs = [        [(0, 0), (2, 2), (4, 4), (6, 6)],        [(0, 0), (2, 2), (4, 4), (6, 6)],        [(0, 0), (2, 2), (4, 4), (6, 6)],    ]    preds = [        [(0, 0), (2, 2), (4, 4), (6, 6)],        [(0, 0), (1, 2), (2, 1), (3, 3), (4, 4), (6, 6)],        [(0, 0), (2, 2), (4, 4), (5, 5)],    ]    true_end = (6, 6)    reached_flags = [1, 1, 0]    shortest_len = path_length(refs[0])     ne_list = []    spl_list = []    sdtw_list = []    for i, pred in enumerate(preds):        ne = compute_ne(pred[-1], true_end)        actual = path_length(pred)        spl = compute_spl(reached_flags[i], shortest_len, actual)        sdtw = compute_sdtw(pred, refs[i], reached_flags[i])        ne_list.append(ne)        spl_list.append(spl)        sdtw_list.append(sdtw)        print(f"轨迹{i+1}: NE={ne:.2f}, SPL={spl:.2f}, SDTW={sdtw:.2f}")     avg_ne = sum(ne_list) / len(ne_list)    avg_spl = sum(spl_list) / len(spl_list)    avg_sdtw = sum(sdtw_list) / len(sdtw_list)    print(f"\n平均值: NE={avg_ne:.2f}, SPL={avg_spl:.2f}, SDTW={avg_sdtw:.2f}")
目的：实现 VLN 三大评估指标（NE、SPL、SDTW）的计算，并用三条模拟轨迹演示绕路轨迹如何被 SPL 和 SDTW 惩罚。
  1. def l2_distance(pred_pos, true_pos)计算两点欧氏距离，这是 NE 和 DTW 的基础运算，就像量终点和路径每一段的直尺。
  2. def compute_ne(pred_end, true_end)直接取轨迹最后一个点与真实终点的距离，对应“骑手最后停下的位置离目标门口多远”。
  3. def compute_spl(reached, shortest_len, actual_len)先判断是否到达（reached），到达才让路径比生效，没到达直接返回 0.0，体现“没送到就不给效率分”。
  4. if reached == 0: return 0.0SPL 的硬性门槛：失败轨迹无论路径多短都不得分，防止“走到一半放弃”的模型钻空子。
  5. dtw[i][j] = cost + min(...)DTW 核心状态转移方程，取三个方向的最小累积代价，完成时间轴不对齐的两条轨迹的匹配。
  6. return max(0.0, 1.0 - avg_dist / 10.0)把平均距离换算为 0~1 的相似度，距离越大相似度越低；除以 10 是归一化尺度。
  7. compute_sdtw(pred_traj, ref_traj, reached)将成功标志与轨迹相似度相乘，构成“全程走得像且到达了”才得高分的严苛指标。

常见误区

误区评估 VLN 模型时，只要看成功率 SR 就够了，到达目标越多说明模型越强。其他指标都是锦上添花，不影响结论。

正解SR 只回答“到没到”，不回答“怎么到的”。一个疯狂绕路的模型在 SR 上可能不低，但实际导航能力很差。SPL 加入路径长度比后，能区分出“直线到达”和“绕了两倍路才到达”。就像评选跑腿小哥只看送达率，绕路冠军也能拿高分，但平台运营成本会飙升。学术论文中几乎不会只报 SR，必须配合 SPL、NE。

为何常见：成功率的语义最直观，和日常经验中的“完成率”概念一致，初学者最容易抓住这个数字，忽略导航任务本身对路径质量的隐含要求。

误区NE 直接反映终点偏差，只有它最客观。模型 NE 低就说明导航准，达到 0.2 米以内就是完美模型。

正解NE 只衡量终点这一步，完全看不出中途路径。一个模型可能全程走反方向，最后绕回终点附近，NE 依然很低。此外 NE 以“最后时刻的坐标”为唯一依据，对中途的犹豫和反复毫无感知。真正评测时，NE 只有与 SPL、SDTW 配合才有意义——只报 NE 就像只量骑手最后一步的落点，不看他路上用了多久、走了多长。

为何常见：NE 的数学形式最简单（一个欧氏距离），直觉上“离终点越近越好”符合常理，导致初学者误以为它是导航精度的全能指标。

误区SPL 已经结合了成功率和路径长度，如果 SPL 高，说明模型走的路线和最优路线差不多，没必要再看 SDTW。

正解SPL 只看“总长度比值”，不看“轨迹形状”。模型完全可能走一条与参考线南辕北辙的路线，但总长度碰巧接近最短路径。SDTW 用 DTW 对齐算法逐点比较两条轨迹的形状差异，能识别出“先走错再折返”的中途绕路，这是 SPL 完全捕捉不到的。SPL 相当于只比较总里程，SDTW 相当于叠加了两份路线图进行形状匹配。

为何常见：SPL 在公式中引入了路径长度比，给人一种“包含了轨迹信息”的错觉，实际上它只用了标量长度，丢弃了整个轨迹的几何结构。

误区既然有三个指标，我只需选出最权威的一个用在全部分析中，其他两个没有必要报告。

正解三个指标从不同视角刻画导航能力：NE 看终点精度，SPL 看终点+效率，SDTW 看全程轨迹质量。它们既不能互相替代，也不是完全正相关——一个模型可能 NE 低但 SPL 低（终点准但绕路），也可能 SPL 高但 SDTW 低（总里程接近最短但路线形状飘忽）。完整报告的惯例是同时呈现多个指标，让读者全面判断模型优劣。

为何常见：日常工作习惯追求“一个核心数字”，忽略了多维评估在复杂任务（如 VLN）中的必要性，把多指标误认为冗余。

面试题

Q1. NE 指标的核心计算对象是什么？

单选题 · easy

  • A.模型走过的总路径长度
  • B.预测终点与真实终点的直线距离← 正确答案
  • C.模型每一步与参考轨迹的夹角差
  • D.模型到达目标位置的成功比例

答案：B。NE 是 Navigation Error 的缩写，衡量预测终点与真实终点之间的欧氏距离，因此答案是 B。A 是路径长度概念，属于 SPL 的输入要素；C 是轨迹形状分析而非 NE；D 是成功率 SR 的定义。

Q2. 在 SPL 公式中，若模型未到达目标，则该条轨迹的 SPL 贡献为多少？

单选题 · easy

  • A.1 分
  • B.路径长度比值
  • C.0 分← 正确答案
  • D.不确定，取决于路径长度

答案：C。SPL 公式中 SR_i 是成功标志，未到达目标时为 0，任何数乘以 0 都是 0。所以未到达的轨迹无论路径多短，SPL 贡献都是 0，防止“走到一半放弃”的模型钻空子。这就像跑腿没送到的骑手不能参与效率评分。

Q3. SPL 和 SR（成功率）的最大区别是什么？

单选题 · mid

  • A.SPL 引入了路径长度比，能惩罚绕路行为← 正确答案
  • B.SPL 只看终点位置，SR 看整条轨迹
  • C.SPL 的计算速度比 SR 快
  • D.SPL 只能用于二维环境，SR 可用于三维环境

答案：A。SR 只统计到达比例，SPL 在此基础上乘以最短路径与实际路径的比值，使得“绕路到达”的轨迹得分被打折。这正是 SPL 的核心价值——把路径效率纳入成功率。C、D 都是无中生有的说法。

Q4. SDTW 中引入动态时间规划（DTW）的目的是什么？

单选题 · mid

  • A.加速模型推理速度
  • B.对齐长度不同的两条轨迹以计算相似度← 正确答案
  • C.计算预测终点到真实终点的欧氏距离
  • D.将连续动作空间离散化

答案：B。模型实际轨迹与参考轨迹长度可能不同（步数不一致），DTW 通过动态规划寻找最优对齐路径，将两条轨迹“扭动”后逐点匹配，从而计算整体形状相似度。A、D 与评测无关，C 是 NE 的职责。

Q5. 如果一个模型经常绕路但最终都到达终点，最可能呈现什么指标特征？

单选题 · mid

  • A.NE 高，SPL 高
  • B.NE 低，SPL 低← 正确答案
  • C.SPL 高，SDTW 低
  • D.SDTW 高，NE 高

答案：B。绕路但到达，说明终点位置正确（NE 低），但实际路径远大于最短路径（SPL 低）。全程偏离参考线导致 SDTW 也不会高。A 的“SPL 高”矛盾，C 的“SPL 高”矛盾，D 的“SDTW 高”矛盾。典型组合是 NE 低、SPL 低、SDTW 低。

Q6. 在 SPL 公式 $\frac{1}{N}\sum_{i=1}^{N} \text{SR}_i \cdot \frac{l_i}{\max(l_i, p_i)}$ 中，$\max(l_i, p_i)$ 的作用是什么？

单选题 · hard

  • A.保证比值不会大于 1，且防止除零错误← 正确答案
  • B.让路径长度越长得分越高
  • C.只在模型失败时生效
  • D.用于计算多条轨迹的最大路径长度

答案：A。$\max(l_i, p_i)$ 取最短路径和实际路径中较大者作为分母，保证比值 ≤ 1（因为实际路径不可能短于最短路径），同时避免 l_i 和 p_i 均为 0 时除零。既保证了分数上限为 1，也提升了数值稳定性。

Q7. 三个指标 NE、SPL、SDTW 同时很低，说明模型最可能的问题是？

单选题 · hard

  • A.模型推理速度太慢
  • B.模型既找不到目标，路径也不合理且偏离参考线← 正确答案
  • C.模型的视觉特征提取效果太好
  • D.训练数据量过大导致过拟合

答案：B。NE 低说明终点差得远，SPL 低说明没有效率到达，SDTW 低说明轨迹与参考线形状差异大。三者同时低，表示模型几乎没有学会导航任务——目标找不准、路径不合理。B 完整涵盖了三个指标的失败模式。

Q8. 以下哪些场景适合重点使用 SDTW 指标？

多选题 · mid

  • A.关心机器人路径是否平滑无犹豫← 正确答案
  • B.只关注最终能否到达目标位置
  • C.需要衡量导航过程是否贴近最优路线← 正确答案
  • D.需要压缩模型参数量

答案：AC。SDTW 衡量全程轨迹与参考轨迹的相似度，能反映路径是否平滑、是否贴近最优路线。A 和 C 都是它的典型用途。B 只需看 SR/NE，D 与评估指标无关，属于模型压缩话题。

Q9. 关于 VLN 评测任务定义，以下哪些要素是必需的？

多选题 · mid

  • A.真实终点点位坐标← 正确答案
  • B.最优路径长度← 正确答案
  • C.模型的参数量
  • D.导航指令文本← 正确答案

答案：ABD。评测需要真实终点（算 NE）、最优路径长度（算 SPL 的分母）、导航指令（任务输入）。模型参数量与评测指标无关，是模型规模属性。三个指标所需的“任务卡”必须包含 A、B、D 三类信息。

Q10. 当模型在某数据集上 NE 较低但 SPL 也较低，以下分析正确的有？

多选题 · hard

  • A.模型最终停位接近真实终点← 正确答案
  • B.模型实际轨迹长度远大于最短路径← 正确答案
  • C.模型全程轨迹与参考线形状很相似
  • D.模型可能在搜索过程中反复折返← 正确答案

答案：ABD。NE 低说明终点偏差小（A 正确）；SPL 低说明实际路径/最短路径比值大，即绕路（B 正确）；绕路和反复折返都会让实际路径变长（D 正确）。C 错误，SPL 只反映长度比值，不能推断轨迹形状相似，需看 SDTW。