VLA模型怎么评好坏？评测基准全面梳理

可视化演示

展示VLA评测四大维度：核心评测指标、LIBERO基准套件对比、Sim-to-Real差距分析、多模型雷达图对比。

评测意义：给实习生一份科学考勤表

HR 说实习生表现不错，老板不会拍拍脑袋就发转正通知，而是要拿出考勤表、任务完成记录、客户反馈来综合打分。评测基准之于 VLA 模型，就相当于这套“科学考勤表”。VLA 模型在训练时见过大量“例题”，训练日志上的 loss 曲线一路走低，但它究竟学会了解决实际问题，还是只是背熟了训练集的答案？只有把它拉进一个和训练环境“不熟”的考场，让它在规范任务中真刀真枪地操作，才能看出真实水平。

评测基准（Benchmark）是具身智能领域约定俗成的“标准化考场”。它由三部分构成：可控的仿真或真实环境、明确的机器人任务定义、统一的计分规则。模型在这个考场上执行动作序列，评测系统根据是否达成目标给出 0 或 1 的硬判定，最终汇总成可比较的得分。有了这个统一的度量衡，不同团队训练的模型才能放在同一张排行榜上对话。

为什么要大费周章搞评测？四个核心价值。其一，客观衡量：训练 loss 只能反映记忆强度，成功率、完成率才是行为层面的硬指标。其二，短板发现：把失败案例按照物体类型、指令长度、场景复杂度切分，能精准定位“它在哪类题上最弱”。其三，迭代参考：每次改进后在相同基准上复测，分数的变化就是优化效果的直接证据。其四，对比选型：采购或开源选型时，用同一基准横向对比多个候选模型，避免被宣传话术带偏。

回到公司的场景：老板手里的考勤表每一项都对应一个决策——考核分数不高就继续培训（迭代参考）、某类操作总失败就专项补课（短板发现）、两位候选人分数对比决定录谁（对比选型）。评测基准就是这张把“我觉得行”变成“数据显示行”的考勤表。

核心指标：成功率是及格线

考试总得先看及格率。无论学了多少理论，实习生上手操作的成功率始终是第一硬指标。VLA 的成功率指在评测总回合中，机器人从头到尾完整达成任务目标的回合占比。比如 100 个回合里有 75 次成功把红色杯子放到指定托盘，成功率就是 75%。这个数字直观、可复现、能横向比较，是任何一篇 VLA 论文都绕不开的“门面数据”。

成功率看似简单，实际评测时有着细颗粒度。单步成功率（Step Success Rate）只看每一步动作是否做对，比如抓取成功吗、移动到位吗；任务成功率（Task Success Rate）要求整条操作链全部完成才算成功；部分成功率（Partial Success）则会给完成一半的任务一定分数，适合在长流程评测中保留更多信息。三种口径服务于不同目的，报告时应明确说明用了哪一种。

为什么任务成功率往往低于单步成功率？因为任务由多个子步骤串联而成，每一步都有失败概率。假设第 i 步成功率为 $SR_i$，整条链的成功率近似等于各步成功率的连乘积。训练中常见“抓取极准但放置偏了 2 厘米”的模型——单步指标漂亮，任务指标却垮掉。因此评测报告应同时披露单步与任务两级指标，并统计失败发生在哪一步，为定位问题提供线索。

就像面试不能只看简历（单步能力），更要看岗位成果（任务交付）。实习生的理论再漂亮，三天交不出合格作品也没用。VLA 同样如此：单步指标是基本功，任务级成功率才是交付标准。

泛化能力：考卷上不能全是原题

一位实习生把培训教材背得滚瓜烂熟，可一到新厂房，遇到没见过的螺丝刀就手足无措——这不是合格员工。VLA 模型也存在同样的隐患：如果评测用的物体、场景和指令全都出现在训练集里，分数再高也说明不了真实能力。因此评测基准的一个重要维度是泛化能力：模型面对训练时没见过的东西，还能不能干好活。

主流评测基准会用“分布外”（Out-of-Distribution，OOD）测试来考察泛化。常见做法有：换用未见物体（训练用红杯，测试用蓝瓶）、加入场景扰动（背景杂物、光线变化）、改写指令措辞（“把杯子拿过来”改成“把那个红色容器递给我”），甚至组合出全新任务。这些做法共同点只有一个：确保测试内容与训练内容存在结构性差异。

泛化率 $G$ 可以直观表达模型从“见过的题”到“没见过的题”的能力保持度。更严格的零样本（zero-shot）测试完全不提供新场景示范，直接让模型试错；少样本（few-shot）则先给几条演示再测试。评测报告里，$G$ 接近 1 说明模型学到了任务本质；$G$ 远低于 1 则说明它只是在“背题”，换个包装就露馅。

工厂老师傅最宝贵的品质就是“换个活儿也能顶上去”。泛化评测就是给实习生换着花样出题，逼出他到底理解了多少。VLA 模型只有经受住未见物体的考验，才谈得上从实验室走向真实世界。

长时序任务：十道工序一口气做完

有些岗位的活儿是一口气十道工序——切菜、热锅、下料、调味、摆盘，中间任何一步出错，整盘菜就毁了。长时序任务（Long-Horizon Task）正是 VLA 评测中最考验综合素养的题型，它要求模型在仿真环境中连续完成多个有序子任务，比如“拿起饼干→放进抽屉→打开台灯→把抽屉关上”。这类任务考核的不是单点技能，而是整条工作流的掌控力。

区别于单任务评测，长时序任务强调动作序列的连贯性。模型不仅要规划“先做什么后做什么”，还要在每一步操作后依据视觉反馈更新状态——比如确认抽屉确实开了、台灯确实亮了，再决定下一步动作。CALVIN 基准中的 ABC 任务就是典型代表，它要求模型连续完成 5 个随机组合的子任务，任何一步失败整个回合即告失败。

长时序任务的主要挑战来自三点：状态跟踪（模型容易在某步成功后忘记前提条件）、累计误差（动作偏差逐步放大，最终彻底跑偏）、错误恢复（一旦失败，能否察觉并纠正）。数学上，如果单步成功率为 $p$，$n$ 步任务的期望成功率会以 $p^n$ 快速衰减，这也是长时序得分普遍低于单任务得分的根本原因。

让实习生独立负责一条完整生产线，比让他做单个零件更能暴露真实水平。长时序评测就像整线试运行——每一步都不能掉链子。VLA 若想在真正的机器人岗位上立足，必须先过这道连环考。

主流基准：四大考试体系各有侧重

同样是考核，高考考知识广度，雅思考语言运用，驾照考实操安全——不同考试服务于不同目的。VLA 评测基准也是如此，各有特色，没有一款万能考卷。认识它们的特点，才能在评测时“对症下药”。选基准就像给实习生挑合适的考核方式：想考查长期稳定性用长程考核，想考查应变能力用突发测试。

目前被广泛使用的基准包括：CALVIN，长时序连续操作仿真基准，以 5 个连续子任务和“行为得分”著称，适合考查多步规划与执行；LIBERO，专注泛化能力，从物体、场景、任务三个维度切分训练/测试分布，适合考查分布外表现；RLBench，提供超 100 个仿真操作任务，覆盖抓取、放置、开抽屉等多种技能，适合考查技能广度；SIMPLER，面向真实世界部署的模拟基准，注重视觉真实性与策略迁移性，适合评估 sim-to-real 潜力。

由于单基准容易带来偏差，业界常用“多基准平均分”来综合判断。每个基准覆盖不同的难度与技能，平均分能缓解某一基准过难或过易的噪声。评估报告还会详细列出各基准的单独得分，让读者看到模型是“全面均衡”还是“偏科严重”，方便按实际需求选型。

给实习生定级时，既要看高考分数，也看实践报告，综合多维证据才靠谱。选评测基准同理：想考察长程规划选 CALVIN，想考察泛化选 LIBERO，想做全面体检就多基准联合。认清每款“考卷”的脾气，才能读准模型的真实水平。

评测设计：给自家模型出一份好考卷

出考卷是门手艺——题目太简单人人满分，没有区分度；太难又全军覆没，同样没有信息量。设计 VLA 评测方案也讲究平衡：难度分布、覆盖维度、可复现性都要精心安排，否则评测结果可能误导优化方向。一份好考卷能让认真学习者脱颖而出，一份烂考卷只会让所有人陪跑。

一份规范评测方案包含四个关键要素。数据划分：确保测试集合与训练集合在物体、场景或指令层面有明确差异，排除“背题”干扰；如果测试集和训练集高度重叠，评测结果就失去了说服力。评估协议：固定随机种子、初始状态和动作执行策略，规定重复次数，保证不同模型得分可公平横向比较。

基准确立：至少选一个已被验证的基线模型（如 ACT、Diffusion Policy）作为参照，判断新模型是否真的更好，而不是只报绝对数字。结果分析：按任务类型、物体类别、指令长度等维度分层统计，找出“哪类题目丢分最多”，为改进提供具体方向。同时用多次独立试验的均值与置信区间报告结果，避免小样本下的偶然波动。

一份好考卷能让认真学习者脱颖而出，一份烂考卷只会让所有人陪跑。评测方案就是 VLA 发展路上的“考卷生产线”——设计得越严谨，模型的能力画像越清晰，每一次迭代升级才越有底气。

AI 应用场景

Python 演示

import random def run_trials(step_prob, steps, trials=100):    success = 0    for _ in range(trials):        ok = True        for _ in range(steps):            if random.random() > step_prob:                ok = False                break        if ok:            success += 1    return success / trials def evaluate_model(name, seen_prob, unseen_prob, steps, trials=100):    seen_sr = run_trials(seen_prob, 1, trials)    unseen_sr = run_trials(unseen_prob, 1, trials)    long_sr = run_trials(seen_prob, steps, trials)    generalization = unseen_sr / seen_sr if seen_sr > 0 else 0.0    print(f"{name}: seen={seen_sr:.2%}, unseen={unseen_sr:.2%}, "          f"long={long_sr:.2%}, general={generalization:.2f}") if __name__ == "__main__":    random.seed(42)    evaluate_model("Model A", 0.90, 0.70, steps=5)    evaluate_model("Model B", 0.85, 0.80, steps=5)    evaluate_model("Model C", 0.95, 0.45, steps=5)

1. def run_trials(step_prob, steps, trials=100):定义一次模拟评测：每个回合按单步成功率逐步骤执行，全部通过才算成功。
2. if random.random() > step_prob:模拟单步动作失败：随机数超过模型成功率则这一步失败，体现“任何一步出错整体失败”的串联逻辑。
3. seen_sr = run_trials(seen_prob, 1, trials)已见场景评测，步数设为 1，得到训练分布内的单步成功率。
4. long_sr = run_trials(seen_prob, steps, trials)长时序评测，把同样成功率放到 5 步任务上，直观看到成功率衰减。
5. generalization = unseen_sr / seen_sr if seen_sr > 0 else 0.0计算泛化率，比值越接近 1 说明面对新场景能力保持得越好。
6. random.seed(42)固定随机种子，保证评测可复现，这是规范评测协议的关键一步。
7. evaluate_model("Model C", 0.95, 0.45, steps=5)构造一个“背题”型模型：训练内很强，一换新场景就崩，泛化率仅 0.47。

常见误区

面试题