想象你走进一家后厨：切菜师傅把土豆切好递给配菜师傅，配菜师傅把食材装盘递给掌勺师傅，掌勺师傅烧完再传给摆盘师傅……每道工序都有专人负责，但彼此之间全靠喊话和传纸条，稍微有点信息偏差，菜就做砸了。这就是传统机器人的工作方式——视觉识别、语言理解、动作控制各有一个独立模块，模块间像传纸条一样频繁通信，任何一环出错都会让整个系统失灵。 而 VLA（视觉-语言-动作）模型，就像一位“全能主厨”：他有一双火眼金睛看清食材，能听懂顾客口述的菜品要求，然后直接抄起锅铲一气呵成。不需要传纸条，不需要中间人，看见什么、听懂什么、该做什么动作，全在一个大脑里同步完成。这就是端到端的力量——从感知到行动一步到位。

岗位关联

学会 VLA 模型，你就能理解机器人在多模态大模型时代如何“看见—听懂—动手”，这是通往具身智能的核心技术路线，也是未来机器人产品落地的关键能力。

目录
  1. 可视化演示
  2. VLA模型基础——厨房里的全能主厨
  3. 核心组成——主厨的眼睛、耳朵、大脑与双手
  4. 工作原理——看到、听懂、动手
  5. 代表模型——明星主厨天团
  6. 核心优势——为什么一人全包更香
  7. 现实挑战——全能主厨的烦恼
  8. 应用前景——超级主厨改变世界
  9. AI 应用场景
  10. Python 演示
  11. 常见误区
  12. 面试题

可视化演示

展示系统处理流水线、实时性能指标曲线及多方案对比分析，包含数据流转、吞吐延迟监控与方案评估。

本节配有交互动效（进入视口后自动加载，约 3KB）。

系统可视化 处理流程：输入→处理→模型→输出 性能监控：实时指标 P=L×T

VLA模型基础——厨房里的全能主厨

传统的机器人系统像一条流水线后厨：视觉模块负责“看”，把识别结果写成一张小纸条；语言模块负责“听”，把指令翻译成另一张小纸条；动作模块拿到两张纸条后，再对照自己的程序手册决定要不要动手。每张纸条的格式都不同，每次传递都可能有信息损耗。哪怕一个小小的螺丝钉位置变了，视觉纸条描述得不够精确，整条流水线就可能卡壳。

VLA 模型则完全不同。它把视觉感知、语言理解和动作输出压缩进同一个神经网络里，输入是摄像头画面加一句自然语言指令，输出直接是机器人的控制信号。这位“全能主厨”不需要看别人写的纸条——他自己看、自己听、自己炒菜。端到端的训练方式让整个系统学会了“从像素到关节扭矩”的完整映射，而不是让每个模块各自猜测对方想要什么。

从数学上看，VLA 在做的事情可以描述为：在给定当前视觉画面、语言指令以及历史动作的条件下，预测下一步最合理的动作。这个建模思路与语言模型预测下一个词非常相似，只是把“词”换成了“动作”。

回到厨房的比喻：传统流水线是“三个师傅各写各的纸条”，而 VLA 是主厨把眼睛、耳朵和手都长在了同一个人身上，信息在脑子里直接交汇，自然更少出错、更多默契。

P(at∣v,l,h<t)\displaystyle P(a_t \mid v, l, h_{\lt t})
这个公式是 VLA 的“大脑操作规范”：它告诉模型，在看到的画面 v、听到的指令 l、以及过去已经做过的动作 h 都确定的前提下，下一步做出动作 a_t 的概率有多大。主厨每一步都在默默按这个规则决策。
  1. 当前动作 a_t这是主厨现在要做的第 t 步动作。在 VLA 中，动作被离散成一个个“动作单词”，就像菜谱里的“切片→下锅→翻炒”。
    at\displaystyle a_t
  2. 视觉条件 v整个厨房的“当前画面”，来自摄像头图像编码后的特征。主厨的眼睛看到的一切都浓缩在这里。
    v\displaystyle v
  3. 语言条件 l顾客的“文字需求”，比如“少放辣椒”，来自自然语言指令编码后的向量。这是主厨耳朵听到的要求。
    l\displaystyle l
  4. 历史序列 h_{lt}从第 1 步到第 t-1 步已经执行过的所有动作和观察。主厨手头的那本“操作日志”，记录了他之前是怎么颠勺的。
    h<t\displaystyle h_{\lt t}

核心组成——主厨的眼睛、耳朵、大脑与双手

一位全能主厨能高效工作，靠的是四样东西：看清食材的眼睛、听懂需求的耳朵、做出判断的大脑、以及执行操作的双手。VLA 模型的结构恰好可以这样拆解。

眼睛是视觉编码器。它把摄像头拍到的原始像素转换成紧凑的视觉特征——就像主厨一眼扫过案板，瞬间记住“番茄红了、鸡蛋打好了、葱花切好了”。这个编码器通常基于 ViT（Vision Transformer）或 CLIP 视觉塔，把二维图像变成一长串视觉 token。

耳朵是语言编码器。它把文本指令转换成向量表示——就像主厨听到“少放辣椒多放糖”，立刻在脑海里把这些词变成一组可执行的语义。语言编码器多来自 T5、BERT 或 LLM 的词嵌入层，把高层的语义信息压缩进 token 序列。

大脑是融合模块。它把视觉 token 和语言 token 放在一起做交叉注意力——主厨在脑内把“少放辣椒”和眼前那碗红彤彤的辣椒面关联起来，规划出“取糖罐、绕开辣椒瓶”的动作路径。

双手是动作解码器。它把融合后的特征映射为具体的动作序列。与传统方法输出连续力矩不同，现代 VLA 通常把动作离散化成 token——相当于主厨把“颠勺三下、翻面、装盘”写成一份只有自己能看懂的符号菜谱，然后逐项执行。

这四个模块不是简单拼接，而是在同一个 Transformer 里互相穿插、共享参数，所以才能做到“一个大脑指挥全身”。

工作原理——看到、听懂、动手

理解了 VLA 的组成之后，关键在于它究竟如何“看到、听懂、动手”。整个过程可以分为三步：先把输入变成模型能处理的 token 序列，再让视觉和语言在同一空间里碰撞融合，最后自回归地吐出动作 token。

第一步是输入预处理。图像被切割成固定大小的 patch，每个 patch 变成一个视觉 token——相当于把一张菜的照片拆成许多小拼图；文本则通过分词器变成语言 token——把一句话拆成词块。两类 token 会统一长度、拼接成长序列，送入模型的输入层。

第二步是跨模态融合。Transformer 的每一层都会让视觉 token 和语言 token 互相做注意力运算。以文本查询“把红色杯子放桌上”为例，模型中的注意力头会主动去图像中寻找“红色杯子”和“桌子”的对应区域。这一步是主厨把顾客的话和眼前的菜对号入座的过程。

第三步是动作生成。融合后的特征被送入动作解码器，模型以自回归方式逐 token 生成动作序列——每一步都选择当前概率最高的动作 token，直到生成完整的“结束”标记。这就像主厨在脑中预演：先伸手、再抓杯、然后平移、最后放下，每一个动作都接在上一个动作后面。

在实际训练中，VLA 通过模仿学习来获得这套决策心法——收集大量人类远程操作的机器人轨迹，让模型模仿“看到同样画面时，人类会怎么做”，逐步把主厨的直觉内化到参数里。

a^t=arg⁡max⁡aP(a∣v,l,h<t)\displaystyle \hat{a}_t = \arg\max_{a} P(a \mid v, l, h_{\lt t})
这是主厨每一瞬间的决策心法：在所有可能的动作候选里，挑出概率最高的那一个执行。不是随机尝试，而是稳稳地选最有把握的那条路径。
  1. 候选动作 a主厨脑中快速过一遍所有可能的动作，比如“抓杯身”“碰杯把”“碰桌面”。
    a\displaystyle a
  2. 条件概率 P在画面、指令和已做动作都已知时，每个候选动作的执行概率。
    P(a∣v,l,h<t)\displaystyle P(a \mid v, l, h_{\lt t})
  3. arg max 选取最优在所有候选中挑出概率最大的动作 token 作为这一步的输出。
    arg⁡max⁡a\displaystyle \arg\max_{a}

代表模型——明星主厨天团

了解了 VLA 的架构和工作原理，再来看如今业界公认的几位“明星主厨”。每一位都代表了一条不同的成长路径，也各有各的看家本领。

首先是 Google 的 RT-2，它堪称 VLA 界的米其林大厨。RT-2 的核心创新在于：先让模型在互联网规模的图文数据上预训练（也就是先在大众菜谱学院里通读天下菜谱），再用机器人操作数据进行微调（再去小灶厨房里专修颠勺）。这种“先博后专”的策略让 RT-2 具备了强大的语义迁移能力——它见过大量“红色”“杯子”“桌子”的图文配对，因而在真机操作时能举一反三。RT-2 证明了互联网预训练能显著提升机器人动作策略的泛化性。

然后是 OpenVLA，它是开源社区的“社区食堂主厨”。OpenVLA 基于 7B 参数的多模态大模型 Prismatic 微调而来，最大的贡献是发布了开源权重、训练代码和指令微调数据集。它让全球的研究者不必从零训练大型模型，而是直接在一套预训练底座上添加自己的机器人数据做局部微调，大幅降低了 VLA 的复现门槛。

还有围绕它们的数据规模化探索：Google 的 RT-X 数据集聚合了多机构、多型号机器人的遥操作轨迹，试图用数据规模弥补单一机器人数据的不足。这条路线背后的理念是：哪怕食材产地不同、炊具品牌不同，一位见多识广的主厨总能找到通用做法——模型见得越多，跨本体迁移能力越强。

从 RT-1 的离散动作 token 化，到 RT-2 的 VLM 嫁接，再到 OpenVLA 的开源化，VLA 模型正在沿着“更大预训练底座、更全数据覆盖、更低复现门槛”的方向持续进化。

核心优势——为什么一人全包更香

如果一位主厨既能看、又能听、还会炒菜，餐厅老板为什么要雇三位师傅呢？VLA 模型的核心优势，恰恰在于“一人全包”带来的一系列连锁红利。

最直接的红利是降低模块间通信开销。传统模块化系统中，视觉模块要输出边界框和类别标签，语言模块要输出意图和槽位，姿态估计模块要输出关键点坐标——每一次跨模块传递都会面临信息格式不一致、误差累积的问题。VLA 没有中间表示，像素和文本直接映射到动作，省去了“传纸条”的损耗，也避免了误差在一环一环传递中被不断放大。

其次是强泛化能力。得益于 Transformer 的统一建模和互联网规模预训练，VLA 模型能把视觉语义和语言语义联系起来。传统视觉“看到红色杯子”和语言“取红色杯子”往往是两套独立表示，而 VLA 让这两者共享同一个特征空间，从而天然支持基于语义的推理。它甚至能理解“把和苹果颜色一样的球拿来”这类需要视觉-语言联合推理的指令。

从训练目标来看，VLA 统一了所有任务的目标函数——无论抓取、移动还是放置，最终都被归结为最大化动作序列的条件概率：

这种统一建模也让多任务统一变得自然：同一个模型、同一套权重，在家政、仓储、装配等不同任务之间切换，只需变换输入指令和画面，主厨便能从同一条“菜谱生产线”上做出不同菜品。

L=−∑t=1Tlog⁡P(at∣v,l,h<t)\displaystyle \mathcal{L} = -\sum_{t=1}^{T} \log P(a_t \mid v, l, h_{\lt t})
这个损失函数告诉主厨：你做出的每一步动作，对应的概率都要尽量大。整桌菜做得越行云流水，所有动作步骤的联合概率就越高，损失就越低。
  1. 负对数 -log把“概率越大越好”变成“损失越小越好”，方便用梯度下降优化。
    −log⁡\displaystyle -\log
  2. 求和 Σ把一整段动作序列（从第 1 步到第 T 步）的每一步损失全部加起来。
    ∑t=1T\displaystyle \sum_{t=1}^{T}
  3. 联合概率 P每一步动作都要看画面、指令和历史上的动作来决策，所有步骤都决策正确，整体策略才算好。
    P(at∣v,l,h<t)\displaystyle P(a_t \mid v, l, h_{\lt t})

现实挑战——全能主厨的烦恼

就算再全能的主厨，也有自己的烦恼：新菜谱练手成本高、顾客催单时手忙脚乱、偶尔还会把菜烧糊。VLA 模型在落地过程中同样面临四座大山。

第一座是数据稀缺。机器人操作数据不像文本和图片那样唾手可得——你可以在互联网上抓取几十亿张图片，却很难采集十亿条“机械臂抓取玻璃杯”的轨迹。每条轨迹都需要真实机器人或高保真仿真环境，通过昂贵的远程遥操作逐条录制。数据不够，主厨的“手艺”就练不出来。

第二座是实时性能。VLA 模型动辄数十亿甚至上百亿参数，一次完整前向传播需要数百毫秒，而实时机器人控制往往要求几十赫兹的控制频率。主厨想问题想太久，锅里的菜早就糊了。目前许多系统不得不依赖 GPU 加速、模型量化或预测动作 chunk 来弥补延迟。

第三座是安全可靠。神经网络是概率模型，哪怕训练得再好，遇到分布外场景也可能做出不可预料的动作。试想主厨突然看到一只从没见过的厨具，他也可能一时兴起做出危险操作。在机器人领域，这种不可预测性直接关系到人身安全，因此 VLA 的部署往往需要安全过滤器和人工遥操作兜底。

第四座是部署成本。训练和推理都需要昂贵的计算资源，尤其在实际的具身智能系统中，机器人本体、传感系统、边缘计算设备加在一起，成本远超传统工业机器人。这也是为什么当前 VLA 大多停留在实验室演示阶段，离真正的“家庭主厨”还有一段距离。

应用前景——超级主厨改变世界

尽管挑战重重，VLA 描绘的前景实在太诱人——想象中的“超级主厨”一旦成熟，将重塑整个实体世界的自动化格局。

最直接的应用是机器人操控。从仓储分拣到精密装配，VLA 能根据自然语言指令灵活切换任务。今天员工对机械臂说“把蓝色箱子放到左侧传送带”，明天换个岗位说“把 s 型螺丝拧到第三孔位”，它都能响应——主厨的菜谱不再写死，而是张口就能点。

进一步是具身智能。所谓具身智能，指的是智能体不仅在大脑中“思考”，还通过与物理环境的交互来学习和执行任务。VLA 是最有希望实现具身智能统一大脑的候选架构：它把真实世界的高维感知和高层语言指令压缩进同一个网络，让机器人在家庭服务、医疗辅助、灾难救援等场景中拥有“看懂局势、听懂命令、说动手就动手”的综合能力。

最后是多模态理解的延伸。VLA 的成功反向推动了多模态大模型研究——如何让 AI 系统不只会回答，还会行动？这个问题的答案正在重塑智能体的设计范式。未来，VLA 很可能会与强化学习、世界模型结合，训练出更加通用、更具安全意识的机器人大脑。

VLA 模型就像那位从流水线后厨里走出来的全能主厨：他看得到食材的成色，听得懂顾客的要求，一双巧手能化平凡为美味。虽然他现在还偶尔失手、偶尔手忙脚乱，但毫无疑问，整个行业都在期待他掌勺的那一天早日到来。

AI 应用场景

工业仓储智能抓取

阶段：策略学习与部署

解决的问题：传统仓储机械臂依赖人工编程和视觉识别模块拼接，每换一种商品就要重新调试检测算法和抓取路径。VLA 将视觉与指令统一处理，管理员只需输入“把传送带上的红色纸箱移至左侧托盘”，机械臂即自行拆解目标识别、姿态估计、轨迹规划全流程，减少模块间联调成本。

具体案例：某电商仓库试点 OpenVLA 微调模型，现场录入 50 种常见商品的抓取指令，操作工通过语音下发拣选任务，机械臂抓取成功率从改造前的 71% 提升至 89%，换线调试时间从数天缩短至数小时。

家庭服务机器人

阶段：数据采集与微调

解决的问题：家用机器人面对的是开放环境——地面有玩具、桌上有水杯、沙发随时移动，传统规则系统无法穷举所有情况。VLA 通过视觉-语言联合推理，让机器人理解“把沙发上那个毛绒玩具拿到卧室床上”这类口语化指令，无需预设物体模型和房间地图。

具体案例：某实验室在 7B 开源 VLA 模型上，用 2000 条家庭场景遥操作轨迹微调，部署在轮式机器人上。机器人能够识别“毛茸茸”“浅黄色”等属性描述，自主规划抓取和移动路径，在 80 平方米的测试公寓中完成多种家务任务。

多模态人机协作

阶段：推理与交互

解决的问题：在人机协作场景中，人类往往通过自然语言和手势混合指挥机器人。传统系统需要分别处理视觉和语音，且无法理解“把那个递给我”这类省略主语的多模态指代。VLA 将两类信号映射到同一语义空间，能结合视线方向和语言上下文推断所指目标。

具体案例：汽车装配工作站中，工人举起焊枪指向工件说“检测这个焊接点”，VLA 驱动的协作机器人综合画面中的指向和语音指令，准确定位焊接点并调整摄像头视角，将非标工位的检验时间缩短约 30%。

Python 演示

python39 行
import numpy as np  class ToyVLA:    """极简VLA演示：视觉编码 + 语言编码 -> 动作向量"""     def __init__(self, vision_dim=8, text_dim=8, action_dim=4):        self.vision_proj = np.random.randn(vision_dim, action_dim) * 0.1        self.text_proj = np.random.randn(text_dim, action_dim) * 0.1        self.bias = np.zeros(action_dim)     def encode_vision(self, image_pixels):        """视觉编码器：将图像 patch 平均池化为特征向量"""        return np.mean(image_pixels, axis=(0, 1))     def encode_text(self, token_seq):        """语言编码器：将文本 token 平均池化为特征向量"""        return np.mean(token_seq, axis=0)     def forward(self, image, tokens):        """端到端前向：图像 + 文本 -> 动作向量（模拟离散动作概率）"""        v_feat = self.encode_vision(image)        t_feat = self.encode_text(tokens)        fused = self.vision_proj.T @ v_feat + self.text_proj.T @ t_feat + self.bias        return np.tanh(fused)  def main():    np.random.seed(42)    model = ToyVLA()    image = np.random.rand(32, 32, 8)          # 模拟 8 个 patch 的视觉特征    tokens = np.random.rand(10, 8)             # 模拟 10 个语言 token    action = model.forward(image, tokens)    print("目标动作向量:", np.round(action, 3))    print("最优动作索引:", int(np.argmax(action)))  if __name__ == "__main__":    main()
目的：用 30 行左右的极简代码演示 VLA 的端到端设计——图像特征和文本特征分别经编码后融合，一次性映射为动作向量，没有中间模块间的沟通协议。
  1. class ToyVLA定义一个缩微版 VLA 模型，用线性投影模拟真实模型中的编码器和解码器。
  2. self.vision_proj = np.random.randn(vision_dim, action_dim) * 0.1模拟视觉编码器到动作空间的映射权重，随机初始化。
  3. self.text_proj = np.random.randn(text_dim, action_dim) * 0.1模拟语言编码器到动作空间的映射权重。
  4. def encode_vision(self, image_pixels)极简视觉编码器，将图像 patch 平均池化成固定长度的特征向量。
  5. def encode_text(self, token_seq)极简语言编码器，将文本 token 序列平均池化为特征向量。
  6. fused = self.vision_proj.T @ v_feat + self.text_proj.T @ t_feat + self.bias跨模态融合：视觉特征与语言特征各自投影后相加，模拟 Transformer 中的多模态融合。
  7. np.tanh(fused)将动作向量压到 [-1, 1] 区间，模拟动作控制信号的范围约束。
  8. np.random.seed(42)固定随机种子，保证每次运行结果可复现。

常见误区

误区不少人以为 VLA 只是把 GPT 这类语言模型的输出接上一段控制机械臂的代码，语言模型负责“想”，另外写脚本负责“动”。

正解VLA 不是两套系统的拼接，而是把视觉、语言、动作三者统一在同一个网络里训练。动作 token 和文本 token、视觉 token 一起参与注意力计算，动作的预测过程与语言模型预测下一个词在机制上是一体的。如果把大语言模型看作一个只会“说”的主厨，VLA 则是一个会“说、看、做”的完整体。

为何常见：因为大家最熟悉的是 ChatGPT 等纯文本模型，容易把“输出文本”和“输出动作”理解成两个独立接口，忽略了 VLA 在表示层就已完成深度融合。

误区初学者常觉得 VLA 和普通大模型一样，输入进去一两秒就能出结果，机器人控制“等一下就等一下吧”。

正解机器人控制通常需要 10-50 Hz 的决策频率，而大模型的单次推理延迟高达数百毫秒，直接闭环控制会明显卡顿。工程上常采用预测动作 chunk（一次生成多步动作）来降低频率要求，或利用边缘 GPU、量化加速来压缩延迟。主厨虽然手艺好，但“想想再动手”的间隙足以让菜烧焦。

为何常见：人们把聊天场景的秒级响应体验迁移到了毫秒级控制的机器人场景，没意识到控制任务的实时性要求比对话高几个数量级。

误区有人觉得既然 VLA 基于预训练大模型，那么只需少量机器人示教数据“微调一下”就能正常工作。

正解虽然互联网预训练提供了强大的视觉语言基础，但机器人动作分布极为特殊——机械臂的关节空间、夹爪的力度、环境的物理特性都与自然图像文本分布差异巨大。RT-2 实验表明，数据规模与动作精度直接相关，OpenVLA 也需要数千乃至数万条高质量轨迹才能可靠完成抓取任务。没有足够的“颠勺练习”，再聪明的主厨也炒不出好菜。

为何常见：大模型的“预训练+微调”范式让很多人低估了领域数据的重要性，忽略了机器人领域缺乏像互联网文本那样海量免费数据这一现实。

误区有些工程师觉得 VLA 只是换了个框架，模块化系统也能实现“视觉+语言+控制”，精度还不差，何必折腾。

正解VLA 的核心优势不在单一任务精度，而在于端到端联合优化带来的语义泛化能力和多任务迁移能力。模块化系统中每个模块独立优化，误差从视觉模块到控制模块逐级累积；VLA 直接优化最终动作结果，模型内部自动学出对控制最有用的特征。在面对“把和苹果同色的物体拿来”这类需要跨模态推理的指令时，两者差距是本质性的。

为何常见：在某个固定场景、固定物体的 benchmark 上，模块化方法通过精心调参往往也能取得不错的效果，掩盖了两者在开放场景泛化上的巨大差异。

误区很多学生以为 VLA 权重像 GPT 一样是“通用大脑”，下载下来接到任何机器人硬件上都能直接跑。

正解VLA 输出的动作 token 与具体机器人本体的关节结构、运动学标定强相关。同一张图像，六轴机械臂和四轴机械臂的动作空间完全不同。RT-X 数据集的价值就在于跨本体归一化，而 OpenVLA 也强调针对具体机器人做适配。主厨在 A 餐厅练就的颠锅技法，到 B 餐厅换了更重的炒锅，也需要重新适应一阵子。

为何常见：大模型的通用性容易让人产生“一次训练、处处可用”的错觉，忽略了机器人硬件差异对动作空间的定义性影响。

面试题

Q1. VLA 模型中"V-L-A"分别指什么？

单选题 · easy

  • A.视频、标签、对齐
  • B.视觉、语言、动作← 正确答案
  • C.向量、逻辑、算法
  • D.虚拟、学习、分析

答案：B。VLA 是 Vision-Language-Action 的缩写，分别对应视觉感知、语言理解、动作输出三个模态。选项 B 准确对应三个英文单词的中文翻译，其余选项都是混淆项，与 VLA 的核心定义无关。

Q2. VLA 模型最突出的结构特点是什么？

单选题 · easy

  • A.多个独立模块串联
  • B.单一网络端到端← 正确答案
  • C.手工设计特征管道
  • D.规则驱动的符号系统

答案：B。VLA 将视觉、语言、动作统一到单一网络中，输入图像和指令直接输出动作信号，是端到端结构。传统模块化系统是多个独立模块串联（A），VLA 恰恰相反；C 和 D 分别对应传统视觉方法和符号 AI 的风格。

Q3. 下面哪个不是 VLA 模型的标准输入？

单选题 · mid

  • A.机器人的第一视角图像
  • B.用户给出的文本操作指令
  • C.语音转写后的文本指令
  • D.音频传感器的语音波形← 正确答案

答案：D。VLA 的标准输入是图像和文本指令，语音转写后的文本（C）属于文本指令的一种形式。原始音频波形不是 VLA 的输入——它需要先经过语音识别模型转成文本，就如同主厨需要先把客人的话听成句子，而不直接处理声波的振动曲线。

Q4. VLA 模型输出的动作信号通常是什么形式？

单选题 · mid

  • A.自然语言的动作描述
  • B.离散动作 token 序列← 正确答案
  • C.连续关节的力矩值
  • D.目标物体的类别标签

答案：B。VLA 通常将连续动作量化成离散 token，以自回归方式逐 token 生成动作序列，这与语言模型生成词的机制一致。A 是语言模型的输出，C 是传统控制器的输出，D 是视觉识别模块的输出。

Q5. VLA 模型的核心组成模块有哪些？

多选题 · mid

  • A.视觉编码器模块← 正确答案
  • B.语言编码器模块← 正确答案
  • C.动作解码器模块← 正确答案
  • D.物理仿真引擎模块

答案：ABC。VLA 由视觉编码器（处理图像）、语言编码器（处理文本）、动作解码器（生成动作）三大模块组成。物理仿真引擎是数据采集和评估工具，属于外部环境，不是 VLA 模型内部的组成模块。

Q6. OpenVLA 模型最重要的开源价值是什么？

单选题 · hard

  • A.提供预训练的开放式代码
  • B.降低 VLA 复现的研究成本← 正确答案
  • C.商业授权的免费使用协议
  • D.零样本生成的强大能力

答案：B。OpenVLA 的贡献在于公开权重、代码和数据集，让研究者无需从零训练大规模模型，直接基于开源底座微调，大幅降低复现门槛。A 的描述过于宽泛，C 并非其核心价值，D 则是所有 VLA 模型的共性追求而非 OpenVLA 独有。

Q7. VLA 相比传统模块化系统有哪些优势？

多选题 · hard

  • A.降低模块间的通信开销← 正确答案
  • B.提升跨任务的泛化能力← 正确答案
  • C.消除对机器人硬件的依赖
  • D.统一多模态的语义推理← 正确答案

答案：ABD。VLA 省去模块间中间表示传递，降低通信开销（A）；互联网预训练带来强泛化能力（B）；多模态统一空间支持语义推理（D）。但 VLA 并没有消除对机器人硬件的依赖——动作空间仍由具体硬件定义，主厨仍需适应不同的锅铲。

Q8. 具身智能的核心含义是什么？

单选题 · mid

  • A.智能体通过身体交互学习← 正确答案
  • B.智能体仅在虚拟环境模拟
  • C.智能体依赖云端大规模计算
  • D.智能体纯粹通过文本进行推理

答案：A。具身智能强调智能体拥有物理身体，能感知、行动并在与环境的交互中学习，这是它区别于纯文本 AI 的关键。B 是仿真，C 是计算方式，D 是语言模型的特征，三者都不体现“身体与环境的交互”。

Q9. 当前 VLA 模型面临的主要挑战有哪些？

多选题 · hard

  • A.机器人操作数据稀缺昂贵← 正确答案
  • B.模型推理延迟难以满足实时← 正确答案
  • C.动作空间安全可靠难保障← 正确答案
  • D.视觉语言编码完全无法融合

答案：ABC。VLA 当前三大挑战是数据稀缺（采集成本高）、推理延迟（大模型实时性不足）和安全性（分布外动作不可控）。D 是错误的——视觉语言融合正是 VLA 的成熟能力，RT-2 和 OpenVLA 均已验证其可行性。

Q10. VLA 自回归动作生成的建模目标是什么？

单选题 · extreme

  • A.最大化联合概率分布← 正确答案
  • B.独立生成每个动作 token
  • C.最小化单步最小熵
  • D.随机均匀采样动作 token

答案：A。VLA 采用自回归方式建模动作序列，目标是最大化整段动作序列的联合概率，即每一步都在前序动作条件下选择最优 token。B 忽略了动作间的时序依赖，C 和 D 与最大化条件概率的训练目标相悖。