想象你是一家餐厅的老板,厨房里有两种员工。第一种是“复读机厨工”:它把西红柿炒蛋的整套动作背得滚瓜烂熟,什么时候握刀、什么时候下锅、翻勺几下,练了上万遍,几乎完美。可一旦你让它做一道从没见过的“土豆炖牛肉”,它就彻底卡壳了——因为它只会背,不会想。第二种是“见习厨师”:他做菜前先看菜谱,嘴里念叨“先切肉、再焯水、后下锅炖”,每做一步都明白这一步在整道菜里起什么作用。哪怕菜谱是新的、食材是新的,他也能按“切配→烹饪→调味”的通用逻辑一步一步推理着把菜做出来。机器人界的RT-H,就是要打造第二种厨师。 RT-H(通用机器人推理模型)的核心,不是让机器人把动作背得更熟,而是教它在动手之前“用语言想一想”:把“向右挪0.3米”“抓起红色积木”这样的动作,翻译成一句句看得见、听得懂的语言描述,再把“想”和“做”分成两层——先想清楚要做什么,再一步步做出来。当面对没见过的新任务时,机器人不再翻记忆库找答案,而是像见习厨师一样,凭着对任务结构的理解,推理出一条合理的新动作路径。这就是从“背动作”走向“懂意图”,也是通用机器人的关键一跃。
对AI从业者而言,理解RT-H意味着你掌握了让具身智能从“被动执行”走向“主动推理”的关键范式:语言中间表示不仅是数据标注技巧,更是提升机器人跨任务泛化能力的核心杠杆,直接关系到VLA模型在真实世界中能否适应万千未见过的场景。
可视化演示
本节配有交互动效(进入视口后自动加载,约 3KB)。
RT-H 层次化动作预测架构 (大语言模型) 语言理解 + 推理 ↓ 语言动作 语言动作空间可复用:“移动”+“方向”+“物体” = 新动作 RT-H两层架构:LLM预测语言动作(中间表示) → 电机动作层生成控制指令 | 语言动作如“向左移动夹爪”“翻转杯子” | 组合推理实现未见任务泛化
RT-H核心思想
餐厅后厨里,有一种“复读机厨工”:它把西红柿炒蛋练了上万遍,每一步都做到毫秒级的标准动作。但老板只要递上一道它没做过的“土豆炖牛肉”,它就彻底卡壳——因为它的记忆库里只有“背过的动作”,没有“想问题的能力”。这正是传统机器人操控的窘境:练得熟的场景近乎完美,换一个场景立刻失灵。RT-H想打造的是另一种厨师:会推理的见习厨师。
见习厨师面对新菜,会先看菜谱、理解步骤背后的逻辑,再动手。RT-H把这个思路搬进了机器人:动作不再是孤立的电机指令,而是先被“翻译”成一句句语言描述——“向右移动0.3米”“抓起红色积木”——让机器人在做之前先“想一想”。这个“想”的过程,就是推理。它不是凭空出现的能力,而是从海量多任务数据中抽象出来的通用决策逻辑。
RT-H让机器人的动作分布不再由一个黑箱直接决定,而是先经过“语言深思”,再落到“动作执行”。用公式表示:
所以,RT-H不是让机器人把动作背得更熟,而是教它像见习厨师那样“先读菜谱、再动手”。面对新任务,它不翻记忆库,而是依着对任务结构的理解临时推理出一条新路径。这正是“背动作”走向“懂意图”的分水岭——通用机器人的大门,由此打开。
- 观测与目标$o_t$ 是机器人当前看到的画面(摄像头图像、机械臂角度等),$g$ 是任务指令(如“把红色积木放进蓝色箱子”)。它们共同构成决策的输入条件。
- 语言推理$p(l_t \mid o_t, g)$ 表示在观测和目标的引导下,模型先推理出一句语言动作描述,例如“向右移动0.3米后抓取”。这是RT-H区别于传统方法的关键一步——把动作意图显式地“说”出来。
- 动作生成$p(a_t \mid l_t, o_t)$ 表示在语言描述和当前观测的共同约束下,模型生成实际的动作指令 $a_t$(如关节角度的增量)。语言描述相当于“菜谱步骤”,动作就是“照步骤下手”。
- 求和连接$\sum_{l_t}$ 对所有可能的语言描述求和,把“想”和“做”两步串成一条完整的决策链,等价于“先想清楚怎么做,再动手做出来”。
语言动作表示
菜谱为什么有用?因为它把厨师手上的“看不见的巧劲”写成了“看得见的字句”——“大火热油”“翻炒三十秒”。这些字句不仅记录了动作,还传达了意图。动作信号一旦有了语言的外衣,就变得可以被理解、被组合、被迁移。RT-H里的“语言动作描述”(Language Action Description,简称LAD)就是机器人世界的“菜谱步骤”。
传统机器人记录动作,存的是一串串浮点数:关节角度、速度、扭矩,人根本看不懂它在干什么。RT-H把这种“机器语言”翻译成“人话”:把一个连续动作(如“末端执行器向右平移0.1米”)映射为一段语言token,让动作具有稳定的语义。语言也是一种天然的结构化载体——Transformer这类擅长处理序列的神经网络,恰好能把语言知识迁移到动作上,于是语言描述就成了“语义推理”的落脚点。
在训练时,RT-H用行为克隆的方式学习“在语言描述条件下做动作”:看人类演示怎么做,然后让模型模仿。目标是最大化正确动作的似然:
语言动作描述就是机器人版的“菜谱字句”:动作从冷冰冰的数值变成有语义的话,机器人才可能在更高层次上“读”懂自己在做什么。有了这本共同的菜谱,后面才能谈“举一反三”。
- 数据取样$(l_t, o_t, a_t) \sim \mathcal{D}$ 从多任务数据集 $\mathcal{D}$ 中抽取一条经验:某时刻的画面 $o_t$、对应的语言动作描述 $l_t$、以及人类演示中真实执行的动作 $a_t$,三者组成一个训练样本。
- 条件概率$\pi_\theta(a_t \mid l_t, o_t)$ 策略网络 $\pi_\theta$ 在“看了语言描述、又看了当前画面”的条件下,给每个候选动作打一个概率分。语言描述起到了“引导注意力”的作用。
- 对数似然$\log$ 把概率连乘转化为连加,避免多个小于1的概率相乘导致数值下溢,也让梯度计算更稳定。
- 期望与负号$-\mathbb{E}$ 表示对所有训练样本取平均并取负号。最小化这个值,就等于让模型在正确动作上给出尽量高的概率,也就是标准的交叉熵损失形式。
多任务推理机制
见习厨师为什么比复读机厨工强?因为他在多家厨房打过杂:川菜的爆炒、粤菜的清蒸、西餐的低温慢煮……这些经验没有让他背下所有菜,而是抽象出一套“通用做菜逻辑”——备料、切配、烹饪、装盘。遇到一道新菜,他就按这套通用逻辑一步步推理,而不是翻记忆。
RT-H同样在多任务数据中训练。见过的任务越多,它学到的“通用决策逻辑”就越牢固。更重要的是,RT-H把决策拆成了两个层次:高层先决定“接下来要达成什么意图”,低层再决定“每个关节怎么动”。两层各司其职——新任务来了,高层的意图组合是新的,但低层的动作模式是熟悉的,模型只需要在语言层做新的排列组合。
一次完整任务的执行轨迹,可以看作“语言意图”和“动作执行”交替出现的序列。整条轨迹的概率可以逐层分解:
就像见习厨师把各家菜系揉成一套自己的“做菜原理”,RT-H把跨任务的经验沉淀为“语言层可以迁移、动作层可以复用”的双层结构。菜变了,原理不变;任务变了,意图组合跟着变,动作执行却稳稳落地。
- 轨迹展开$\tau$ 表示一次任务从始至终的动作记录,在RT-H里被写成“语言→动作→语言→动作”交替的序列,就像一份“边看边做”的菜谱日志。
- 连乘$\prod_{t=1}^{T}$ 表示把每一步的“语言推理概率”和“动作生成概率”相乘,整条轨迹的概率就是一步步积累的结果,体现层次化决策的链路结构。
- 意图层$p(l_t \mid o_t, g)$ 每一步根据当前观测和目标重新推理语言意图。意图可以跨任务共享,比如“抓取”这个意图在不同任务里反复出现,所以新任务也能复用。
- 动作层$p(a_t \mid l_t, o_t)$ 每一步在语言意图得到之后,再生成具体的机械臂动作。意图层负责“想”,动作层负责“做”,层次化让模型能灵活应对未见过的组合。
训练流程方法
见习厨师的“推理能力”不是天生的。他需要学徒期的大量积累:在川菜馆颠勺、在粤菜馆学火候、在甜品店学造型,每道工序还有师父在旁边讲解“为什么要这样做”。RT-H的训练,就是这样一条流水线式的“学徒期”。
训练RT-H需要两类“食材”:一是海量的多任务操作数据——不同机器人、不同环境、不同物体的演示轨迹;二是给这些轨迹都配上语言动作描述,就像给每段颠勺视频都配一句“大火翻炒”。数据越丰富,语言标注越细致,模型学到的推理地基就越扎实。这些标注可以来自人工注释,也可以借助大语言模型自动生成,核心是为动作补上“语义维度”。
RT-H的训练不是单线程的,而是“两条腿走路”:一边学“语言说得好”(从观测和目标推理出正确的语言动作描述),一边学“动作做得对”(在语言描述下执行正确动作)。两个目标用同一个网络联合优化,总损失是两部分加权求和:
学徒期结束时,见习厨师不再依赖师父的讲解,因为他已经“内化”了那套逻辑。同样,RT-H在联合训练结束后,语言和动作两条通路彼此咬合成一个整体。模型拿到新指令时,自己就能完成“想→做”的完整闭环。
- 动作损失$\mathcal{L}_{\text{act}}$ 负责“把事做对”,即行为克隆损失,让模型在给定语言描述和观测时输出正确的动作。它是模型落地执行能力的保证。
- 语言损失$\mathcal{L}_{\text{lang}}$ 负责“把话说对”,即让模型学会从观测和目标推理出正确的语言动作描述。它是一条教师信号,把“该怎么做”用语言固化下来。
- 权重系数$\lambda$ 是一个超参数,用来平衡“说”和“做”的优先级。若动作执行不稳,就调小 $\lambda$;若语言推理经常跑偏,就调大 $\lambda$。
- 求和两份损失相加后一起反向传播,语言模块和动作模块共享底层特征,互相促进,形成“语言引导动作、动作反馈语言”的良性循环。
与传统VLA对比
复读机厨工虽然不会创新,但效率不低——只要是它背过的菜谱,出菜速度甚至比人还快。传统端到端VLA(视觉-语言-动作模型)就像这位复读机:你把当前画面和任务指令喂进去,它直接吐出一串动作,中间过程完全是一口“黑箱”。
黑箱的问题在于:它“做对了”却不知道为什么对,一旦换个场景就崩。RT-H则像一个边做边讲解的厨师:“我先把肉切了,再焯水,接着下锅炖。”每一步决策都有语言层面的“理由”浮出水面。这不仅带来解释性收益,更让模型能借用语言中储存的世界知识——比如“红色积木通常可以抓取”这种常识。多出来的语言这一层,还让训练时可以用上预训练语言模型的先验,数据效率自然更高。
把两种范式放在一起看,差别一目了然:
复读机厨工赢得了一时的速度,却输在了万变的新菜上。RT-H选择多走一步“读菜谱”的功夫,看似绕路,却让机器人在真实世界里有了从容应对未知任务的本钱。
- 黑箱映射$a_{\text{VLA}} = f_\theta(o, g)$ 代表传统端到端VLA的做法:一个函数从“观测+指令”直接跳到“动作”,中间没有任何语义出口,调试时只能看输入输出,无法看到决策依据。
- 语言介入$l = h_\phi(o, g)$ 是RT-H的第一步:把观测和指令变成一句语言动作描述。这一步让“想法”显式地写在明面上,相当于给黑箱开了一扇窗。
- 条件动作$a = \pi_\theta(l, o)$ 是RT-H的第二步:在语言描述和观测的共同条件下生成动作。每一步动作都能回溯到一个语言理由,可解释性大大提升。
- 双向箭头对照$\longleftrightarrow$ 不是表示两种方法互相替代,而是展示设计哲学的对比——一个追求“直接高效”,一个追求“可解释、可泛化”。实践里两者也可以融合。
部署评估应用
练习厨房里做得再好,也要到真实餐厅接受客人的检验。RT-H也一样:在仿真和离线数据里再厉害,最终要装进真实的机械臂,在一个从没到过的“厨房”里完成从没搭配过的任务。
部署评估关注两个问题:一是能不能在真机上稳定运行——模型的推理延迟、控制频率、硬件适配都要过关;二是能不能扛住“新任务测试”——训练时没出现过的指令组合、物体摆放、环境光效,模型还能不能靠语言推理链化解。评估通常既测“见过的任务”,也测“没见过的任务”,只有后者足够高,才说明模型真正学会了推理而不是记忆。
评测的核心指标是“成功率”:给定一组任务,看看模型独立完成的比例是多少。公式很朴素:
现实餐厅的考核标准就一条:换一千道新菜,你能独立做对多少道。RT-H在真实世界中的部署与评测,正是在回答这个问题——而语言中间表示,就是它面对新菜的底气。
- 评测任务数$N$ 表示评测集中的任务总数。评测集里通常会刻意混入一些训练时没见过的“新任务”,用来考验模型的泛化能力。
- 指示函数$\mathbb{I}(\cdot)$ 是“计数器开关”:当括号里的条件成立(任务成功完成)时取1,失败则取0。它把“成败”这个定性判断变成可累加的数值。
- 求和$\sum_{i=1}^{N}$ 把每个任务的开关注加起来,得到“N个任务里成功了几个”。求和的过程就像清点菜谱上一道道菜是否顺利出餐。
- 归一化$\frac{1}{N}$ 把成功个数除以总数,转换成一个0到1之间的比率,再乘以100%就是大家熟悉的“任务成功率”。
AI 应用场景
家庭服务机器人
阶段:数据训练与模型推理
解决的问题:传统家庭服务机器人在“用户家客厅布局和训练数据完全不同”“指令是新的排列组合”时容易崩溃。RT-H把“把桌上的苹果放进冰箱”这类新指令先推理成“走向苹果→抓取→走向冰箱→投放”的语言动作链,再用熟悉的基础动作逐一执行,把语义理解和动作执行解耦。
具体案例:某实验室在8000余条家庭操作演示上训练RT-H后,在60个训练时未出现的任务组合上取得了显著高于端到端VLA的成功率。机器人面对“把马克杯放到洗碗机里”这种从未见过的组合,能先说出“抓取马克杯→移向洗碗机→放下”三段语言描述再执行。
工业柔性分拣产线
阶段:模型迁移部署
解决的问题:传统分拣机器人靠固定程序匹配工件,SKU一变就要重新编程。RT-H让机械臂在语言描述引导下理解“把圆形工件放到1号托盘”,无需针对每个新品重写代码,像见习厨师拿到新菜谱一样临场发挥。
具体案例:在汽车零部件分拣产线,RT-H根据上位机下发的自然语言指令动态推理“夹取方式”,将工装切换时间从数小时压缩到分钟级,产线换型不再需要停机调试。
机器人行为调试与审计
阶段:轨迹分析与可解释性
解决的问题:端到端VLA做错动作时,工程师无从查起。RT-H因为每步动作都有语言描述,调试时可以回放“它当时是怎么想的”,快速定位是语言推理错了还是动作执行错了,就像看见习厨师的笔记找出哪一步想岔了。
具体案例:在自动驾驶物流车测试中,工程师通过RT-H生成的语言轨迹日志定位到“把障碍物误判为可通过区域”这一语言层错误,针对性补充数据后问题即修复,调试周期缩短近一半。
Python 演示
import numpy as np class SimplifiedRTH: """简化版RT-H: 语言作为动作中间表示的机器人推理模型。 用4x4网格模拟桌面, 动作只有向上/向下/向右/不动。 第一阶段从观测与目标推理语言动作描述(规则模拟语义推理), 第二阶段用学习到的条件概率 p(a|l) 生成动作。 """ LANG_NAMES = ["向下", "向上", "向右", "不动"] ACTION_NAMES = ["down", "up", "right", "stay"] def __init__(self, n_lang=4, n_actions=4, seed=0): np.random.seed(seed) self.n_lang = n_lang self.n_actions = n_actions # 模拟训练得到的语言条件动作策略: p(a | l) self.W_lang2action = np.random.randn(n_lang, n_actions) def infer_language(self, state, goal): """根据观测与目标推理语言动作描述(高维语义推理的简化版)""" dx = goal[1] - state[1] dy = goal[0] - state[0] if dx > 0: return 2 if dy > 0: return 0 if dy < 0: return 1 return 3 def action_probs(self, lang_desc): """语言描述条件下动作的概率分布 p(a | l)""" e = np.exp(self.W_lang2action[lang_desc]) return e / e.sum() def predict_action(self, state, goal): """两步推理链: 先想(语言), 再做(动作)""" lang = self.infer_language(state, goal) probs = self.action_probs(lang) action = int(np.random.choice(self.n_actions, p=probs)) return lang, action def main(): policy = SimplifiedRTH(seed=42) tasks = [ ((0, 0), (0, 3), "向右搬运"), ((1, 1), (3, 1), "向下搬运"), ((2, 2), (2, 2), "原地等待"), ] for state, goal, name in tasks: lang, action = policy.predict_action(state, goal) print(f"任务[{name}] 位置{state} -> 目标{goal}") print(f" 语言推理: {policy.LANG_NAMES[lang]}") print(f" 动作输出: {policy.ACTION_NAMES[action]}") if __name__ == "__main__": main()
self.W_lang2action = np.random.randn(n_lang, n_actions)模拟训练好的“语言→动作”条件策略,每行对应一个语言描述下的动作偏好def infer_language(self, state, goal)对应RT-H高层的语言推理,真实模型里这一层是神经网络学出来的,这里用规则近似lang = self.infer_language(state, goal)先“想”:从当前状态与目标推理出语言动作描述probs = self.action_probs(lang)再“做”:在语言描述条件下计算各动作的概率分布action = int(np.random.choice(self.n_actions, p=probs))按概率采样出最终动作,模拟策略的随机性
常见误区
误区RT-H既然能推理新任务,就说明它是零样本的,不需要人工标注语言描述,训练数据也不用很多。
正解RT-H的“会推理”恰恰建立在海量多任务数据和语言动作描述标注之上。语言中间表示是在数据里“学”出来的,不是凭空出现的。推理时面对新任务是零样本(没有专门针对这个任务训练过),但这种迁移能力是训练阶段打下的地基——就像见习厨师能应对新菜,是因为学徒期积累了千百道菜的功底。
为何常见:新任务泛化给人“零样本”的错觉,把“推理时的零样本”与“训练时需要大规模数据”混为一谈。
误区语言动作描述不就是把动作翻译成字符串吗?本质上还是人为写的规则脚本,和传统符号主义的专家系统差不多。
正解语言动作描述是模型自主预测出来的中间变量,是在数据中学习到的语义抽象,而不是程序员手写的分支规则。机器人能输出它从未见过的语言组合,诸如“把红色积木放到蓝色箱子”这种新的描述方式,是由语义理解驱动的,不是查表查出来的。
为何常见:把符号化的“语言”误解为传统符号主义的规则库,忽略了它是神经网络在数据驱动下学出的隐式表征。
误区多一层语言推理肯定会拖慢响应速度,机器人控制必须毫秒级响应,语言中间层不适用于实时控制。
正解语言描述在Transformer内部是低维token,解码开销很小;且推理链把“意图决策”和“动作执行”解耦,底层控制器依然可以高频运行。RT-H在真机部署时,语言推理的延迟在可接受范围内,换来的是更强的泛化能力——这是“用可接受的开销换通用性”的划算买卖。
为何常见:直觉认为“多加一步=多花很多时间”,忽略了语言token的轻量性和模型并行化的能力。
误区RT-H和RT-2这类端到端VLA是水火不容的,有了RT-H就不用再研究端到端模型了。
正解RT-H本身也基于Transformer和行为克隆训练,与VLA共享底层架构;语言中间表示完全可以作为一种“语义引导”注入现有VLA。两者是演进关系而非替代关系,很多实际系统将语言推理与端到端策略结合使用,各取所长。
为何常见:技术文章习惯做“对比解说”,读者容易把“研究上的对照”读成了“路线上的对立”。
面试题
Q1. RT-H引入语言描述作为动作的中间表示,最核心的目的是什么?
- A.让机器人对话更自然流畅
- B.理解任务结构并泛化到新任务← 正确答案
- C.让机器人省略视觉传感器
- D.让机器人动作执行得更快
答案:B。语言动作描述的核心价值,是把动作从“一串数值”变成“有语义的话”,让模型能站在语义层面理解任务结构。选项A是语言模型的副产物而非目的;C和D与语言中间表示没有直接因果关系。就像读菜谱不是为了背得快,而是为了懂怎么做新菜。
Q2. 下列关于“语言动作描述”的比喻,最恰当的是?
- A.厨师的成品菜照片
- B.厨师做菜的菜谱步骤← 正确答案
- C.顾客对菜品的评价
- D.餐厅装修的风格设计
答案:B。语言动作描述刻画的是“动作过程”而非“最终状态”,对应菜谱里的步骤说明。成品照片只反映终点,评价是事后反馈,装修与做菜无关。RT-H每一步行动都有一个“语言步骤”在引导,这正是“菜谱步骤”的比喻结构。
Q3. 在RT-H的决策链中,机器人面对新任务时最先推理出的是什么?
- A.关节电机的原始电流值
- B.一句语言动作描述← 正确答案
- C.地图上所有障碍物坐标
- D.环境中的完整三维模型
答案:B。RT-H的决策链是“先想再做”:先根据观测和目标推理出语言动作描述(如“移向右边的积木”),再在语言描述引导下生成动作。原始电流是动作层之后的事,属于执行细节;完整三维模型超出了推理链的需要,不是RT-H核心的第一步。
Q4. RT-H与端到端VLA在结构上最大的差别是什么?
- A.多一层显式的语言中间表示← 正确答案
- B.放弃神经网络改用规则库
- C.只是比VLA多用了训练数据
- D.不再支持自然语言任务指令
答案:A。RT-H仍然基于神经网络,且同样依赖多任务数据,所以B和C都是误区表述,D与事实相反。真正的结构差别是:RT-H在“观测+指令→动作”之间插入了一个显式的语言动作描述变量,让语义推理直接参与决策,这也是它更可解释、更易泛化的根源。
Q5. 训练RT-H时,语言动作描述在数据集里扮演什么角色?
- A.让机器人死记更多完整任务
- B.为动作提供语义标注与引导← 正确答案
- C.减少传感器的数量与功耗
- D.替代视觉模型全部预训练
答案:B。语言动作描述是动作的“语义标签”,它的作用是引导模型学习“动作+语义”的绑定关系,让机器人理解每一步在任务结构中的位置。RT-H的目标从来不是背任务,而是学会对任务结构推理,所以A错;C和D与数据标注的角色无关。
Q6. RT-H面对“从未见过的新任务”时,正确的行为方式是?
- A.检索历史库最相似动作直接套用
- B.先推理语言描述再逐步生成动作← 正确答案
- C.随机尝试所有动作直到碰巧成功
- D.请求人类程序员现场编写新代码
答案:B。RT-H的推理链是自主完成的:先在语言层面把新任务拆解为“熟悉的意图片段”,再逐一生成动作。A是“检索套用”的老思路,RT-H追求的是“理解后重新组合”;C是随机搜索,D依赖外部干预,都不符合通用机器人自主推理的设定。
Q7. 在联合训练损失 L = L_act + λ·L_lang 中,调小λ会导致什么?
- A.模型更重视把语言动作描述说对
- B.模型更重视把动作执行做对← 正确答案
- C.训练数据规模会自动翻倍
- D.模型的推理速度明显下降
答案:B。λ是语言损失L_lang的权重。调小λ意味着“动作做对”的优先级相对上升、“语言说对”的约束被放松。模型仍会在语言条件下执行动作,但对“语言描述本身是否正确”不那么敏感。A的方向正好相反,C和D与λ完全无关。
Q8. 下列哪些说法符合RT-H的设计思路?
- A.语言动作描述是模型自主预测的中间变量← 正确答案
- B.语言中间表示提升了动作过程的可解释性← 正确答案
- C.RT-H完全不依赖多任务训练数据
- D.语言描述帮助模型借助语义先验泛化← 正确答案
答案:ABD。A对:语言动作描述来自模型的推理,不是外部硬编码。B对:每步动作都能回溯到一句语言,调试更透明。C错:RT-H的推理能力恰恰建立在海量多任务数据之上,这是最常见误区。D对:语言层借用预训练语言模型的世界知识,增强了跨任务泛化能力。
Q9. 关于RT-H与传统端到端VLA的关系,正确的理解是?
- A.RT-H同样依赖Transformer和条件动作生成← 正确答案
- B.语言中间表示可以注入现有VLA模型← 正确答案
- C.RT-H训练阶段需要比VLA更多的传感器
- D.端到端VLA的动作输出缺少语义出口← 正确答案
答案:ABD。A对:RT-H底层仍是Transformer架构,动作生成保留条件概率建模。B对:二者不是敌对路线,语言中间表示可以作为一种“语义引导”整合进VLA。C错:RT-H在数据标注层面更重,但并不需要额外传感器。D对:端到端VLA从观测直接映射动作,中间不可读、无语义出口。
Q10. 用“见习厨师”比喻RT-H面对新任务的推理方式,下列描述正确的是?
- A.先读菜谱形成语言步骤再动手执行← 正确答案
- B.每个步骤都去查历史数据库死记硬背
- C.把新菜拆解为熟悉的通用动作环节← 正确答案
- D.没有见过的菜直接拒绝出餐
答案:AC。A对应RT-H的先推理语言动作描述再生成动作的两步走。C对应层次化推理:新任务在语言层被拆解成“抓取、移动、放置”等熟悉的通用环节。B是复读机厨工的行为,D是规则机器人的行为,两者都与RT-H“理解后推理”的本质相悖。