想象一间后厨同时站着两位厨师。一位是年轻学徒，脑中只有师父教过的那几本菜谱；只要客人点的菜菜谱里写过，他就能按图索骥端上桌。另一位则是走过千百家餐厅、尝过上千种食材的全能主厨；客人说“来一道清爽的、有芒果的夏日小菜”，他即使没做过，也能凭对食材的理解临场创作。谷歌的两代机器人模型，恰好就是这两位厨师：RT-1是那本菜谱，RT-2是那位主厨。本文用“学徒与主厨”这个比喻，带你拆解RT-1如何用Transformer把视觉和语言翻译成动作，以及RT-2为何能借助大语言模型的知识一举突破泛化天花板。

岗位关联

对AI从业者：理解RT-1到RT-2的演进，就掌握了具身智能从专用控制走向通用泛化的关键链路，这是大模型机器人领域的第一课。

目录
  1. 可视化演示
  2. 背景动机
  3. RT-1架构
  4. RT-1训练
  5. RT-2创新
  6. RT-2微调
  7. 双模对比
  8. 局限挑战
  9. 未来展望
  10. AI 应用场景
  11. Python 演示
  12. 常见误区
  13. 面试题

可视化演示

动态演示谷歌RT-1与RT-2机器人的核心机制，通过采集/分析/决策/反馈四种模式展示关键概念与交互流程。

本节配有交互动效（进入视口后自动加载，约 3KB）。

谷歌RT-1与RT-2机器人：RT机器 RT-1机器人专用Transf RT-1动作Token化与指令 核心机制可视化 谷歌RT-1与RT-2机器人整体架构与关键组件

背景动机

老板把一本本“操作手册”塞给传统的工业机器人：按哪个键、走哪条轨迹、碰到障碍就停。这些规则死板得像自动售货机——投一枚硬币，掉一罐饮料；你向它喊“我要一罐冰镇的、不那么甜的”，它只会沉默。因为自动售货机根本没有“语言”这个入口。今天的机器人恰恰面临同样的困境：它不缺电机和传感器，缺的是听懂人话的能力。

传统机器人控制依赖工程师预先写好的规则程序，把每个动作、每条轨迹、每个安全距离都固化成代码。但真实世界千变万化，一句“把苹果放到盘子里”里，“苹果”对应画面中的哪块像素？“放”对应哪条电机路径？这没法靠穷举规则解决。于是研究人员想到了另一种思路：不再由人写规则，而是让模型从大量数据里自己学出这个“语言→动作”的映射函数。

RT-1 和 RT-2 把问题建模成一个带参数的大函数：输入摄像头画面和自然语言指令，输出机器人的动作。只要数据足够多，模型就能自动学会“看到什么、听到什么、该做什么”，这正是大模型机器人最基本的出发点。

把语言和动作连成一张可以学习的“大菜谱”，正是 RT-1 的起点。可这个学徒是怎么背菜谱的？下一节我们走进它的架构内部。

a=πθ(ot,l)a = \pi_\theta(o_t, l)
这个公式表示：给机器人看当前画面 $o_t$ 和语言指令 $l$，策略网络 $\pi_\theta$ 输出动作 $a$。
  1. 观测 $o_t$机器人当前看到的图像帧，相当于厨师眼前那一盘食材的照片。
    ot∈RH×W×3o_t \in \mathbb{R}^{H \times W \times 3}
  2. 语言指令 $l$用户说的一句话，例如“把苹果放到盘子里”。
    l={w1,w2,…,wn}l = \{w_1, w_2, \dots, w_n\}
  3. 策略参数 $\theta$Transformer 里所有可训练的权重，这些权重就是“菜谱”本身。
    θ={WQ,WK,WV,WFFN}\theta = \{W_Q, W_K, W_V, W_{FFN}\}
  4. 输出动作 $a$机器人要执行的控制信号，在 RT-1 里被表示成离散的动作 Token。
    a={abase,aarm,agripper}a = \{a_{base}, a_{arm}, a_{gripper}\}

RT-1架构

学徒对付烹饪的方法，是把师父做过的每道菜拍成“步骤卡片”：先看到什么食材、拿起什么工具、做了几次翻炒，全部记在卡片上。RT-1 也是这样——先看画面，把语言当成“卡片编号”，最后把动作翻译成一组符号。它会把眼前看到的画面压缩成一小撮视觉 Token，再和语言指令揉在一起，用 Transformer 一层层推理。

RT-1 是谷歌 2022 年发布的机器人 Transformer 模型，核心是一个多模态 Transformer。它输入两类信息：来自摄像头的图像序列和来自用户的文本指令。图像先经过预训练的 EfficientNet 和 TokenLearner 压缩成少量视觉 Token；文本指令则通过编码器变成文本向量，再用 FiLM（特征线性调制）的方式“注入”到 Transformer 的每一层，相当于每层网络都在提醒自己：现在要按师傅哪道菜的做法来。

Transformer 的心脏是自注意力机制。每个 Token 都会和序列里所有其他 Token 比较相关性，然后按相关性聚合信息。这样，“苹果”这个文本 Token 就能主动找到画面中苹果那个区域的视觉 Token，并重点读取它。

RT-1 用这套注意力机制反复“翻阅菜谱卡片”，最后输出动作 Token。它和语言模型生成单词的过程几乎一样，只不过词典里的“单词”换成了机器人的动作。

Attention(Q,K,V)=softmax(QK⊤dk)V\text{Attention}(Q,K,V) = \text{softmax}\left(\frac{QK^{\top}}{\sqrt{d_k}}\right)V
自注意力让句子里的每个词都能“看”到图像里与它最相关的部分，这是多模态融合的关键。
  1. 查询向量 $Q$当前 Token 想“找什么”。比如“苹果”这个词想知道画面里哪里是苹果。
    Q=XWQQ = XW_Q
  2. 键向量 $K$每个 Token 的“身份标签”，告诉别人自己代表什么。
    K=XWKK = XW_K
  3. 值向量 $V$每个 Token 真正携带的内容信息。
    V=XWVV = XW_V
  4. 匹配打分用 $Q$ 和 $K$ 做点积，衡量两个 Token 相关程度，除以 $\sqrt{d_k}$ 防止数值过大。
    score=QK⊤dk\text{score} = \frac{QK^{\top}}{\sqrt{d_k}}
  5. 加权融合softmax 把分数归一化成权重，再对 $V$ 加权求和，得到融合全局信息的输出。
    Output=softmax(QK⊤dk)V\text{Output} = \text{softmax}\left(\frac{QK^{\top}}{\sqrt{d_k}}\right)V

RT-1训练

学徒背菜谱，不是背文字，而是看师父做一次、跟着做一次，把过程记在心里。RT-1 的训练方式也类似——人类操作员远程遥控机器人完成各种任务，记录下画面、指令和动作，然后让模型照着学。RT-1 的“师父”是一群熟练的遥控操作员，他们在真实厨房环境中，为机器人收集了约 13 万次高质量演示。

这些演示覆盖了 7 种机器人形态和 18 类任务：拿取、放置、推拉、开抽屉、叠毛巾、倒水等。学习范式叫作“行为克隆”（Behavior Cloning），本质上是一种模仿学习：模型不看任何人工规则，只从演示数据中统计“在什么画面和指令下，人类通常会输出什么动作”。

训练时，模型被要求最大化真实演示动作的概率。给定当前画面和语言指令，模型预测每个动作 Token 的概率分布，再和人类演示的真实动作算交叉熵损失。梯度下降会让模型越来越“像师父”。

训练之后的效果，也像极了学徒：菜谱写过的菜，成功率能到八成以上；可一旦换成没见过的新组合，比如把“苹果”换成“草莓”，成功率就明显跳水。因为学徒只是背熟了卡片，并不理解食材本身的道理。

LBC=−∑t=1Tlog⁡πθ(at∣ot,l)\mathcal{L}_{BC} = -\sum_{t=1}^{T} \log \pi_\theta(a_t \mid o_t, l)
行为克隆损失：让模型在教过的“画面-指令-动作”组合上尽量模仿人类操作。
  1. 演示数据从 13 万条真实轨迹中采样“画面-指令-动作”三元组，这是学徒的“拜师录像”。
    D={(ot,l,at)}\mathcal{D} = \{(o_t, l, a_t)\}
  2. 策略输出给定观测和指令，模型输出每个动作 Token 的概率。
    pt=πθ(at∣ot,l)p_t = \pi_\theta(a_t \mid o_t, l)
  3. 负对数似然让真实动作的概率尽量大，等价于最小化它的负对数。
    −log⁡πθ(at∣ot,l)-\log \pi_\theta(a_t \mid o_t, l)
  4. 时序求和一条轨迹有多步动作，把所有时刻的损失加起来一起优化。
    ∑t=1T−log⁡πθ(at∣ot,l)\sum_{t=1}^{T} -\log \pi_\theta(a_t \mid o_t, l)

RT-2创新

全能主厨和学徒最本质的区别，是他不需要“背菜谱”。他见过全世界的食材和技法，面对新菜也能现场拆解。RT-2 的野心，正是把这种“世界知识”装进机器人的大脑。2023 年，谷歌 DeepMind 推出了第二代机器人大模型，它不再是一个从零训练专用模型，而是直接把庞大的视觉语言模型（VLM）当作机器人心智。

RT-2 基于 PaLI-X 和 PaLM-E 这类已经在海量互联网图文上学过的模型。这些模型见过数亿张图片和文字，知道“草莓”是红色的水果，“碗”是可以装东西的容器。RT-2 做的第一件关键事，是让动作也能用“文字”写出来：它把连续的六维动作参数分别离散成 256 个区间，变成“3 12 45 88 200 7”这样的数字 Token，然后像续写句子一样，让语言模型在看完图像和指令后直接“说出”这串动作数字。

这样，从感知到控制变成了一条端到端的通路：图像进入视觉编码器，指令和动作 Token 一起进入语言模型，输出直接就是行动方案。

厨房还是那个厨房，但 RT-2 的大脑不再是一本固定菜谱，而是一位读过上万本烹饪书的营养学家。它知道“草莓”长什么样，知道“碗”是容器，即便机器人数据里从没见过“草莓放到碗里”，也能凭视觉语言的先验知识组合出正确动作。

at=arg⁡max⁡aPθ(a∣I,l)a_t = \arg\max_{a} P_\theta(a \mid I, l)
RT-2 把动作生成看成“文本续写”：在图像 $I$ 和指令 $l$ 的条件下，挑出概率最高的动作文本作为执行方案。
  1. 视觉输入 $I$当前相机拍下的多视角图像，相当于主厨眼前的完整工作台画面。
    I={I1,I2,…,IN}I = \{I_1, I_2, \dots, I_N\}
  2. 语言指令 $l$用户的任务描述，例如“把草莓放到碗里”。
    l=tokenize("把草莓放到碗里")l = \text{tokenize}(\text{"把草莓放到碗里"})
  3. 条件概率 $P_\theta$模型在包含动作数字的混合词表上输出概率分布。
    Pθ(a∣I,l)P_\theta(a \mid I, l)
  4. 选择动作用 $\arg\max$ 挑出概率最高的动作 Token 串。
    at=decode(arg⁡max⁡aPθ)a_t = \text{decode}(\arg\max_a P_\theta)

RT-2微调

大厨去新餐厅上任，绝不会从零学起，而是把已有知识带到新环境，再适应几天新厨房的灶眼。RT-2 也是这样：先在互联网图文上“学厨理”，再拿机器人数据“实习”。预训练给了它世界知识，但要让这些知识落到机械臂上，还需要一个关键的后续步骤——共同微调（Co-Fine-tuning）。

共同微调的操作很直接：把视觉语言模型的图文数据和机器人动作数据混在同一个训练批次里，继续训练模型。机器人动作被当成一类特殊文本加进训练语料，让模型在一个批次里同时做“看图说话”和“动作生成”。

这样做的最大好处是：模型在更新参数时不会忘记互联网上学到的语义知识，同时学会了把语义转化成物理动作。训练的总损失函数由两部分组成：图文理解损失保住“世界认知”，机器人动作损失教会“动手能力”。

最终效果是：食材知识还在，锅碗瓢盆的物理动作也学会了。RT-2 因此能够处理“草莓+碗”这种未出现过的组合，还能根据指令里“放下”“挪走”等动词灵活调整动作方式，这正是 RT-1 做不到的“临场发挥”。

Ltotal=LVLM+λ⋅Lrobot\mathcal{L}_{total} = \mathcal{L}_{VLM} + \lambda \cdot \mathcal{L}_{robot}
总体损失是视觉语言模型损失和机器人动作损失之和，$\lambda$ 控制机器人任务的重要性。
  1. 图文损失 $\mathcal{L}_{VLM}$继续让模型做图文对齐和文本生成，防止遗忘互联网知识。
    LVLM=−log⁡P(text∣image)\mathcal{L}_{VLM} = -\log P(\text{text} \mid \text{image})
  2. 机器人损失 $\mathcal{L}_{robot}$让模型学会输出正确的动作 Token。
    Lrobot=−log⁡πθ(at∣ot,l)\mathcal{L}_{robot} = -\log \pi_\theta(a_t \mid o_t, l)
  3. 权重系数 $\lambda$调节机器人任务在混合训练中的占比。
    λ∈[0,1]\lambda \in [0, 1]
  4. 联合优化两个损失加在一起反向传播，更新同一个模型的全部参数。
    θ←θ−η∇θLtotal\theta \leftarrow \theta - \eta \nabla_\theta \mathcal{L}_{total}

双模对比

学徒和主厨都站在厨房里，但一个是被动背菜谱，一个是主动理解食材。RT-1 和 RT-2 的差异也体现在架构、能力和使用场景三个层面。架构上，RT-1 是为机器人专门设计的决策 Transformer，从零开始训练，几乎完全依赖机器人演示数据；RT-2 则直接拿起预训练好的视觉语言模型当主干，参数量从百万级跃升到百亿级，知识起点完全不同。

能力上，RT-1 更像一本指令查表手册：训练数据里见过的任务表现很好，没见过的组合就抓瞎。RT-2 则能够做语义组合推理——从互联网知识中知道“草莓是水果”“碗是容器”，于是“把草莓放到碗里”即便没教过，也能拆解执行。评估一个机器人模型是否好用，通常看它在 N 个任务上的平均成功率。

选 RT-1 还是 RT-2，等于问餐厅需不需要一位“会创新的大厨”。任务固定不变时，学徒够用且成本更低；环境物品多、指令多变时，必须依靠 RT-2 式的语义泛化能力。

AC%=1N∑i=1N1[taski 成功]\text{AC}_{\%} = \frac{1}{N} \sum_{i=1}^{N} \mathbb{1}[\text{task}_i \text{ 成功}]
成功率是“完成的任务数 ÷ 总任务数”，用于衡量模型在新指令、新物体、新场景下的泛化能力。
  1. 任务总数 $N$测试集中所有要评估的任务数量。
    N=∣Ttest∣N = |\mathcal{T}_{test}|
  2. 指示函数 $\mathbb{1}[\cdot]$任务完成取 1，失败取 0，相当于每次考试记分。
    1[成功]=1 或 0\mathbb{1}[\text{成功}] = 1 \text{ 或 } 0
  3. 平均计算把所有任务的得分加起来除以任务数，得到最终成功率。
    AC=成功次数N\text{AC} = \frac{\text{成功次数}}{N}

局限挑战

即便是全能主厨，也有自己的软肋：他依赖稀有食材，中餐讲究“少许盐”也可能手抖，客人一多还会忙中出错。RT-2 同样有清晰的天花板。第一道坎是数据成本：互联网图文虽然免费，但机器人演示数据依然要靠真机反复采集，十几万次演示背后是大量人力、设备和时间投入。

第二道坎是动作精度。RT-2 把连续动作离散成 256 个 bin，相当于菜谱只给你 256 个火候档位。遇上要求毫米级精度的精细操作，量化误差就会显现。假设一个连续动作值 $x$ 落在区间 $[x_{\min}, x_{\max}]$ 里，先把它量化成整数 Token，再重建回连续值，这个过程会有精度损失。

第三道坎是安全可靠。RT-2 输出的是高层动作意图，不保证一定符合物理约束或安全规则，在真实环境中仍要人工监督。主厨虽好，餐厅也要配个盯火候的助手，防止翻车。

x^=xmin⁡+round(x−xmin⁡Δ)⋅Δ,Δ=xmax⁡−xmin⁡B\hat{x} = x_{\min} + \text{round}\left(\frac{x - x_{\min}}{\Delta}\right) \cdot \Delta, \quad \Delta = \frac{x_{\max} - x_{\min}}{B}
离散动作 Token 的重建过程：连续值先取整到最近的档位，再乘回步长，导致输出与真实值之间存在量化误差。
  1. 连续动作值 $x$机器人某个维度的真实目标，比如机械臂在 x 方向的位置。
    x∈[xmin⁡,xmax⁡]x \in [x_{\min}, x_{\max}]
  2. 量化步长 $\Delta$整个范围被切成 $B$ 个格子的宽度，决定精度。
    Δ=(xmax⁡−xmin⁡)/B\Delta = (x_{\max} - x_{\min}) / B
  3. 取整操作把连续值映射到最近的整数档位，也就是动作 Token。
    b=round(x−xmin⁡Δ)b = \text{round}\left(\frac{x - x_{\min}}{\Delta}\right)
  4. 重建值 $\hat{x}$从 Token 还原回连续值，$\hat{x}$ 与 $x$ 的差距就是量化误差。
    x^=xmin⁡+b⋅Δ\hat{x} = x_{\min} + b \cdot \Delta

未来展望

如果有一天，这间厨房的“大厨”不再只存在于谷歌实验室，而是走进每个家庭的厨房，会怎样？具身智能的终极目标，正是让拥有语言理解与世界知识的大模型，成为能够自由行动、与环境互动的“机器人身体”。RT-1 和 RT-2 已经证明了这条路可行，但真正的革命才刚刚开始。

接下来的路线大致有三条。第一，把 VLM 与机器人本体系统深度融合，让视觉、语言、触觉都成为模型的输入，实现更自然的具身交互。第二，追求通用机器人范式，用一套模型适配不同机械臂、不同环境和不同任务，而不是“一机器人一模型”。第三，推动产业落地，在仓储分拣、家庭服务、巡检安防等场景大规模部署，让大模型机器人真正产生经济价值。

从强化学习视角看，通用机器人的学习目标可以写成最大化长期累积回报的最优策略。RT-1/RT-2 目前以监督学习为主，未来很可能在它们的基础上叠加强化学习和世界模型，让机器人从“会模仿”进化到“会自我探索”。

从学徒到主厨，从主厨再到会自己思考的“机器人厨师”，RT-1 和 RT-2 只是这场厨房革命的序章。当大模型真正装进机器人的身体，具身智能的想象力才刚刚打开。

π∗=arg⁡max⁡πEτ∼π[∑t=0∞γtrt]\pi^{*} = \arg\max_{\pi} \mathbb{E}_{\tau \sim \pi}\left[\sum_{t=0}^{\infty} \gamma^{t} r_{t}\right]
最优策略是让整个任务过程中的累计奖励（成功次数、效率等）期望值最大的那份行动方案。
  1. 轨迹 $\tau$从开始到结束的完整状态-动作序列。
    τ=(s0,a0,s1,a1,… )\tau = (s_0, a_0, s_1, a_1, \dots)
  2. 即时奖励 $r_t$每个时刻的反馈，如成功抓取得 1 分。
    rt∈Rr_t \in \mathbb{R}
  3. 折扣因子 $\gamma$未来奖励的衰减率，越长远的事情越打折扣。
    γ∈[0,1)\gamma \in [0, 1)
  4. 期望最大化在所有策略里选一个能让长期总回报最大的，这就是学习目标。
    π∗=arg⁡max⁡πJ(π)\pi^{*} = \arg\max_{\pi} J(\pi)

AI 应用场景

仓储物流智能分拣

阶段：模型微调与端到端部署

解决的问题：传统分拣机器人针对单一 SKU 写死程序，换一款商品就要停机重写规则；RT-2 让操作员直接用自然语言下达指令，机器人融合视觉与语义完成抓取和放置。

具体案例：某物流中心的分拣台上随机出现苹果、杯子、毛巾等物品，工人对着机械臂说“把红色杯子放到 3 号箱”，RT-2 端到端输出抓取与放置的动作 Token，机械臂随即完成任务。遇到没见过的物品组合，也能借助互联网知识推理出大致操作。

家庭服务与助老助残

阶段：视觉语言模型预训练 + 真实环境数据闭环

解决的问题：家庭场景中物品千变万化，无法预先枚举；老人一句“把水杯递给我”包含物体识别、目标定位、抓取规划和人际交互等多重理解，传统规则方法完全应付不来。

具体案例：在养老助残场景中，机器人通过 RT-2 理解“水杯”“递”“我”三个语义要素，先定位桌面上的水杯，再规划一条安全的递送轨迹，最终把杯子送到老人手边。即使用户发音略带口音或换了说法，模型也能依靠语义泛化勉强兜底。

科研仿真与快速原型验证

阶段：预训练 + 共同微调的模型生产链路

解决的问题：真实机器人数据稀缺且采集昂贵，仿真数据又存在 sim-to-real 差距。RT-2 的“互联网预训练 + 少量真机微调”范式，为研究团队提供了一条低成本验证思路。

具体案例：高校实验室先在公开的 VLM 权重上接入动作 Token 词表，用数千条自制机器人演示做 Co-Fine-tuning，再用 Gazebo 仿真器验证模型基本能力，最后迁移到单臂真实机器人上复现抓取实验，大幅缩短从想法到实物验证的周期。

Python 演示

python45 行
import numpy as np # 词向量：手工构造的迷你语义空间（模拟VLM学到的知识）word_vec = {    "苹果": np.array([1.0, 0.5, 0.0]),    "杯子": np.array([0.5, 1.0, 0.0]),    "毛巾": np.array([0.0, 0.5, 1.0]),    "盘子": np.array([1.0, 0.0, 0.0]),    "托盘": np.array([0.7, 0.7, 0.0]),    "抽屉": np.array([0.0, 0.2, 0.9]),} def compose(instruction):    v = np.zeros(3)    for w, vec in word_vec.items():        if w in instruction:            v += vec    return v # RT-1：死记硬背的学徒rt1_memory = {    "把苹果放到盘子上": "抓苹果 -> 放盘子",    "把杯子放到托盘上": "抓杯子 -> 放托盘",} def rt1(instruction):    return rt1_memory.get(instruction) # RT-2：用语义理解泛化的主厨def rt2(instruction):    objects = ["苹果", "杯子", "毛巾"]    containers = ["盘子", "托盘", "抽屉"]    obj = next((o for o in objects if o in instruction), None)    inst_vec = compose(instruction)    loc = max(containers, key=lambda c: word_vec[c].dot(inst_vec))    if obj is None:        return None    return "抓" + obj + " -> 放" + loc cmds = ["把苹果放到盘子上", "把杯子放到托盘上", "把毛巾放到抽屉里"]print("指令                    RT-1                 RT-2")for cmd in cmds:    r1 = rt1(cmd) or "未学过无法执行"    r2 = rt2(cmd) or "无法解析"    print("%-20s  %-18s  %s" % (cmd, r1, r2))
目的：用一组手工构造的词向量模拟 RT-1（查表记忆）与 RT-2（语义泛化）在“指令→动作”任务上的表现差异，让读者直观感受“死记硬背”和“理解语义”的本质区别。
  1. word_vec = { ... }用向量表示每个词的“语义”，模拟 VLM 从互联网学到的知识。
  2. compose(instruction)把指令中出现的词向量叠加成整个句子的语义向量。
  3. rt1_memory = { ... }RT-1 只背了固定菜谱，类似训练数据里的指令-动作对。
  4. return rt1_memory.get(instruction)查表：查到就执行，查不到就返回 None（无法执行）。
  5. loc = max(containers, key=lambda c: word_vec[c].dot(inst_vec))RT-2 用向量点积找到与整句语义最匹配的容器，实现“没学过也能做”。

常见误区

误区以为 RT-2 就是把 RT-1 拿更多机器人数据喂大，本质还是同一个模型。

正解RT-2 不是简单的数据堆砌，而是把整个预训练视觉语言模型当作大脑，再把动作序列写成文本 Token，用共同微调把“世界知识”迁移到机器人控制上。这就好比学徒多背几遍菜谱仍然是学徒，主厨则是先把上千道菜的食材和火候规律融会贯通，才能自由发挥。

为何常见：两代模型都叫 Transformer，名字相似、结构一脉相承，容易让人误以为只是“更大版本”。

误区认为 RT-2 理解了“把苹果放到盘子里”，就代表机器人已经物理上完成了任务。

正解RT-2 输出的只是离散动作 Token，还需要运动规划、逆运动学解码和低层电机控制才能真正驱动机械臂。理解语言和物理执行是两个层级的问题。好比一个学徒读得懂菜谱，不等于颠勺时不会把菜撒出去。

为何常见：“端到端”的宣传让外界误以为一个大模型吃进语言、直接吐出机械臂的电机电流。

误区看到 RT-2 对没见过的新指令表现神勇，以为它完全不需要真实机器人数据。

正解RT-2 仍然需要类似 RT-1 的机器人演示数据进行共同微调。它的泛化能力来自互联网图文预训练，但“学会输出动作”这一步仍然依赖真机演示。知识可以借力，物理执行的数据却无法凭空产生。

为何常见：VLM 把视觉-语义先验带进控制器，让人误以为是“无中生有”地会做动作。

误区以为 RT-1/RT-2 输出的 Token 直接是精确的关节角度数值。

正解动作 Token 是对连续动作的高层离散化表示，不是精准的低层电机指令。真正执行时还要把这些 Token 解码成连续位置，再交给运动规划器。这个过程存在量化误差。好比菜谱写“大火翻炒”，不是一个温度计上的精确数字，厨师得换算成自己的手感。

为何常见：把“动作”误等同于“电机控制”，忽略了从高层语义到低层执行之间的多层抽象。

误区看到 RT-2 在推广场景里六到八成成功率，就欢呼机器人全面通用化。

正解RT-2 在常见任务上表现扎实，但遇到复杂推理、全新物体组合、极端光线或动态环境时仍会失败，安全验证也远未成熟。它是研究上的里程碑，距离工厂和家庭里可靠工作还有一段距离。

为何常见：媒体和演示视频常常突出最高光的成功案例，把“研究突破”包装成了“产品成熟”。

面试题

Q1. RT-1的训练数据主要来自哪里？

单选题 · easy

  • A.互联网图文对和视频字幕
  • B.真实机器人专家的远程演示← 正确答案
  • C.游戏引擎自动生成的仿真数据
  • D.用户上传的机械臂操作视频

答案：B。RT-1 的核心数据来自操作员远程遥控真实机器人采集的约 13 万次演示。互联网图文数据是 RT-2 的主场，仿真数据可以辅助但不是 RT-1 的主要来源。好比学徒的“菜谱”只能来自老师傅手把手演示，看美食视频替代不了实操。

Q2. RT-1用什么方式学习策略？

单选题 · easy

  • A.行为克隆式的模仿学习← 正确答案
  • B.无监督的对抗生成学习
  • C.纯强化学习从零开始探索
  • D.决策树规则手工编码方案

答案：A。RT-1 采用行为克隆（行为克隆/模仿学习），直接学习在给定画面和指令时模仿人类演示动作。它没有用强化学习从零探索，也不需要对抗生成。这就像学徒照着师父的操作一步步临摹，而不是自己瞎试。

Q3. RT-2将机器人动作表示成什么，以便用语言模型输出？

单选题 · hard

  • A.连续的目标关节角度向量
  • B.一组离散数字组成的文本token← 正确答案
  • C.机械臂末端的雅可比矩阵
  • D.二维像素坐标的卷积特征

答案：B。RT-2 把连续动作离散成若干 bin，再把数字写成文本 Token，让 VLM 像续写句子一样生成动作。它输出的不是连续向量，也不是雅可比矩阵。就像把“少放盐”翻译成“放 2 克盐”这种可书写的精确指令。

Q4. RT-1中语言指令通过哪个模块注入Transformer？

单选题 · mid

  • A.FiLM特征线性调制注入← 正确答案
  • B.残差跳跃连接防梯度消失
  • C.卷积核共享参数机制减小开销
  • D.循环门控单元更新隐藏状态

答案：A。RT-1 用 FiLM（特征线性调制）把文本条件注入每一层 Transformer，让视觉特征按指令缩放和偏移。残差连接是通用的训练技巧，不是条件注入方案。这相当于在每张菜谱卡片上额外盖一个“按此口味调整”的印章。

Q5. 下面哪些是RT-2能产生泛化的原因？

多选题 · mid

  • A.参数量高达数十亿具有更强容量← 正确答案
  • B.预训练吸收了海量图文知识← 正确答案
  • C.动作被当作文本与语言共同建模← 正确答案
  • D.机械臂关节安装了新型传感器

答案：ABC。RT-2 的泛化来自大参数容量、海量图文预训练、动作文本化与语言共同建模这三者的结合。更换机械臂传感器是硬件层面的改动，和模型泛化能力没有直接关系。主厨会做新菜靠的是见识多、知识通，不是换了一口锅。

Q6. “Co-Fine-tuning”在RT-2训练中的准确含义是？

单选题 · extreme

  • A.冻结VLM再单独训练动作头
  • B.图文与机器人动作数据联合微调← 正确答案
  • C.只优化图像编码器参数
  • D.在仿真器和真机之间交替训练

答案：B。Co-Fine-tuning 是把视觉语言模型的图文数据和机器人动作数据混合在同一个批次里继续微调，让模型同时保留语言知识和动作能力。它不是冻结主干，也不是只动图像编码器。就像主厨带着旧知识去新厨房实习，做饭和认食材两不误。

Q7. RT-1输出的动作Token属于什么粒度？

单选题 · mid

  • A.低层PWM电机脉冲信号
  • B.高层离散动作表示← 正确答案
  • C.原始力反馈力矩数值
  • D.关节电流环参考给定值

答案：B。RT-1 输出的 Token 是高层的离散动作表示，例如机械臂末端的目标位置和夹爪开关状态，而不是底层 PWM、力矩或电流环信号。低层控制由运动规划器和驱动器完成。这就像菜谱写“拿起锅”，而不是写“手指保持 3.7N 握力”。

Q8. RT-1与RT-2相比，下列说法正确的是？

多选题 · hard

  • A.RT-1更依赖机器人演示数据← 正确答案
  • B.RT-2能借助互联网图文先验← 正确答案
  • C.RT-2对未见物体表现更强← 正确答案
  • D.RT-1完全不能处理新指令

答案：ABC。RT-2 通过预训练获得互联网图文先验，在未见过物体和场景上泛化能力更强；RT-1 则更依赖机器人演示数据。D 过于绝对，RT-1 对部分相似新指令也有一定泛化，只是远不如 RT-2。学徒也会尝试把差不多形状的东西放进纸箱，只是成功率低。

Q9. 机器人Transformer中“Token”最合适的理解是？

单选题 · easy

  • A.将图像语言动作统一为离散单元← 正确答案
  • B.存放在内存里的哈希表键值对
  • C.机器人电池电量的计算单位
  • D.摄像头光圈调节的指令码

答案：A。在机器人 Transformer 里，Token 是把图像、语言、动作都离散成模型可以处理的基本单元。它不是哈希表、电量单位或光圈指令。可以类比成乐高积木：不管图片、单词还是动作，都拆成一粒粒标准积木，模型才能统一拼装。

Q10. 下列哪些是RT-2当前实际的局限？

多选题 · mid

  • A.大规模机器人数据收集成本高← 正确答案
  • B.离散动作存在量化误差问题← 正确答案
  • C.复杂任务成功率仍然不够高← 正确答案
  • D.完全不需要语言模型预训练

答案：ABC。RT-2 依然依赖真实机器人演示数据做共同微调，数据采集成本高；离散化动作 Token 带来量化误差；在复杂任务上的成功率也远未达到“通用”水平。D 与事实相反，预训练 VLM 正是 RT-2 泛化能力的重要来源。主厨再厉害，也怕食材贵、火候粗、翻车率高。