机器人的学艺之路：从RT-1到RT-X

可视化演示

展示RT-1的图像→ViT→Transformer→动作token流水线、RT-2的VLM协同微调与推理链(see→think→do)、RT-X的跨机体泛化（3机器人→共享模型→3泛化输出）。

机器人学艺起步：从提线木偶到学徒

想象你是一位老字号餐馆的大厨，想把手艺传给徒弟。传统做法是把每道菜的每个步骤写成精确的指令卡：“左手握锅柄，顺时针转30度，持续20秒【,】翻锅时手腕上挑45度。”机器人工程师过去就是这样对待机器人的：逐条编写规则，机器人像提线木偶一样，只会执行写好的剧本。而RT-1带来的新思路是：让徒弟站在旁边看你做十遍菜，他自己总结规律——这就是模仿学习。

在机器人学里，这种“看示范学动作”的方法叫行为克隆。机器人不再被逐条编程，而是观察海量“状态-动作”对，自己学习映射关系。当这个框架加入了语言指令后，就升级为VLA（视觉-语言-动作）模型——机器人同时理解“看到什么”和“听到什么”，再决定“做什么”。RT-1正是VLA的经典代表。

行为克隆的目标是学到一个策略 \(\pi_\theta\)，在给定当前观测 \(o_t\) 和任务指令 \(l\) 时，输出动作 \(a_t\)。训练时最小化策略输出与示范动作之间的差异：

就像徒弟不需要背菜谱，而是“看多了自然就会”，RT-1从13万条示范中学会了把“看到的画面 + 听到的指令”转化为“手上的动作”。这一步，是机器人从“提线木偶”走向“学徒”的起点。

RT-1模型架构：眼耳脑手的配合

学徒学艺需要眼、耳、脑、手的配合。RT-1的“眼睛”是视觉编码器，“耳朵”是文本编码器，“大脑”是Transformer，“手”是动作头。这套架构把机器人的感知和决策整合成一个端到端的神经网络，从原始图像直接输出控制信号。

RT-1接收两类输入：机器人摄像头拍到的图像，以及自然语言指令（如“把红色杯子放到桌上”）。图像被切成小块（patch）编码成特征序列，文本被编码成指令向量，两者拼接后送入Transformer骨干网络。Transformer通过自注意力机制，让模型学会“看哪里”和“听什么”的对应关系。

RT-1最巧妙的设计是动作令牌化。机械臂动作通常是连续值（比如关节角度15.3°），难以直接分类。RT-1把每个动作维度在 \([-1,1]\) 范围内均匀切成256个桶，任何连续值都映射到最近的桶编号，把“回归问题”变成了“分类问题”：

就像徒弟切菜时不需要精确到毫米，只要“差不多这个位置”就能切好——256个桶足够覆盖所有常见动作，还让模型训练从“预测数值”变成“分类选择”，稳了一大截。RT-1输出的是8个动作步骤的令牌序列，每个动作维度都是一个256类的概率分布，取概率最大的桶作为最终指令。

RT-1训练方法：学徒的练习之道

学徒要成为好厨师，光看师傅做一次不够。RT-1的训练也一样：它看了13个机器人用17个月采集的约13万条示范数据，并且“师傅”还会故意换光线、换角度让徒弟再看一遍——这就是数据增强。

为了让模型在真实世界中更鲁棒，研究者对输入图像做了色彩扰动、随机裁剪、分辨率调整等增强操作。这相当于让学徒在晴天、阴天、厨房灯光下反复观察同一个动作。模型因此学会了忽略光线变化，专注于“把杯子放到桌上”这个核心任务。

RT-1还使用了模型蒸馏技术：先用一个更庞大、更慢的“师傅模型”对每个示范轨迹进行多步预测，生成一组“伪标签”——相当于师傅先在心里推演“先抓住杯子【,】再挪到桌边【,】最后松手”，再由“徒弟模型”直接预测最终动作。徒弟学到了师傅的推理逻辑，但响应更快、更适合机器人实时控制。RT-1的蒸馏过程混合了图像和文本指令，让模型在语言条件与视觉条件上同时对齐。

这就像大厨把多年的火候心得浓缩成几页笔记，徒弟带着笔记反复练习，最终形成肌肉记忆。RT-1的训练还采用了联合训练技巧：在不同的环境背景、不同操作员示范下共同训练，使模型不过度依赖某个特定厨房的摆设。经过了这整套“练习之道”，RT-1在见过的任务上成功率高达97%，但面对没见过的新任务时，成功率仍有明显下降——这也为RT-2的登场埋下了伏笔。

RT-2能力跃迁：读遍食谱的学徒

RT-1像只在本店学过的学徒，换个厨房就发怵。RT-2则是读遍天下食谱的学徒：它在互联网海量的图文数据上做过预训练，看到从未见过的新菜品，也能推理出做法。这一步被称为“能力跃迁”。

RT-2建立在视觉语言模型（VLM）之上——先在数十亿图文对上学习丰富的世界知识，再用机器人示范数据微调。预训练阶段模型从没见过机器人动作，但微调让它学会了把“视觉语言表示”映射到“动作空间”。这就像学徒先读了万卷书（互联网知识），再跟师傅练了几天实操（微调），立刻就能举一反三。

RT-2的联合训练目标同时优化视觉问答和动作预测，形式上与行为克隆一脉相承：

RT-2还有一个秘密武器——思维链（CoT）推理。面对“把香蕉放到桌上”的指令，模型会在内部先推断“我需要抓住香蕉→移动到桌子→松手”，再输出动作序列。这种内部推理让RT-2在复杂任务上表现大幅提升：对从未见过的物体，RT-1只有32%的成功率，而RT-2提升到了62%左右。如果说RT-1是“看菜做菜”，RT-2就是“一通百通”——见过番茄炒蛋的图，就能推理出番茄蛋汤的做法。

RT-X生态协作：全球学徒联盟

单个餐馆的菜谱有限，全世界餐馆联手分享菜谱会怎样？RT-X就是这样一个“全球学徒联盟”：22个机构、21种不同形态的机器人，把各自的示范数据汇总起来，训练一个通用的机器人基础模型。

RT-X项目（又称RT-1-X）的核心是Open X-Embodiment数据集。这个数据集包含了不同机械臂的关节配置、不同相机视角、不同任务类型的数据。研究者统一了数据格式和采样频率，让异构机器人的数据可以像同一种语言一样被模型理解。想象一下：多伦多实验室的机械臂和加州实验室的机械臂，虽然长得不一样，但它们学习同一个Transformer模型。

训练时，RT-X模型把文本指令和图像作为输入，输出各机器人的动作令牌。由于数据来源极其广泛，模型的泛化能力显著增强：在从未见过的新型机器人上，RT-X的成功率比各机构单独训练的模型平均提升了50%。这相当于一个学徒翻遍了全球各地学徒的笔记本，面对陌生厨具时也能淡定应对。

RT-X还验证了“数据处理比模型设计更重要”的理念：把多样化的数据组织好，让模型吃下去，比堆砌更复杂的网络结构有效得多。这就像不同菜系的火候、刀工、调味各有门道，但最基本的炒、煎、炸是相通的——分享数据，就是让每个机器人都掌握这些基本功。RT-X让整个领域迈入了“基础模型”时代，机器人不再是一个个孤立的程序，而变成了可以共享知识的学习者共同体。

模型评估基准：出师三关

学徒出师要过三关：日常家务、移动端菜、精细雕花。RT系列也有对应的考核标准——评估基准。没有统一的标准，就说不清哪个模型更“厉害”。

研究者为RT系列设计了三类任务。Everyday Tasks涵盖日常家务，如开抽屉、叠毛巾、捡拾物体、推动物体；移动操作要求机器人先导航到目标位置，再实施操作，比如把杯子从客厅端到厨房；精确操作考验精细动作，如插钉子、拧螺丝、叠衣服。每一类任务都包含多个子任务，每个子任务重复多次试验。

成功率的定义简单而严格：一次试验中，如果机器人完整完成了任务规定的目标，记1分；否则记0分。最终成功率是所有任务的加权平均：

在这样严格的考核下，RT-1在见过的任务上表现优秀，但在未见过的任务上成功率大幅下滑；RT-2凭借世界知识补上了泛化短板；RT-X则在跨机器人迁移上表现突出。正如考核标准决定学徒水准，评估基准是VLA模型“标尺”——没有它，再好的模型也说不清“好”在哪里。

局限未来展望：学无止境

学徒终究不是全能大厨：遇到全新厨具会愣住，动作还不够利索，火大了还可能烧糊菜。RT系列目前也面临三大瓶颈。

第一个瓶颈是数据瓶颈。收集机器人示范数据需要人力远程遥控，一台机器人一天只能采集几百条有效示范，成本极高。RT-X虽然汇聚了100多万条数据，但相比互联网动辄数十亿的图文数据仍是九牛一毛。如何从互联网视频中直接学习动作，是研究前沿的核心课题。

第二个瓶颈是现实部署。VLA模型推理延迟高，大模型在GPU上思考一帧画面可能需要几百毫秒，而机器人控制需要十毫秒级的响应。RT-1用蒸馏技术压缩模型，RT-2用更高效的模型架构，但实时性仍是硬伤。

第三个瓶颈是安全对齐。模型可能在未见过的情况下做出危险动作——比如把热水壶往桌沿推。目前研究者尝试将VLA与模型预测控制（MPC）结合，用物理约束兜底，但距离“可信机器人”还有漫长道路。

未来方向值得期待：更大规模的VLA预训练、从视频中学习世界模型、多模态指令跟随、跨机构数据持续开放。RT-2和RT-X是这条路上的重要里程碑，但远非终点。机器人学艺之路才走完“入门到熟练”，离“大师”还有距离——而这正是具身智能最令人兴奋的地方。

AI 应用场景

Python 演示

import torchimport torch.nn as nn  class ActionTokenizer:    """动作离散化器: 把连续动作切成 K 个桶"""     def __init__(self, num_bins=256):        self.num_bins = num_bins     def discretize(self, action):        # 归一化到 [0,1] 再映射到 [0, K-1]        action = (action + 1.0) / 2.0  # 假设动作范围 [-1,1]        action = torch.clamp(action, 0.0, 1.0)        return (action * (self.num_bins - 1)).round().long()     def recover(self, tokens):        return tokens.float() / (self.num_bins - 1) * 2.0 - 1.0  class RT1StyleModel(nn.Module):    """简化版 RT-1: 图像 + 文本 -> 动作令牌"""     def __init__(self, num_actions=7, num_bins=256,                 d_model=64, num_heads=4, num_layers=3, vocab_size=1000):        super().__init__()        self.num_actions = num_actions        self.num_bins = num_bins        self.visual_encoder = nn.Sequential(            nn.Conv2d(3, 32, kernel_size=3, stride=2),   # 32x32            nn.ReLU(),            nn.Conv2d(32, 64, kernel_size=3, stride=2),  # 16x16            nn.ReLU(),            nn.Conv2d(64, d_model, kernel_size=3, stride=2),  # 8x8            nn.ReLU(),            nn.AdaptiveAvgPool2d((4, 4))                  # 4x4        )        self.text_embed = nn.Embedding(vocab_size, d_model)        encoder_layer = nn.TransformerEncoderLayer(            d_model=d_model, nhead=num_heads, batch_first=True        )        self.transformer = nn.TransformerEncoder(            encoder_layer, num_layers=num_layers        )        self.action_head = nn.Linear(d_model, num_actions * num_bins)     def forward(self, image, text_ids):        # 图像 -> [B, d_model, 4, 4] -> [B, 16, d_model]        visual = self.visual_encoder(image)        visual = visual.flatten(2).transpose(1, 2)        # 文本 -> [B, T, d_model]        text = self.text_embed(text_ids)        # 拼接后送入 Transformer        seq = torch.cat([visual, text], dim=1)        fused = self.transformer(seq)        feat = fused[:, 0]        logits = self.action_head(feat)        return logits.view(-1, self.num_actions, self.num_bins)  def train_one_step(model, tokenizer, image, text_ids, action):    """单步训练: 真实动作转令牌后与预测令牌做交叉熵"""    action = tokenizer.discretize(action)    logits = model(image, text_ids)    loss_fn = nn.CrossEntropyLoss()    loss = loss_fn(logits.reshape(-1, tokenizer.num_bins),                   action.reshape(-1))    return loss  if __name__ == "__main__":    torch.manual_seed(42)    model = RT1StyleModel(num_actions=7, num_bins=256)    tokenizer = ActionTokenizer(num_bins=256)    optimizer = torch.optim.Adam(model.parameters(), lr=1e-3)     # 模拟一个 mini-batch: 2 张 64x64 图像, 8 个文本词元, 7 维动作    image = torch.randn(2, 3, 64, 64)    text_ids = torch.randint(0, 1000, (2, 8))    action = torch.rand(2, 7) * 2 - 1  # 动作范围 [-1, 1]     for step in range(20):        optimizer.zero_grad()        loss = train_one_step(model, tokenizer, image, text_ids, action)        loss.backward()        optimizer.step()        if step % 5 == 0:            print(f"第 {step + 1} 步, 损失: {loss.item():.4f}")

1. class ActionTokenizer:对应RT-1的核心设计：把连续动作切成256个离散桶。
2. def discretize(self, action):将 \([-1,1]\) 的连续动作归一化后四舍五入成桶编号。
3. self.visual_encoder = nn.Sequential(...)用卷积网络把图像压成特征序列，模拟RT-1的“眼睛”。
4. self.transformer = nn.TransformerEncoder(...)用Transformer融合视觉与文本信息，模拟“大脑”。
5. return logits.view(-1, self.num_actions, self.num_bins)每个动作维度一个256类的概率分布。
6. loss = nn.CrossEntropyLoss()(logits.reshape(-1, tokenizer.num_bins), action.reshape(-1))用交叉熵训练分类问题，这正是动作离散化的目的。

常见误区

面试题