Octo通用策略：一个模型控制多种机器人

可视化演示

可视化展示Octo通用策略核心机制：单模型多机器人统一架构、目标条件化任务指定、微调跨任务迁移，交互切换理解通用机器人策略原理。

核心思想：从“一对一教”到“一套口诀”

想象马戏团里来了一位传奇的“八爪教练”。它面对一群形态各异的动物学员：长颈鹿有四条长腿、海豹靠身体滑行、鹦鹉有翅膀和喙。传统教练会给每种动物单独编一套训练手势，而八爪教练的做法完全不同——它只用一套核心口诀，针对每种动物的身体特点做微调，就让所有学员都能理解指令并完成表演。Octo 在设计上就是这位八爪教练：它不是一个为特定机器人量身定制的控制器，而是一个能适配多种机器人构型的通用策略网络。

在 Octo 出现之前，机器人领域的主流做法是“一个任务一个模型”。每换一台机器人，工程师就要重新设计输入输出接口、重新采集数据、重新训练网络——哪怕任务本身一模一样。Octo 想打破这种局面：它希望一个策略网络“通吃”多种机器人的观测输入，并直接输出相应的控制动作。为此，Octo 构建了一个统一的策略表达形式：给定了机器人的观测序列和目标条件，模型直接生成动作概率分布。

$$\pi_{\theta}(a_t \mid o_{\le t}, g)$$

1. \(\pi_{\theta}\)：策略网络，θ 是网络里所有可学习的参数，相当于教练大脑里积累的教学经验。

$$\pi_{\theta}$$

2. \(a_t\):t 时刻的动作输出，比如机械臂关节的目标角度或轮子的速度指令。

$$a_t$$

3. \(o_{\le t}\):截至当前时刻的全部观测序列，包括相机图像、关节角度、力传感器等，相当于教练看到的学员实时状态。

$$o_{\le t}$$

4. \(g\):目标是任务描述，可以是“端起杯子”这样的文本，也可以是目标位置的图像，相当于教练下达的训练目标。

$$g$$

这个统一表达式本身就是通用化的起点——注意公式里没有出现任何“机器人 A 专属”或“机器人 B 专属”的符号，只要观测和动作能在同一个框架里表示，策略就天然具有跨机器人迁移的潜力。正如八爪教练的“核心口诀”不针对任何一种动物的身体，只针对“观察—决策—行动”这一通用循环。

Transformer架构：教练的中央大脑

八爪教练之所以能同时带八个学员，是因为它有一颗强大的中央大脑，能把眼睛看到的信息、耳朵听到的指令、身体感受到的触觉全部融合成统一的“想法”，再指挥八只手分别行动。Octo 的“中央大脑”就是 Transformer 架构，一种最初为自然语言处理设计的深度网络结构，后来被证明非常适合处理机器人领域的序列数据。

Octo 的前向处理可以拆成三个环节。第一，视觉编码器把机器人摄像头拍到的高维图像压缩成紧凑的特征向量；第二，Transformer 主干网络把这些特征与关节状态、任务目标拼成一条统一的 token 序列，做深层的注意力建模；第三，解码部分以自回归方式逐 token 地生成动作序列。这里的“token“可以理解为网络内部使用的一种信息单位，就像教练大脑中的一个个”念头”依次浮现。

$$\prod_{i} p(a_{t,i} \mid a_{<t,i},\ o_{\le t},\ g)$$

1. \(\prod_{i}\):对所有动作 token 的生成概率连乘。整个动作序列的总体概率等于每个 token 概率的乘积。

$$\prod_{i}$$

2. \(p(a_{t,i})\):第 i 个动作 token 的条件概率。网络每次只输出一个“动作词”，而不是直接生成整段动作。

$$p(a_{t,i})$$

3. \(a_{<t,i}\):已经生成的、位于第 i 个 token 之前的动作 token。自回归生成时，后面的 token 依赖前面的 token。

$$a_{<t,i}$$

4. \(o_{\le t},\ g\):条件部分——当前的观测序列和目标，它们为每一步动作生成提供上下文，相当于教练始终记着学员的状态和训练目标。

$$o_{\le t},\ g$$

这种逐 token 生成的设计有一个直接好处：训练和推断都对序列长度比较宽容。Octo 不像传统模型那样要求动作输出维度完全固定，而是可以动态决定动作 token 的个数，为不同自由度的机器人提供了统一的处理通道。但 Octo 还有一个特点值得一提：它拥有多种输入变体（比如不同分辨率的图像输入），这增加了模型在不同硬件条件下的适配弹性。八爪教练的大脑不是一台固定功能的机器，而是一套可以灵活调配注意力的通用思考框架。

多机器人适配：触手灵活伸向学员

八爪教练的八只触手，每一只的粗细、长短、灵活度都略有不同。但教练从不抱怨哪只触手“不好用”，而是根据每只触手的能力边界调整发力方式。Octo 在面对多机器人适配时，思路正与此类似：不同机器人的观察维度不统一——有的机器人只有 2 个关节角，有的有 7 个自由度还带夹爪；有的摄像头装在手腕上，有的装在头顶——Octo 不会要求这些机器人改造自己，而是让模型主动适配它们。

实现这种适配的技术关键在于“统一 token 空间”：Octo 先把各种机器人上报的观测数据（关节位置、图像特征等）分别经过一个轻量的投影层，映射到维度相同的统一表示中，再送入 Transformer 主干网络。这就像教练对所有学员说：“我不关心你身高体重，你们都用'点头'表示'明白'。”投影层就是这种“约定信号”的翻译器。由于主干网络只见过统一维度 token，它学到的决策逻辑就被解放了出来，不再绑定于某一种特定机器人构型。

$$\mathrm{Emb}(o^{(e)}) = W^{(e)} o^{(e)}, \quad \forall e \in \mathcal{E}$$

1. \(o^{(e)}\):第 e 种机器人的原始观测，维度可能各不相同，比如有的机器人是 7 维关节角，有的是 6 维。

$$o^{(e)}$$

2. \(W^{(e)}\):每种机器人专属的投影权重矩阵。它相当于给每种机器人配的“方言翻译器”，把各自语言的观测翻译成战略网络的通用语言。

$$W^{(e)}$$

3. \(\mathrm{Emb}(o^{(e)})\):投影后的统一 embedding 向量，所有机器人投影后维度一致。从这之后，Transformer 主干不再区分观测来自哪台机器人。

$$\mathrm{Emb}(o^{(e)})$$

4. \(\mathcal{E}\):所有机器人构型（embodiment）的集合。Octo 的适配目标是覆盖尽可能多的 e，让同一个主干服务整个集合。

$$\mathcal{E}$$

这套机制带来的效果是：模型在为机器人 A 训练时学到的“抓取”表征，也能为机器人 B 所用，因为它们在统一 token 空间里共享了语义。Octo 论文中在多种机器人上验证了这一点，证明单模型确实可以控制多种硬件。不过要强调的是，适配并不等于“零成本迁移”——新机器人接入时，仍需要一定的新数据做微调，但所需数据量远小于从零训练。就像教练第一次教会站立行走的海豹学“滑行”，比重新发明一套训练方法要快得多。

目标条件化：教练下达训练指令

八爪教练带学员时，从来不会让它们漫无目的地乱动。每一次训练，教练都会给出明确指令：“把球顶进左边的筐里。”在机器人学习中，这种“指令”被称为目标条件（goal conditioning），它让策略网络不只是学会“怎么动”，还学会“朝什么目标动”。Octo 支持两种最主要的目标条件形式：自然语言文本指令和图像目标。

自然语言指令是最直观的交互方式：“拿起红色马克杯”这句话经过一个文本编码器，变成一个语义向量，和视觉特征一起注入 Transformer 的序列中。图像目标则是给模型看一张“目标状态图”——比如一张“桌子整理好之后”的照片——让模型把现状与目标做视觉对比，自主规划动作。这两种条件可以单独使用，也可以组合，让 Octo 面对开放任务时更加灵活。

$$\pi_{\theta}(a_t \mid o_{\le t},\ g_{\text{lang}},\ g_{\text{img}})$$

1. \(g_{\text{lang}}\):语言目标。由文本编码器转成一个语义向量，告诉模型“用户想要什么”。

$$g_{\text{lang}}$$

2. \(g_{\text{img}}\):图像目标。一张目标状态的图片，经过视觉编码器后提供“目标长什么样”的信息。

$$g_{\text{img}}$$

3. \(\pi_{\theta}(a_t \mid \cdots)\):条件策略。动作生成同时受观测、文本目标和图像目标的影响。

$$\pi_{\theta}(a_t \mid o_{\le t},\ g_{\text{lang}},\ g_{\text{img}})$$

这种目标条件化机制让 Octo 具备了任务层面的泛化能力：训练时见过的任务，它可以直接执行；即便遇到未见过的类似任务，只要指令和图像目标表达得清楚，它也有一定概率零样本完成。这与传统“一个任务训一个模型”的做法形成鲜明对比——后者每次换任务都要重新标注数据和训练，而 Octo 把“任务”本身变成了模型的一个输入变量。教练的口诀不需要每次重编，只需要给出新的指令。

微调方法：快速掌握新技能

八爪教练在加入一家新马戏团时，并不会忘记以前所有的教学经验。它只是花几天时间观察新学员的特点，在原有教学体系上做局部调整，就能很快上手。Octo 的微调哲学与此完全一致：它的预训练权重是公开开放的，用户拿到手后，不需要从零开始训练，只需要在新机器人、新任务的数据上做继续训练（fine-tuning），就能让模型快速适应新场景。

微调的方法有两种常见路径。一种是在新数据集上对全模型做继续训练，更新所有参数；另一种是采用轻量化的 LoRA（低秩适配）方法，冻结预训练权重，只训练插入的小规模低秩矩阵。LoRA 的好处在于：训练参数量大幅减少，显存需求低，且每个新任务只需保存一小份“适配器”权重，不会覆盖原始模型。这就像教练在原有教案上贴几张便利贴，而不是把整本教案重写一遍。

$$\mathcal{L}_{\text{ft}} = -\mathbb{E}_{(o,a,g)\sim\mathcal{D}_{\text{new}}}\left[\log \pi_{\theta + \Delta\theta}(a \mid o,\ g)\right]$$

1. \(-\log \pi_{\theta+\Delta\theta}(a \mid o, g)\):负对数似然损失。模型给真实动作的概率越高，损失越小。

$$-\log \pi_{\theta+\Delta\theta}(a \mid o,\ g)$$

2. \(\Delta\theta\):微调引入的参数增量。全量微调时 \(\Delta\theta\) 作用于所有参数；LoRA 时 \(\Delta\theta\) 由低秩矩阵参数化，原始 \(\theta\) 被冻结。

$$\Delta\theta$$

3. \(\mathbb{E}_{(o,a,g)\sim\mathcal{D}_{\text{new}}}\):在微调数据集上取期望，相当于用大量“新学员练习视频”反复校正模型。

$$\mathbb{E}_{(o,a,g)\sim\mathcal{D}_{\text{new}}}$$

无论是全量微调还是 LoRA，Octo 都提供了足够的灵活性，让不同资源条件的团队都能把通用策略“私有化”。特别值得留意的是，Octo 团队发布的实验表明：在目标领域数据较少时，加载预训练权重做微调，效果显著优于从零训练。这种“站在前人的肩膀上”的迁移学习，是 Octo 能快速落地到新机器人的重要保障。

开源生态：开放训练营

八爪教练的经验不是凭空积累的，它年少时曾在“环球马戏学校”观摩过上千场各门各派的表演。Octo 之所以能学会通用策略，也是因为站上了一个规模空前的“全球机器人训练营”——Open X-Embodiment 数据集。这个数据集由 Google、伯克利等多所机构合作构建，汇聚了来自不同实验室、不同机构的多种机器人操作数据。

Open X-Embodiment 数据集收录的数据覆盖了多种不同的机器人硬件平台和任务类型，从简单的推方块到复杂的布料折叠。Octo 正是在这样大规模、异构的数据上完成预训练的。训练完成后，Octo 团队将模型权重和推理代码全部开源，附上详细的微调和部署文档，让任何一个实验室都能下载使用。这种开放策略极大加速了其生态的扩张，也反过来为后续模型迭代积累了更多场景数据。

$$\mathcal{D}_{\text{OpenX}} = \bigcup_{e \in \mathcal{E}} \bigcup_{k=1}^{K_e} \mathcal{D}_e^{(k)}$$

1. \(\bigcup_{e \in \mathcal{E}}\):对所有机器人构型取并集，说明数据并不是只来自单一平台。

$$\bigcup_{e \in \mathcal{E}}$$

2. \(\bigcup_{k=1}^{K_e}\):每种机器人平台下，又有多个任务子数据集，合并后得到该平台的全量数据。

$$\bigcup_{k=1}^{K_e}$$

3. \(\mathcal{D}_e^{(k)}\):第 e 种机器人上第 k 个任务的数据集。这些子集拥有不同的观测空间和动作空间。

$$\mathcal{D}_e^{(k)}$$

这个开源的“全球训练营”具有双重意义。对研究者来说，Octo 提供了一个可直接用来做跨 embodiment 研究的强大基线，而不必自己从头收集数据；对工程师来说，开源权重意味着可以把一个已经“见过世面”的通用策略下载下来，作为自己项目的起点。Octo 的架构也便于后续扩充：用户可以针对自己的机器人训练新的投影层参数，并选择加载官方预训练权重，快速搭建一套可工作的策略。一个人工智能技术的生命力，往往不仅在于模型本身，还在于围绕它形成的开放生态。

挑战与展望：通向前路的关卡

八爪教练并非全知全能。遇到从没见过的学员（比如一只章鱼）时，它也得承认自己需要补课。Octo 的通用化之路同样面临现实的挑战。最核心的瓶颈之一是数据需求——尽管 Open X-Embodiment 已经很大，但要让策略在全新的机器人构型上表现良好，仍然需要相当数量的目标域数据。跨 embodiment 学习的基本规律是：源域数据再多，也不能完全替代目标域的少量数据，因为硬件差异是实打实的。

另一个难题是“差异化处理”：不同机器人的自由度、传感器配置、动力学特性差异巨大，简单地在统一 token 空间里融合信息，可能会让模型忽略某些构型的独特需求。Octo 目前的解决方案是通过可学习的 projection 层来保留每台机器的独特性，但当一个全新的、与训练分布差异极大的 embodiment 出现时，这种适配能力仍然有限。这也解释了为什么论文反复强调“微调”的重要性——通用化不是一劳永逸，而是要在通用基础上持续做局部定制。

$$\text{Err}_{\text{new}} \approx \text{Err}_{\text{train}} + \frac{C}{\sqrt{|\mathcal{D}_{\text{new}}|}}$$

1. \(\text{Err}_{\text{train}}\):模型在预训练数据分布上的误差，代表“通用能力”的下限。

$$\text{Err}_{\text{train}}$$

2. \(\frac{C}{\sqrt{|\mathcal{D}_{\text{new}}|}}\):迁移差距项，C 是常数，\(\mathcal{D}_{\text{new}}\) 是新机器人的微调数据量。新数据越少，这笔“额外学费”越高。

$$\frac{C}{\sqrt{|\mathcal{D}_{\text{new}}|}}$$

尽管存在这些挑战，Octo 所代表的“通用策略”方向依然是具身智能发展的必然趋势。单个机器人、单个任务的“手工作坊”模式，无法支撑起机器人走进千家万户的终极图景。Octo 已经证明了“一个模型控制多种机器人”在技术上是可行的，剩下的问题更多在于数据规模、硬件标准化和生态建设。八爪教练还在路上——它的触手已经伸向多种机器，而我们期待它未来能覆盖更多形态、更多场景，真正成为机器人领域的“通用教练”。

AI 应用场景

Python 演示

import torchimport torch.nn as nnimport torch.nn.functional as F class PatchEmbed(nn.Module):    """把单台机器人的原始观测投影到统一token空间"""    def __init__(self, in_dim, token_dim):        super().__init__()        self.proj = nn.Linear(in_dim, token_dim)     def forward(self, obs):        return self.proj(obs)  class UnifiedOctoPolicy(nn.Module):    """一个策略网络处理多种机器人：Octo 教学简化版"""     def __init__(self, in_dims, token_dim=64, n_head=4, n_layer=2):        super().__init__()        # 为每种机器人单独准备一个投影层        self.embeds = nn.ModuleList([            PatchEmbed(dim, token_dim) for dim in in_dims        ])        self.goal_proj = nn.Linear(token_dim, token_dim)        self.pos_emb = nn.Parameter(torch.randn(1, 10, token_dim) * 0.02)        decoder_layer = nn.TransformerDecoderLayer(            d_model=token_dim, nhead=n_head, batch_first=True        )        self.decoder = nn.TransformerDecoder(decoder_layer, num_layers=n_layer)        self.action_head = nn.Linear(token_dim, token_dim)     def forward(self, obs_list, goal_emb, action_seq):        tokens = []        # 1. 每台机器人的观测走自己的投影层，对齐到同一维度        for embed, obs in zip(self.embeds, obs_list):            tokens.append(embed(obs))        obs_tokens = torch.cat(tokens, dim=1)        obs_tokens = obs_tokens + self.pos_emb[:, :obs_tokens.size(1), :]        goal_token = self.goal_proj(goal_emb).unsqueeze(1)        memory = torch.cat([goal_token, obs_tokens], dim=1)         # 2. 自回归解码：逐个预测动作token        logits = []        for i in range(action_seq.size(1)):            tgt = action_seq[:, :i + 1, :]            out = self.decoder(tgt, memory)            logits.append(self.action_head(out[:, -1, :]))        logits = torch.stack(logits, dim=1)        return F.log_softmax(logits, dim=-1)  if __name__ == "__main__":    torch.manual_seed(0)    # 两台不同的机器人：一个7维观测，一个12维观测    model = UnifiedOctoPolicy(in_dims=[7, 12])    batch = 2    obs_a = torch.randn(batch, 3, 7)    obs_b = torch.randn(batch, 4, 12)    goal = torch.randn(batch, 64)    action_seq = torch.randn(batch, 5, 64)    pred = model([obs_a, obs_b], goal, action_seq)    print("预测动作token logits:", pred.shape)

1. self.embeds = nn.ModuleList([PatchEmbed(dim, token_dim) for dim in in_dims])为每种机器人各配一个投影层，负责把不同维度的观测翻译成统一长度 token。
2. tokens.append(embed(obs))循环处理每台机器人的观测，映射后的 token 维度全部相同，这是“跨 embodiment”的关键。
3. memory = torch.cat([goal_token, obs_tokens], dim=1)把目标 token 和所有机器人的观测 token 拼接，让解码器能看到完整的“当前状态 + 任务目标”。
4. for i in range(action_seq.size(1))逐 token 循环解码，模型每次只预测下一个动作 token，体现了自回归生成的核心思想。
5. out = self.decoder(tgt, memory)Transformer 解码器层把观测记忆（memory）融入解码过程，相当于教练在出招前先观察学员状态。
6. F.log_softmax(logits, dim=-1)输出动作 token 的概率分布，训练时用交叉熵损失让正确动作概率最大。

常见误区

面试题