Pi0通用策略：机器人学习的统一框架

可视化演示

背景与需求：为什么需要通用策略

工坊老板的烦恼很现实：以前的订单无非下货、搬运、打包，招几个专精师傅就够了。可如今客户今天要拧圆形螺丝，明天要擦曲面玻璃，后天还要给花盆换土。要是每接一种新活儿就招一个专职师傅，工坊早就入不敷出了——培训费、场地费、管理费全都水涨船高，而且师傅之间还不能互相顶上。

机器人开发者也面临同样的窘境。传统做法是为每个任务训练一个专用策略：拿起杯子一个模型，倒水一个模型，叠毛巾再一个模型。每个模型都要单独采集示教数据、单独调参、单独验证，“任务碎片化”让研发成本像滚雪球一样膨胀。更麻烦的是，这些专用策略彼此之间几乎不共享任何能力，换个任务就得从零开始。

Pi0瞄准的正是这个痛点：它希望用一套统一的策略框架，覆盖尽可能多的机器人操作任务。这套框架不针对某一具体动作硬编码，而是从大量不同任务的示教数据中提炼共性规律，从而在遇到新任务时能快速迁移。换句话说，它把“为每个任务招一个师傅”变成了“培养一个全能学徒”。这种从专用到通用的转变，是机器人学习走向实用化的关键一步。

用成本公式可以更直观地看到差距。设单个专用策略的训练成本为 \(C_s\)，任务总数为 \(T\)，通用策略的一次预训练成本为 \(C_0\)，每个任务的微调成本为 \(\epsilon\)，则有：

当工坊的订单越来越多时，全能学徒的价值才真正体现出来：前期投入虽然不小，但每接一个新订单只需要让他看几遍示范，而不用重新养一个师傅。Pi0的设计哲学正是如此——用可控的预训练成本，换取任务规模扩大时的边际成本骤降。

架构设计：学徒的眼、耳、手

小Pi为什么能“样样通”？秘密在于他比普通学徒多了一套“眼-耳-手”协同系统。眼睛负责看清环境，耳朵负责听懂师傅的指令，手负责把想法变成实际动作。关键是这三者不是各干各的，而是由一个统一的大脑指挥。如果眼睛看了、耳朵听了，手却不知道该怎么做，那一切都是白搭。

对应到Pi0，这就是VLA（Vision-Language-Action）架构。视觉编码器（Vision）把相机拍摄的图像变成特征向量，让模型“看见”桌面上有什么；语言模型（Language）把“把红色杯子放到托盘里”这类文字指令变成条件向量，让模型“听懂”要干什么；动作专家模块（Action）负责把融合后的信息映射成具体的机器人动作指令。

在实现上，Pi0以大规模预训练的视觉-语言模型为基础骨干，再接一个轻量的动作输出头。每个时刻，模型接收三类输入：图像观测 \(v_t\)、语言指令 \(l_t\)、机器人本体状态 \(h_t\)，直接输出动作 \(a_t\)。由于整个网络是端到端联合训练的，视觉、语言、动作三部分共享同一个表征空间，而不是简单拼接。

小Pi之所以换了活儿也能干，正是因为眼耳手在统一大脑中形成的是“通用表征”，而不是某个单一动作的肌肉记忆。这种端到端统一的架构，让他在面对新场景时能灵活地组合已有技能。

数据构建：老师傅的示范手册

全能学徒的“心法秘籍”从哪来？老师傅们把自己最拿手的活计演给他看，边做边告诉他要点：“先扶稳瓶子，再对准杯口慢慢倒。”示范看得越多，小Pi总结出的规律就越靠谱。如果只让他看一种活儿，他很快就会形成偏见，以为所有活都长这样。

Pi0的训练数据正是这样“演出来”的示教数据。团队在多种机器人平台上一遍遍执行任务，记录下完整的操作轨迹，包括相机图像、关节角度、末端位置等信息。每条轨迹还会配上文字指令，比如“拿起红色杯子放到托盘”。这些“轨迹+指令”构成一条条训练样本，让模型既知道该做什么动作，也知道该在什么情境下做。

数据构建最关键的一点是“跨本体”。如果只在一种机器人上采集数据，模型会悄悄记住那台机器人的体型、关节数和相机视角，换一台机器人就水土不服。跨本体采集能逼迫模型去学习“拿起杯子”这个抽象的意图，而不是某台机器人的特定动作模式。与此同时，数据规模也很重要：数据越多、任务覆盖越广，通用策略的泛化基础就越扎实。

小Pi见过的示范种类越多，越能从中找到“取物”“移动”“放下”这些通用子技能的规律。数据多样性的价值，就藏在这本越来越厚的学徒手册里——每一页示范，都在为通用策略的“见识”添砖加瓦。

两阶段训练：先学基本功，再上岗特训

工坊培养小Pi分两步走：先让他在综合班里跟不同师傅接触各类基本功，扫地、搬货、端水都练一练；等他有了底子，再把他派到具体工位上跟着某个老师傅做针对性特训。如果一开始就只练一个工位，他学到的全是皮毛，换个工位就露馅。

Pi0的训练同样分为两个阶段。第一阶段是跨任务预训练：在包含多种任务、多种机器人形态的大规模数据集上训练模型，让它学到通用的视觉-语言-动作表征。这个阶段对应“综合班”，目标不是让某个任务做到最好，而是让模型积累足够的“手感”。第二阶段是目标任务微调：在特定机器人和特定任务的少量数据上继续训练，让模型快速适应当前的工位要求。这个阶段对应“特训”，把通用能力快速转化为专项能力。

两阶段训练的核心技术是模仿学习，也叫行为克隆。模型被要求模仿示教轨迹中的动作，通过不断缩小预测动作与真实示教动作之间的误差来学习。这种范式不需要复杂的环境奖励设计，只需“照着做”，非常契合机器人操作任务。

这和小Pi从“综合班”到“工位特训”的路径如出一辙：先广后精，先通用后专用。注意两阶段的顺序不能颠倒——没有通用基本功就直接特训，模型只会死记硬背当前任务的样本，换个场景立即失灵。

动作生成：Flow Matching的逐步逼近

小Pi做动作时从来不是一步到位的。他先比划一个大方向，然后一点点修正：手偏左了就往右挪一点，抬高了就压低一点，最终动作既自然又流畅。这就像学书法，先描出轮廓，再逐笔精修，而不是一笔就把整个字写完。

Pi0生成动作时也采用了类似的“逐步细化”策略，这一机制叫Flow Matching。与一些模型直接输出完整动作序列不同，Flow Matching从一个随机的初始状态出发，通过神经网络预测的“速度场”引导，在多步迭代中逐步逼近目标动作。每一步只做微小修正，但累积起来就能形成一条平滑、自然的动作轨迹。

这个速度场是Flow Matching的核心。训练时，模型学习从初始噪声状态匀速“流向”示教动作的直线路径；推理时，给定一个初始状态，模型沿着自己预测的速度场一步步前进，每前进一步都更接近目标动作。由于动作是逐步生成的，最终轨迹比一步到位的方式更平滑，也更能避免剧烈抖动。

你看小Pi写字，一开始歪歪扭扭，但他“心里有个速度场”，每一笔都知道该往哪个方向修正，越写越像样。Flow Matching给机器人的动作生成带来的正是这种“越修越准”的能力，让机械臂的动作告别僵硬和颤抖。

跨本体部署：换工具也能干

工坊里的工具五花八门：镊子、吸盘、仿人手。小Pi在镊子工位学会了夹小球，换到吸盘工位吸积木，再换到仿人手工位捏海绵，都能很快上手。因为他学的是“把东西拿起来”这个抽象技能，而不是某个工具的具体动作。工具变了，但目标没有变。

机器人世界的“本体差异”比换工具更复杂。不同机器人有不同关节数、不同相机视角、不同夹爪形状，甚至机械臂的安装方式都可能不同。如果策略完全依赖训练时见过的形态特征，遇到一台没见过的新机器人就会失灵。Pi0的解决思路是把本体状态 \(h_t\) 与视觉、语言一起作为条件输入，让策略学习的是“当前身体状态下如何完成任务”，而不是绑定某一种固定形态。

不过“通用”不等于“万能”。如果目标机器人与训练形态差异极大——比如关节数完全不同导致动作空间维度不匹配——直接加载权重会因为输出维度对不上而失败。此时通常有两种做法：一是只替换并重训动作输出头，二是用少量目标机器人数据做一次轻量微调。因此，跨本体部署的正确理解是：大幅降低迁移成本，而不是完全消除迁移成本。

小Pi也不是天生就会用任何工具，他需要短暂熟悉一下新工具的“手感”。但比起每个工具都从零学起，他的适应速度已经快得惊人。跨本体部署的意义正在于此：让机器人在新形态上“快速上手”，而不是“重新投胎”。

性能评估：考核通用学徒

工坊要验收小Pi了。考核分三类：练过的老活儿、没见过的新活儿、换工具的老活儿。老板还拿他跟每位专职师傅比成功率——毕竟如果连老活儿都干不好，再“通用”也没有说服力。

学术界和工业界评估Pi0的方式也类似。研究者使用标准基准套件（如Libero等多任务机器人操作基准）来测试通用策略：在训练中出现过的任务上测试“微调后成功率”，看它能不能达到专用策略的水平；在训练中未出现过的任务上测试“零样本成功率”，看它能否凭通用技能直接上手。第三种测试是跨本体评估：把训练好的策略部署到不同机器人上，观察性能下降幅度。

评估时最核心的指标是任务成功率。说白了就是：给定一批任务，让策略去执行，数一数有多少次从头到尾没有出错地完成了任务。这个数字既反映了策略的精细控制能力，也反映了它对环境变化的鲁棒性。

考核结果让老板很满意：小Pi在老活儿上不比专职师傅差，新活儿还能无师自通个七八分。这正是通用策略的价值所在——用一次学习，换取更广的适用面，用可接受的精度损失，换取研发成本的指数级下降。

AI 应用场景

Python 演示

import numpy as np def sample_demo(rng):    """生成一条模拟示教轨迹: 从随机起点向随机目标逐渐靠近"""    start = rng.uniform([-2, -2], [2, 2])    goal = rng.uniform([-2, -2], [2, 2])    state = start.copy()    path = [state.copy()]    for _ in range(20):        state = state + 0.1 * (goal - state) + rng.normal(0, 0.01, 2)        path.append(state.copy())    return np.array(path), goal def build_dataset(n=200, seed=42):    """构建示教数据集: 观测为当前位置+目标, 动作为下一步位移"""    rng = np.random.default_rng(seed)    X, Y = [], []    for _ in range(n):        path, goal = sample_demo(rng)        for i in range(len(path) - 1):            obs = np.concatenate([path[i], goal])            action = path[i + 1] - path[i]            X.append(obs)            Y.append(action)    return np.array(X), np.array(Y) def train_policy(X, Y):    """行为克隆: 用最小二乘拟合 观测->动作 的线性策略"""    X = np.column_stack([X, np.ones(len(X))])    W, *_ = np.linalg.lstsq(X, Y, rcond=None)    return W def rollout(W, start, goal, steps=40):    """执行学到的策略, 测试泛化到新目标"""    state = start.copy()    path = [state.copy()]    for _ in range(steps):        obs = np.concatenate([state, goal])        action = np.concatenate([obs, [1]]) @ W        state = state + action        path.append(state.copy())    return np.array(path) X, Y = build_dataset(200, seed=42)W = train_policy(X, Y)start = np.array([1.5, -1.6])goal = np.array([-1.2, 1.8])path = rollout(W, start, goal)print("训练样本数:", len(X))print("学到的权重形状:", W.shape)print("终点:", path[-1])print("目标:", goal)print("终点误差:", np.linalg.norm(path[-1] - goal))

1. state = state + 0.1 * (goal - state) + rng.normal(0, 0.01, 2)模拟示教者把机械臂末端往目标方向缓慢推动，并加一点点噪声让数据更真实
2. obs = np.concatenate([path[i], goal])把当前位置和目标位置拼成一个观测向量，策略需要知道“我在哪、要去哪”才能决定动作
3. W, *_ = np.linalg.lstsq(X, Y, rcond=None)用最小二乘法从大量“观测-动作”样本中反推出策略参数，这就是行为克隆的核心一步
4. action = np.concatenate([obs, [1]]) @ W在从未见过的新起点、新目标上，用同一套学到的权重直接算出动作，体现泛化能力
5. print("终点误差:", np.linalg.norm(path[-1] - goal))打印最终位置与目标的距离，验证策略是否真的学到了“趋向目标”这个通用规律

常见误区

面试题