SayCan与PaLM-E：大语言模型驱动机器人行动

可视化演示

通过SayCan概率分解、技能库可行性评分和PaLM-E多模态融合三个模式，展示大语言模型驱动机器人行动规划的核心架构。

背景与挑战

后厨新来的实习生能听懂“切菜”“端盘”这类明确指令，但客人一句“想吃热的”就会让它愣在原地。自然语言天然带着省略和模糊，机器人却习惯精确的数值指令。想让机器人真正干活，就要把“听懂话”和“做成事”连起来。

传统机器人依赖工程师逐条写规则，就像把每道菜的做法编成厚厚一本手册，遇到没见过的客人说法就失效。具身智能（embodied AI）强调机器人在真实物理世界里通过身体感知环境并行动。大语言模型（简称 LLM）带来语言理解和常识推理，但缺少手和眼；机器人有传感器和执行器，却缺少语言能力，两者之间存在一道鸿沟。

所以后厨需要一位会说人话的领班，也需要一位懂食材的厨师长。SayCan 和 PaLM-E 正是两种搭建这座沟通桥梁的思路。

SayCan框架

SayCan 的架构就像一个分工明确的餐厅：领班负责把客人的模糊需求转成候选菜，厨师长负责确认这些菜现在能不能做。SayCan 由语言模型和技能库协同工作。

语言模型根据指令 r 列出下一步可能动作；技能库则提供机器人真正能执行的原子动作，比如“抓取”“移动”“放置”。原子动作是不能再拆成更小步骤的基本操作，像菜谱里的“切段”“焯水”一样清晰。

SayCan 不会一次生成整条长计划，而是循环地执行：观察当前状态 s，对每个候选技能打一个分，选最高分执行，然后再次观察。这样的闭环让机器人能应对执行中的意外。就像领班隔着传菜口和厨师长不断确认：下一步做什么？能做到吗？直到整桌菜全部上齐。

概率分解

客人说“想吃辣但又不要太油”，厨师长表示只有微辣锅底、油量偏多的菜。领班不会点全辣，也不会硬点一道厨师不会做的菜，而是把两个条件叠在一起。SayCan 的判断依据正是概率分解。

对当前状态 s 中的候选动作 a，以及用户指令 r，系统计算一个综合得分，表示这个动作有多值得执行：

含义很直观：第一项让动作贴合指令，第二项让动作贴合现实。若某一项很低，乘积会被压低，这比“先按喜好排序再做可行性检查”更尊重现实。领班给出的每一道候选菜，都要让“客人想吃”和“厨师能做”同时成立——乘法给出了两个角色的平等否决权。

技能库设计

厨师长不能凭空变出菜，后厨有本拿手菜本，每道菜写清楚食材和做法。机器人的能力边界也来自一本技能库。技能库是预定义的原子动作集合，例如“抓取杯子”“移动到桌子”“放置到抽屉”。

每个技能带有前置条件和效果描述，像菜谱里的“需要鸡胸肉”“需要中火”。在真实系统里，技能要与感知绑定：“抓取杯子”需要视觉定位杯柄并判断夹爪是否合拢；“倒水”需要确认杯口朝上。技能描述越接近可验证的物理状态，可行性概率的估计就越准。

技能库里没有的动作，语言模型再聪明也选不出来。拿手菜本决定了餐厅上限，技能库决定了机器人能力边界，语言模型只在这条边界内做选择。

PaLM-E架构

PaLM-E 更像全能厨师长：他不用领班传话，自己一边看锅里颜色，一边听客人要求，一边翻动锅铲。所有信息在进入大脑时已经融为一体。

PaLM-E 是一种多模态大模型，输入图像和文本，输出文本或动作标记。关键在于，图像不是被转成一句描述再给语言模型，而是被切块编码成视觉标记。这些视觉标记与文本指令标记拼接成同一个序列，送进同一个 Transformer，由模型自回归地逐标记预测后续内容。

当模型输出“拿起”时，它已经看过桌子上的杯子和指令文本。因为视觉和语言在每一层注意力中交互，它能回答“杯子在桌上吗”这类需要看图的问题。全能厨师长的眼、耳、手虽然各司其职，但从感知到决策都在同一个大脑里完成，减少了传话损耗。

多模态训练

全能厨师长不是天生的，他小时候既啃菜谱，也在灶台边看火候、尝咸淡，最后把书本知识变成身体记忆。PaLM-E 的训练也类似：先用互联网上的图文数据获得语言和视觉基础能力，再用真实机器人操作数据做微调。

两类数据都变成 token 序列，在同一个模型里更新参数。训练目标是让模型学会自回归预测下一个标记：

通过这样的目标，图像标记和文本标记不再是两种孤立特征，而是在网络深处形成联合表征。机器人遇到没有见过的桌面布局时，也能借助互联网图文知识泛化。就像厨师长把菜谱里的抽象描述和灶台上的生熟状态一起内化，同一套经验既服务语言，也服务动作。

应用与评测

新菜推出前要试菜。Google 把 SayCan 和 PaLM-E 放进真实厨房，让它们在看得见摸得着的餐桌上接受考验。典型任务包括“把薯片放进抽屉”“把苹果放到桌布上”，机器人需要连续完成移动、抓取、插入等动作，中途还可能遇到物体被挪动。

SayCan 在真实厨房中的成功率高，PaLM-E 则对未见物体展现出一定的泛化能力。评测不只关心最终成功，还记录平均步数、人工干预次数和模型给出的中间文本。比如机器人会输出“我拿起了红色杯子”，让人类理解它正在做什么，增加了安全感和可调试性。

试菜结果说明：领班加厨师长的组合能应对点菜变化，全能厨师长连摆盘都能自己看着办。两种方案各有千秋，共同证实了语言驱动机器人的可行性。

局限与展望

再强的后厨也有短板：菜单外的菜、半夜食材告急、顾客过敏禁忌，都需要人兜底。SayCan 需要预先整理技能库，新动作不能即学即用；PaLM-E 参数量巨大，推理成本高，部署在边缘机器人上很吃力。

安全与可解释性也远未成熟，一个错误的视觉标记可能引发错误动作。未来方向包括：利用世界模型模拟环境减少真实数据需求；用强化学习自动生成新技能；加入人类反馈闭环及时纠错；多机器人共享感知并协作完成大任务。

今天的每个尝试，都在把“机器人米其林餐厅”的菜单越写越厚。语言驱动机器人会一步步从研究走向厨房、仓库和工厂。

AI 应用场景

Python 演示

# 简化版SayCan规划器: 语言概率 * 可行性概率class Skill:    def __init__(self, name, lm_prob, afford_prob):        self.name = name        self.lm_prob = lm_prob        self.afford_prob = afford_prob  class SayCanPlanner:    def __init__(self, skills):        self.skills = skills     def score(self, skill):        return skill.lm_prob * skill.afford_prob     def plan(self):        ranked = sorted(self.skills, key=self.score, reverse=True)        return ranked  if __name__ == "__main__":    skills = [        Skill("拿起杯子", 0.85, 0.95),        Skill("倒水", 0.70, 0.60),        Skill("打开抽屉", 0.30, 0.98),        Skill("关灯", 0.10, 0.20),    ]    planner = SayCanPlanner(skills)    result = planner.plan()    for i, skill in enumerate(result):        s = planner.score(skill)        print(f"Top{i + 1}: {skill.name}, 综合得分 = {s:.2f}")

1. def score(self, skill):定义综合评分函数，对应概率分解中的乘法。
2. return skill.lm_prob * skill.afford_prob语言概率和可行性概率相乘，是 SayCan 的核心。
3. ranked = sorted(self.skills, key=self.score, reverse=True)按总分从高到低排序，领班根据得分排候选菜。
4. Skill("拿起杯子", 0.85, 0.95)创建技能实例，两个概率分别模拟语言模型和可行性的判断。
5. print(f"Top{i + 1}: {skill.name}, 综合得分 = {s:.2f}")输出规划结果，展示最高分动作。

常见误区

面试题