SayCan具身规划：Agent范式从语言到行动的演进

可视化演示

展示系统处理流水线、实时性能指标曲线及多方案对比分析，包含数据流转、吞吐延迟监控与方案评估。

范式演进背景

后厨的故事要从“只会看菜谱的厨师”说起。早期的 AI Agent 就像一位从没下过灶的学徒：他能把《红楼梦》里的菜品背得滚瓜烂熟，也能根据你的口味推荐菜——但他不碰刀、不碰锅，更不知道食材下锅后会发生什么。这类“语言 Agent”擅长对话、检索、调用软件工具，却在物理世界面前寸步难行。ChatGPT 可以告诉你如何煎牛排，却无法帮你把牛排翻面，因为它没有“手”，也没有“灶台”。

于是，具身智能（Embodied Intelligence）的概念开始兴起：让 AI 不再只当“纸上厨师”，而是真的走进后厨——拥有感知环境的能力、操作物体的身体，以及在真实世界中试错的可能。研究者逐渐意识到，仅靠语言层面的“聪明”远远不够，Agent 必须把“说得出的理想”与“做得到的现实”连接起来。这构成了 Agent 范式演进的关键一跃：从语言推理走向行动规划，从虚拟交互走向物理交互。

SayCan 正是这条演进路上的标志性作品。它的名字本身就道出了方法论：Say（说）来自语言模型的语义理解，Can（能）来自环境对动作可行性的判定。就像后厨里那位只会夸夸其谈的主厨，终于开始学着看冰箱、摸灶台——而 SayCan，就是给这位主厨配上了一位随时能查库存、试火候的帮厨。

SayCan核心决策

现在我们把聚光灯打在后厨的核心环节：一道菜到底该不该做？主厨的直觉是“应该做宫保鸡丁”，因为顾客的订单里写着“想吃点辣的”；但帮厨翻了翻冰箱，发现鸡肉没有解冻、花生米也见底了，于是摇摇头说“做不成”。真正的后厨会怎么做？他们会一起衡量——主厨的“意愿”乘以帮厨的“可行性”，如果乘积太低，就换一道菜。

SayCan 把这个朴素智慧形式化了。语言模型（主厨） 根据用户的自然语言指令，为技能库中的每个动作打一个“语义合理度”分数；价值函数（帮厨） 则根据机器人当前感知到的环境状态，为每个动作打一个“物理可行性”分数。最终决策不是谁说了算，而是两个分数的乘积。这就是 SayCan 最核心的决策公式：

回到厨房，主厨觉得“拿杯”最符合“准备甜点”的指令（Say 分高达 0.85），但帮厨发现杯子摆在柜子顶层、机械臂够起来很吃力（Can 分只有 0.60）；“倒水”虽然语义分稍低（0.70），但水壶就在手边（Can 分 0.90），两者一乘反而胜出。这个例子清楚地告诉我们：在 SayCan 的世界里，单一维度的偏好说了不算，语言愿望和环境现实必须“双向奔赴”。

模型架构设计

要搭建这样一个后厨，需要两份核心文档：主厨的“名菜谱”和帮厨的“物料核查表”。在 SayCan 的模型架构里，这两份文档分别对应语言模型组件和价值函数组件。

语言模型组件（名菜谱）承担“Say“的职责。它接收用户指令和当前环境描述，从预定义的技能库中挑选并排序候选动作。论文中使用的语言模型是 PaLM 这样的大规模预训练模型，参数量高达数千亿级，能够理解”把薯片放到柜子里“这类复合指令，并把指令拆解为”拿薯片—走到柜子—打开柜门—放进去”等一串高层动词技能。值得注意的是，语言模型在打分时不仅看指令本身，还会结合当前状态的文本描述，避免在状态与指令矛盾时给出离谱建议——就像主厨点菜前也会瞄一眼传菜单上的备注。

价值函数组件（物料核查表）承担“Can“的职责。它是一个经过训练的神经网络，输入是机器人的传感器状态（如摄像头图像、关节角度）和候选技能，输出是该技能在当前状态下成功的概率。为了训练这个”核查表“，研究者使用了大量真实机器人操作数据和强化学习算法，让模型逐渐学会”柜门关着时开柜门比较难”“杯子在托盘里拿取成功率更高”这类物理常识。

两个组件通过组合决策机制衔接：语言模型先输出每个技能的说分，价值函数再输出每个技能的能分，系统将两列分数逐项相乘，取最高者执行。这种“先语义筛选、后物理验证”的流水线，就像后厨里主厨先圈出几道候选菜，帮厨再逐个检查食材与设备，双方都点头的菜品才真正下锅。动词技能作为两组的共同语言，保证了语言模型的文字输出能与价值函数的数值评估无缝对齐。

环境约束机制

帮厨最了不起的本事，不是背菜谱，而是“看得见现实”——他知道鸡蛋用完了，知道烤箱坏了，知道水槽堵了。在 SayCan 中，这份“眼力”就是价值函数赋予机器人的环境约束机制，也叫 affordance 评估，直白说就是“环境允许你做什么”。

可行性评估是这一机制的核心。给定当前状态 $s_t$，价值函数计算出执行技能 $s_i$ 后达成目标状态的成功概率。这个概率不是凭空猜的，而是从海量真实交互数据里学出来的：机器人反复尝试“拿起杯子”，有的成功、有的失败，久而久之，模型就把“杯子在桌面中央”与“高成功率”关联起来。它内化的物理规则包括：重力会让物体下落、夹爪必须对准物体重心、柜门打开前不能硬推——每一条都像是帮厨脑子里那张“厨房禁忌清单”。

状态感知则是让评估得以发生的前提。机器人通过摄像头、力传感器、关节编码器感知环境，把高维的视觉信号压缩成价值函数可用的状态表示。SayCan 的一个精妙之处在于：语言模型并不直接“看到”世界，它只读取由感知模块翻译成的文字描述；真正与世界直接打交道的是价值函数。这种分工避免了语言模型对物理世界的凭空想象——主厨不必亲眼看到鸡蛋盒空了，帮厨会把“没鸡蛋”这句实话传给他。

最终，环境约束机制让每个动作都“脚踏实地”：说分再高，只要价值函数判定环境不允许，乘积就会被压到极低，动作自然出局。这正是"Do As I Can, Not As I Say"（做我能做的，而非我所说的）这句论文标题的深意——语言可以天马行空，行动必须服从物理。

长程任务拆解

一桌宴席没人能一口吃下，主厨的做法是先定菜单、再分冷热菜、最后一道道炒。同样，面对“把薯片放到柜子里”这种多步任务，SayCan 也不能一次性输出完整动作序列。它采用分层任务分解策略：先在语言层面把目标拆成有序的子目标，再用 SayCan 决策公式逐个执行。

子目标生成由语言模型驱动。模型根据当前环境描述和目标指令，递归地提问：“现在最应该先做什么？”于是“把薯片放到柜子里”被拆成“找到薯片→捡起薯片→走向柜子→打开柜门→放入薯片”。每一个子目标的语言描述都交给价值函数评估可行性，形成一条从当前状态到最终目标的可达路径——就像主厨每写一道菜，帮厨就当场验证食材是否齐备，不可行的菜立刻被替换。

顺序动作编排则保证了执行的连贯性。机器人每完成一个子目标，就重新感知环境、更新状态描述，再规划下一步。这种“边做边看”的闭环避免了提前规划全部步骤带来的误差累积。从概率角度，长程任务的成功概率是各步骤成功概率的连乘：

整条公式像一根环环相扣的链条，任何一环的可行性不足，都会让整体成功概率大幅跳水。因此 SayCan 不追求“一步到位”，而是用语言模型拆解 + 价值函数验证 + 边做边规划的铁三角，把遥远的大目标变成眼前一个个能做的小目标，像帮厨把宴席菜单拆成一道一道可执行的菜品顺序。

训练与应用验证

帮厨不是天生的，他先是学徒，切坏过无数萝卜，才慢慢练出手感。SayCan 里的价值函数同样需要漫长训练，才能从“笨手笨脚”进化到“心里有数”。

训练阶段主要依赖强化学习。研究者让机器人在仿真环境和真实厨房中反复执行技能，用成功与失败作为奖励信号，逐步优化价值函数对“状态—技能”对的评分。关键技巧是采用离线强化学习（如 QT-Opt）：收集大量预录制的交互数据，让模型从中学习“哪些状态下做哪些动作更可能成功”，无需在线试错，大幅降低了真实机器人的训练成本。同时，研究者还混合了行为克隆（模仿学习）数据，让模型先学会人类演示的基本操作，再在强化学习中探索更优策略。

训练完成后迎来实战检验。论文中最著名的实验场景是“厨房任务”：一台移动机械臂需要执行“把薯片放进柜子”“把饮料递给用户”等复合指令。通过 SayCan 的组合决策，机器人在真实厨房的多步任务成功率相比单一语言模型规划大幅提升——因为语言模型会“异想天开”地提出够不着的动作，而价值函数总能把它们拉回现实。研究者还展示了仿真至现实（Sim-to-Real）的迁移：先在大量仿真场景中预训练价值函数，再迁移到真实环境微调，使模型见过更多物体和布局，提升了泛化能力。

最终出师的帮厨，体现为一个实用的规律：语言模型负责“见多识广”，价值函数负责“熟能生巧”。前者保证任务理解不跑偏，后者保证每一次动手都建立在真实的物理统计数据之上。这就像后厨里，主厨的想象力需要帮厨的经验来落地——没有训练，就没有经验；没有验证，就没有信任。

演进意义与局限

站在后厨门口回望，SayCan 的真正贡献不只是让机器人端出了一盘菜，而是确立了一套具身 Agent 范式：语言模型与价值函数各司其职，前者提供开放世界的语义知识，后者锚定物理世界的可执行边界。这套“语言引导 + 物理校验”的双通道结构，深刻影响了后续的具身智能研究，比如 RT-1、PaLM-E 等模型都继承并扩展了“用语言模型规划、用视觉—语言模型感知环境”的思路。SayCan 让行业认识到：Agent 演进的方向不是让语言模型变得无所不能，而是让它在与环境动态的协作中找到自己的生态位。

然而，这套后厨体系也有明显的短板。技能库封闭是最大的局限：机器人只会菜单上列出的几十个动词技能，遇到没学过的动作（比如“打蛋”）就手足无措。数据昂贵同样棘手：训练价值函数需要海量真实机器人交互数据，每一条数据都是真金白银，导致 Can 评分的覆盖面远窄于语言模型的知识面。此外，语言幻觉问题依然存在：语言模型可能自信地提出语义合理但物理荒谬的建议，虽然价值函数会拦下它，但“拦下”毕竟不如“从一开始就理解物理”来得优雅。

面向未来，研究者正尝试让技能库走向开放：用语言描述动态生成新技能、让价值函数在更丰富的仿真世界中预训练、把世界模型融入语言模型使其天生具备物理直觉。就像一间后厨，总有一天不再需要“帮厨死记菜单”，而是主厨本人就懂食材、懂火候——但在那天到来之前，SayCan 的“主厨 + 帮厨”协作模式，依然是最务实、最可信的具身 Agent 蓝图。

AI 应用场景

Python 演示

# -*- coding: utf-8 -*-"""SayCan 决策模拟：主厨(语言模型) x 帮厨(价值函数)"""  class SayCanPlanner:    def __init__(self, skills):        self.skills = skills          # {动作名: (say分, can分)}        self.action_list = []         # 已选择的动作序列        self._count = 0               # 决策次数计数     def decide(self, instruction, state):        """对每个候选动作计算 score = say * can，选最大值"""        scores = {}        for name, (say, can) in self.skills.items():            say_adjusted = say * (1.0 if instruction else 0.5)            can_adjusted = can * (1.0 if state else 0.3)            scores[name] = say_adjusted * can_adjusted        best = max(scores, key=scores.get)        self.action_list.append(best)        self._count += 1        return best, scores  def main():    kitchen = {        '拿杯': (0.85, 0.60),        '倒水': (0.70, 0.90),        '摆盘': (0.55, 0.80),        '扫地': (0.30, 0.95),    }    planner = SayCanPlanner(kitchen)    action, scores = planner.decide('准备一杯水', '水壶在手边')    print('决策结果:', action)    for name, score in scores.items():        print(name, '=', round(score, 3))    print('历史动作序列:', planner.action_list)    print('决策总次数:', planner._count)  if __name__ == '__main__':    main()

1. self.action_list = []记录每一步选中的动作，模拟长程任务中“边做边规划”的动作序列。
2. for name, (say, can) in self.skills.items()遍历技能库，取出每个技能的语义分和可行性分，就像主厨与帮厨逐道菜沟通。
3. say_adjusted = say * (1.0 if instruction else 0.5)模拟语言模型对指令的敏感度：有明确指令时语义分可信，无指令时打个折。
4. best = max(scores, key=scores.get)从所有候选动作中挑出 Say×Can 乘积最大的那个，这是 SayCan 的核心决策逻辑。
5. planner.decide('准备一杯水', '水壶在手边')模拟真实调用：传入指令文本和环境状态，返回最终动作与全部评分。

常见误区

面试题