深度拆解模仿学习：从 BC 到 DAgger 再到 ACT，机器人如何偷师学艺

可视化演示

对比行为克隆(BC)、数据聚合(DAgger)和动作分块Transformer(ACT)三种模仿学习范式的轨迹跟踪与误差纠正过程。

模仿学习原理

想象你第一次踏进后厨，拜一位大厨为师。你不问“油温几度”之类的公式，而是站灶台旁看师傅把一道菜做三遍，然后自己上灶尝试。你学的不是规则，是“别人怎么做，我也怎么做”——这就是模仿学习的原点：从专家的行为示范中学习，而不是从零摸索规则。

在机器人世界，这位“师傅”是遥操作的人类操作员（或任何能输出好策略的智能体），“示范”是记录下机械臂各关节角度、速度、夹爪开合等状态-动作轨迹。机器人学这段轨迹，目标是练出一个策略 π——给它一个观测（摄像头画面、关节角度），它能输出一个动作（关节力矩或目标角度）。整个过程不需要设计奖励函数，不需要在真实环境中反复试错，这正是模仿学习相比强化学习的核心优势：像学游泳先看奥运冠军录像，而不是直接跳进水里呛水。

但模仿学习也有天花板：策略的上限不会超过师傅的水平。如果示范里有瑕疵，机器人学到的也有瑕疵。此外，它需要一个前提——“师傅示范过的状态”要能覆盖“机器人将来遇到的状态”。这个前提在后面会反复出现，是整个故事的伏笔。

回到后厨的比喻：模仿学习的本质就是“师傅领进门”。先把师傅的示范吃透，学得像，再谈修行靠个人（比如后续用强化学习微调）。这也引出了一个问题——如果只靠“看”能学会吗？这就进入 BC 的故事。

BC行为克隆

BC 就像只看不练的学徒。师傅做宫保鸡丁：热油、下鸡丁、翻炒、加花生、出锅。你在旁边把每个时刻的“锅铲状态”和“对应动作”记成小抄，然后自己上灶。抄得越熟，你越觉得自己会了——直到某次你撒盐的时候手抖了一下，整个节奏就全乱了。

技术上看，BC（Behavior Cloning，行为克隆）把模仿学习压缩成一个监督学习问题：收集专家示教时的状态-动作对 (o_t, a_t)，训练策略网络 π_θ(o)→a，让策略输出的动作尽量接近专家动作。它不需要奖励函数，不需要与环境在线交互，数据采完离线就能训。这是它“廉价”的原因，也是它“脆弱”的根源。

问题出在一个微妙假设上——它默认专家数据里出现的状态，覆盖了机器人运行时可能遇到的所有状态（机器学习里叫 i.i.d. 独立同分布假设）。真实世界当然不配合：机器人推了一下没推到位，姿态就和示范里的大不一样。可策略只“认识”示范里的状态，于是给出一个不靠谱的动作，又让偏离更远——误差像雪球一样滚起来。这就是“协变量偏移”导致的“复合误差”。

所以 BC 像个背菜谱的徒弟——菜谱再厚也覆盖不了“世界这么大”的意外。只要换一口锅、换一种火候，他就会手忙脚乱。要解决这个问题，需要让徒弟在“做错的地方”也能得到教学，这就轮到 DAgger 出场了。

DAgger算法

DAgger 的师傅是个急性子，但很负责。他不让你只看，他让你直接上灶炒，自己站在旁边盯。你手一抖，菜掉出锅外，他立刻叫停：“停！看我的！”然后把你搞砸的步骤重新做一遍，让你记下来。你的小抄因此越来越厚，上面不只有师傅平时标准的做法，还有你自己犯错后的“改正做法”。

技术上，DAgger（Dataset Aggregation，数据集聚合）的核心是“把策略自己踩过的坑也变成训练数据”。每次迭代，让当前策略 π_θ 在真实环境（或仿真）中执行，记录它访问到的状态序列 o₁, o₂, ……, o_T；然后对这些状态逐一问专家“你此时会怎么动”，把 (o_t, a*) 补充进数据集，用聚合后的数据重新训练策略。这样策略就没法“躲”在不熟悉的分布里了——因为那些偏移状态已经被收集进训练集，它见过“犯错后的世界长什么样”。

DAgger 绕开了协变量偏移的坑，代价是训练成本高：每一轮迭代都需要专家在线响应。这也是它在纯离线场景难以直接落地的主因。但它带来的鲁棒性提升非常可观，在自动驾驶、长程操作等场景中，DAgger 往往是 BC 失败后的第一选择。

DAgger 就像错题本学习法：每次实战考试里做错的题，师傅都现场给一遍标准答案，下一轮见到同样题型自然不慌。错题越多，答卷越稳，代价是师傅要全程陪跑。但还有第三条路——不一个动作一个动作地学，而是学整段旋律，这就是 ACT。

ACT动作分块

到了 ACT，徒弟的学法又变了。师傅说：“别一个动作一个动作地学了，看我做一整段：下刀、切片、滑油、翻锅、倒汁、出锅。你把 6 个动作当成一整段旋律，一口气背下来。”你发现这样反而更稳——因为不再需要每秒钟都纠结“下一步是啥”，整段动作在心里已经预演好了。

ACT（Action Chunking with Transformers）里，“动作分块”的意思是：策略不再每个时间步输出一个动作，而是一次性预测未来 k 帧的完整动作序列 a_{t:t+k}。高频的抖动和单步误差被“整体规划”平抑掉了。但光分块还不够——同一盘菜，今天的火候和昨天不同，一连串动作也会随之变化，需要一个机制来“记住”这种变化。

于是 ACT 用上了 CVAE（条件变分自编码器）。训练时，一个编码器把“当前状态 + 要模仿的动作块”压缩成一个潜变量 z，z 里保存了这段动作的“风格/意图”（比如切菜时手腕的角度倾向、用力的节奏）；解码器拿着 z 和当前观测预测动作块。推理时编码器退场，z 从标准正态分布 N(0,1) 里采样，解码器配合当前画面一口气生成整块动作。Transformer 的编码-解码结构让整个过程可以对高维图像和长序列动作稳定建模。

ACT 好比不数拍子背整首曲子——旋律已经在脑内成型，手自然不会在一个音符上打结。这种“整段肌肉记忆”在精细操作中尤其重要，接下来我们看看它在最难的厨房考题——双臂精细操作——中的表现。

双臂精细操作

后厨终极考验来了：左手按住滑溜溜的土豆，右手同时削皮。两只手要配合，而且要稳。三种学法的学徒到了这一步，差距就像水落石出一样清晰。双臂操作是模仿学习的高压测试场——它不仅要求“知道做什么”，还要求“两只手像一个人一样默契”。

双臂精细操作的任务特点有三个：高维（双臂自由度加倍，动作输出通常在 14 维以上）、高精度（毫米级误差要求）、强耦合（两只手必须协同感知与决策）。研究社区常用的 ALOHA 平台正是为这类任务设计的。同样是示范数据，BC 在单臂任务里还能凑合，到了双臂就频繁“崩溃”——因为高维动作放大了复合误差：一个关节歪了 1°，末端执行器就偏出去几厘米。

实验对比中：BC 训练即使能拟合训练集（训练损失很低），测试成功率也常常不到 30%；DAgger 通过在线纠正显著提升成功率，但每个回合都要专家介入，采集成本极高；ACT 因为动作分块 + 潜变量建模，在大规模数据上训练更稳定，成功率可以稳定达到 80% 以上，且动作更平滑、更少抖动。数学上，这种差异可以用累计误差上界来解释。

所以同样是两只手：BC 是两只手各弹各的，越弹越乱；DAgger 是师傅各盯各的，师傅累到脱力；ACT 是两只手合奏同一首曲子——自然最协调。这也告诉我们：任务越精细、动作维数越高，越需要“整段规划”式的策略，而不是“一步一停”式的跟从。

范式对比选型

学到最后你该问了：我到底该跟哪个师傅学？答案取决于你的菜（任务复杂度）、预算（数据成本）和验收标准（精度要求）。没有绝对的最好，只有最匹配的解法。

从数据需求看：BC 只需要一次性离线收集专家示教，成本最低；DAgger 需要专家在训练中反复在线纠错，成本最高；ACT 中规中矩，只需要离线数据，但要求数据以“成块动作”的形式组织，采集时要特意录制连贯的操作片段。从泛化能力看：BC 面对新场景最脆弱，DAgger 因为见过更多“自己的坑”而稳健，ACT 因为学到了隐式风格（潜变量 z）也能应对中等程度的变化，但在极端新场景（如完全没见过的物体布局）下仍需谨慎。

选型可以这样定：如果任务简单、状态分布窄（比如固定工位分拣），用 BC 快速上线，用最低成本换一个能用的基线；如果是长程任务、有专家或仿真在线条件（比如自动驾驶变道），优先 DAgger，把鲁棒性买回来；如果是高精度、双臂协同、要求动作平滑（比如机器人炒菜、插线、缝合），果断上 ACT，在表征层面降低误差累积。

选师傅就是选路线：预算紧选 BC，求稳选 DAgger，要细活选 ACT。后厨的故事讲到这里，三种学法你已经了然于心——但要真正用起来，还需要看看它们在真实项目中的落地方案。

AI 应用场景

Python 演示

import numpy as npimport matplotlib.pyplot as plt rng = np.random.default_rng(42)T = 100  # 总时间步 def expert_action(t):    """专家策略：一个未知的复杂轨迹函数"""    return np.sin(0.3 * t) def run_bc():    """BC：从离线专家数据学一个静态策略，闭环执行时受协变量偏移影响"""    train_t = np.arange(T)    train_a = expert_action(train_t)    coeffs = np.polyfit(train_t, train_a, 5)  # 用多项式拟合模拟策略学习    est = np.polyval(coeffs, train_t)    err_accum = np.zeros(T)    pos = 0.0    for t in range(T):        action = est[t]        pos += action - expert_action(t)  # 单步执行偏差        pos += 0.05 * pos  # 协变量偏移：偏得越多，之后错得越多        err_accum[t] = abs(pos)    return err_accum def run_dagger():    """DAgger：每隔几步专家就纠正一次，误差被持续压缩"""    err_accum = np.zeros(T)    pos = 0.0    for t in range(T):        pos += 0.04 * pos  # 策略自身的漂移        if t % 5 == 0:            pos = 0.0  # 专家到场纠正，状态被拉回        err_accum[t] = abs(pos)    return err_accum def run_act():    """ACT：每次预测未来 chunk 步的动作块，分块重规划抑制误差累积"""    err_accum = np.zeros(T)    pos = 0.0    chunk = 10    for t in range(T):        pos += 0.01 * pos  # 动作块内部的微小漂移        if t % chunk == 0:            pos = pos * 0.1  # 分块重新规划，误差被大幅压缩        err_accum[t] = abs(pos)    return err_accum bc_err = run_bc()dagger_err = run_dagger()act_err = run_act() print("最终误差 —— BC: {:.3f} | DAgger: {:.3f} | ACT: {:.3f}".format(    bc_err[-1], dagger_err[-1], act_err[-1])) plt.figure(figsize=(8, 5))t_axis = np.arange(T)plt.plot(t_axis, bc_err, label='BC (行为克隆)', color='#F43F5E', linewidth=2)plt.plot(t_axis, dagger_err, label='DAgger (数据集聚合)', color='#10B981', linewidth=2)plt.plot(t_axis, act_err, label='ACT (动作分块)', color='#818CF8', linewidth=2)plt.xlabel('时间步')plt.ylabel('累积误差')plt.legend()plt.title('三种模仿学习方法的误差累积对比')plt.savefig('comparison.png', dpi=120)print('已保存对比图 comparison.png')

1. coeffs = np.polyfit(train_t, train_a, 5)用 5 阶多项式拟合专家轨迹，模拟 BC 从离线示范中“背菜谱”学到的静态策略。
2. pos += 0.05 * pos模拟协变量偏移：策略偏差越大，下一步错得越多，这是 BC 复合误差的根源。
3. if t % 5 == 0:模拟 DAgger 每 5 步由专家把状态拉回正确轨迹，等价于“错题本纠错”。
4. if t % chunk == 0:模拟 ACT 每 10 帧做一次动作分块重规划，误差被周期性压缩。
5. plt.plot(t_axis, bc_err, label='BC (行为克隆)', color='#F43F5E', linewidth=2)画出三条误差对比曲线，红色 BC 明显暴涨。

常见误区

面试题