模仿学习与示教：DAgger在线聚合

可视化演示

演示DAgger在线聚合：通过在线收集分布外数据迭代改进策略，缓解行为克隆中的状态分布漂移与累积误差。

模仿学习基础

学车最直接的思路，是让教练先开几圈，把你和车都当成观察者，把教练的所有操作录下来。回到家后，你反复回放视频，学着“看到这个路口就打这个方向”。这就是模仿学习的起点：让学习者从专家演示中学习，而不是像强化学习那样靠撞墙试错来摸索。机器人学里，这段“教练开车视频”就是专家演示数据集，里面是一对一对的“状态-动作”样本。

技术上说，我们把这些成对的样本记作 $(s, a^*)$，其中 $s$ 是当前状态，$a^*$ 是专家在该状态下的动作。行为克隆（Behavior Cloning）要做的事，是训练一个策略函数 $\pi(s)$，让它在看到相同状态时，输出尽量贴近专家的动作。这个学习过程本质上就是监督学习：把专家动作当作标签，把状态当作输入。

只看这段“教练视频”学车，在训练场里可能表现不错。但问题在于，视频里的路口分布是固定的，而你自己开车时会经过的路口，是由你当时的状态一步步决定的。一旦稍微开偏，接下来的问题就不一样了。

分布漂移问题

假设教练在训练场示范了右转，你学得也很好。可第一次独自上路，你的方向盘比教练偏了两度，车头没有对准教练视频里的位置。此时你看到的画面，已经不是视频里的任意一帧了。这个“陌生画面”没有标准答案，你只能凭感觉猜。猜错一步，下一帧会更陌生，于是越来越偏。这就是行为克隆最经典的隐患：状态分布漂移。

更准确地说，行为克隆的训练数据来自专家策略诱导出的状态分布，但部署时，状态是由你自己当前策略诱导出来的。这两个分布并不一致，也就是说，模型在推理时会持续遇到训练时几乎没见过的状态。哪怕单步错误很小，在长轨迹上也会像滚雪球一样累积起来，最终让策略彻底失效。

正因为“自己的开法”会决定“自己遇到的路口”，所以单纯扩充教练视频并不够。教练必须陪在你身边，看你跑偏时到底歪到了哪里，然后当面告诉你该怎么救回来。

DAgger核心思想

DAgger 的全称是 Dataset Aggregation，翻译过来就是“数据集聚合”。它的做法很像一位负责任的副驾教练：不再让你只看录像，而是让你亲自开车，教练坐在旁边盯着。每到一个偏僻路口，只要你的状态偏离了教练的认知范围，教练就立刻给出正确动作，并把“这个陌生状态 + 正确动作”记进笔记本。跑完一圈后，你把所有新记的笔记和原来的笔记合在一起，重新练习一整晚。

这里的“笔记本”就是聚合数据集。DAgger 的核心不是简单重复专家演示，而是让专家在线地为“当前策略自己遇到的状态”打标签。这样，训练数据的分布就会逐渐覆盖策略实际会访问到的状态分布，而不是停留在专家最初的演示分布上。随着迭代轮数增加，策略会越来越逼近专家的表现，同时也能应对自己造成的偏差。

数据集越滚越大，模型就能在越来越广的状态空间里找到正确动作。但光有“记笔记”还不够，还需要一个清晰的迭代流程，让策略在每一轮中真正进步。

算法流程解析

把“随车纠错”变成可执行的循环，DAgger 的流程大致是这样的：第一步，先让教练开一段路，收集初始演示数据 $\mathcal{D}_0$。第二步，用这些数据训练一个初始策略。第三步，让当前策略自己开车跑一段轨迹，每到一步就问教练“这里应该怎么做”，并把当前状态和教练给出的动作一起加入数据集。第四步，用聚合后的数据集重新训练策略。重复第三、四步若干轮，直到策略在测试轨迹上足够稳定。

这个流程的关键在于“用当前策略收集轨迹”。正因为轨迹是当前策略跑出来的，它才能暴露当前策略最容易犯错的状态。把专家在这些状态上的动作补进数据集，就相当于把模型最薄弱的路口逐个标记出来，然后集中补课。

反复执行“收集、聚合、重训”，策略就能逐步覆盖自己诱导出的状态分布。但整个过程还有一个重要前提：副驾上得有一位靠谱的教练。

专家策略设计

DAgger 里的“专家”不一定是真人。你可以请真人安全员坐在副驾，也可以让一套精心设计的规则控制器充当教练，还可以用 MPC 这类基于模型的规划器来计算每个状态下的最优动作。就像驾校教练可以是真人，也可以是高度自动化的模拟器考官，只要它能在偏离状态上给出足够好的动作，就能用来标注数据。

选择专家时，最重要的现实约束是查询成本。真人标注速度慢、费用高；规则策略响应快，但可能只在特定场景下可靠；MPC 规划器精度高，却可能计算延迟大。如果专家查询很贵，我们通常不会要求它在每一步都回答，而是只在高风险或模型置信度低的时刻请它介入。DAgger 的迭代预算也因此要仔细设计：每一轮问多少次、问哪些状态，都会影响整个项目的成本。

选好教练、算清成本后，模型终于可以进入实战。但实战不是终点，而是另一轮“在线学习”的起点。

部署与评估

从训练场走向真实道路，不能直接一把梭。稳妥的做法是先在仿真环境里预部署，让当前策略在大量模拟路况中跑一遍，观察它会在哪些地方跑偏。仿真通过后，再进入真实场景小规模试点，同时让专家或安全员随时准备接管。这时候我们最关心的指标，是专家接管率：策略每走一步，是能独立完成，还是需要人介入？

专家接管率越低，说明策略越接近“老司机”。如果接管率在某类场景中突然升高，说明模型仍然存在分布盲区，此时最好的办法不是硬调参数，而是继续运行 DAgger：把这些新发现的偏离状态收集起来，请专家标注，再聚合进数据集重训。部署与训练不是两个割裂的阶段，而是一条持续迭代的闭环。

把“教练随车纠错”的方法贯穿始终，从初始演示、在线询问、数据聚合，到部署监控、安全降级、迭代补课，DAgger 真正解决的是“自己跑偏后没人教”的困境。

AI 应用场景

Python 演示

import random  def expert_action(x):    # 专家策略: 让状态回到原点    return -x  def make_expert_data(rng, n=50):    data = []    for _ in range(n):        x = rng.uniform(-1.0, 1.0)        data.append((x, expert_action(x)))    return data  def make_policy(dataset):    def policy(x):        return min(dataset, key=lambda p: abs(p[0] - x))[1]    return policy  def rollout(policy, x0=6.0, steps=12, noise=0.05, rng=None):    if rng is None:        rng = random.Random(0)    x = x0    traj = []    for _ in range(steps):        a = policy(x)        traj.append((x, expert_action(x)))        x = x + a + rng.gauss(0, noise)    return traj  def main():    rng = random.Random(42)    bc_data = make_expert_data(rng)    bc_policy = make_policy(bc_data)    bc_traj = rollout(bc_policy, x0=6.0, steps=12, rng=rng)    print("BC max deviation:", round(max(abs(s) for s, _ in bc_traj), 3))    print("BC final state:", round(bc_traj[-1][0], 3))     dag_data = bc_data[:]    for i in range(4):        policy = make_policy(dag_data)        traj = rollout(policy, x0=6.0, steps=12, rng=rng)        dag_data.extend(traj)        max_dev = max(abs(s) for s, _ in traj)        print("DAgger round", i + 1,              "max dev:", round(max_dev, 3),              "dataset size:", len(dag_data))    print("DAgger final state:", round(traj[-1][0], 3))  if __name__ == "__main__":    main()

1. data.append((x, expert_action(x)))生成初始专家演示样本，相当于教练先开一段路并记录操作。
2. return min(dataset, key=lambda p: abs(p[0] - x))[1]用最近邻策略预测动作，状态离哪个训练样本最近，就采用那个样本对应的专家动作。
3. traj.append((x, expert_action(x)))在 rollout 中为当前策略遇到的状态询问专家，相当于副驾教练现场给出纠正操作。
4. x = x + a + rng.gauss(0, noise)让状态按当前策略的动作演化，完成一次闭环控制。
5. dag_data = bc_data[:]DAgger 保留初始专家演示，不从零开始，也避免忘记旧知识。
6. dag_data.extend(traj)把当前轨迹上的新标注聚合进历史数据集，这是 DAgger 的核心操作。

常见误区

面试题