端到端规划 UniAD：让自动驾驶的“乐团”同台合奏

可视化演示

展示端到端可微Pipeline、Query传递机制及联合训练对比，交互切换理解UniAD端到端规划核心技术。

问题背景：分轨录音的困局

一个乐团要完成演出，常见做法是让每个乐手单独录好音轨，再拿进录音棚混音。每条音轨单独听都无可挑剔，可混在一起总差口气——小提琴慢了半拍、长笛音准飘了、鼓手没跟上渐强。传统自动驾驶正是这种“分轨录音”：感知、跟踪、预测、规划各模块先用标注数据独立训练到最优，再串联成完整系统。每个模块都追求自己的局部最佳，却忽略了下一个环节真正需要什么。感知模块输出的“看起来很好”的检测框，未必是预测模块最想要的表示；预测模块的微小偏差，到了规划阶段可能被放大成一次危险变道。

UniAD 的动机正是打破这种困局。它观察到，级联 pipeline 中信息在模块间逐级传递时不断丢失：跟踪只保留检测框、建图只保留车道线、预测只保留轨迹点，原始图像里丰富的上下文被层层压缩。同时，每个模块的误差也会随着链式传递不断累积，最终让自车在真实道路上做出错误的决策。论文提出了一个朴素却深刻的追问：能不能让所有模块像同一场排练的乐团一样，共享同一份总谱、听从同一个指挥，彼此聆听、联合优化？

技术上，UniAD 把传统级联流程重构成一个可微的整体。从多相机图像到最终自车轨迹，每个中间模块的输入输出都是结构化查询，误差不再是孤立的，而是通过可微连接逐级传导、统一回传。假设每个模块独立引入的误差分别为跟踪误差 ε_track、建图误差 ε_map、预测误差 ε_motion、规划误差 ε_plan，那么传统级联到最终路径的总误差近似为：

把多轨音轨混音时，每条音轨的微小偏差都会叠加成最终作品的“糊感”。UniAD 的决心，就是要结束这种各自为政的录音方式，把乐团请进同一个排练厅，让每一处瑕疵在合奏中被当场发现、当场修正。

整体架构：同一张总谱

要合奏，先得有统一的总谱和舞台。UniAD 的“总谱”是一个鸟瞰视角的共享特征表示——BEV（Bird's Eye View，鸟瞰图）特征。所有模块，无论跟踪、建图还是预测、规划，都从这张总谱上读自己的声部，而不是各拿各的残缺草稿。这就像把五位乐手请到同一间排练厅，每个人的谱架上放着同一份完整的五线谱，只不过各自注入了不同颜色的标记。

技术上，UniAD 的整体架构由两部分构成：一个 BEV 特征编码器，加上四个任务模块。特征编码器基于 ResNet 和 BEVFormer 的设计思想，将环视相机采集的多张图像投射到统一的鸟瞰网格上，输出一个高分辨率的特征张量。随后，跟踪模块（TrackFormer）和建图模块（MapFormer）并行地从 BEV 特征中解码出目标轨迹查询与地图查询；预测模块（MotionFormer）融合前两者的查询信息，输出每个目标的未来轨迹；最后，规划模块（PlanFormer）综合全部信息，生成自车路径。整个过程从相机图像到规划轨迹全程可微，没有一处手工设计的不可导接口。

正是这张共享总谱，让四个任务模块不再各自为政。每个乐手面前都摆着同一张总谱，各看各的声部，却在同一个节奏框架里演奏——这正是 UniAD 后续所有联合优化能够成立的地基。

跟踪模块：锁住旋律线

首席小提琴的职责，是不让旋律线断掉——哪怕其他声部暂时盖过了它，哪怕乐手的手指在快速换把中短暂模糊，主旋律也必须被牢牢锁定。TrackFormer（跟踪模块）就是 UniAD 里的首席小提琴：它负责在连续的视频帧中锁定每一个交通参与者的身份，并输出稳定的目标轨迹。

TrackFormer 的核心机制是轨迹查询（Track Query）。你可以把每个 track query 想象成一张“目标身份证”：每个查询向量代表一个被跟踪的目标，通过交叉注意力从 BEV 特征中“拉取”目标的外观和位置信息，解码出目标框。关键的设计在于，这些查询会跨帧持续存在并不断更新——上一帧的查询带着目标的历史记忆进入下一帧，自然实现了目标关联，完全不需要传统方法里复杂的匈牙利匹配或卡尔曼滤波后处理。当目标被遮挡时，查询并不会消失，而是保持“待机”状态，等目标重新出现时直接接上，就像首席小提琴在旋律间隙也不会丢掉节拍。

注意力打分是这一机制的核心计算：

注意力权重就像首席小提琴在每个乐句开头“听一遍”各声部的位置，确定旋律该往哪儿走。而这条被锁住的旋律线——稳定的目标轨迹——会作为一份重要的“声部状态”，传递给后面负责预测和规划的其他乐手。

建图模块：现场画五线谱

乐手演奏需要五线谱来定位音符，自动驾驶也需要知道车道线在哪里、路口是什么形状。传统方案依赖提前采集、离线制作的高精地图，就像每位乐手随身携带一张印好的旧乐谱——但现实世界不断在施工、改道，旧谱子经常会过时。MapFormer（建图模块）则是现场手绘五线谱的乐务总监：它不需要离线地图，直接从当前的 BEV 特征里实时画出眼前这条路的“线谱”。

MapFormer 使用一组可学习的地图查询（Map Query）解码出矢量化的车道元素——车道中心线、车道边界、人行横道等，每一项都表达为有序的点集。与输出稠密栅格的传统建图方法不同，矢量表达更加紧凑，天然适合后续规划模块直接读取，就像五线谱上清晰的一条条线，而不是一整片模糊的墨水印。在线建图的另一个优势是灵活：即便前方发生临时施工，只要相机能拍到锥桶和改道标线，建图模块就能实时更新“乐谱”，而离线高精地图做不到这一点。

地图查询与 BEV 特征融合并回归坐标的过程可以表示为：

这张“现场手绘的五线谱”虽然只覆盖自车当前视野，却足够让预测模块知道“哪些音符（轨迹）是顺着谱子在走”，也让规划模块明白“哪里可以演奏、哪里不能越界”。它解决的是实时性问题，也是端到端框架中不可缺失的一环。

预测模块：预习下一乐章

在合奏中，最优秀的乐手不会等到音符落在眼前才开始反应，而是会提前看好后面几小节，为接下来的旋律走向做好准备。MotionFormer（预测模块）就是 UniAD 里那个“预习下一乐章”的角色：它不仅要理解每个目标此刻在哪里，还要预测它们在接下来几秒可能去哪里。

MotionFormer 巧妙地把前面两个模块的产物——跟踪模块的目标框查询和建图模块的车道线查询——同时作为输入。有了“谁在哪里”（跟踪）和“路是什么样”（建图），它就能针对每个目标输出多模态的未来轨迹：论文中为每个目标预测 6 种可能的轨迹模式，每种模式附带一个置信度分数。为什么需要多模态？因为真实驾驶充满不确定性——前车可能直行、可能变道、也可能转弯，把多种可能性都摊在桌面上，规划模块才能做出更稳健的决策。与此同时，它对所有目标同时建模预测，目标与目标之间的交互（比如两车同时向同一车道靠近）也被隐式地编码进来。

训练时，预测模块的损失函数只要求至少一种模式接近真值轨迹，毕竟我们并不苛求模型精确猜到那一个未来，而是希望它把可能发生的情况都覆盖到：

预习下一乐章的长笛声部，并不会替指挥做决定，但它把即将到来的旋律走向清晰地呈现在所有人面前。MotionFormer 输出的多模态轨迹，正是规划模块做出最终决策时最重要的参考依据。

规划模块：总指挥定调

总指挥不演奏任何乐器，但他决定整场演出的节奏、强弱与走向。PlanFormer（规划模块）就是 UniAD 的“总指挥”：它不直接输出检测框或轨迹预测，而是综合所有乐手的状态——跟踪模块报出的目标位置、建图模块画出的车道线、预测模块预判的他人走向——结合共享的 BEV 特征，最终拍板：自车接下来该怎么开。

PlanFormer 以规划查询（Planning Query）为入口，通过注意力机制从前序模块输出的结构化查询中聚合信息，解码出未来 3 秒内自车的轨迹，每 0.1 秒一个路径点，共 20 个点。与传统规划方法的一大不同是：它没有手工编写一大堆代价函数（如避障代价、车道偏离代价、乘坐舒适性代价），而是从海量人类驾驶数据中直接学习“什么是安全且舒适的轨迹”。数据教会它何时减速、何时变道、如何在车流中优雅地穿行。论文还设计了一个相当漂亮的实验——把某个中间模块的输出替换为真值，观察规划精度的变化，以此证明每一个前序模块都为规划贡献了独特的信息：

指挥的每一次挥手，都建立在对每个声部状态的清晰把握之上。PlanFormer 的决策之所以可靠，正是因为它看到的不是孤立的中间结果，而是整个乐团在同一时刻的完整画面——这也是端到端架构最核心的价值。

联合训练：同步彩排，全程录音

乐团彩排时，指挥会随时喊停、统一调度，让所有声部同步修改——小提琴这里慢一点、长笛那里弱一点。UniAD 用联合训练实现了这种“同步彩排”：四个任务不再各自为政地训练，而是共享同一个优化目标，从同一个损失函数中吸收反馈。

具体来说，每个任务都有自己的监督损失：跟踪损失匹配目标框、建图损失回归车道点、预测损失对齐多模态轨迹、规划损失度量自车路径。联合训练时，总损失是四个损失的加权和，反向传播时梯度会同时更新共享编码器和所有模块的参数。这里的关键词是可微连接：因为整个 pipeline 从感知到规划都是可微的，规划损失的梯度可以一路回流到特征编码器，让最底层的感知特征学会“牺牲一点点检测指标的完美，换来最终规划结果的大幅提升”。这种跨模块的梯度共享，是分模块训练无论如何也做不到的。

总损失函数可以写作：

“同步彩排、全程录音”的威力在于：每个模块的进步都会通过可微连接传导给其他模块，任何一处偏差都能从最终结果中溯源并修正。这就好比指挥不仅能指出“第三小节长笛慢了”，还能精确告诉长笛手“是因为你起拍时没听定音鼓的提示”——全局的和谐，才是真正的和谐。

意义与局限：新乐章的回响

这场“同台合奏”的首演，惊艳了整个学术界——UniAD 拿下 CVPR 2023 最佳论文（Best Paper），成为自动驾驶领域里程碑式的工作。论文在 nuScenes 数据集上对跟踪、建图、预测、规划四大类指标进行系统评测，绝大多数指标都超越了此前最强的分模块系统。更值得注意的是规划效果：UniAD 的规划误差相比级联基线大幅下降，充分证明了“全局联合优化”确实优于“局部最优的拼接”。

论文通过一组“真值替换”实验进一步剖析了各模块的贡献：依次把跟踪、建图、预测模块的输出替换成真值，观察规划误差能下降多少。实验发现，无论替换哪个模块，规划误差都会进一步降低——这说明每个模块都还有提升空间，也说明模块间的可微连接确实把信息有效传递到了规划端。如果定义级联基线的误差为 Err_base、UniAD 的误差为 Err_uniad，则相对提升率可以写作：

当然，这场演出也并非没有代价。UniAD 的模型体量庞大，推理耗时明显高于轻量级级联方案，对车端芯片的算力提出了更高要求；它高度依赖 BEV 编码器的质量，更换传感器配置往往需要重新训练；在线建图的覆盖范围也受限于当前视野。不过，作为 CVPR 2023 的最佳论文，UniAD 已经为端到端自动驾驶指明了新的航向——让感知与决策真正成为一个整体，而不是一堆零件。

AI 应用场景

Python 演示

import torchimport torch.nn as nn  class FeatureEncoder(nn.Module):    """共享编码器: 从BEV特征提取统一表示"""     def __init__(self, in_dim=512, dim=256):        super().__init__()        self.fc = nn.Linear(in_dim, dim)        self.layer_norm = nn.LayerNorm(dim)     def forward(self, bev):        return self.layer_norm(self.fc(bev))  class TrackFormer(nn.Module):    """跟踪模块: 用track query关联跨帧目标"""     def __init__(self, dim=256, num_query=10):        super().__init__()        self.dim = dim        self.track_query = nn.Parameter(torch.randn(num_query, dim) * 0.02)        self.decode = nn.Linear(dim, 4)     def forward(self, feat):        scores = torch.matmul(feat, self.track_query.T) / (self.dim ** 0.5)        weights = torch.softmax(scores, dim=-1)        aggregated = weights.unsqueeze(-1) * feat.unsqueeze(1)        boxes = self.decode(aggregated)        return boxes  class MapFormer(nn.Module):    """建图模块: 预测矢量车道线点集"""     def __init__(self, dim=256, num_points=20):        super().__init__()        self.map_query = nn.Parameter(torch.randn(num_points, dim) * 0.02)        self.reg = nn.Linear(dim, 2)     def forward(self, feat):        query_feat = feat.unsqueeze(1) + self.map_query.unsqueeze(0)        points = self.reg(query_feat)        return points  class MotionFormer(nn.Module):    """预测模块: 输出多模态未来轨迹"""     def __init__(self, dim=256, num_modes=6, horizon=30):        super().__init__()        self.num_modes = num_modes        self.horizon = horizon        self.fc_box = nn.Linear(4, dim)        self.mode_query = nn.Parameter(torch.randn(num_modes, dim) * 0.02)        self.traj_head = nn.Linear(dim, horizon * 2)     def forward(self, feat, boxes):        box_feat = self.fc_box(boxes.mean(dim=1))        context = feat + box_feat        context = context.unsqueeze(1) + self.mode_query.unsqueeze(0)        trajs = self.traj_head(context)        return trajs.view(-1, self.num_modes, self.horizon, 2)  class PlanFormer(nn.Module):    """规划模块: 融合所有中间特征输出自车轨迹"""     def __init__(self, dim=256, horizon=20):        super().__init__()        self.horizon = horizon        self.proj_box = nn.Linear(4, dim)        self.proj_map = nn.Linear(2, dim)        self.proj_traj = nn.Linear(2, dim)        self.plan_head = nn.Linear(dim * 4, horizon * 2)     def forward(self, feat, boxes, map_points, trajs):        h_box = self.proj_box(boxes.mean(dim=1))        h_map = self.proj_map(map_points.mean(dim=1))        h_traj = self.proj_traj(trajs.mean(dim=(1, 2)))        fused = torch.cat([feat, h_box, h_map, h_traj], dim=-1)        return self.plan_head(fused).view(-1, self.horizon, 2)  class UniAD(nn.Module):    """UniAD简化框架: 共享编码器 + 四个任务头联合训练"""     def __init__(self):        super().__init__()        self.encoder = FeatureEncoder()        self.track = TrackFormer()        self.map = MapFormer()        self.motion = MotionFormer()        self.plan = PlanFormer()     def forward(self, bev, gt_boxes=None, gt_map=None, gt_traj=None, gt_plan=None):        feat = self.encoder(bev)        boxes = self.track(feat)        map_points = self.map(feat)        trajs = self.motion(feat, boxes)        plan = self.plan(feat, boxes, map_points, trajs)         losses = {}        if gt_boxes is not None:            losses["track"] = nn.functional.l1_loss(boxes, gt_boxes)        if gt_map is not None:            losses["map"] = nn.functional.l1_loss(map_points, gt_map)        if gt_traj is not None:            losses["motion"] = nn.functional.l1_loss(trajs, gt_traj)        if gt_plan is not None:            losses["plan"] = nn.functional.l1_loss(plan, gt_plan)        return plan, losses  def main():    torch.manual_seed(42)    model = UniAD()    optimizer = torch.optim.AdamW(model.parameters(), lr=1e-4)     bev_feat = torch.randn(4, 512)    gt_boxes = torch.randn(4, 10, 4)    gt_map = torch.randn(4, 20, 2)    gt_traj = torch.randn(4, 6, 30, 2)    gt_plan = torch.randn(4, 20, 2)     for epoch in range(3):        plan, losses = model(bev_feat, gt_boxes, gt_map, gt_traj, gt_plan)        total = (losses["track"] + 0.5 * losses["map"]                 + losses["motion"] + 2.0 * losses["plan"])        optimizer.zero_grad()        total.backward()        optimizer.step()        print(f"epoch {epoch}: total loss {total.item():.4f}")  if __name__ == "__main__":    main()

1. feat = self.encoder(bev)用共享编码器把原始 BEV 特征压缩成统一向量，所有任务共用一个特征源头，就像所有乐手使用同一份总谱。
2. boxes = self.track(feat)跟踪头用 track query 从特征里“拉取”目标框，对应 TrackFormer 的目标关联。
3. map_points = self.map(feat)建图头解码出车道线点集，对应 MapFormer 的在线画谱。
4. trajs = self.motion(feat, boxes)预测头把跟踪框信息融入，输出多模态轨迹，对应 MotionFormer 的预习下一乐章。
5. plan = self.plan(feat, boxes, map_points, trajs)规划头融合全部中间结果，输出自车轨迹，对应 PlanFormer 的总指挥定调。
6. total = (losses["track"] + 0.5 * losses["map"] + losses["motion"] + 2.0 * losses["plan"])加权求和形成联合损失，权重 λ 表达对各任务的不同侧重。
7. total.backward()梯度从规划损失一路回流到编码器，完成端到端学习，这是联合训练与本框架的灵魂。

常见误区

面试题