预测与规划：UniAD端到端自动驾驶

可视化演示

演示感知预测规划统一到单一可微网络的端到端范式，对比级联架构与联合训练的评测表现。

背景痛点——“便签接力的困境”

大饭店的后厨讲究分工：采购员把食材信息记在便签上，仓库核对数量后再写一张便签，配菜员根据便签备料，最后主厨凭几张便签决定菜式。问题在于，便签越写越薄——番茄的产地、成熟度、是否磕碰，全被压缩成“番茄 3 个”。等传到主厨手里，便签早就无法还原食材的真实状态，主厨也只能将就着做。

传统自动驾驶的“级联架构”就像这条流水线：感知模块把相机画面压缩成目标检测框，跟踪模块把检测框串成轨迹，预测模块基于轨迹猜测未来，规划模块在最后一环做决策。每个模块输出的都是人为定义的结构化“便签”——检测框里没有像素级的形状、纹理与遮挡关系，轨迹里没有场景的语义和上下文。

这种设计带来三个连锁问题。第一是信息丢失：每一级都会丢弃细节，而丢失的信息可能恰恰是下游决策需要的。第二是误差累积：感知框偏移一点，跟踪轨迹就歪一点，预测再放大一点，到最后规划拿到的是严重走样的便签。第三是优化割裂：每个模块用各自的损失函数独立训练，模块各自最优，串联起来却不一定全局最优。

这就像每位厨师都觉得自己干得很好，但主厨手里的便签早已面目全非。要解决问题，不是再优化某一张便签，而是换一种协作方式。

网络总览——“私厨的全局观”

私厨一个人包办从选材到装盘的全过程，所有细节在脑中形成一张不断更新的全局图景：哪块肉刚下锅、哪位客人刚进门、哪个炉灶还空着。UniAD 的端到端理念正是如此——它把感知、预测、规划统一进一个可微神经网络，所有任务站在同一份“全局认知”上协作，而不是互相递便签。

UniAD 全称 Unified Autonomous Driving（统一自动驾驶），是 CVPR 2023 的最佳论文。它的输入是多路摄像头图像，输出是自车未来的规划轨迹。在内部，它划分出五个可微任务头：跟踪、建图、占用预测、运动预测和规划。这五个任务共享同一个“工作台”——BEV（鸟瞰视角）特征图，任何任务都能从这份共享特征中取用信息，也能把自己的进步反馈给特征。

关键在“可微”二字：从规划损失出发的梯度，可以穿过预测、感知一路回传到最底层的图像特征。这意味着，如果最终规划撞上了障碍物，网络不仅会调整规划头，还会反向调整感知头——让感知更关注那些容易被忽略的物体。这就是“端到端”与“拼积木”的本质差别。

在私厨的故事里，这就像主厨尝到菜咸了，不是只让装盘的人少放盐，而是会反思自己选酱油的眼光。所有环节共同对最终结果负责。

感知模块——“看清食材，认准物件”

私厨的功夫从“看清”开始：食材是否新鲜、灶台哪里有空位、桌上已经摆了哪些菜。UniAD 的感知模块也承担着类似职责，只不过它面对的是道路场景，由三个子任务构成。

跟踪模块负责“认准物件”：它用一组可学习的查询向量，在连续时间帧中关联同一个物体，保证“3 号车”始终是那辆白色轿车，不会因为短暂遮挡就丢失身份。建图模块负责“了解布局”：把车道线、路沿、人行横道实时绘制到鸟瞰图上，替代对高精地图的离线依赖。占用预测负责“标记禁地”：预测三维空间中哪些栅格被障碍物占据，哪怕物体尚未被检测出来，也能提示“这块区域不能碰”。

三者都建立在 BEV 特征之上。多路摄像头各有视角，特征编码器把它们投影到以自车为中心的鸟瞰坐标系：

有了这张“鸟瞰工作台”，后面每一项任务都站在同一张图上作判断，不再需要各自画一张局部草图。感知不再是流水线的第一环，而是端到端网络里共享认知的起点。

预测模块——“预判他人，抢占先机”

大厨在颠勺时，余光始终留意着旁边的配菜员会不会突然转身、传菜口有没有人经过。自动驾驶同样需要这种“预判”。UniAD 的预测模块基于感知得到的物体状态，预测周围车辆和行人的未来轨迹。

运动预测头对场景中的每个智能体输出若干条候选轨迹，并附上概率。为什么不止一条？因为未来充满不确定性：前车可能继续直行，也可能突然加塞变道。多模态输出就像主厨同时预判“客人可能去洗手间，也可能去吧台”，据此灵活安排上菜路线。

更关键的是“场景交互”。UniAD 用注意力机制让所有物体的预测互相感知：每个物体在规划自己的轨迹时，会“看到”其他物体的意图，结果是一组互相避让的、自洽的预测。这就好比厨房里每个人都知道别人要往哪走，于是不会撞在一起。此外，预测头还从感知模块直接继承跟踪查询，形成“感知即预测”的连续体，而不是两个独立的盒子。

配菜员正要端汤，主厨从余光里读出了他的动作，提前侧身让出通道——这就是端到端的默契：不需要一张“他会往左走”的便签，所有信息在同一个网络中自然流转。

规划模块——“主厨下刀，全局最优”

预判了别人的动向之后，主厨要决定自己下一步怎么走：往左挪半步还是退后半步，先翻这个锅还是先摆那个盘。UniAD 的规划模块要做的事类似：综合感知与预测提供的全局状态，结合导航目标，输出未来约三秒内自车的行驶轨迹。

这个决策不是“拍脑袋”，而是对代价函数做显式优化。规划头会生成一批候选动作，然后用下面的代价函数评估每一条：

这里的代价函数部分可以由网络学习，部分由规则显式定义——比如占用预测给出的碰撞区域就是一个硬性安全约束。端到端不是不要规则，而是让规则长出“眼睛”：它能看到完整的场景特征，而不是只看到上游丢来的便签。

训练评测——“练一套连贯的功夫”

私厨的手艺不是天赋，而是无数次连贯练习的产物：炒糊了知道火大了，切受伤了知道手位偏了，每一步的反馈都会沉淀为下一顿的下意识。UniAD 的训练哲学与此一致：所有任务联合训练，最终目标（规划）的错误信号会指导所有中间任务一起进步。

联合训练的损失函数是各任务损失的加权和：

实际训练采用两阶段策略：先用各子任务损失预热网络，让感知与预测先“看得见”；再进行端到端联合微调，让规划损失的信息流贯穿全网络。评测在 nuScenes 数据集上进行：感知看 AMOTA，预测看 minADE/minFDE，规划看碰撞率与 L2 距离。消融实验显示去掉任一任务，整体性能都会明显下滑——一套连贯的功夫，牵一发动全身。

落地价值——“从私厨到品牌”

私厨的手艺令人向往，但想开连锁店还得解决标准化问题：如何保证每家分店都好吃？如何让食客吃得放心？端到端自动驾驶的落地同样如此，优势与挑战并存。

量产意义层面，统一网络减少了独立模块的维护成本。传统流水线里升级感知模型，预测和规划都要跟着适配接口；端到端模型以整体为单位迭代，版本演进更简洁。安全合规层面，黑盒特性要求新的验证体系：仿真场景库覆盖、对抗样本测试、危险场景的可解释性分析，都是必须补的课。算力层面，单一大网络对车载芯片提出更高要求，量化、蒸馏、稀疏化成为落地关键。

行业趋势已经明朗：特斯拉 FSD、华为 ADS、理想、小鹏等厂商都在从模块化走向端到端，UniAD 为学术和工业界提供了完整的范式参考。它不一定是最终形态，但指明了方向——把信息传递的损耗降到最低。

私厨一旦建立品牌，就要把“手感”沉淀为“标准”：既保留全程连贯的匠心，又用流程与验证保证每一单都安全。这正是端到端自动驾驶从论文走向量产的真实写照。

AI 应用场景

Python 演示

import random # 模拟级联与端到端架构中的信息保留# 级联: 每级只传递"便签", 信息按 75%-85% 衰减# 端到端: 信息在统一网络中完整流动, 保留 95% 以上 random.seed(2024) def simulate():    cascade_total = 0.0    e2e_total = 0.0    runs = 500     for _ in range(runs):        # 级联: 经过感知-跟踪-预测-规划四级        cascade_info = 1.0        for _ in range(4):            cascade_info *= random.uniform(0.75, 0.85)         # 端到端: 单一网络梯度贯穿, 信息基本不丢        e2e_info = random.uniform(0.95, 1.0)         cascade_total += 1.0 - cascade_info        e2e_total += 1.0 - e2e_info     return cascade_total / runs, e2e_total / runs def main():    c_loss, e_loss = simulate()    print("========== Info Retention ==========")    print(f"Cascade loss rate: {c_loss:.1%}")    print(f"End-to-end loss rate: {e_loss:.1%}")    print(f"Loss reduction: {(c_loss - e_loss) / c_loss:.1%}") if __name__ == "__main__":    main()

1. random.seed(2024)固定随机种子，让每次运行结果可复现
2. for _ in range(4): cascade_info *= random.uniform(0.75, 0.85)级联每经过一个模块，信息像“便签”一样打 75%~85% 的折扣
3. e2e_info = random.uniform(0.95, 1.0)端到端网络中特征全程共享，信息基本原地保留
4. cascade_total += 1.0 - cascade_info累计每次模拟中丢失的信息量
5. print(f"Cascade loss rate: {c_loss:.1%}")以百分比格式输出统计结果，直观看到两种架构的差距

常见误区

面试题