预测与规划：VAD/AD-MLP

可视化演示

演示矢量化场景表示、轻量MLP规划网络与端到端框架集成，理解高效自动驾驶规划方法。

背景动机：两种调度哲学

老城交通局长面前摆着两份方案。方案 A 的总规划师说：“请先给我一台性能强劲的服务器，我要把全城的监控画面描成一层电子地图，然后我可以同时为二十台车规划出最好的路线。”方案 B 的轻装调度员说：“我不需要看全城，只要在每个路口放一张小小的计算卡，我就能根据前后几辆车的实时数据，立刻告诉司机该往哪打方向盘。”两份方案背后的哲学截然不同：一个相信“看得越完整，决策越聪明”，另一个相信“反应越轻快，落地越可靠”。

在自动驾驶领域，这个选择正在被认真讨论。传统的级联方案把感知、预测、规划切成三个独立模块“各干各的”，但前一个模块的微小误差会像雪球一样滚进后一个模块。于是，端到端规划方案走上舞台：直接从传感器特征输出可执行的轨迹。VAD 属于前者中的“重表示”派，它强调把场景描述清楚；AD-MLP 属于“轻模型”派，它强调把网络做得足够小。

我们可以把端到端规划器写成这样一个映射：输入是当前观测与地图上下文，输出是一组带置信度的候选轨迹。这个统一视角，正是两条路线同台竞技的起点。

局长最后没有立刻做决定，因为他知道：选地图还是选轻卡，要看老城区真正的痛点是什么。这也是端到端规划研究的分水岭。

矢量化表示：从照片到地图

总规划师打开手机里的老照片，发现放大三倍后全是马赛克。换成电子地图 App 后，车道是几条平滑的线，路沿是折线，路口是节点——同样的信息，画成矢量线条后加载快、看得清、也好修改。VAD 正是这个直觉的工程实现：与其让模型在栅格 BEV 特征图上做密集卷积，不如先把场景“翻译”成一组紧凑的矢量元素。

栅格表示的瓶颈在于分辨率与算力成正比：想要看清五十米外的车道线，就得把特征图做得很大，而大部分像素其实毫无信息。VAD 把车道线、路沿、人行横道等要素抽象成多边形或折线，每个要素附带一个类别标签、一个几何边界和一个状态向量。这些要素经过一个“地图聚合器”被投影到统一的特征空间，形成场景的矢量化表示。

形式化地看，VAD 对每个道路要素做一次小规模的特征提取：把类别编码、几何边界和状态拼接起来，交给一个 MLP 投影成统一维度的向量。

调度员再也不用对着一墙模糊的监控画面皱眉了。地图轻了，思考就快了——这是 VAD 一切设计的第一性原理。

模型结构：目标查询与交叉注意力

有了电子地图，总规划师还需要一种“问问题”的方式。他手里有一叠空白的任务卡，每张卡片代表一个需要关照的对象：一台网约车、一位骑手，或者一个“如果红灯消失会怎样”的假设。这张卡片本身是可学习的，它不知道自己对应谁，但它会主动与地图上的线段做信息交换——用注意力机制“读取”地图，把相关路况写进卡片。VAD 的模型结构正是围绕这种“任务卡”机制展开的。

具体来说，VAD 先用一个场景编码器处理多模态传感器输入，得到 BEV 空间的特征；然后引入一组可学习的 object query（目标查询）。这些查询经过自注意力相互沟通，再通过交叉注意力从矢量化地图中聚合信息。每个查询最终被解码为一个或多个智能体的运动轨迹。

VAD 使用的 transformer 交互，本质上就是一次“对答案”的过程。查询向量先与地图特征的键做相似度比较，相似度越高，权重越大，最后按权重把地图的值取回来。

任务卡每和地图“对一次答案”，就会更清楚自己的处境。VAD 用多层这样的交互，让每张卡片逐渐变成一条具体而可靠的轨迹。

规划预测：画线、打分、选路

总规划师拿着填好的任务卡，开始在电子地图上画候选路线。他不会只画一条，而是画三条：左转绕行、直行再并线、减速等待。每画完一条，他还会凭经验给这条路线打一个置信度分。这个“画线 + 打分”的过程，就是 VAD 的规划预测头。

轨迹解码器逐步生成未来每个时刻的位置。概率化的做法是自回归：每一步都基于已经生成的历史位置和场景上下文，去预测下一个点的坐标。最终每条完整轨迹有一个置信度分数，模型取分数最高的一条作为最终规划轨迹。

调度员最终拍板：选那条最顺、最安全、分数最高的虚线发给司机。轨迹预测的意义，就是把“我觉得能走”变成一条可被方向盘跟踪的数学曲线。

AD-MLP结构：轻装调度员与蒸馏

轻装调度员的卡片上只有几行数字：当前车速、前车距离、车道编码、目标方位。这些数字进入几层全连接网络——多层感知机，随后直接输出方向盘转角和油门踏板开度。没有注意力，没有 transformer，甚至没有序列建模；AD-MLP 用最朴素的结构证明：在特定数据集与场景下，简单的 MLP 也能达到基线级性能。

但“简单”不等于“容易训”。直接把一个小网络丢到复杂路况里，往往学不到深层规律。于是 AD-MLP 采用知识蒸馏：先让一个强大的教师模型（例如更宽的 MLP 或 VAD-like 模型）学习场景，再把教师模型的“直觉”——中间层特征或软化后的输出分布——作为监督信号，引导学生模型对齐。学生不需要背整张地图，只需要模仿老师傅的判断。

蒸馏的总损失由两部分组成：任务损失保证学生能完成预测/规划主任务；特征对齐损失让学生中间特征尽量接近教师特征。

老骑手把几十年经验凝成几句口诀：“入弯前减速，看远不看近。”AD-MLP 的蒸馏，就是把老师傅的经验写成学生能背下来的数学形式。

实验落地：指标、合规与量产

调度中心要评出优劣，不能只听汇报。局长盯着两块大屏：左边是路线贴合度——预测轨迹和真实轨迹差多远；右边是响应时延——从收到请求到给出路线要多少毫秒。VAD 在复杂路口和长距离预测上明显更聪明；AD-MLP 在时延和内存占用上则让 VAD 望尘莫及。

用于评估预测精度的最常见指标是 minADE：对每个候选轨迹，计算其与真实轨迹在每个时刻的欧氏距离并取平均，最后在所有候选轨迹中取最小值。它衡量的是“模型提供的候选里，最好的一条离真相有多近”。

局长最后签字：VAD 留在云端仿真室做复杂路口安全预审，AD-MLP 装进路口计算卡量产上车。两者一个负责“懂”，一个负责“快”，在安全合规和量产落地的天平上正好互补。

AI 应用场景

Python 演示

import numpy as np class Linear:    def __init__(self, in_dim, out_dim, seed=0):        rng = np.random.default_rng(seed)        self.w = rng.standard_normal((in_dim, out_dim)) * 0.02        self.b = np.zeros(out_dim)     def forward(self, x):        return x @ self.w + self.b def relu(x):    return np.maximum(x, 0.0) def softmax(x, axis=-1):    e = np.exp(x - x.max(axis=axis, keepdims=True))    return e / e.sum(axis=axis, keepdims=True) class NaiveAttention:    def __init__(self, dim, seed=1):        rng = np.random.default_rng(seed)        self.wq = rng.standard_normal((dim, dim)) * 0.02        self.wk = rng.standard_normal((dim, dim)) * 0.02        self.wv = rng.standard_normal((dim, dim)) * 0.02     def forward(self, queries, keys, values):        q = queries @ self.wq        k = keys @ self.wk        v = values @ self.wv        attn = softmax((q @ k.T) / np.sqrt(q.shape[-1]))        return attn @ v class MLP:    def __init__(self, dim, hidden, out_dim, seed=2):        rng = np.random.default_rng(seed)        self.fc1 = Linear(dim, hidden, seed=3)        self.fc2 = Linear(hidden, out_dim, seed=4)     def forward(self, x):        h = relu(self.fc1.forward(x))        return self.fc2.forward(h), h def mse_loss(pred, target):    return np.mean((pred - target) ** 2) def make_scene():    # 四维向量: x, y, 类别, 状态    scene = np.array([        [0.0, -10.0, 1.0, 1.0], [0.0, 10.0, 1.0, 1.0],        [-10.0, 0.0, 2.0, 1.0], [10.0, 0.0, 2.0, 1.0],        [0.0, 0.0, 0.0, 0.0],   [5.0, 5.0, 0.0, 0.0]    ], dtype=np.float32)    return scene def main():    scene = make_scene()    obs = np.array([[0.0, 0.0, 1.0, 3.0]], dtype=np.float32)    dim = 4    teacher = MLP(dim, 64, 2)    student = MLP(dim, 8, 2)    attn = NaiveAttention(dim)     for epoch in range(300):        # 教师编码地图元素，模拟 VAD 的矢量化场景特征        t_feat, _ = teacher.forward(scene)        # 目标查询与地图做简化注意力交互        q = attn.forward(obs, t_feat, t_feat)        # 教师给出参考动作，学生用更窄 MLP 模仿        target, _ = teacher.forward(q)        pred_s, h = student.forward(q)        loss = mse_loss(pred_s, target)         grad_out = (pred_s - target) / pred_s.size        grad_h = grad_out @ student.fc2.w.T        grad_h = grad_h * (h > 0)        student.fc2.w -= 0.01 * (q.T @ grad_out)        student.fc2.b -= 0.01 * grad_out.mean(axis=0)        student.fc1.w -= 0.01 * (q.T @ grad_h)        student.fc1.b -= 0.01 * grad_h.mean(axis=0)         if epoch % 50 == 0:            print("epoch", epoch, "loss", round(float(loss), 4)) if __name__ == "__main__":    main()

1. class MLP:定义可学习的两层 MLP，既作教师也作学生，区别只在隐藏层宽度。
2. t_feat, _ = teacher.forward(scene)教师先编码地图矢量元素，相当于总规划师看懂电子地图。
3. q = attn.forward(obs, t_feat, t_feat)模拟 VAD 中目标查询对地图特征的交叉注意力，让查询读到路况。
4. target, _ = teacher.forward(q)教师输出参考动作，作为学生学习的“标准答案”。
5. pred_s, h = student.forward(q)学生用很小的 MLP 前向推理，得到自己的规划动作。
6. loss = mse_loss(pred_s, target)蒸馏损失：让学生输出尽可能贴近教师输出。
7. student.fc1.w -= 0.01 * (q.T @ grad_h)梯度下降更新学生第一层，让学生的低维特征逐渐具备教师特征的表征能力。

常见误区

面试题