轨迹预测(VectorNet/SceneTransformer)

可视化演示

展示多模态未来轨迹分布、VectorNet向量化场景编码与SceneTransformer时空注意力，理解自动驾驶如何预测交通参与者未来运动并量化不确定性。支持三模式切换与播放暂停。

问题定义

王婶在夜市里每天都要回答同一个问题：接下来几分钟，人流会往哪儿走？她不追求“这个人十秒后会踩到哪块砖”，她只关心“有哪几股人流、大概会不会涌向我的摊子”。自动驾驶的轨迹预测其实也一样：它不打算精准预知未来，而是要在已知历史和地图的条件下，估计出未来一段时间内所有可能运动轨迹的概率分布。

在技术定义上，轨迹预测的输入通常包括两部分：一是过去几秒内目标车辆、行人等动态交通参与者的历史状态，二是车端高精地图提供的静态道路结构。输出则是未来 3-8 秒甚至更长时间内的多条候选轨迹，每条轨迹都附带一个概率。这个“多模态”特性，正是真实驾驶场景的写照：前车可能直行、变道或减速，只有给出一组可能路线，下游规划模块才能提前准备应对方案。

王婶不会拍胸脯说“顾客一定来我这儿”，她只会默默把烤串多备几串。轨迹预测模型也一样，它输出的是概率化的“人群流”，而不是一个孤零零的单点答案——这正是它与传统规则式预测最本质的区别。

地图与矢量化

王婶心里有一张夜市活地图：东边烤肠摊，西边奶茶店，中间的小道只能并排走两个人。她之所以能预判，是因为她早把路的结构刻在了脑子里。自动驾驶也一样，光看到周围的车还不够，还必须知道车道线在哪、路口怎么连、哪里是停止线，这些信息就来自高精地图。

然而，高精地图和传感器点云直接喂给神经网络并不高效。VectorNet 的核心思路，是把地图元素和智能体轨迹都“矢量化”：一条车道中心线可以被采样成若干个点，再用折线连接；一辆车的过去几秒轨迹，同样可以被采样成一条折线。于是，地图不再是一张像素大图，而是一组有几何顺序、有语义标签的向量元素。

王婶的夜市地图不是一张照片，而是脑海中“哪条巷子通向哪家店”的拓扑关系。VectorNet 的高明之处，就是把这种拓扑关系翻译成了神经网络能处理的矢量语言。

图交互建模

王婶看人流时有个习惯：她不只看单个顾客，还会看人和人之间的互动。两个学生模样的姑娘会在奶茶店门口停下聊天，一个推着婴儿车的阿姨会让前方人群自动让开。这些“人与人相互影响”的细节，往往才是预判的胜负手。轨迹预测里的图神经网络，就是为了模拟这种交互。

VectorNet 将地图折线和智能体历史轨迹都当作图中的节点，然后在两类节点之间建立边：一类边连接同一折线内部的点，负责局部形状信息；另一类边连接不同折线之间相近的端点或关键点，负责“跨元素”的交互信息。每一次图卷积，都让节点从邻居那里收集消息，再更新自己的特征。经过多层消息传递，每个节点都能“知道”周围环境在怎样影响自己。

王婶看到两个人聊天，就知道他们短时间内不会移动；看到推车，就知道前方人群会绕开。图神经网络做的正是这件事：通过节点之间的消息传递，让每个参与者都学到“我周围发生了什么，我该如何被影响”。

场景编码器

夜市再熟，王婶也有看不清的时候。每逢节假日人挤人，她就会搬来一张小梯子，站上去把整个夜市尽收眼底。站得高，就能同时看到东南西北几条通道的拥挤程度，信息一下子全对齐了。SceneTransformer 的角色，就是那把“梯子”。

如果说 VectorNet 已经用图神经网络完成了一轮局部交互，那么 SceneTransformer 会把这些局部折线特征当作一组 token，再送入 Transformer 编码器。自注意力机制让每一条车道、每一辆车的特征都“看到”场景里的其他所有元素。车道会关注哪些车正朝它开来，车也会关注它前方车道的拥堵情况和旁边车辆的变道趋势。这种全局建模能力，能有效弥补局部图卷积看得不够远的短板。

王婶站上梯子之后，能同时看见整条街的“人流势能”。SceneTransformer 的自注意力也是这样：它不只看距离近的邻居，而是直接在全球范围内，把每个重要线索都拉进自己的视野。

输出不确定性

有一次，王婶看到五个年轻人同时从小吃街岔路口走来，她没法判断这波人会分成几股。于是她心里默默列出三种可能：五成奔烧烤摊，三成去奶茶店，两成会在路边拍照。这种“不把话说死”的能力，正是轨迹预测最需要的素养。未来不是单线剧本，而是多个平行世界同时存在。

模型在输出端会生成 K 条候选轨迹，比如直行、左转、右转，再为每条轨迹打一个分数，并归一化成概率。通常情况下，模型还会先执行目标点采样，从高精地图上选出若干可能终点，再倒推生成整条轨迹；最后再通过轨迹评分和非极大值抑制，去掉过于相似的候选，保证输出的 K 条轨迹既多样又合理。

王婶说的“五成、三成、两成”，就是一组概率。自动驾驶也只需要让下游规划知道：哪个方向可能性高，哪个方向虽然概率低但也不能完全忽略。多模态输出，正是对这种不确定性的诚实体面表达。

训练与评估

王婶不是天生就会预判，她在夜市站了十几年，看过太多次“以为会过来结果绕走”的场面。每次判断错了，她都会默默在脑子里记一笔，下次再多观察一个细节。轨迹预测模型的训练，也需要类似的“犯错—修正”机制，只不过它靠的是损失函数和数据回放。

训练时，模型同时学习两件事：一是把高概率分配给真实发生的轨迹，这叫分类损失；二是让预测出的轨迹点尽量贴近真值轨迹，这叫回归损失。两者相加就是总损失。为了让“概率分布”更可靠，很多方法还会加入负对数似然损失，让模型对每条候选轨迹的置信度也接受监督。评估时，行业常用 minADE 和 minFDE：它们先选出 K 条候选里最接近真值的那条，再计算平均位移误差和最终点误差。

王婶说“吃过的亏都变成了眼力”，模型也是：训练损失就是它吃过的亏，评价指标则是衡量它预判功力的考试分数。模型不是天生会看路，而是在无数个真实场景的回放中，慢慢学会了像王婶一样“看人流”。

落地与安全

王婶再厉害，也不会把整摊货都押在某一个方向上。她说：“预判是预判，留一手是留一手。” 自动驾驶落地时也一样，模型预测出“前车大概率直行，但有小概率变道”，即便小概率很低，安全模块也不能忽略它。正是这种“留一手”的冗余思想，让不确定性量化变得生死攸关。

在实际量产中，轨迹预测模块必须实时输出结果，通常要求在几十毫秒内完成推理，因此模型要能被剪枝、量化并部署到车端芯片。同时，模型还需要应对遮挡带来的信息缺失：当一辆车被大货车挡住，预测结果应该变得“更发散、更保守”，而不是强行给一个自信的答案。最终，预测概率会进入规划模块，参与风险估计：如果某条候选轨迹可能与自车冲突，即便概率不高，也要触发减速或避让决策。

王婶会给自己留退路，优秀的自动驾驶系统也该如此。轨迹预测的价值，不在于把未来变成“确定答案”，而在于给规划、控制和安全模块一张“概率地图”。有了这张地图，智能车才能在没有十足把握时，依然做出稳妥的决策。

AI 应用场景

Python 演示

import math  def point_dist(a, b):    return math.hypot(a[0] - b[0], a[1] - b[1])  class MiniTrajectoryPredictor:    def __init__(self):        self.targets = []        self.scores = []     def cluster_targets(self, future_points, k=3):        # 用最远点采样初始化三个终点簇中心，模拟多模态终点        centers = [future_points[0]]        while len(centers) < k:            farthest = max(future_points, key=lambda p: min(point_dist(p, c) for c in centers))            centers.append(farthest)        # 简单迭代聚类，让终点更稳定        for _ in range(5):            groups = [[] for _ in centers]            for p in future_points:                idx = min(range(k), key=lambda i: point_dist(p, centers[i]))                groups[idx].append(p)            centers = [tuple(sum(x[i] for x in g) / len(g) for i in range(2)) for g in groups]        self.targets = centers        return centers     def candidate_trajectories(self, history, steps=8):        start = history[-1]        candidates = []        for target in self.targets:            traj = []            for i in range(1, steps + 1):                alpha = i / steps                x = start[0] + (target[0] - start[0]) * alpha                y = start[1] + (target[1] - start[1]) * alpha                traj.append((x, y))            candidates.append(traj)        return candidates     def assign_probabilities(self, candidates, true_future=None):        if true_future is None:            self.scores = [1.0 / len(candidates)] * len(candidates)            return self.scores        distances = []        for traj in candidates:            dist = sum(point_dist(traj[i], true_future[i]) for i in range(len(true_future)))            distances.append(dist)        inv = [1.0 / (d + 1e-6) for d in distances]        total = sum(inv)        self.scores = [s / total for s in inv]        return self.scores  if __name__ == "__main__":    history = [(0.0, 0.0), (1.0, 0.2), (2.0, 0.4), (3.0, 0.6)]    future_samples = [        (5.0, 0.6), (5.5, 2.5), (4.5, -2.0),        (5.2, 0.4), (5.8, 2.8), (4.2, -1.8)    ]    true_future = [(4.0, 0.8), (5.0, 1.0), (6.0, 1.2)]    model = MiniTrajectoryPredictor()    model.cluster_targets(future_samples, k=3)    candidates = model.candidate_trajectories(history)    probs = model.assign_probabilities(candidates, true_future)    for idx, traj in enumerate(candidates):        print("candidate", idx + 1, "->", traj[-1], "prob", round(probs[idx], 3))

1. def cluster_targets(self, future_points, k=3):用最远点采样和迭代聚类，从历史终点样本中提炼出 K 个“可能目的地”。
2. candidate_trajectories(self, history, steps=8):把每条候选轨迹看作从当前位置到某个终点的一段线性插值，模拟多模态轨迹生成。
3. assign_probabilities(self, candidates, true_future=None):根据候选轨迹与真值轨迹的接近程度分配概率，相当于简化版的轨迹评分。
4. model.cluster_targets(future_samples, k=3)决定预测 3 条候选轨迹，对应模型输出端 K 条多模态轨迹。
5. for idx, traj in enumerate(candidates):逐条打印候选轨迹终点和概率，方便直观观察“哪条结果更接近真值”。

常见误区

面试题