BEVFormer：给自动驾驶装上“上帝视角地图”

可视化演示

展示BEVFormer整体架构（6相机→BEV网格→检测分割）、空间交叉注意力（BEV查询投影到多视角采样特征）、以及时序融合（自车运动补偿+多帧BEV对齐）三大核心机制。

感知背景：一群只看得见局部的服务员

想象餐厅开业的第一个晚上，你站在吧台后面，六个服务员用对讲机不停汇报。服务员A说“门口有人推门进来”，服务员B说“靠窗那桌在招手”，服务员C喊“后厨通道有人端着汤快步走”。你收到了所有信息，却仍然不知道这些事发生的具体位置、彼此间会不会冲突——因为每个服务员只说得出自己的视角，给不出一个统一坐标系下的答案。这就是传统2D感知的困境：每个摄像头独立输出自己画面里的目标框，但车辆决策系统真正需要的是“我周围三维空间里，谁在什么位置、以什么速度移动”的整体画面。

BEV（Bird's Eye View，鸟瞰视图）就是答案：它像是从车顶正上方挂了一台虚拟相机，把所有目标投影到地平面上，形成一张俯视网格图。在这张图上，每个目标的尺度和位置都统一在自车坐标系下，规划模块可以直接读取“前方20米有行人”“右侧车道3米处有车”。BEVFormer 的出发点，就是用 Transformer 把多路摄像头的二维图像，“缝合”出这样一张实时俯视图。

技术落地的第一步是坐标统一。车辆上每个摄像头都有自己的外参（旋转矩阵 \(R\) 和平移向量 \(t\)），能把图像坐标转换到自车坐标系；再把连续的自车坐标离散成 BEV 网格——就像把餐厅地面按 0.5 米一格铺上地砖，每个格子编号记录。

一个格子记录一个特征向量，整块地砖拼起来，就构成了经理脑中那张可以随时翻阅的全局地图。地图上任何客人的位置，都能对应到唯一一块地砖——这正是 BEV 表达最诱人的地方。

BEV特征生成：给每个格子发一张“提问卡片”

既然要拼俯视图，第一步是让每个地砖格子都有“发言权”。在 BEVFormer 里，每个 BEV 网格对应一个可学习的查询向量（query），你可以把它理解成经理给每个格子发了一张空白提问卡片：“你这块地砖上，现在有什么？”这些查询向量初始时不知道任何图像信息，它们要通过后续的注意力层，从六张摄像头照片里主动收集证据，逐渐填满卡片内容。

这个过程类比餐厅场景：经理闭着眼睛，在地砖铺好的平面图上用手指一格一格点过去，嘴里念叨“这格有没有人？这格有没有餐车？”——每个格子都在向服务员要情报。查询向量的初始化并不复杂，它由网格位置编码和可学习嵌入相加得到：

查询向量准备好了，接下来就是重头戏——它们要怎么从六张二维图像里拿到情报？这就像经理把提问卡片分发出去，服务员们要看懂卡片上写的是“我这块地砖，对应你视野里的哪个位置”，才能把看到的画面填回卡片。地图上每一块地砖，都即将在多个服务员视角中寻找自己的“倒影”。

空间交叉注意力：地砖在多张照片里找自己的倒影

现在最有意思的部分来了。每块地砖（BEV 查询）都必须去六张摄像头照片里寻找“自己应该看到什么”。它的做法是：利用已知的相机内外参，把这块地砖中心的 3D 坐标投影到每个摄像头的 2D 图像平面上，得到一个采样点——就像经理对着地图说“3号桌这块地砖，在服务员A的视野里应该位于画面的左三分之一处”。服务员的视角五花八门，同一块地砖可能同时出现在前视、侧视两张图里，且位置、形变都不同。

BEVFormer 用可变形交叉注意力（Deformable Cross-Attention）完成这个“多方求证”过程。对每个 BEV 查询 \(Q_p\)，它在每个相机视图上采样 \(K\) 个点，每个点都带着一个由网络预测的偏移量，目的是自适应地避开遮挡、对准目标真实可见区域。采样到的图像特征按注意力权重加权求和，就得到了这块地砖最终的多视角融合特征：

回到餐厅：经理不再只听服务员报“门口有人”，而是精确地问“3号地砖在你视野里对应哪一块区域？把那个区域的画面内容告诉我”。六个服务员各自回复，经理把六份描述加权合并成一条记录，填进 3 号地砖的卡片里。所有地砖都完成这一步后，一张完整的俯视图特征就初具雏形了。然而，如果每块地砖都在六张完整图上全局扫描，计算量会爆炸——这就逼出了下一个聪明设计。

可变形注意力：不翻遍整张照片，只看关键几眼

如果每块地砖都要在六张大图上逐像素找对应关系，计算量无异于经理让每个服务员把餐厅每个角落翻个底朝天再汇报一遍——服务员的嗓子喊哑了，经理的耳朵也炸了。可变形注意力（Deformable Attention）的解决方案异常朴素：不要全局匹配，只在预测的几个关键点附近采样。

具体做法是：每个 BEV 查询通过一个小型神经网络，直接预测一组采样偏移量 \(\Delta p\)。这些偏移量叠加在基准投影点（参考点）上，得到最终的采样位置。因为网络被训练成“偏移到信息最丰富的地方”，所以模型可以自动避开玻璃反光、遮挡物，把采样点精准落在目标身上。这样，原本需要关注整张特征图的操作，被压缩成每块地砖每张图只采 4 到 8 个点：

这就像经理给每人发了一张重点观察清单：“别到处看，就看这张清单上标的五个位置。”服务员省了力气，信息质量反而更高。可变形注意力让 BEVFormer 在保持高精度的同时，把计算量控制到了车载芯片能承受的范围——这是它能在真实车辆上跑起来的关键。

时序融合：记住三秒前客人在哪

餐厅里最让经理头疼的情况不是人多，而是人突然被柱子挡住、消失视线。如果服务员只看当前这一眼，经理就会跟丢目标。BEVFormer 的解法是“给自己留记忆”：它会把上一帧（甚至更早几帧）的 BEV 特征缓存下来，在生成当前帧 BEV 之前，先通过时序自注意力（Temporal Self-Attention）让当前帧的查询向量与历史 BEV 特征互动。

这个过程好比经理闭上眼睛回想：“三秒前，3号桌那位起身的客人正朝吧台方向走，步速每秒半米。现在他被屏风挡了，但按他的运动轨迹，应该快走到吧台東侧了。”历史帧提供了运动先验，让感知系统在被遮挡时依然能维持对目标的连续跟踪。公式上，当前帧 BEV 特征 \(B_t\) 由当前帧空间交叉注意力结果与对齐后的历史特征融合而成：

除了遮挡恢复，时序融合还带来了一个 bonus：静态场景的感知会越来越稳。因为多次观测同一区域，模型可以像经理见多了客人一样，逐渐分辨出哪些是固定桌椅、哪些是流动人群，误检自然减少。不过，时序融合也引入了对齐问题——车在动，上一帧的网格和当前帧网格的坐标系不重合。BEVFormer 的做法是利用车辆的位姿变化（ego-motion）把历史特征先对齐到当前坐标系，再做融合，就像经理知道“吧台相对我偏移了半米，先在心里把地图平移半米再看”。

网络架构：从编码器到检测头的流水线

BEVFormer 的整体骨架是一个标准的 Transformer 编码器结构。首先用 ResNet 等骨干网络提取六路图像的多尺度特征（好比服务员们先用眼睛快速扫一遍全场，形成多层次的视觉描述），然后初始化 BEV 查询。接下来，每个 Transformer 层依次执行：时序自注意力（回顾历史）、空间交叉注意力（多视角取证）、前馈网络（整理归纳）。层层堆叠，BEV 特征越来越精细。

整个编码器流程可以用下面这个递推式概括，其中 \(l\) 代表层数，\(\text{LN}\) 是层归一化：

编码器输出的 BEV 特征最终送入两个检测头：一个预测目标的 3D 边界框（中心点、长宽高、朝向角），一个预测速度。整条流水线从图像输入到鸟瞰框输出，全部可微、端到端训练。值得一提的是，BEVFormer 也使用了多尺度特征金字塔，让不同大小的目标都能获得合适的特征分辨率——大卡车看高层特征，小行人看低层特征，各有各的探测器。

应用与评估：从 nuScenes 榜单到量产之路

BEVFormer 论文发布后，立刻在自动驾驶感知最权威的基准之一 nuScenes 数据集上刷新了纪录。nuScenes 提供了六个相机、五个雷达和一个激光雷达的同步数据，评估指标包括 mAP（平均检测精度）和 NDS（nuScenes 检测分数）。NDS 综合了检测质量与速度估计误差，可以理解为餐厅经理的“综合绩效评分”——光说得出客人是谁不够，还得说得准客人走得有多快：

BEVFormer 在 nuScenes 的纯视觉（camera-only）榜单上做到了当时的 SOTA，尤其在小目标检测与遮挡场景中优势明显。但量产路上挑战仍在：车载芯片算力有限，BEV 网格较大时 Transformer 的时延仍偏高；极端天气、夜间弱光、罕见异形车等长尾场景，依赖训练数据覆盖；未来融合毫米波雷达、激光雷达的多模态 BEV 方案，以及轻量化部署，是明确的方向。回到餐厅的比喻：BEVFormer 已经是个很能干的经理了，但要应对满座、停电、醉酒客人的全部混乱场面，它还需要更多训练、更强的算力，以及和更多服务员的默契配合。

AI 应用场景

Python 演示

import torchimport torch.nn as nnimport torch.nn.functional as F  class SimpleBEVFormer(nn.Module):    """极简 BEVFormer 演示：空间交叉注意力 + 时序融合核心思路"""     def __init__(self, embed_dim=32, bev_h=8, bev_w=8, num_cams=3):        super().__init__()        self.embed_dim = embed_dim        self.bev_h, self.bev_w = bev_h, bev_w        self.num_cams = num_cams         # 1) BEV 查询向量：每个网格一个可学习 query        self.bev_query = nn.Parameter(torch.randn(1, bev_h * bev_w, embed_dim) * 0.02)         # 2) 空间交叉注意力：从 query 预测每个相机平面上的采样偏移        self.sample_offset = nn.Linear(embed_dim, num_cams * 4 * 2)         # 3) 融合输出层        self.fuse = nn.Linear(embed_dim * 2, embed_dim)        self.norm1 = nn.LayerNorm(embed_dim)     def make_sampling_grid(self, B, N, offset):        """生成采样网格：BEV 均匀网格 + 预测偏移，模拟投影到图像坐标"""        gx = torch.linspace(-1.0, 1.0, steps=self.bev_w, device=offset.device)        gy = torch.linspace(-1.0, 1.0, steps=self.bev_h, device=offset.device)        gy, gx = torch.meshgrid(gy, gx, indexing='ij')        ref = torch.stack([gx, gy], dim=-1).view(1, N, 2)        ref = ref.expand(B, -1, -1)        return (ref + offset).unsqueeze(1)  # B,1,N,2 供 grid_sample 使用     def forward(self, camera_feats, prev_bev=None):        B = camera_feats[0].shape[0]        N = self.bev_h * self.bev_w        query = self.bev_query.expand(B, N, -1)         # 空间交叉注意力：每格预测偏移，从各相机特征图上采样 4 个点        offsets = self.sample_offset(query) * 0.2  # B,N,num_cams*8        collected = []        for c_idx, feat in enumerate(camera_feats):            pts = []            for k in range(4):                off = offsets[:, :, c_idx * 8 + k * 2: c_idx * 8 + k * 2 + 2]                grid = self.make_sampling_grid(B, N, off)                pts.append(F.grid_sample(feat, grid, align_corners=True).squeeze(1))            collected.append(torch.stack(pts, dim=-1).mean(dim=-1))  # B,C,N         # 多相机特征平均聚合 -> B,N,C        fused = torch.stack(collected).mean(dim=0).permute(0, 2, 1)         # 时序融合（简化）：与上一帧 BEV 特征逐元素相加，保留历史信息        if prev_bev is not None:            fused = fused + prev_bev         out = self.norm1(self.fuse(torch.cat([query, fused], dim=-1)))        return out  if __name__ == '__main__':    torch.manual_seed(0)    model = SimpleBEVFormer(embed_dim=32, bev_h=8, bev_w=8, num_cams=3)    feats = [torch.randn(2, 32, 24, 24) for _ in range(3)]    prev = torch.zeros(2, 64, 32)    out = model(feats, prev)    print('当前帧 BEV 特征:', out.shape)

1. self.bev_query = nn.Parameter(...)每个 BEV 网格分配一个可学习查询向量，相当于经理发给每个格子的“提问卡片”
2. self.sample_offset = nn.Linear(embed_dim, num_cams * 4 * 2)从查询向量预测每个相机上 4 个采样点的二维偏移，对应可变形注意力
3. off = offsets[:, :, c_idx * 8 + k * 2: ...]取第 c 个相机第 k 个采样点的偏移量，维度组织为 2 个坐标一组的排列
4. torch.stack([gx, gy], dim=-1)构造 BEV 均匀网格的参考坐标，模拟地砖中心投影到图像平面后的基准位置
5. (ref + offset).unsqueeze(1)参考点叠加预测偏移，得到最终采样坐标，维度变为 grid_sample 要求的 B,1,N,2
6. F.grid_sample(feat, grid, align_corners=True)双线性采样，从图像特征图上取对应位置的特征向量
7. torch.stack(collected).mean(dim=0)多相机特征取平均聚合，模拟六个服务员对同一地砖的加权汇报
8. fused + prev_bev时序融合简化版，历史 BEV 特征直接加进当前帧，保留运动记忆

常见误区

面试题