BEVFormer：多摄像头BEV特征融合

可视化演示

展示空间交叉注意力从2D图像提取BEV特征、时序自注意力融合历史帧、以及6摄像头360°环视特征融合过程。

1. 六块屏幕与一张地图（多摄与BEV）

回到商场寻人任务。面对六块监控屏幕，你的第一反应不是盯着某一块看，而是想：能不能把六块屏幕的信息拼成一张从天花板往下拍的俯视图？这样一来，“门在东北角、扶梯在正西、目标在门和扶梯之间”就变得一目了然。BEVFormer 的第一个核心思想正是如此：把六路环视相机的透视画面，统一映射到一张鸟瞰视角（Bird's Eye View，BEV）的地图上。

但这里有个关键区别：BEVFormer 不是把六张照片像拼图那样物理拼起来，而是先在 BEV 平面上定义一堆“询问位置”，然后让每个位置去各路相机画面里“打听”信息。这片 BEV 平面就是自动驾驶的统一坐标系：无论相机装在车头还是车尾，无论障碍物在左边还是右边，最终都会被描述成“以自车为中心的世界坐标里的一个点”。

在 BEVFormer 中，BEV 平面被划分成网格，每个网格点称为一个 BEV 查询点（BEV Query）。这些查询点是带着任务的“情报员”——它们的任务就是搞清楚自己所在的位置周围到底有什么。查询点还会叠加可学习的位置编码，让网络知道“这个点位于车的左前方 5 米”。

所以，BEVFormer 的输入输出可以一句话概括：输入六路图像和历史地图，输出一张刻画“现在周围发生了什么”的统一地图。这张地图，就是自动驾驶感知系统的“公共语言”。

---

2. 视线投向东门（查询点机制与空间交叉注意力）

现在你站在中庭，盯着一张 BEV 平面图，决定先搞清楚“东门”位置的情况。你会怎么做？自然是抬起头，在六块屏幕里找到能看见东门的那几块，然后沿着视线仔细看。BEVFormer 的空间交叉注意力（Spatial Cross-Attention）做的就是这件事。

每个 BEV 查询点会执行一个“两步走”：第一步，把查询点的三维坐标投影到每路相机的图像平面上，得到“该往哪块屏幕看”的参考位置；第二步，以参考位置为中心，在它附近采样几个点，用可变形注意力（Deformable Attention）提取特征。注意，第二步有个精妙之处：查询点不是傻傻地在每个相机画面上均匀扫一遍，而是根据自己的语义特征“学习”应该重点看哪里——就像找人的保安会优先看人群密集的通道，而不是盯着天花板。

可变形注意力是 BEVFormer 高效的关键。传统 Transformer 的注意力要“看遍全场”，计算量随像素数爆炸；可变形注意力只需在每个参考点周围取几个采样点，像找线索时只问几个关键目击者，而不是拦住整条街的人。

这就是“六块屏幕、一个东门”的道理：每个位置的信息，是最多六个视角各贡献几条线索后综合出来的。多摄融合不是像素拼接，而是“线索加权汇总”。

---

3. 让记忆对齐坐标系（时序对齐）

上一节的“地图”只是某个瞬间的快照。可车辆在行驶，世界在变化。还记得刚才屏幕里闪过的那个人影吗？如果现在再看一眼东门，他可能已经走到了扶梯旁。要是直接把上一秒的画面和当前的画面叠在一起，你会看到一个人影的重影，就像拍糊了的照片。BEVFormer 如何解决？答案是：时序自注意力（Temporal Self-Attention）配合自车运动补偿。

具体来说，当前时刻的每个 BEV 查询点，除了去六路相机里找线索，还会去“上一帧的 BEV 地图”里找线索。但车辆在运动，上一帧的世界坐标与当前帧的世界坐标已经发生了平移和旋转。如果直接按旧坐标去采样，就会对错位置。因此 BEVFormer 利用自车运动信息（位移+旋转矩阵），先计算一个坐标偏移 Δ，把上一帧的采样位置“搬”到当前坐标系下，再做可变形注意力。这个过程，相当于把昨天的记忆地图平移旋转到今天的位置，让“记忆中的东门”和“现在的东门”严丝合缝地对齐。

时序自注意力让 BEVFormer 拥有了“前后帧联动的记忆”。车辆移动时，记忆中的每个物体都会根据自车运动“自动归位”，上一秒的红灯信息才能正确叠加到当前的判断里。

---

4. 编码器中的“三次开会”（编码器结构）

我们已经讲了两种注意力机制，而 BEVFormer 的编码器实际上是三种注意力层层协作。假设你是那组 BEV 查询点中的一员，你的一天要参加三场会议：第一场，和所有查询点开内部通气会（自注意力），大家交换一下各自掌握的信息——“我这边看到东门有个人影，你们那边呢？”；第二场，向六路相机开外部调研会（空间交叉注意力），获取当前帧的视觉证据；第三场，向昨天的自己开复盘会（时序自注意力），查看历史 BEV 特征中有无被漏掉的线索。

这三场会议按顺序叠加，形成一个 Transformer 编码器层。论文中这样的层堆叠了 6 层，每一层的输出作为下一层的输入。经过 6 轮迭代，每个查询点的特征从“只知道自己位置在哪”进化到“知道这个位置周围发生了什么、历史上发生过什么”。残差连接和 LayerNorm 保证深层网络依然稳定训练。

经过 6 层这样的“三次开会”，BEV 特征就齐了：既有当前帧的丰富视觉细节，又有历史帧的时序一致性。这张特征图就是后续所有任务（检测、分割）的共享底座。

---

5. 从特征到“能踩刹车的理由”（检测预测头）

BEV 特征图准备好了，但自动驾驶系统真正需要的是具体目标信息：前方 30 米有辆车，它的位置是 (x, y, z)，长宽高各多少，朝向如何，是轿车还是卡车——只有拿到这些，规划模块才知道该不该踩刹车。这一步由预测头（Head）完成。

BEVFormer 的 3D 检测头接收 BEV 特征，输出每个目标的 7 个几何参数（中心 x,y,z、长 l、宽 w、高 h、朝向角 θ）和类别概率。从数学上看，这其实就是一个线性映射加分类器：把每个查询点对应的特征向量，映射到 8 维输出（7 维几何 + 1 维类别分布）。关键在于，输入的特征质量极高——由于时空 Transformer 的融合，特征里已经隐式编码了多视角几何关系和时序上下文，所以即使预测头很简单，也能输出准确的 3D 框。

从 BEV 特征到 3D 框，是自动驾驶感知“从看懂到可用”的关键一跳。BEVFormer 让这一跳变得顺理成章：高质量的时空特征，配一个简单的检测头，就能刷新当时的最优成绩。

---

6. 成绩单与工程细节（性能与实现）

BEVFormer 在自动驾驶界广泛使用的 nuScenes 数据集上取得了当时最优的成绩：NDS（nuScenes Detection Score）约 48.5%，mAP（平均精度均值）约 41.6%。相比上一代方案 DETR3D（NDS 约 44.5%），提升了约 4 个百分点。这个提升主要来自“显式时序建模”和“BEV 统一网格”两个设计。

工程上，BEVFormer 的高效依赖于可变形注意力带来的稀疏计算。设 BEV 查询点数为 N_q，每路相机采样 N_ref 个点，其复杂度为 O(N_q × N_cam × N_ref)，远低于全局注意力的 O(N_q × H × W)。训练时采用两阶段策略：先在单帧数据上预训练骨干和编码器，再加入历史帧微调时序模块，最后用 8 帧历史信息做全量训练。推理时，模型在 V100 上约 1.7 FPS，经过 TensorRT 加速后可在车载芯片上接近实时。

1. NDS 48.5%：nuScenes 官方综合指标，兼顾检测精度与速度、朝向等属性误差。

$$\mathrm{NDS} = 48.5\%$$

2. mAP 41.6%：平均精度均值，衡量检测框的正确率与召回率。

$$\mathrm{mAP} = 41.6\%$$

3. 复杂度上界：计算量由查询点数、相机数、采样点数共同决定，与图像全分辨率解耦。

$$\mathcal{O}(N_q \times N_{\text{cam}} \times N_{\text{ref}})$$

4. 两阶段训练：先单帧预训练稳定特征提取，再时序微调让记忆模块生效。

$$\text{Stage 1: single-frame} \rightarrow \text{Stage 2: temporal}$$

BEVFormer 的成绩单证明了：把多摄像头与时序信息放进同一个 Transformer 框架，不仅可行，而且显著优于此前“各模块拼凑”的方案。这也是它被后续大量工作引用的根本原因。

---

7. 分水岭：统一地图的意义（应用与意义）

BEVFormer 真正的历史贡献，不只是刷新了一个分数，而是确立了“BEV 统一感知”这一范式。在它之前，多摄像头 3D 检测往往是“每路相机单独出框，再在后处理里合并”，结果冲突多、精度低、扩展性差。BEVFormer 之后，感知、预测、规划可以共享同一个 BEV 特征：检测头从 BEV 特征里出 3D 框，分割头从 BEV 特征里画车道线，预测模块从 BEV 特征里推未来轨迹——一张地图，多方获益。

当然，这个范式也面临现实挑战：BEV 网格分辨率越高、时序帧数越多，显存和算力压力越大；车规级芯片上要跑到实时，仍需量化、剪枝、TensorRT 优化。此外，新一代方法（如 BEVFormer V2、UniAD）已经把 BEV 感知推进到“端到端决策”，让特征直接驱动规划，减少信息在模块间传递时的损耗。

BEVFormer 让我们看到自动驾驶感知的未来形态：所有传感器、所有时刻的信息，最终汇聚成一张“会思考的地图”。这张地图既是工程师的分析工具，也是自动驾驶汽车理解世界的核心方式。

AI 应用场景

Python 演示

import torchimport torch.nn as nnimport torch.nn.functional as F  class DeformableCrossAttention(nn.Module):    """ 简化版可变形交叉注意力：每个 BEV 查询点从 6 路相机采样 """     def __init__(self, embed_dim=256, num_cams=6, num_points=4):        super().__init__()        self.embed_dim = embed_dim        self.num_cams = num_cams        self.num_points = num_points         # 用全连接层为每个查询点预测采样偏移与注意力权重        self.sampling_offset = nn.Linear(embed_dim, num_cams * num_points * 2)        self.attn_weight = nn.Linear(embed_dim, num_cams * num_points)        self.value_proj = nn.Linear(embed_dim, embed_dim)        self.output_proj = nn.Linear(embed_dim, embed_dim)     def forward(self, query, cam_feats):        """        query: (B, Nq, C)              BEV 平面查询点        cam_feats: (B, 6, H, W, C)     六路相机特征        """        B, Nq, C = query.shape        H, W = cam_feats.shape[2], cam_feats.shape[3]         # 1) 预测每个查询点在每路相机上的采样位置与权重        offsets = self.sampling_offset(query).view(B, Nq, self.num_cams, self.num_points, 2)        weights = torch.softmax(            self.attn_weight(query).view(B, Nq, self.num_cams, self.num_points),            dim=-1        )         # 2) 对每路相机特征做可变形采样（简化：用归一化网格采样）        outputs = []        for cam_id in range(self.num_cams):            feat = cam_feats[:, cam_id].permute(0, 3, 1, 2)  # (B, C, H, W)            base_y = torch.linspace(-1, 1, H).view(-1, 1).repeat(1, W)            base_x = torch.linspace(-1, 1, W).view(1, -1).repeat(H, 1)            grid = torch.stack([base_x, base_y], dim=-1).unsqueeze(0).repeat(B, 1, 1, 1)            sampled = F.grid_sample(feat, grid, align_corners=False)  # (B, C, H, W)            sampled = sampled.mean(dim=(2, 3))  # 简化为全局池化            outputs.append(sampled)         # 3) 按权重加权聚合各路相机采样特征        feat_stack = torch.stack(outputs, dim=1).unsqueeze(2)  # (B, Nq, 1, 6, C)        weights = weights.unsqueeze(-1)  # (B, Nq, 6, 4, 1)        agg = (feat_stack * weights[:, :, 0, :, :]).sum(dim=3)  # 简化聚合        return self.output_proj(agg)  if __name__ == "__main__":    torch.manual_seed(0)    B, Nq, C = 1, 100, 256    query = torch.randn(B, Nq, C)    cam_feats = torch.randn(B, 6, 16, 16, C)     model = DeformableCrossAttention(embed_dim=C)    out = model(query, cam_feats)    print("输入查询点形状:", tuple(query.shape))    print("输出融合特征形状:", tuple(out.shape))    assert out.shape == (B, Nq, C), "输出形状需保持 (B, Nq, C)"    print("简化版空间交叉注意力前向通过！")

1. self.sampling_offset = nn.Linear(embed_dim, ...)让每个查询点自己学习“该往相机画面哪里看”，对应可变形注意力中的采样偏移。
2. torch.softmax(...)对每路相机、每个采样点的注意力权重归一化，保证权重和为 1。
3. F.grid_sample(feat, grid, align_corners=False)双线性插值采样，实现“目光聚焦画面关键位置”。
4. torch.stack(outputs, dim=1)把六路相机采样结果堆叠起来，准备加权融合。
5. assert out.shape == (B, Nq, C)验证输出形状不变，确保 BEV 查询点数量与特征维度在融合中保持一致。

常见误区

面试题