3D视觉：3D检测

可视化演示

基本概念：从照片到立体清单

搬家师傅要搬走客厅的沙发。你说“沙发在墙角”可不够——三米的走道、九十度的转角，他必须知道沙发离墙多远、占多大、朝哪边，才能决定直推还是斜着过。2D 检测递上来的是一张普通照片，红色矩形圈出“这是沙发”；3D 检测递上来的却是一张带卷尺和量角器的立体清单。

这张立体清单上的每个条目，就是 3D 检测的输出：物体的类别，加上一个三维边界框（3D Bounding Box）。边界框把物体在真实空间中的“占地范围”精确框住。所谓 3D 检测，就是在激光雷达或相机提供的三维数据中，同时完成定位与识别。

与 2D 检测相比，3D 检测新增了三个关键维度：深度方向的位置、真实物理尺寸、以及绕竖直轴的朝向角。一个典型的三维框由 7 个参数表示：

有了这 7 个数字，搬家师傅就能在脑内建模、测量过道、计算角度，一次把沙发搬到位。3D 检测在自动驾驶与机器人中的价值，正是把“看到了什么”升级为“它到底在哪、多大、朝哪”，让机器可以安全地行动。

感知数据源：师傅的三双“眼睛”

搬家师傅怎么知道沙发的位置和尺寸？他不能只靠“看”，得靠工具。3D 检测同样有三类主流“眼睛”，各有各的测距绝活。

第一类是激光雷达，相当于师傅手里的激光测距枪。它每秒发射上百万个激光脉冲，记录每个反射点的三维坐标，形成“点云”——像用无数光点给房间做了一次三维扫描。点云里的每个点都自带 x、y、z 坐标，是 3D 检测最直接的输入。第二类是双目相机，相当于师傅的两只眼睛：左右眼看到同一物体有细微位置差，大脑根据这个差算出距离。第三类是深度相机，相当于一只会发射编码光的眼睛，用结构光或飞行时间直接读出每个像素的深度。

双目测距的原理可以用小孔成像推导，核心公式如下：

三类眼睛各有短板：激光雷达贵且点云稀疏，双目在夜间或纯色墙面易失准，深度相机有效距离短。于是工程上常用“多源融合”——把激光雷达的准、相机的纹理、深度相机的低成本组合起来，像师傅既用激光枪又用双眼互相校正。多双眼睛互补，3D 检测才更稳。

经典算法：不同流派的测量手法

面对一批点云，不同“测量流派”的师傅手法截然不同：有的挨个摸点、有的把房间搭成积木、有的先插竹竿再拍照。理解这些流派，就理解了 3D 检测算法的演进主线。

PointNet 是“逐点摸”流派的鼻祖。它的核心洞察是：点云是一堆没有顺序的点，网络必须与顺序无关。做法是对每个点做共享的特征变换，再用对称聚合（最大池化）归并全局特征：

VoxelNet 是“搭积木”流派：把空间切成规则小格子（体素，像立体的棋盘格），点云按格子分组聚合，再用三维卷积扫描，精度高但算力很贵。SECOND 针对浪费引入“稀疏卷积”——只在有点的格子上计算，像搬家公司只登记有家具的房间，不把整栋楼每间房都查一遍。PointPillars 则更激进：把竖直方向的体素合并成一整根“柱子”，点云被压成一张伪图像，直接用高效的二维卷积处理，在精度损失很小的情况下做到实时。

从逐点摸、搭积木到插竹竿，流派演进的主线是“如何在精度与速度之间取舍”，如同搬家师傅不断优化测量流程，既量得准又不耽误赶路。

检测流程：师傅的标准作业程序

专业搬家公司有标准作业程序：先清场，再量尺寸，再推测怎么搬，最后记录清单。3D 检测的流程也分四步：预处理、特征提取、提议框、框回归与分类。

预处理是“清场”：去掉地面点、滤除噪声点、把连成一片的点云聚类成一个个物体候选。特征提取是“量尺寸”：用 PointNet、VoxelNet 或 PointPillars 把点云变成高维特征图。提议框是“铺候选刻度”：在空间里预先铺满一组锚框（Anchor），相当于搬家师傅先画好“沙发可能摆放的几个位置”。最后一步框回归与分类，是把候选刻度框微调成真实框，并给出类别。

回归的目标是一组残差，而不是绝对坐标：

每个环节都有明确分工，像搬家师傅按流程走：先清空通道再搬大件，出错率低、效率高。检测流程的模块化，让工程团队可以单独优化每一环。

评估指标：量得准不准，考试说了算

搬家师傅吹嘘自己“一眼就能报出尺寸”，口说无凭，得拿卷尺复核。3D 检测同样需要公认的“复尺”标准，最重要的就是三维 IoU。

三维 IoU 衡量预测框与真实框的重合度，等于两个立体框交集体积除以并集体积：

有了单类的平均精度 AP，把所有类别取平均就是 mAP。KITTI 数据集则把目标按高度、遮挡、截断程度分为“简单、中等、困难”三档，分别计算 AP，防止算法只挑软柿子捏。就像搬家公司的考核分“平层大件”“楼道窄搬”“雨天搬运”三档难度，全面通过才算真功夫。

核心挑战：师傅最怕的三件事

再老练的师傅也有头疼的时候：家具堆成山、门被挡住、甲方催得急。3D 检测也面临三大挑战：点云稀疏、遮挡截断、实时性。

第一大挑战是点云稀疏。激光点像手电筒光束一样发散，距离越远越稀，落到单位面积上的点数按平方反比衰减：

第二大挑战是遮挡与截断：行人被前车挡住一半、车辆驶出视野被截断，点云天生残缺，跟师傅只能看到沙发一角却要估出整体尺寸一样难。第三大挑战是实时性：一辆时速 80 公里的车每秒前进 22 米，检测必须在一两百毫秒内完成，精度与速度必须平衡。工程上应对“稀疏、遮挡、实时”的招数包括多帧累积、多传感器融合、模型轻量化，核心思想与师傅“多角度补看、提前勘探、加快手脚”完全一致。

工程实践：从培训到上岗

把 3D 检测算法送进真实产品，就像把新人培养成老师傅：先培训（标注与训练），再上岗（部署），还要不断复训（优化）。

数据标注是第一步：人工在点云里绘制三维框，标出中心、尺寸、朝向，工作量远大于 2D 标注，通常配合“自动标注加人工修正”。模型部署是第二步：把训练好的模型转换到 TensorRT、ONNX 等推理引擎，跑在车载 GPU 或嵌入式芯片上。为了压缩体积、加速推理，常用 INT8 量化，把浮点权重转换成低精度整数：

第三步优化策略还包括知识蒸馏（大模型当老师教小模型）、结构化剪枝（去掉不重要的通道）、以及针对稀疏场景的多帧融合。工程落地的本质，是在“量得准、跑得快、成本低”三者之间权衡——就像搬家公司在师傅水平、搬运速度与人力成本之间找到最优解。

AI 应用场景

Python 演示

import mathimport numpy as np  def make_car_cloud(cx, cy, yaw, length=4.5, width=1.8, num=300, seed=42):    """生成一辆车在鸟瞰图下的激光雷达点云(含噪声)"""    rng = np.random.default_rng(seed)    l = rng.uniform(-length / 2, length / 2, num)    w = rng.uniform(-width / 2, width / 2, num)    c, s = math.cos(yaw), math.sin(yaw)    x = l * c - w * s + cx    y = l * s + w * c + cy    x += rng.normal(0, 0.08, num)    y += rng.normal(0, 0.08, num)    return np.stack([x, y], axis=1)  def fit_bev_box(points):    """用 PCA 主方向估计车辆的鸟瞰框(中心/朝向/长宽)"""    mean = points.mean(axis=0)    cov = np.cov(points.T)    eig_val, eig_vec = np.linalg.eigh(cov)    main_dir = eig_vec[:, int(np.argmax(eig_val))]    yaw = math.atan2(main_dir[1], main_dir[0])    c, s = math.cos(yaw), math.sin(yaw)    al = (points - mean) @ np.array([[c, s], [-s, c]])    length = float(np.abs(al[:, 0]).max() * 2)    width = float(np.abs(al[:, 1]).max() * 2)    return (mean[0], mean[1], yaw, length, width)  def point_in_box(x, y, box):    """判断点是否落在旋转矩形(鸟瞰框)内"""    cx, cy, yaw, length, width = box    dx, dy = x - cx, y - cy    c, s = math.cos(yaw), math.sin(yaw)    return abs(dx * c + dy * s) < length / 2 and abs(-dx * s + dy * c) < width / 2  def bev_iou(box_a, box_b, step=0.15):    """网格采样法近似计算两个鸟瞰框的交并比"""    x0 = min(box_a[0] - box_a[3], box_b[0] - box_b[3]) - 1    x1 = max(box_a[0] + box_a[3], box_b[0] + box_b[3]) + 1    y0 = min(box_a[1] - box_a[4], box_b[1] - box_b[4]) - 1    y1 = max(box_a[1] + box_a[4], box_b[1] + box_b[4]) + 1    xx, yy = np.meshgrid(np.arange(x0, x1, step), np.arange(y0, y1, step))    in_a = np.array([point_in_box(x, y, box_a) for x, y in zip(xx.ravel(), yy.ravel())])    in_b = np.array([point_in_box(x, y, box_b) for x, y in zip(xx.ravel(), yy.ravel())])    inter = int(np.sum(in_a & in_b))    union = int(np.sum(in_a | in_b))    return inter / union if union > 0 else 0.0  def nms(dets, iou_thresh=0.3):    """按分数从高到低做非极大值抑制, 去除重复框"""    dets = sorted(dets, key=lambda d: d["score"], reverse=True)    kept = []    while dets:        best = dets.pop(0)        kept.append(best)        dets = [d for d in dets if bev_iou(best["box"], d["box"]) < iou_thresh]    return kept  if __name__ == "__main__":    gt = (0.0, 0.0, 0.6, 4.5, 1.8)      # 真实车框: x, y, yaw, 长, 宽    cloud = make_car_cloud(*gt)          # 由真实框生成点云    pred = fit_bev_box(cloud)            # 算法估计出的框    print("估计框:", np.round(pred, 2))    print("与真实框的鸟瞰IoU:", round(bev_iou(pred, gt, 0.1), 3))     dets = [        {"score": 0.92, "box": (0.0, 0.0, 0.6, 4.4, 1.9)},        {"score": 0.75, "box": (0.3, -0.2, 0.6, 4.6, 2.0)},        {"score": 0.60, "box": (1.9, -0.3, 0.2, 4.5, 1.8)},    ]    kept = nms(dets)    print("NMS后保留", len(kept), "个框, 分数:", [d["score"] for d in kept])

1. cov = np.cov(points.T)计算点云坐标的协方差矩阵，PCA 从这里提取车身主朝向。
2. main_dir = eig_vec[:, int(np.argmax(eig_val))]最大特征值对应的特征向量，就是点云分布最长的方向，即车身朝向。
3. al = (points - mean) @ np.array([[c, s], [-s, c]])把点云旋转到局部坐标系，车身方向对齐到 x 轴，方便量出长宽。
4. in_a = np.array([point_in_box(x, y, box_a) for x, y in zip(xx.ravel(), yy.ravel())])对网格上的每个采样点判断是否落在框内，统计重叠格数近似求交集。
5. dets = sorted(dets, key=lambda d: d["score"], reverse=True)先按置信度从高到低排序，分数高的检测优先保留。
6. dets = [d for d in dets if bev_iou(best["box"], d["box"]) < iou_thresh]与已选框交并比过高的检测直接丢弃，避免一个物体报出多个框。

常见误区

面试题