想象一下这样的场景:深夜雨雾中,一辆自动驾驶汽车要判断前方 100 米处到底有没有行人。如果只靠一双“眼睛”,雨滴会遮挡视线、黑暗会吞没细节;如果只靠一把“尺子”,你能量出距离却看不清对方是人是树。于是工程师请来了三位各怀绝技的“侦察兵”:手持激光尺的测绘员 LiDAR,能把距离量到厘米级,却分不清颜色;眼神敏锐的画家相机,能看清车牌和衣纹,一到黑夜就抓瞎;耳朵灵敏的听风者毫米波雷达,能穿透雨雾感知目标速度,却说不清目标的形状。单独看,谁都有缺陷;但让三人同时报告,再开一次“情报汇总会”,就能拼出一份完整可靠的侦察结论——这个汇总的过程,就是多传感器融合。

岗位关联

掌握多传感器融合,是理解现代自动驾驶感知系统的钥匙,也是 AI 从业者从“单模型思维”走向“多模态系统思维”的必修课。

目录
  1. 可视化演示
  2. 传感器特性对比
  3. 融合架构层级
  4. 时空标定同步
  5. 多模态目标检测
  6. 融合跟踪决策
  7. 工程挑战对策
  8. AI 应用场景
  9. Python 演示
  10. 常见误区
  11. 面试题

可视化演示

呈现LiDAR、相机与毫米波雷达的互补特性,演示特征级融合、跨模态投影对齐与Transformer交叉注意力融合三个环节。

本节配有交互动效(进入视口后自动加载,约 3KB)。

传感器互补:三源特性 LiDAR精确3D距离但缺色彩 毫米波直接测速且耐恶劣天气 增益 = I(融合) - I(单一) 互补信息减少漏检与误检

传感器特性对比

测绘员、画家、听风者,三位侦察兵各有什么绝活?测绘员 LiDAR 每秒向四周发射上百万个激光脉冲,像拿着超声波测距仪逐点扫描,能画出精确到厘米的三维点云,可他“眼里”没有颜色——远处一团黑色物体是轮胎还是垃圾袋,他分辨不出。画家相机则拥有最高的空间分辨率,能捕捉颜色、纹理、文字,让系统读懂交通灯、看清车牌、辨别车道线。但画家的弱点也很致命:强光逆光会过曝,黑夜雨雾会失明,且单目相机很难直接测出准确距离。

听风者毫米波雷达的波长在毫米级,能穿透雨雪雾尘,直接测量目标的径向速度(利用多普勒效应),成本也不高;可它的角度分辨率低,看到的目标像一团模糊的“光斑”,无法勾勒轮廓。把三者放进同一张对比表:LiDAR 测距精度约 ±2cm、视角可达 360°、但恶劣天气衰减明显且价格昂贵;相机分辨率高、色彩丰富、成本低,但测距依赖算法且对光照敏感;毫米波测距可超 200m、全天候稳定、成本适中,但空间分辨率远低于前两者。结论很清晰:没有任何单一传感器能覆盖全部场景。

所以,聪明的车队从不指望一位侦察兵单打独斗,而是让三人各守所长、互相补位——地图上缺的那块拼图,恰好由另一位补上。这正是多传感器融合的第一性原理:利用冗余信息提升可靠性,利用互补信息扩展感知边界。

融合架构层级

三份侦察报告到手,怎么汇总?最笨的办法是把三本笔记一字不差地抄进同一本册子——这是数据级融合;聪明一点的做法是各自提炼关键词再合并——这是特征级融合;最省事的是三人各自写出结论再投票表决——这是目标级融合。

数据级融合(也叫早期融合)把所有传感器的原始数据拼在一起:LiDAR 点云、图像像素、毫米波回波在统一坐标系下“像素对齐”,再由一个深度网络统一处理。信息损失最少,但对传输带宽、计算量和标定精度要求极高。特征级融合先由各传感器独立提取特征(如图像中的边缘、点云中的聚类),再把特征向量拼接送入融合模块,在信息压缩与完整性之间取得平衡。目标级融合(后期融合)让每个传感器先独立完成检测或跟踪,输出各自的目标列表(位置、速度、类别),再用匹配算法将“同一目标”的多个观测合并,数据量最小、模块解耦性强、便于工程部署。

选哪一层取决于场景需求与算力储备。高速公路上目标稀疏,目标级融合性价比最高;城区复杂路口目标密集,特征级融合能更好地利用互补信息;研究级应用追求极致精度,才会采用数据级融合。三者没有绝对的优劣,只有适合与否。

就像三份报告各自提炼出关键词——“红衣”“人形”“正走向路边”——合并成一页摘要,决策者扫一眼就能拍板。层级越高,信息越抽象,但对算力和标定的要求也越低,这是工程上最常见的取舍逻辑。

Ffused=[fcam; flidar; fradar]\displaystyle F_{\mathrm{fused}} = [f_{\mathrm{cam}};\, f_{\mathrm{lidar}};\, f_{\mathrm{radar}}]
这个公式表示把三种传感器各自提取的特征向量首尾拼接,形成一个更长的融合特征,交给后续的分类和回归网络。
  1. 多路特征来源$f_{\mathrm{cam}}$ 是相机分支提取的视觉特征(颜色、纹理、语义),$f_{\mathrm{lidar}}$ 是点云分支的空间几何特征,$f_{\mathrm{radar}}$ 是毫米波分支的速度与角度特征。三者维度可以不同。
    fcam∈Rd1,flidar∈Rd2,fradar∈Rd3f_{\mathrm{cam}} \in \mathbb{R}^{d_1}, \quad f_{\mathrm{lidar}} \in \mathbb{R}^{d_2}, \quad f_{\mathrm{radar}} \in \mathbb{R}^{d_3}
  2. 拼接算子分号 $[\,;\,]$ 表示沿特征维度做拼接,把三段向量首尾相连成一个联合向量。
    Ffused∈Rd1+d2+d3F_{\mathrm{fused}} \in \mathbb{R}^{d_1 + d_2 + d_3}
  3. 融合后的消费$F_{\mathrm{fused}}$ 作为分类头与回归头的输入,让模型同时看到“颜色 + 形状 + 速度”三种模态的证据。

时空标定同步

三位侦察兵的笔记,用的却是三种不同的地图坐标系:测绘员按自己站的位置报“东北偏东 30 米”,画家按画面像素报“屏幕中央偏上”,听风者按天线角度报“方位角 15 度”。要让三份情报对齐,必须先把大家拉进同一张地图,再对好手表。

空间标定(外参标定)要解出传感器之间的旋转矩阵 $R$ 和平移向量 $t$。设空间点 $P$ 在 LiDAR 坐标系下的坐标为 $P_L$,要变换到相机坐标系 $P_C$:

空间对齐之后还有时间对齐。LiDAR 通常 10Hz、相机 30Hz、毫米波 20Hz,三者不可能严格同时触发。工程上选取一个基准时间戳(如最近一帧图像时间),对另外两个传感器的数据做线性插值,把观测值“搬”到同一时刻:

这一步看似繁琐,却至关重要:目标以 20m/s 行驶时,30ms 的时间差就带来 0.6 米的位移误差,足以让融合系统把“同一个行人”错判成“两个目标”。把坐标系和时间戳都统一到一张图上,三兄弟的证词才能真正对得上号。

PC=RLC PL+tLC\displaystyle P_C = R_{LC}\, P_L + t_{LC}
  1. 基准时刻$t_{\mathrm{ref}}$ 是选定的统一时间戳,通常取频率最高的传感器(相机)的最新帧时间。
  2. 相邻观测$z(t_k)$ 和 $z(t_{k+1})$ 是同一传感器在 $t_{\mathrm{ref}}$ 前后最近两个采样时刻的观测值。
  3. 插值权重比例项 $\frac{t_{\mathrm{ref}} - t_k}{t_{k+1} - t_k}$ 表示基准时刻落在采样区间内的相对位置,用它加权前后两个观测。
    w=tref−tktk+1−tk\displaystyle w = \frac{t_{\mathrm{ref}} - t_k}{t_{k+1} - t_k}

多模态目标检测

情报汇总的关键一步:如何判断画家说的“那团红色”和测绘员说的“3.2 米处的人形点云”是同一个目标?答案是“投影对号”——把点云按相机位姿投影到图像坐标,看它是否落在图像的检测框内。

这是空间标定的直接应用。LiDAR 点云中的任意一点 $(x_L, y_L, z_L)$,经外参变换到相机坐标系,再由相机内参矩阵 $K$ 投影到像素坐标 $(u, v)$:

投影对齐之后就可以做跨模态融合。常见做法是“图像出题、点云作答”:2D 检测器在图像上框出行人候选区,将该区域对应的点云裁剪出来送 3D 检测网络,既避免对整幅点云做全量搜索、节省算力,又借助图像语义帮点云消除歧义。反过来,点云检测出的 3D 框也可以投影回图像,验证并修正 2D 框的类别。

就像画家说“我在画布右上角画了个人”,测绘员立刻说“那个方向的点云聚成一个人形”,两人一对号,目标就锁定了。多模态检测的本质,就是用一种模态的长处去弥补另一种模态的短板。

(uv1)=K[RLC∣tLC](xLyLzL1)\displaystyle \begin{pmatrix} u \\ v \\ 1 \end{pmatrix} = K \left[ R_{LC} \mid t_{LC} \right] \begin{pmatrix} x_L \\ y_L \\ z_L \\ 1 \end{pmatrix}
  1. 齐次坐标化把 3D 点 $(x_L, y_L, z_L)$ 写成长度为 4 的齐次向量,这样才能用矩阵统一表示旋转和平移。
    P~=(xLyLzL1)\displaystyle \tilde{P} = \begin{pmatrix} x_L \\ y_L \\ z_L \\ 1 \end{pmatrix}
  2. 外参增广矩阵$[R_{LC} \mid t_{LC}]$ 是 3×4 矩阵,前 3 列是旋转、第 4 列是平移,完成从 LiDAR 系到相机系的坐标变换。
    PC=[RLC∣tLC]P~\displaystyle P_C = \left[ R_{LC} \mid t_{LC} \right] \tilde{P}
  3. 内参矩阵$K$ 是 3×3 上三角矩阵,包含焦距 $f_x, f_y$ 和光心 $c_x, c_y$,把相机系下的点映射到像素平面。
    K=(fx0cx0fycy001)\displaystyle K = \begin{pmatrix} f_x & 0 & c_x \\ 0 & f_y & c_y \\ 0 & 0 & 1 \end{pmatrix}

融合跟踪决策

三份报告偶尔也会吵架:画家说目标在 98 米,测绘员说在 100 米,听风者说在 99 米还正以每秒 2 米靠近。到底信谁?这时候就需要一位“老法官”——卡尔曼滤波。

卡尔曼滤波维护目标的状态估计 $\hat{x}$(包含位置和速度)和协方差矩阵 $P$(表示不确定性)。每一帧先根据运动模型预测,再用观测更新。更新方程中,卡尔曼增益 $K$ 决定预测与观测的权重:

观测噪声 $R$ 大,增益 $K$ 就小,系统更信任预测;$R$ 小,增益 $K$ 就大,更信任观测。融合系统还需要解决“哪个观测对应哪个目标”的关联问题,常用匈牙利算法做最优匹配:构建代价矩阵(如每对航迹与观测的马氏距离),求总代价最小的匹配方案。匹配完成后更新各自航迹;连续多个周期未匹配的观测开辟新航迹,长期跟丢的航迹按生命周期删除。最后,对同一目标的三路观测用置信度加权表决,输出最终障碍物列表。

老法官听完三人的证词,按他们各自的“可信度记录”打权重:测绘员历来最靠谱,多信他一点;画家今天逆光,少信一点。最终宣判:目标在 99.2 米,正以 1.9 米/秒接近。

Kk=Pk−HT(HPk−HT+R)−1\displaystyle K_k = P_k^{-} H^T \left( H P_k^{-} H^T + R \right)^{-1}
  1. 预测不确定性$P_k^{-}$ 是预测步给出的协方差矩阵,衡量当前状态估计的置信度。
  2. 投影到观测空间$H P_k^{-} H^T$ 将状态空间的不确定性映射到观测空间。
  3. 叠加观测噪声加上观测噪声协方差 $R$,得到创新协方差矩阵 $S_k$。
    Sk=HPk−HT+R\displaystyle S_k = H P_k^{-} H^T + R
  4. 计算增益左乘 $P_k^{-} H^T$ 并求逆,得到卡尔曼增益 $K_k$,它决定预测与观测各自占多少权重。
    Kk=Pk−HTSk−1\displaystyle K_k = P_k^{-} H^T S_k^{-1}

工程挑战对策

三兄弟配合再好,也有现实难题:设备贵、算力紧、天气差、偶尔还有人“掉线”。

算力方面,多路传感器数据同时处理对车载计算平台压力巨大。常规对策是分区处理:图像跑在 GPU 加速的深度学习网络,点云跑在专用加速芯片,毫米波信号在 MCU 上完成底层处理,最后只把“小数据量”的目标列表交由中央融合模块,降低通信与计算开销。极端天气方面,大雨、浓雾中 LiDAR 点云噪声显著增加,相机基本失效,毫米波成为主力。系统会动态调整各传感器权重,雨天自动降低相机置信度、提高毫米波权重,即“自适应加权”:

故障降级方面,当某个传感器被遮挡或损坏(如 LiDAR 溅上泥水),系统通过自诊断识别异常,切换到“双目视觉 + 毫米波”的降级模式,并提示驾驶员接管。车队的原则很简单:有人看不清就多听别人的,有人掉队就重新排兵布阵,绝不让一次恶劣天气或一次器材故障让整辆车“失明”。

z^=∑i=13wi zi,wi=1/σi2∑j=131/σj2\displaystyle \hat{z} = \sum_{i=1}^{3} w_i\, z_i, \qquad w_i = \frac{1/\sigma_i^2}{\sum_{j=1}^{3} 1/\sigma_j^2}
  1. 三路观测$z_1, z_2, z_3$ 分别代表 LiDAR、相机、毫米波对同一目标的观测值(如距离)。
    {z1,z2,z3}\displaystyle \{z_1, z_2, z_3\}
  2. 反方差权重每个传感器的权重 $w_i$ 与其噪声方差 $\sigma_i^2$ 成反比——方差越小(越可靠)的传感器获得越高权重。
    wi∝1σi2\displaystyle w_i \propto \frac{1}{\sigma_i^2}
  3. 归一化融合分母把所有反方差权重相加做归一化,保证 $\sum w_i = 1$,$\hat{z}$ 即加权后的融合估计。
    ∑i=13wi=1\displaystyle \sum_{i=1}^{3} w_i = 1

AI 应用场景

场景一:L4 级 Robotaxi 的城市路口感知

阶段:感知模型训练与多模态融合部署

解决的问题:城市路口行人鬼探头、非机动车穿行等长尾场景,单一传感器漏检率高。传统 2D 感知难以提供精确的三维位置,而纯 LiDAR 方案又识别不了红绿灯颜色。

具体案例:Robotaxi 车队在车顶集成 40 线 LiDAR、8 路环视相机和 4 颗毫米波雷达。LiDAR 提供 3D 目标框,相机负责红绿灯和行人姿态识别,毫米波补充盲区目标的径向速度。中央融合模块以 10Hz 频率输出结构化障碍物列表,下游规划模块直接消费融合结果,实现 200ms 内的端到端决策。

场景二:干线物流卡车的 AEB 与 ACC 系统

阶段:模型推理优化与功能安全验证

解决的问题:卡车在雨雾、隧道等场景下需要可靠的前向碰撞预警,误触发会严重影响驾驶体验。

具体案例:某 ADAS 供应商在高频毫米波雷达为主传感器的方案中,加入相机做目标分类确认。毫米波在恶劣天气下保证测距测速稳定,相机验证目标是否为车辆或行人并估计类型,融合后的 AEB 误触发率比单雷达方案降低约 60%,系统还支持在传感器被遮挡时自动降低车速并提醒驾驶员。

Python 演示

python52 行
import numpy as np class KalmanFuser:    def __init__(self, init_x=0.0, init_v=1.0):        self.x_est = np.array([[init_x], [init_v]])        self.p_est = np.eye(2) * 1.0        self.dt = 0.1        self.q = np.array([[0.01, 0.0], [0.0, 0.05]])        self.h = np.array([[1.0, 0.0]])        self.r_map = {"lidar": 0.09, "camera": 0.81, "radar": 0.36}     def predict(self):        f = np.array([[1.0, self.dt], [0.0, 1.0]])        self.x_est = np.dot(f, self.x_est)        self.p_est = np.dot(np.dot(f, self.p_est), f.T) + self.q     def update(self, z, sensor):        r = np.array([[self.r_map[sensor]]])        s = np.dot(self.h, np.dot(self.p_est, self.h.T)) + r        s_val = s[0, 0]        k = np.dot(self.p_est, self.h.T) / s_val        innovation = z - np.dot(self.h, self.x_est)[0, 0]        self.x_est = self.x_est + k * innovation        self.p_est = np.dot((np.eye(2) - np.dot(k, self.h)), self.p_est)     def fuse(self, z_lidar, z_camera, z_radar):        self.predict()        obs = [("lidar", z_lidar), ("camera", z_camera), ("radar", z_radar)]        for name, z in obs:            if z is not None:                self.update(z, name)        return self.x_est[0, 0], self.x_est[1, 0]  def run():    np.random.seed(42)    true_pos = 50.0    true_vel = 2.0    dt = 0.1    fuser = KalmanFuser(init_x=48.0, init_v=1.5)    for i in range(20):        true_pos += true_vel * dt        z_lidar = true_pos + np.random.normal(0, 0.3)        z_camera = true_pos + np.random.normal(0, 0.9) if i % 2 == 0 else None        z_radar = true_pos + np.random.normal(0, 0.6)        est_pos, est_vel = fuser.fuse(z_lidar, z_camera, z_radar)        print("frame {:2d}: truth {:6.2f} fused {:6.2f} vel {:5.2f}".format(            i, true_pos, est_pos, est_vel))  if __name__ == "__main__":    run()
目的:用扩展卡尔曼滤波的思路模拟 LiDAR、相机、毫米波三路观测的融合过程,展示融合估计如何逼近真实目标位置与速度。
  1. self.r_map = {"lidar": 0.09, "camera": 0.81, "radar": 0.36}定义三个传感器的观测噪声方差,LiDAR 最小(最可靠)、相机最大。
  2. k = np.dot(self.p_est, self.h.T) / s_val计算卡尔曼增益,平衡预测与观测的权重。
  3. obs = [("lidar", z_lidar), ("camera", z_camera), ("radar", z_radar)]按固定顺序依次融合三路观测。
  4. if z is not None: self.update(z, name)支持相机缺帧(每两帧才输出一次),模拟真实系统中的异步采样。
  5. true_pos += true_vel * dt维护一个不被观测直接看到的“真实轨迹”,作为评估融合精度的基准。

常见误区

误区有些人觉得往车上堆 LiDAR、相机、毫米波,数量越多就越安全,融合结果自然更好。

正解传感器数量增加会带来数据量爆炸、算力压力上升、标定误差累积、误匹配率增加等问题。如果融合算法设计粗糙,多路互相矛盾的数据反而会拉低整体性能。关键不在于“有多少只眼睛”,而在于“如何让眼睛们默契配合”——三兄弟若吵架,不如一个靠谱的人独自判断。

为何常见:直觉上“冗余=安全”很自然,但忽略了融合系统本身也是一个需要精心设计的子系统。

误区初学者常以为拿到点云、图像、毫米波回波后,直接堆进一个深度学习模型就会自动融合出好结果。

正解不同传感器有各自的坐标原点、采样频率和噪声特性。不做空间标定,点云投影到图像会错位;不做时间同步,运动目标会“重影”。所谓"Garbage in, garbage out",数据没有精确对齐,再强的神经网络也白搭。

为何常见:深度学习“端到端”的成功让人误以为对齐可以隐式学习,但物理层面的几何约束很难靠网络凭空学出来。

误区认为融合是“取最大值”,结果一定不会比最差传感器差,甚至总比单个最好的传感器强。

正解目标级融合中,如果关联算法把两个不同目标的观测错误配对,融合出的目标框可能比任一单传感器都差。另外,一个传感器故障时若未及时剔除,错误观测会污染整体估计。工程上需设计健康监测与权重自适应来兜底,否则融合反而是负优化。

为何常见:把“信息互补”理想化了,忽略了融合系统本身的误差源(标定误差、关联错误、时间偏差)。

误区既然 LiDAR 能测出精确的 3D 坐标,为什么还要相机?不少人认为 LiDAR 是感知系统的“万能答案”。

正解LiDAR 没有颜色和纹理信息,认不出红绿灯颜色、施工标牌文字、交警手势;在雨雪雾天气下点云会剧烈退化,且价格昂贵。相机的语义理解能力是 LiDAR 无法替代的;毫米波的速度测量和恶劣天气鲁棒性也是 LiDAR 不具备的。三种传感器本质是互补关系,而非替代关系。

为何常见:被 LiDAR 的“点云精度”迷惑,忽略了感知任务的多样性——不仅要“知道有多远”,还要“知道是什么、意味着什么”。

面试题

Q1. 自动驾驶中采用多传感器融合的主要目的在于?

单选题 · easy

  • A.增加硬件成本以提升系统复杂度
  • B.利用冗余互补信息提升感知可靠性← 正确答案
  • C.完全替代单个传感器的全部功能
  • D.减少计算量以降低系统的整体延迟

答案:B。多传感器融合的核心是利用冗余信息降低单点失效风险,利用互补信息扩展感知能力边界。它并不会替代某个传感器,也不以增加复杂度或减少计算量为目的。

Q2. 相比相机,LiDAR 的主要优势是什么?

单选题 · easy

  • A.能够准确识别出物体的颜色
  • B.硬件成本远低于相机传感器
  • C.直接获取精确的三维空间距离← 正确答案
  • D.在任何天气条件下均不受影响

答案:C。LiDAR 通过激光飞行时间直接测量三维距离,精度可达厘米级。它没有颜色感知能力,成本更高,且在雨雾天气性能会下降,因此 A、B、D 均不正确。

Q3. 毫米波雷达相对 LiDAR 的独特优势是?

单选题 · easy

  • A.空间分辨率在所有传感器中最高
  • B.雨雾等恶劣天气下表现更稳定← 正确答案
  • C.能够感知物体的颜色与纹理
  • D.测量距离是所有传感器中最近

答案:B。毫米波波长较长,穿透雨雾能力强,是恶劣天气下的主力传感器。它的空间分辨率低于相机和 LiDAR,也不能感知颜色,测量距离反而较远。

Q4. 关于目标级融合,下列说法正确的是?

单选题 · mid

  • A.需要将所有原始数据完全对齐
  • B.各传感器独立检测后再融合决策← 正确答案
  • C.原始信息在各层级中损失最小
  • D.整个过程无需任何传感器标定

答案:B。目标级融合中每个传感器先独立输出目标列表,再做匹配与决策融合。它对原始数据要求较低,但信息损失较大、仍需标定保证坐标一致,因此 A、C、D 错误。

Q5. 传感器空间标定解决的核心问题是?

单选题 · mid

  • A.有效降低整套系统的硬件成本
  • B.将各传感器坐标统一到同一坐标系← 正确答案
  • C.直接提升所有传感器的刷新频率
  • D.减少数据在传输链路的延迟时间

答案:B。外参标定求解传感器间的旋转与平移,把多个传感器观测变换到统一坐标系,是融合的前提。它与成本、刷新率和传输延迟没有直接关系。

Q6. 处理不同频率传感器数据时间不同步的常用方法是?

单选题 · mid

  • A.直接使用最新一帧数据进行拼接
  • B.通过插值外推对齐到统一时间戳← 正确答案
  • C.直接丢弃频率较低的传感器数据
  • D.强制所有传感器以相同频率工作

答案:B。工程上通过线性插值或外推把低频传感器观测“搬”到基准时间戳,实现时间对齐。直接使用或丢弃数据都会引入运动误差,强制同步频率在硬件上不可行。

Q7. 卡尔曼滤波中,观测噪声协方差 R 增大时,融合结果会?

单选题 · hard

  • A.系统会更信任模型预测出的结果← 正确答案
  • B.系统会更信任传感器观测到的值
  • C.系统将完全忽略所有传感器观测
  • D.滤波器将发散并且无法收敛下去

答案:A。R 越大表示观测越不可靠,卡尔曼增益 K 越小,融合输出更依赖运动模型的预测。观测不会被完全忽略,滤波器也不会因此发散。

Q8. 下列哪些是毫米波雷达在自动驾驶中的典型优势?

多选题 · mid

  • A.可直接测量目标的径向运动速度← 正确答案
  • B.雨雪雾等恶劣天气中稳定工作← 正确答案
  • C.可以准确识别目标的颜色与纹理
  • D.硬件成本相对较低且体积紧凑← 正确答案

答案:ABD。毫米波利用多普勒效应直接测速,穿透雨雾能力强,且成本低、体积小。它无法识别颜色与纹理,那是相机的强项。

Q9. 关于多传感器融合系统的工程挑战,说法正确的有?

多选题 · hard

  • A.标定误差会严重影响最终融合质量← 正确答案
  • B.传感器故障时可通过降级策略保障安全← 正确答案
  • C.传感器数量越多系统可靠性必然提升
  • D.车载有限算力需要合理分配给各模块← 正确答案

答案:ABD。标定误差导致数据错位,是融合效果的头号杀手;故障降级与算力分配也是真实工程中的关键议题。但传感器数量增长带来的数据冲突与算力压力,可能反而降低可靠性,C 过于绝对。

Q10. 关于传感器外参标定,下列说法正确的有?

多选题 · hard

  • A.外参标定结果不会随车辆振动而变化
  • B.外参描述传感器间的相对位置与姿态← 正确答案
  • C.相机与LiDAR标定只需要旋转不需要平移
  • D.棋盘格标定板是常用的外参标定手段← 正确答案

答案:BD。外参包含旋转 R 和平移 t,描述传感器间的相对位姿;棋盘格法是经典标定手段。车辆振动会导致外参漂移,需定期或在线重标定,因此 A 错误,C 忽略了平移分量。