AR遮挡处理：虚实融合核心技术

可视化演示

动态演示AR遮挡处理的核心机制，通过总览/传输/转换/输出四种模式展示关键概念与交互流程。

遮挡基础：谁该挡在谁前面

舞台剧排练现场，导演把一位演员叫到投影幕布前：“你从这里走过，观众看到的应该是你挡掉城堡的一部分，而不是城堡画面被你'穿'过去。”这个“谁挡谁”的调度，听起来简单，却是 AR 虚实融合的第一性命题。

在 AR 设备里，摄像头拍到的是真实世界，计算机再往画面中叠加虚拟物体。真实物体活在三维空间中，虚拟物体只存在于数字坐标系里。两者相遇时，系统必须先回答一个问题：谁离观众更近？ 距离近的物体应该画在上面、挡住后面的物体。距离远的一方则要“退让”，被部分遮盖。如果没有这套规则，虚拟物体就会像幽灵一样飘在真实物体之上，一眼穿帮。

遮挡处理的根基就是“深度关系”。深度（depth）指物体到摄像头的距离。当真实物体的深度 $z_r$ 小于虚拟物体的深度 $z_v$ 时，真实物体更靠近镜头，它应该挡住虚拟物体；反之则虚拟物体完整可见。用数学语言表达：

这就像导演手里的两张站位表：一张标着演员离观众的距离，一张标着幕布的位置。比一比谁的“距离数字”更小，就知道谁该挡谁。问题来了——这张站位表从哪来？下一节，我们聊怎么给演员精确量距离。

深度估计：给演员量距离

导演喊“量距离！”场务拿起激光测距仪，从观众席朝演员“啪”地打出一道激光，读出一个数字：2.5 米。每一位演员、每一把椅子都要量一次，这张“距离清单”就是舞台调度的依据。在 AR 系统里，这张清单叫深度图。

深度图是一张特殊的图像：画面中的每个像素记录的不是颜色，而是“这个位置上的物体离摄像头有多远”。有了深度图，系统才知道哪里近、哪里远。获取深度图主要有三条路：专用深度传感器（比如 ToF 飞行时间传感器，通过光脉冲往返时间测距）、双目摄像头（模仿人眼从左右两个视角观察），以及单目深度估计网络（用 AI 从一张普通照片中“猜”出深度）。

以双目视差为例：两个摄像头之间隔着一大段已知距离 $b$（称为基线）。同一物体在左右两张图像上的水平位置会有偏移，这个偏移量就是视差 $d$。物体越近，视差越大，深度与视差成反比：

这就像场务用两只眼睛来回打量演员：左眼看一次、右眼看一次，心里估出“约 2.5 米”。有了距离清单，导演才能判断演员是否该挡幕布。可清单只是静态纸面，舞台上随时在动，导演要如何实时判断“你现在挡没挡到”？

遮挡判断：站到投影前了吗

演员在舞台上每挪一步，导演就得重新判断一次“你现在有没有挡住幕布”。AR 系统同样如此：深度图到手后，遮挡判断要逐帧、逐像素地完成，而且必须做到 60 帧每秒——画面稍有卡顿，观众立刻头晕。

遮挡判断的本质是深度比较：把真实场景的深度图与虚拟物体的深度图对齐，然后逐像素对比。若某个像素上真实物体的深度小于虚拟物体，说明该像素被真实物体覆盖，虚拟物体在此处不可见。但这里有个工程难题：深度传感器存在噪声，物体边缘又往往存在“上一像素属于前景、下一像素属于背景”的突变。如果直接硬比大小，边缘处会频繁闪烁，像舞台边缘忽明忽暗的灯泡。

解决办法是引入过渡带：用深度差除以过渡带厚度 $t$，得到一个 0 到 1 之间的连续可见度，替代生硬的“是/否”：

导演眼睛很尖，但不会只盯一个点——他会盯着演员的轮廓线，看到边缘快贴近幕布时提前布置“过渡”。算法里的 $t$ 就是导演心中那杆“差不多的软尺”。不过，真实场景里还有一群人形物体，它们的深度往往和背景混在一起，这时候该用什么办法把它们单独拎出来？

人像分割：把演员从背景里抠出来

舞台上灯光师要把一束光精准打在演员身上，让他和背景幕布分离开。AR 系统也会遇到同样的麻烦：深度传感器再准，也常常分不清“哪里是人，哪里是沙发”——当人手和脸挡住虚拟物体时，我们必须精确知道人的轮廓。这时就需要人像分割这把“灯光裁剪器”。

人像分割是语义分割的一种特殊应用：用神经网络对每个像素打分，判断它属于“人”还是“非人”。输出通常是一张概率图，每个像素的分数落到 0 到 1 之间，越接近 1 越可能是人体。拿到概率图之后，系统就可以在高概率区域使用人的深度参与遮挡判断，在低概率区域使用场景深度，从而实现“手能挡住虚拟恐龙”这类效果。

分割网络的最后一层通常会对原始得分做一次 Sigmoid 压缩，把任意实数映射到 (0, 1) 区间：

灯光师手里的光圈就是 Sigmoid——束光打下去，边缘不是生硬一刀切，而是由亮到暗的渐变。这样抠出的人像轮廓才能自然融入 AR 场景。但舞台上除了人，还有地板、墙、沙发这些“布景”，系统要如何知道这些物体的空间位置？

环境网格：给整个舞台搭骨架

导演想往舞台地面放一张虚拟地毯、往墙上挂一幅虚拟画。要做到这一点，系统必须先知道“地面在哪、墙在哪、沙发占了多大地方”。于是舞台组给整个剧场搭了一套 3D 骨架：地板、墙壁、道具的位置全部标出来。这套骨架在 AR 里叫环境网格（environment mesh）。

环境网格通过 SLAM（即时定位与地图构建）技术生成：设备一边移动一边扫描空间，把平整的表面识别为平面，把不规则物体构建成三角网格。有了环境网格，虚拟物体才能稳定地“落地”，也才能与真实物体进行空间遮挡。网格中每个三角面都有一个法线，指示这个面朝向哪里——向上、向前还是倾斜。

一个空间点的法线可以由其周围邻居面的法线加权平均估计：距离越近的邻居影响越大。将所有邻居法线按权重叠加，再归一化为单位向量：

舞台骨架不是搭一次就完事：演员搬动椅子、布景被换掉，骨架就要跟着改。AR 系统同样动态刷新网格，虚拟地毯才能一直贴紧“真实”的地板。但现实里还有一种更刁钻的布景——薄纱、玻璃、水雾，它们又挡视线又不完全挡死，该怎么办？

半透明混合：薄纱后面的世界

不是所有遮挡都是“实心”的。舞台上垂下一条薄纱，投影打在纱上，观众能隐约看到纱后的演员。真实世界里，玻璃窗、塑料瓶、一缕烟雾都是半透明物体——它们既遮挡虚拟物体，又允许部分光线穿过。处理这类遮挡，靠的不是“挡或不挡”，而是“挡多少”。

渲染中用透明度 $\alpha$（0 到 1 之间）描述遮挡程度：$\alpha = 1$ 表示完全不透明，$\alpha = 0$ 表示完全透明。最终屏幕颜色由虚拟物体的颜色和真实场景透过来的颜色按 $\alpha$ 加权混合：

薄纱的透明度不是固定值——纱厚则挡、纱薄则透。AR 系统通过深度与边缘柔化动态调整 $\alpha$，让玻璃、水汽这类“半遮半掩”的物体在虚实之间自然过渡。但这些精细计算无疑会消耗大量算力，手机能撑得住吗？

性能优化：别让舞台卡顿

导演最怕的场面：舞台调度太复杂，后台电脑死机，全场观众对着一幅定格的画面。AR 同样如此——深度估计、分割、网格、混合全部要在几十毫秒内完成一次，否则出现卡顿就会引发眩晕。

性能优化的核心思路是“按需精细”：近在眼前的物体需要用高精度模型计算遮挡，远处的物体粗略带过即可。这就要用到 LOD（细节层次） 技术——为同一个虚拟物体准备几套不同精细度的模型，根据距离动态切换。近处用高模，远处用低模，在保证视觉质量的同时大幅削减计算量。

LOD 档位通常按距离划分，用对数刻度让近处的距离变化更敏感：

导演给后排观众准备的内容可以粗略些，前排观众的体验必须精致。LOD 就是这位精打细算的导演——把算力花在观众“看得见”的地方。一切技术就绪，最后的考验是真机实战——效果到底达不达标？

工程应用：把效果搬上真机

排练再完美，最终要在剧场迎接观众。AR 遮挡从论文走进产品，要经过真机验收：举起手机，沙发真的挡住了小恐龙吗？人走动时边缘会不会闪？这就是工程应用阶段的命题。

不同 AR 平台（如 ARKit、ARCore）提供了深度 API 和环境网格 API，开发者要做的是整合与调优：选择合适的深度来源、设计遮挡策略、接入调试工具，并用客观指标评估遮挡质量。其中用得最多的指标是 IoU（交并比），用来衡量“预测出的遮挡区域”与“真实遮挡区域”的重合程度：

演出结束，导演要看观众反馈：哪里穿帮、哪里不真实。IoU 就是那张观众反馈表——数字不说谎，它告诉团队“假戏”有没有做真。至此，从深度估计到工程验收，AR 遮挡这台大戏的幕后流程已经完整展开：用深度感知真实，用判断决定遮挡，用优化保住流畅，用评估守住真实。

AI 应用场景

Python 演示

import numpy as np  def make_real_depth(h, w, z_far=3.0, z_box=0.8):    """模拟真实场景深度图：一个近处盒子 + 远处背景"""    depth = np.full((h, w), z_far, dtype=np.float64)    bh, bw = h // 3, w // 4    bx, by = (w - bw) // 2, (h - bh) * 2 // 3    depth[by:by + bh, bx:bx + bw] = z_box    return depth  def make_virtual_depth(h, w, z_center=2.0, radius=0.4):    """模拟虚拟物体深度图：一个位于场景中央的球"""    yy, xx = np.mgrid[0:h, 0:w]    cx, cy = w // 2, h // 2    dist = np.sqrt((xx - cx) ** 2 + (yy - cy) ** 2) / min(h, w)    depth = np.where(dist < radius, z_center, np.inf)    return depth  def occlusion_mask(depth_real, depth_virtual, thresh=0.1):    """逐像素比较深度：真实物体更近则该像素被遮挡"""    valid = np.isfinite(depth_virtual)    occluded = valid & ((depth_real + thresh) < depth_virtual)    return occluded  def smooth_edge(mask, k=3):    """用 3x3 平均卷积做遮挡边缘柔化"""    kernel = np.ones((k, k)) / (k * k)    padded = np.pad(mask.astype(np.float64), k // 2, mode='edge')    out = np.zeros_like(mask, dtype=np.float64)    h, w = mask.shape    for i in range(k):        for j in range(k):            out += kernel[i, j] * padded[i:i + h, j:j + w]    return out  def main():    h, w = 240, 320    depth_real = make_real_depth(h, w)    depth_virtual = make_virtual_depth(h, w)    mask = occlusion_mask(depth_real, depth_virtual)    soft = smooth_edge(mask)    ratio = mask.mean() * 100    print("虚拟球被真实盒子遮挡的像素占比: {:.1f}%".format(ratio))    print("遮挡mask总像素数:", int(mask.sum()))    print("边缘柔化后前5个像素值:", soft[0, :5])  if __name__ == "__main__":    main()

1. make_real_depth(h, w)生成一张只有近处盒子和远处背景的模拟真实深度图。
2. make_virtual_depth(h, w)生成一个位于画面中央的虚拟球深度图，外部区域为无穷远。
3. occlusion_mask(depth_real, depth_virtual, 0.1)真实物体深度加上误差阈值后仍小于虚拟深度，就判定为被遮挡。
4. np.isfinite(depth_virtual)排除虚拟物体不存在的区域，避免无穷大参与比较。
5. smooth_edge(mask, 3)用 3×3 卷积核做边缘柔化，模拟过渡带效果。
6. depth[by:by + bh, bx:bx + bw] = z_box把矩形区域的实际深度赋给盒子，模拟前景物体。
7. np.where(dist < radius, z_center, np.inf)用圆形掩膜生成虚拟球的深度分布。

常见误区

面试题