物理世界中的3D对抗物体攻击

可视化演示

动态演示物理世界中的3D对抗物体攻击的核心机制，通过入门/进阶/实战/优化四种模式展示关键概念与交互流程。

对抗样本与物理攻击

魔术师的技巧分两种：一种在屏幕上玩——用修图软件改一张照片，骗过显示器前的你；另一种在真实现场玩——把一张牌藏在袖口，让你亲眼见证“不可能”。AI对抗攻击也有这两层。数字对抗样本就像屏幕上的魔术：往一张熊猫照片上叠加一层肉眼几乎看不见的噪声，AI的置信度瞬间翻转，高喊“长臂猿”。这个魔术自2013年被揭示后，研究者们很快意识到：魔术师不能只活在屏幕里，真正的舞台在物理世界。

数字域攻击的关键在于“梯度信息”——模型会告诉攻击者，往哪个方向修改像素能让它错得最离谱。经典的快速梯度符号法（FGSM）把这一思路压缩成一个极简公式：沿着损失上升方向走一小步，噪声就诞生了。但这种噪声一旦打印成图片、贴到真实物体上，就会因为相机视角、光照变化而失效，就像屏幕魔术经不起观众凑近细看。

$$x_{\mathrm{adv}}=x+\varepsilon\cdot\mathrm{sign}\left(\nabla_x J(x,y_{\mathrm{true}})\right)$$

1. x 原始输入：模型即将识别的那张图像，比如一张清晰的熊猫照片。

$$\displaystyle x$$

2. J(x, y_true) 损失函数：衡量模型当前预测与真实标签差距的函数，值越大说明模型错得越离谱。

$$\displaystyle J(x, y_{\mathrm{true}})$$

3. ∇x 梯度方向：损失对输入各像素的偏导，指出“往哪个方向修改像素会最大程度地加大错误”。

$$\displaystyle \nabla_x J(x, y_{\mathrm{true}})$$

4. sign 符号函数：只保留方向、把数值压成±1，使扰动幅度可控，不会因个别极端像素而失控。

$$\displaystyle \mathrm{sign}(\cdot)$$

5. ε 扰动幅度：一个极小的正数，决定噪声的强度，通常小到肉眼几乎不可察觉。

$$\displaystyle \varepsilon$$

3D对抗物体生成

如果一个魔术师只会在屏幕上变戏法，他上不了真正的舞台。3D对抗物体的制造者，必须亲手打磨一件“两面的道具”——就像魔术里那只从正面看是鸽子、从侧面看是兔子的折纸，让观众从任何角度都看到魔术师想让他们看到的东西。在AI的世界里，这件道具就是一个真实存在的三维物体：一个路障、一块路标、甚至一个行李箱。

制作过程分三步。第一步是“选型与建模”：确定要攻击的目标类别（比如让AI把“停止牌”看成“限速40”），然后用三维建模工具或扫描仪建立物体的形状和初始纹理。第二步是“渲染仿真”：把3D模型放入虚拟场景，通过渲染器生成各种视角下的2D图像，交给AI模型“审阅”。第三步是“迭代优化”：不断调整物体的表面纹理甚至几何形状，直到AI在渲染图像上稳定地做出错误判断。

但这里有个致命问题：物理世界变幻莫测，同一物体在不同角度、不同光线下拍出来千差万别。单看一张图优化出的纹理，换个角度就会露馅。于是研究者提出了期望变换（EOT）思想：在优化目标中显式模拟多种环境变换，取“平均最欺骗”的方案，而不是只针对某一个特定视角。

$$x^{*}=\arg\max_{x}\ \mathbb{E}_{t\sim T}\left[\mathcal{L}\left(f\left(\mathrm{Render}(x,t)\right),y_{\mathrm{target}}\right)\right]$$

1. Render(x,t) 渲染器：把3D物体的纹理或形状x，按照变换参数t（比如相机角度、光源位置）绘制成一幅2D图像。

$$\displaystyle \mathrm{Render}(x,t)$$

2. f 感知模型：负责识别图像的AI模型，输出对图像类别的判断。

$$\displaystyle f(\cdot)$$

3. L 损失函数：衡量模型输出与攻击目标类别差距的函数，损失越大代表“把A看成B”的意图越强烈。

$$\displaystyle \mathcal{L}\left(\cdot, y_{\mathrm{target}}\right)$$

4. E_{t~T} 期望：对变换集合T取平均，相当于在大量随机视角、光照条件下分别测试攻击效果再求均值。

$$\displaystyle \mathbb{E}_{t\sim T}[\cdot]$$

5. argmax 最优解：寻找使平均损失最大化的物体表面配置x，也就是“最能让AI持续上当”的那组参数。

$$\displaystyle \arg\max_{x}$$

物理鲁棒性关键

道具制作完成，真正的考验才开始。魔术师发现，第一排观众站起来换了个角度，鸽子就露馅了。3D对抗物体面临同样的挑战：在实验室渲染图中百发百中的纹理，一旦被打印出来放到真实物理环境，就要经受“观众换座位、灯光师调光、距离变化”的多重考验。研究者把这称为物理鲁棒性（physical robustness）——对抗物体在真实条件下保持攻击效果的能力。

第一道考验是视角变化。自动驾驶的车载摄像头在车辆行驶中会从各种角度观察路边的物体，对抗纹理必须在一个很宽的角度范围内都有效。第二道考验是光照：正午的烈日和黄昏的侧光会让同一纹理呈现完全不同的颜色。第三道考验是距离与尺度：50米外看路障可能只有十几个像素，纹理细节几乎消失。此外还有遮挡——一只飞过的鸟或一片树叶可能挡住物体的关键部分。

为了应对这些挑战，攻击者在优化时需要把多种物理条件同时纳入损失函数，给每个条件设置权重，让优化过程“面面俱到”。这正是EOT思想的具体落地：不是骗过一个角度，而是骗过所有可能的物理条件组合。

$$\mathcal{L}_{\mathrm{phys}}=\sum_{i=1}^{M}\alpha_i\cdot\mathcal{L}\left(f\left(\mathrm{Render}(x,\theta_i,l_i,d_i)\right),y_{\mathrm{target}}\right)$$

1. θ_i, l_i, d_i 物理条件组：第i组模拟环境，包含视角θ、光照l、距离d三个关键参数。

$$\displaystyle (\theta_i,\ l_i,\ d_i)$$

2. α_i 条件权重：每个物理条件组的重要程度，比如近距离攻击的权重可以设得更高。

$$\displaystyle \alpha_i$$

3. 加权求和：把所有条件下的损失加起来，使优化目标覆盖更多真实场景。

$$\displaystyle \sum_{i=1}^{M}\alpha_i\cdot[\cdot]$$

攻击威胁评估

如何科学地评估一个魔术的杀伤力？不能只看一次成功的表演，而要看连续一百场能成功多少次。3D对抗物体的威胁评估同样需要量化指标，其中最核心的是攻击成功率（Attack Success Rate, ASR）：在N次不同物理条件下进行测试，统计攻击目标被AI错误识别的比例。ASR越高，说明这个“3D骗术”越稳定、越危险。

但攻击成功率不是唯一标准。一个只能在实验室灯光下成功的对抗路障，实际危害有限；真正危险的攻击必须同时满足“物理可实现”——物体可以被制造、被放置到目标位置、在目标场景中保持隐蔽。此外还要考虑受害系统的整体安全性：即使感知模型被骗了，车辆的雷达、决策规划模块和安全兜底机制是否能阻止事故？威胁评估应当是“感知层成功率×系统层逃逸率”的综合判断。

研究者通常用一组覆盖不同条件下的测试来评估攻击威胁：把对抗物体摆放在不同距离、不同角度、不同光照下反复测试，统计模型的误判情况。这种评估方法能够比较客观地反映攻击在真实部署环境中的危险程度，也为后续改进防御方案提供了依据。

$$ASR=\frac{1}{N}\sum_{i=1}^{N}\mathbb{I}\left[f\left(\mathrm{Render}(x,t_i)\right)=y_{\mathrm{target}}\right]$$

1. t_i 第i次测试条件：一次具体的物理环境采样，比如“距离8米、偏左30°、阴天”。

$$\displaystyle t_i$$

2. I 指示函数：一个“裁判”，当括号内条件成立（AI被成功欺骗）时输出1，否则输出0。

$$\displaystyle \mathbb{I}[\cdot]$$

3. 求和平均：把N次测试的成功次数加起来除以N，得到攻击成功率。

$$\displaystyle \frac{1}{N}\sum_{i=1}^{N}[\cdot]$$

自动驾驶攻击场景

当魔术师走上街头，最危险的受害者是自动驾驶汽车。一辆以摄像头为主传感器的自动驾驶车辆，本质上是一个高速行驶的“观众”，它必须在零点几秒内对路边的每个物体做出正确判断。一个精心设计的3D对抗路障，就足以让它在关键时刻“看走眼”。

最典型的攻击场景是路障欺骗。研究人员将对抗纹理打印并贴到路障或锥桶表面，使感知模型将路障识别为“可通行区域”或完全忽略它，车辆可能直接撞上去。另一个高危场景是交通标志欺骗：攻击者制作一个带有对抗图案的“停止牌”贴纸覆盖真实标志，使模型把它识别为“限速40”或“解除限速”，误导车辆做出危险决策。此外，行人检测规避也备受关注——攻击者身穿带对抗纹理的衣物，使模型无法检测到行人轮廓。

这类攻击的可怕之处在于整个感知-决策链路都会被“传染”：感知模型输出错误结果，决策规划模块基于错误输入做出错误判断，最终导致车辆急刹、变道甚至碰撞。这也解释了为什么研究者反复强调：评估对抗攻击不能只看感知模型，要看整个自动驾驶系统。

$$\hat{y}=g\left(f\left(\mathrm{Render}(x,t)\right)\right)$$

1. f 感知模块：摄像头图像进入感知模型，输出“前方有停止牌”等判断。

$$\displaystyle f\left(\mathrm{Render}(x,t)\right)$$

2. g 决策规划模块：根据感知结果决定加速、刹车或转向。

$$\displaystyle g(\cdot)$$

3. 链路欺骗：攻击者只需骗过第一环f，整个链路就会连锁出错。

$$\displaystyle \hat{y}=g(f(\cdot))$$

防御方案与局限

道高一尺，魔高一丈。面对3D对抗物体，防御方也拿出了自己的“识破魔术”工具箱。最常用的方法是数据增强：在训练集中加入大量不同视角、不同光照、加入噪声的物体图像，让模型见过更多“变数”，从而提高对对抗物体的鲁棒性。另一个方向是对抗检测——在模型中增加一个“怀疑模块”，专门判断当前输入是否异常，比如物体表面纹理是否过于“刻意”。

更深层的防御是对抗训练（adversarial training）：在模型训练阶段就主动生成对抗样本，让模型在“挨打中学会挨打”。这种方法在数字域效果显著，但对3D物理攻击，训练成本极高——因为要在模拟器中穷举大量物理条件，而且对抗物体的攻击方式千变万化，无法全部覆盖。

更令人头疼的是，防御往往要付出精度代价：模型对正常样本的识别能力可能因“过多警惕”而下降。而且物理世界不存在“补丁式”的完美防御——攻击者总能找到新的实体、新的纹理、新的攻击目标。这种攻防博弈注定是一场持续演进的军备竞赛。

$$\min_{\theta}\ \mathbb{E}_{(x,y)\sim\mathcal{D}}\left[\max_{\delta\in\Delta}\mathcal{L}\left(f_{\theta}(x+\delta),y\right)\right]$$

1. max_{δ∈Δ} 最坏情况攻击：在允许的扰动范围内找到让损失最大的攻击样本δ。

$$\displaystyle \max_{\delta\in\Delta}\mathcal{L}\left(f_{\theta}(x+\delta),y\right)$$

2. min_θ 鲁棒模型参数：通过梯度下降更新模型参数θ，使上面那个最大的损失变小。

$$\displaystyle \min_{\theta}[\cdot]$$

3. 期望遍历数据集：对整个训练数据分布求平均，确保模型在各处都有鲁棒性。

$$\displaystyle \mathbb{E}_{(x,y)\sim\mathcal{D}}[\cdot]$$

AI 应用场景

Python 演示

import numpy as np # 1. 定义3D物体：半径为1的圆盘（停止牌），分辨率16x16N = 16lin = np.linspace(-1, 1, N)X, Y = np.meshgrid(lin, lin)dist = np.sqrt(X ** 2 + Y ** 2)mask = dist <= 1.0edge = (dist > 0.85) & (dist <= 1.0)tex_init = np.zeros((N, N, 3))tex_init[mask] = [0.85, 0.15, 0.15]tex_init[edge] = [1.0, 1.0, 1.0] # 2. 3D旋转投影：绕Y轴旋转angle后正交投影到2Ddef render(tex, angle):    c = np.cos(angle)    if abs(c) < 1e-4:        c = 1e-4    u = (np.arange(N) - N / 2) / (N / 2)    orig_col = (u / c * (N / 2) + N / 2).astype(int)    valid = (orig_col >= 0) & (orig_col < N)    out = np.zeros_like(tex)    out[:, valid] = tex[:, orig_col[valid]]    return out # 3. 简化分类器：线性模型，判别"停止牌" vs "限速牌"K = int(mask.sum())W_cls = np.random.RandomState(7).randn(K * 3) * 0.05b_cls = 0.0 def feature(img):    return img[mask].flatten() def score(img):    return W_cls.dot(feature(img)) + b_cls def predict(img):    return "停止牌" if score(img) > 0 else "限速牌" # 4. 反向传播辅助：将输出梯度映射回输入纹理def backprop(d_img, angle):    c = np.cos(angle)    if abs(c) < 1e-4:        c = 1e-4    u = (np.arange(N) - N / 2) / (N / 2)    col = (u / c * (N / 2) + N / 2).astype(int)    g = np.zeros((N, N, 3))    for j in range(N):        if 0 <= col[j] < N:            g[:, col[j]] += d_img[:, j]    return g # 5. 对抗纹理优化：正常视角保持停止牌，攻击视角骗成限速牌def optimize(tex, attack_angle=np.radians(45), lr=0.02, steps=300):    for step in range(steps):        img_n = render(tex, 0.0)        img_a = render(tex, attack_angle)        s_n = score(img_n)        s_a = score(img_a)        loss_n = max(0.0, 0.3 - s_n)        loss_a = max(0.0, s_a + 0.3)        if step % 50 == 0:            print("step %3d | normal=%.2f | attack=%.2f | loss=%.3f" % (step, s_n, s_a, loss_n + loss_a))        d_img_n = np.zeros((N, N, 3))        d_img_n[mask] = W_cls.reshape(-1, 3)        d_img_a = np.zeros((N, N, 3))        d_img_a[mask] = W_cls.reshape(-1, 3)        g = np.zeros_like(tex)        if loss_n > 0:            g -= backprop(d_img_n, 0.0)        if loss_a > 0:            g += backprop(d_img_a, attack_angle)        g += 0.02 * 2 * (tex - tex_init) * mask[:, :, None]        tex -= lr * g        tex[~mask] = 0.0        tex = np.clip(tex, 0.0, 1.0)    return tex # 6. 主流程if __name__ == "__main__":    tex = tex_init.copy()    angle = np.radians(45)    print("=== 优化前 ===")    print("0度视角识别:", predict(render(tex, 0.0)))    print("45度视角识别:", predict(render(tex, angle)))    tex = optimize(tex, attack_angle=angle, steps=200)    print("=== 优化后 ===")    print("0度视角识别:", predict(render(tex, 0.0)))    print("45度视角识别:", predict(render(tex, angle)))

1. tex_init[mask] = [0.85, 0.15, 0.15]把圆盘内的像素涂成红色，模拟停止牌的底色。
2. out[:, valid] = tex[:, orig_col[valid]]按旋转后的坐标映射采样，模拟物体在3D空间中旋转后的投影效果。
3. def feature(img): return img[mask].flatten()只取圆盘区域内的像素作为特征，减少计算量。
4. W_cls = np.random.RandomState(7).randn(K * 3) * 0.05用固定随机种子初始化一个“感知模型”，保证实验可复现。
5. g += 0.02 * 2 * (tex - tex_init) * mask[:, :, None]正则项，防止纹理被改得面目全非。
6. tex = np.clip(tex, 0.0, 1.0)把纹理像素裁剪到合法范围，模拟物理世界中颜色通道的上下限。
7. print("0度视角识别:", predict(render(tex, 0.0)))验证攻击优化后，正常视角下物体仍然能保持真实身份。

常见误区

面试题