物理世界对抗攻击

可视化演示

展示对抗样本在物理世界中的攻击过程：从原始图像到扰动生成、对抗样本制作及真实场景部署，逐步演示对抗攻击的四个阶段。

攻击概览

假设数字攻击是黑客直接潜入门禁系统，把数据库里你的照片换成了通缉犯的脸；那么物理世界攻击，就是攻击者不碰系统，只在自身上下功夫——戴上一副特制眼镜、贴上一块彩色贴纸，让摄像头拍到他的那一刻，门卫模型主动把他认成另一个人。它把对抗样本从“像素世界的魔法”变成了“真实世界的道具”。

对抗样本原本诞生于数字空间：研究者给猫的图片加上微小噪声，模型就把它认成烤面包机。可一旦把这张加了噪点的图片打印出来，举到摄像头前，攻击往往立刻失效——因为相机成像会引入透视变形、光照变化、传感器噪声，数字噪声被“物理翻译”冲得七零八落。物理世界对抗攻击要解决的，正是如何在打印、拍摄、识别的全链路中都保持欺骗效果。

从威胁动机看，现实中的闸机、车载摄像头、安防监控都以物理世界为接口，攻击者无法直接向云端系统注入像素，却能往真实物体上贴一张纸。研究物理攻击，本质上是在回答一个问题：当模型的眼睛从数据变成了真实摄像头，恶意者能用多少种方式骗过它？

这场攻防告诉我们：AI 系统的安全边界不止在服务器里，也在每一盏路灯、每一台闸机的镜头前。理解了“伪装道具”的工作原理，你才真正读懂了物理世界攻击的第一页。

核心原理

门卫为什么会被一副眼镜骗到？因为他“看人”靠的不是直觉，而是一套固化的翻译规则：摄像头把三维世界的光线翻译成二维像素，模型再把这些像素翻译成身份标签。对抗扰动，就是专门针对这套翻译规则设计的“语法陷阱”——图案对人眼来说只是普通装饰，可在模型的翻译体系里，它恰好激活了"VIP"的神经通路。

这套陷阱要生效，必须对抗三个敌人。第一是成像链路：真实物体 → 镜头光学 → 传感器量化 → 数字图像，每一环都会像“口音”一样改写图案，扰动必须足够鲁棒才能在翻译中幸存。第二是不可见性：扰动如果太扎眼，连普通人都能看出异样，攻击就失去了隐蔽性，所以补丁面积、颜色、形态都受约束。第三是物理可实现性：数字世界里像素值可以取任意实数，但物理载体（打印纸、塑料镜片）能呈现的颜色和精度是有限的。

于是，物理攻击的设计本质上是一个多目标优化：既要骗过门卫，又要骗过路人，还要经得起风吹日晒镜头抖。数字攻击只需要在一个静态矩阵上做文章，物理攻击却要在整个“翻译漏斗”里寻找那个在每一层都不会被过滤掉的信号。

理解了这个原理，你就能明白为什么物理攻击的扰动往往不是细密噪点，而是一块块醒目又规则的色块——那是经过成像链路“压力测试”后存活下来的最强信号。

攻击类型

伪装者的目的分两种：一种是让门卫把自己认成某个特定 VIP，这叫仿冒攻击；另一种是让门卫完全认不出自己，既不是 VIP 也不是任何已知人员，甚至让“人脸检测”直接失效，这叫规避攻击。前者像冒名顶替，后者像隐身术。

从目标设定上，攻击又分目标定向和非目标定向。目标定向攻击要求模型输出某个指定标签，例如让“停车”路牌被读成“限速 45”；非目标定向攻击只要求模型猜错，认成谁都行，难度更低。从信息获取上，则区分白盒与黑盒：白盒攻击像拿到了门卫的培训手册（模型结构和权重），可以精确计算梯度；黑盒攻击没有手册，只能不断“试探门卫反应”——观察输入输出对，或者借助迁移性（在本地模型上造的攻击样本，换一个模型也可能生效）。

值得注意的是，物理场景中黑盒更为常见。攻击者面对真实系统往往拿不到模型参数，只能用摄像头拍到的识别结果做反馈。这也使得物理攻击与“查询驱动攻击”“迁移攻击”常常交织在一起。

搞清楚这些分类坐标，后续评估一个攻击 “好不好使” 才有共同的度量衡：是让门卫认错人，还是让他谁都不认识？是拿着手册精准打击，还是盲人摸象式试探？

攻击载体

伪装道具的种类，决定了攻击的隐蔽性和鲁棒性。最常见的载体是对抗贴纸：把精心计算的彩色图案打印出来，贴在路牌、行李箱、车身上。贴纸的优势是即贴即用、成本极低，缺点是平面的图案在视角变化时容易失效，所以设计时往往要覆盖较大面积、使用高对比度色块。

特制眼镜是攻击人脸识别系统的经典载体。研究者曾用打印的眼镜框骗过 FaceID 级别的模型，其优势是立体佩戴，姿态稳定，即便头部转动，图案仍在视野内；劣势是会引人注目。3D 打印结构更进一步，把对抗图案做成物体的立体表面，让多视角下图案都保持正确形状，常用于攻击车辆检测或路牌识别。此外还有光照投影：不改变物体本身，而是把对抗图案做成光斑投射上去，适合远距离动态攻击。

选择哪种载体，本质上是权衡题：面积越大，攻击成功率越高，但被发现的风险也越大；结构越立体，视角鲁棒性越好，但制作成本越高。而所有这些载体都要回到同一个问题——如何让打印出来的图案，在相机的眼中有和模拟器中一样的效果。

这也是为什么物理攻击常被戏称为“打印机的战争”：攻击效果的上限，往往由打印机色域、墨水和材质反射率决定。

关键技术

想让伪装在烈日、阴天、侧脸、远距离下都管用，攻击者不能只试一次运气，而要像排练话剧一样，在无数种“拍摄条件”下反复演练。这就是 EOT（期望变换） 的核心思想：假设拍摄条件服从某种变换分布 T，攻击者优化的不是单张图上的效果，而是在所有可能变换下“平均欺骗成功率”最高的扰动。

有了优化目标，还需要“落笔”的画笔。补丁生成通常用掩码控制可修改区域：把整张图看作画布，掩码 M 像贴纸的剪影，只有剪影内部的像素允许被涂改：

最后还有一层务实的约束——数字到物理的映射：sRGB 色彩要先转换到打印机色域，经历半色调网点化，再经过镜头重采样。研究者常把这类“打印-拍摄”退化也建模成变换 t 加入 EOT，让优化过程提前适应物理世界的残酷。

防御措施

门卫要反制伪装者，第一招是练眼力——见多识广。对抗训练就是把已知的攻击样本（贴上补丁的照片）混进训练集，让模型专门学习“这群人戴眼镜的样子，其实是伪装的”。这相当于给门卫看了大量“伪装者图鉴”，之后哪怕没见过完全一样的贴纸，模型也能更警惕。

第二招是进门卸妆。预处理防御在图像进入模型前先“搓一遍脸”：去噪、平滑、随机裁剪、JPEG 压缩，让精细的对抗图案像被卸妆水擦过一样模糊掉。代价是正常图片的识别精度也可能轻微受损，如同卸妆水也会洗掉淡妆。

第三招是看气质。异常检测不直接判标签，而是检查模型输出的一致性：如果一张脸在模型眼里“既像 VIP 又不太确定”，或者中间层特征偏离正常分布，就触发复核。这类似门卫觉得“此人妆容可疑”后要求摘眼镜再验证。物理防护则是加装多路摄像头、红外补光、活体检测，让攻击者需要同时骗过多个“门卫”。

防御的残酷现实是：没有一劳永逸的铠甲。对抗训练见过的补丁样式有限，预处理手段本身也可能被“对抗性卸妆水”破解。真正的防线通常是组合拳——多模态验证 + 训练鲁棒化 + 输入清洗，把攻击成本抬到不值得的高度。

评估方法

评估物理攻击，不能只看实验室 PPT。最核心的指标是攻击成功率（ASR）：在 N 次攻击尝试中，有多少次真的骗过了门卫。

但 ASR 高不等于实用。研究者还会测数字-物理迁移成功率：先在数字仿真中生成补丁，再打印出来实地拍摄，看成功率掉多少——这个落差最能反映成像链路的破坏力。接着是鲁棒性指标：分别在不同距离（1 米/3 米/10 米）、不同角度、不同光照下测 ASR，绘制“多远还能骗得过”的衰减曲线。最后是真实场景闭环测试：在目标设备上用实物、真实光线、真实视角做端到端验证，这也是评估的黄金标准。

越接近真实世界的评估越昂贵，但越能暴露模型的真实短板。一个只在仿真里 99% 成功的补丁，到了雨天可能只有 30% 成功率——评估方法的严谨程度，直接决定了安全报告的含金量。

应用挑战

物理世界攻击最令人不安的应用场景是人脸识别：攻击者用一副打印眼镜骗过闸机刷开 VIP 通道，或绕过视频监控的身份确认，直接威胁金融支付与门禁安全。自动驾驶则面临“路牌欺骗”——在停车标志上贴几块小补丁，车载模型就可能把它读成限速标志，造成实质性的交通安全风险。安防监控里，攻击者通过干扰行人检测或车牌识别，让监管系统“选择性失明”。

从 AI 工程实践看，这意味着鲁棒性评估要进入数据可信层的标准流程：上线前做对抗红队测试，上线后持续监控 ASR 指标，出现新攻击样式就补充训练数据。未来攻防还会升级：攻击者会用生成模型自动搜索更隐蔽的补丁，防御方则研究在物理层部署感知融合与主动对抗光源。这场军备竞赛没有终点，只有不断前移的安全基线。

AI 应用场景

Python 演示

import numpy as np  class PhysicalAttacker:    """合成图像演示: 数字攻击 vs 物理(EOT)攻击成功率对比"""     def __init__(self, size=16, patch=4):        self.size = size        self.patch = patch        self.r = size - patch - 1        self.c = size - patch - 1        self.w = np.zeros(size * size)   # 逻辑回归权重        self.b = 0.0                     # 偏置        self.p = np.zeros((patch, patch))  # 待学习的补丁        self.mask = np.zeros((size, size))        self.mask[self.r:self.r + patch, self.c:self.c + patch] = 1     def _gen(self, kind, n):        """kind=0 水平条纹(A类访客), kind=1 垂直条纹(B类VIP)"""        imgs = []        for _ in range(n):            img = np.zeros((self.size, self.size))            if kind == 0:                img[::2, :] = 1            else:                img[:, ::2] = 1            imgs.append(img)        return np.array(imgs)     def _place(self, img, p, dy, dx):        """把补丁放入图像并整体平移, 模拟物理拍摄中的抖动"""        im = np.roll(img, (dy, dx), axis=(0, 1))        full = np.zeros((self.size, self.size))        full[self.r:self.r + self.patch,             self.c:self.c + self.patch] = p        full = np.roll(full, (dy, dx), axis=(0, 1))        m = np.roll(self.mask, (dy, dx), axis=(0, 1))        return im * (1 - m) + full * m     def train_model(self, iters=300, lr=0.1):        Xa = self._gen(0, 8).reshape(8, -1)        Xb = self._gen(1, 8).reshape(8, -1)        X = np.vstack([Xa, Xb])        y = np.array([0] * 8 + [1] * 8)        for _ in range(iters):            z = X @ self.w + self.b            sig = 1 / (1 + np.exp(-z))            self.w -= lr * ((sig - y) @ X) / len(y)            self.b -= lr * (sig - y).mean()     def attack(self, iters=200, lr=0.5):        """用EOT式随机平移做梯度上升, 让A类被误判为B类"""        Xa = self._gen(0, 8).reshape(8, -1)        for _ in range(iters):            dy = np.random.randint(-2, 3)            dx = np.random.randint(-2, 3)            gp = np.zeros_like(self.p)            for img in Xa:                x = self._place(img.reshape(self.size, self.size),                                self.p, dy, dx)                z = x.ravel() @ self.w + self.b                sig = 1 / (1 + np.exp(-z))                g = (-(1 - sig) * self.w)   # 对 loss=-log(1-sig) 求导                g = g.reshape(self.size, self.size)                g = np.roll(g * np.roll(self.mask, (dy, dx),                            axis=(0, 1)), (-dy, -dx), axis=(0, 1))                gp += g[self.r:self.r + self.patch,                        self.c:self.c + self.patch]            self.p -= lr * gp / len(Xa)            np.clip(self.p, -1, 1, out=self.p)     def evaluate(self, trials=100, use_eot=True):        ok = 0        for img in self._gen(0, trials):            im = img.reshape(self.size, self.size)            if use_eot:                dy = np.random.randint(-2, 3)                dx = np.random.randint(-2, 3)            else:                dy = dx = 0            x = self._place(im, self.p, dy, dx)            sig = 1 / (1 + np.exp(-(x.ravel() @ self.w + self.b)))            if sig > 0.5:                ok += 1        return ok / trials  if __name__ == "__main__":    atk = PhysicalAttacker()    atk.train_model()    atk.attack()    dig = atk.evaluate(use_eot=False)     # 固定位置: 数字攻击    phy = atk.evaluate(use_eot=True)      # 随机抖动: 物理攻击    print(f"数字攻击成功率(固定视角): {dig:.2f}")    print(f"物理攻击成功率(含视角变换): {phy:.2f}")    print("结论: 物理抖动会大幅降低未做EOT的补丁成功率")

1. self.mask[self.r:self.r + patch, self.c:self.c + patch] = 1用掩码圈出补丁允许涂改的区域，相当于“贴纸剪影”。
2. img[::2, :] = 1生成水平条纹图像代表 A 类访客，垂直条纹代表 B 类 VIP，两类图案空间上可区分，便于训练出判别模型。
3. np.roll(img, (dy, dx), axis=(0, 1))对整幅图做循环平移，模拟摄像头抖动或拍摄角度偏移。
4. full[self.r:..., ...] = p先把补丁放到固定位置，再整体平移，保证补丁与背景一起“被拍摄”。
5. g = (-(1 - sig) * self.w)对“让模型预测 B 类”的损失求梯度，指引补丁向误导方向更新。
6. np.clip(self.p, -1, 1, out=self.p)限制补丁像素值范围，对应物理载体可打印的颜色边界。
7. atk.evaluate(use_eot=False)固定视角测成功率，代表理想化的数字攻击环境。
8. atk.evaluate(use_eot=True)每个样本随机平移再测，代表真实物理拍摄中的不稳定视角。

常见误区

面试题