对抗Patch贴片设计

可视化演示

动态演示对抗Patch贴片设计的核心机制，通过基础/核心/应用/扩展四种模式展示关键概念与交互流程。

基本概念

先回到超市的故事。AI收银员“小识”刚上岗时表现神勇，任何商品扫一眼就能报出名字。但有个顾客发现，往巧克力上贴一张超市积分兑换的卡通贴纸，小识偶尔会把它念成别的名字。进一步实验发现：贴纸的图案不是随便选的，有些图案“毒性”特别强——只要占包装的十分之一面积，就能稳定骗过小识。这种图案，就是对抗Patch贴片的雏形。

“对抗Patch贴片”这个名字里有三个关键词。“对抗”指它来自对抗样本研究——早年间研究人员发现，给图片加上人类肉眼几乎察觉不到的细微噪声，就能让神经网络把熊猫认成长臂猿。但这些噪声是直接改图片像素的，没法打印出来贴到真实物体上。“贴片”则把战场从数字世界搬到了物理世界：它是一块完整、独立、可打印的图案，不依赖整体图像的微小扰动。“物理攻击”特点则强调了它与普通对抗样本最大的不同——它的目的是在现实光照、角度、距离下触发，而非仅在电脑屏幕上生效。

打个比方：普通对抗样本像“给照片里的人P上一副墨镜”，只能在数字世界骗过AI；对抗Patch则像“做一副真墨镜给人戴上”，拿到哪里都能骗过AI。前者靠修改整张图片的像素，后者靠设计一块独立的、可以贴到任意物体上的“视觉咒语”。

攻击原理

小识为什么会看走眼？它识别商品的逻辑不是“看懂”巧克力，而是把像素矩阵映射到类别概率上：看到深棕色的块状区域，就输出“巧克力 95%”；看到黄色包装袋，就输出“薯片 90%”。这种映射本质上是高维空间中的统计分类。贴片的作用相当于往这个空间里注入一个“强势信号”，把分类边界彻底推偏。

从数学上看，设模型为 $f$，原始输入图像为 $x$，贴片图案为 $\delta$。贴片生效的第一步是把贴片叠加到图像上：被遮罩 $M$ 覆盖的区域替换为贴片图案，其余区域保留原图。整个对抗Patch设计的目标，是找出一张贴片 $\delta$，使得“贴了贴片的图像”在模型 $f$ 下被判定为攻击者指定的目标类别。

$$\displaystyle \delta^* = \arg\max_{\delta} \mathbb{E}_{x \sim \mathcal{X}} \left[ \log p_{y_{target}} \left( f(x \oplus \delta) \right) \right]$$

1. 贴片参数 $\delta$：$\delta$ 就是我们要设计的贴片图案，它是一个二维像素矩阵。每次迭代，我们都对它做微调。

$$\delta$$

2. 期望符号 $\mathbb{E}_{x \sim \mathcal{X}}$：从训练图像分布 $\mathcal{X}$ 中随机抽取图像 $x$ 求平均，确保贴片不是只对某一张图有效，而是对一批图都有效。

$$\mathbb{E}_{x \sim \mathcal{X}}$$

3. 贴片叠加 $x \oplus \delta$：把贴片 $\delta$ 贴到图像 $x$ 上，得到一张“被攻击”的合成图——对应现实里把贴纸贴到商品包装上。

$$x \oplus \delta$$

4. 模型预测对数概率：$\log p_{y_{target}}(f(\cdot))$ 取目标类别概率的对数。对数函数是单调递增的，最大化对数和最大化原始概率等价，但数值上更稳定、梯度更友好。

$$\log p_{y_{target}} \left( f(x \oplus \delta) \right)$$

5. 最优贴片 $\delta^*$：$\arg\max_{\delta}$ 表示遍历所有可能的贴片图案，找到让整体期望值最大的那一个，这就是攻击者最终打印出来的贴纸。

$$\arg\max_{\delta} \mathbb{E}_{x \sim \mathcal{X}} \left[ \log p_{y_{target}} \left( f(x \oplus \delta) \right) \right]$$

实际计算中，攻击者先用随机噪声初始化一张贴片，然后计算目标概率对贴片的梯度，沿梯度上升方向反复迭代更新贴片图案，几百步后，一张“毒性贴纸”就炼成了。整个过程就像调制一杯越来越辣的蘸水——每次只加一点点辣椒，直到食客（模型）被辣到完全失去理智。

威胁模型

做恶作剧也要讲“剧本”：恶作剧的目标是让老师点名时叫错名字，还是让他完全说不出名字？恶作剧的人能站到同学旁边，还是只能远远地扔纸团？对抗Patch的威胁模型就是回答这类问题的“剧本框架”。

威胁模型通常包含三个核心维度。第一是攻击类型：目标攻击要求模型把物体误认为某个指定类别（比如把“巧克力”认成“薯片”，精确指鹿为马）；非目标攻击只要求模型别认对就行（认成香蕉、可乐、纸巾都可以，怎么错都行）。第二是攻击阶段：对抗Patch属于逃逸攻击，它只在模型推理阶段发挥作用，不需要污染训练数据——就像恶作剧者不改老师的教案，只在考试时递小抄。第三是攻击者能力假设：白盒攻击者掌握了模型的全部参数和梯度，可以精确计算贴片图案；黑盒攻击者只能通过反复查询模型的输出，像盲人摸象一样摸索出有效的图案；此外还要考虑攻击者能否接近目标物体、能否把贴片贴上去、贴片有没有尺寸限制。

这些假设直接决定了贴片设计方案。白盒场景下可以直接用梯度优化；黑盒场景下要借助迁移性——即在一个公开模型上生成贴片，再拿到目标模型上碰运气。威胁模型是整个设计的“世界观设定”，不定义清楚，后面所有参数和评估都是空中楼阁。

设计方法

在实验室电脑上，贴片在静态图片上效果拔群，可一旦打印出来贴到真实物体上，光照变了、角度歪了、距离远了，效果往往大打折扣。这就像恶作剧者在灯光昏暗的教室里排练好的台词，一到阳光刺眼的操场上就没人听得清。要让贴片在真实世界“自带舞台效果”，就需要期望变换（Expectation over Transformation, EOT）。

EOT的核心思想是：优化贴片时，不是只考虑它在标准姿态下的效果，而是把所有可能物理变化都“揉”进优化目标里。设贴片合成函数为 $A(x, P)$，物理变换 $t$（旋转、缩放、亮度、透视等）服从分布 $T$，EOT的优化目标是：

$$\displaystyle \hat{P} = \arg\max_{P} \mathbb{E}_{t \sim T} \left[ \log p_{y_{target}} \left( f(t(A(x, P))) \right) \right]$$

1. 贴片合成函数 $A(x, P)$：$A$ 表示把贴片 $P$ 按掩码位置贴到图像 $x$ 上的操作，输出一张“带着贴片的图”。

$$A(x, P)$$

2. 物理变换 $t$：$t$ 是对整张图施加的仿射变换，包括旋转、平移、缩放、亮度调节等，模拟真实世界中摄像头从不同角度、距离拍摄贴片的效果。

$$t(A(x, P))$$

3. 变换分布 $T$ 与期望 $\mathbb{E}_{t \sim T}$：$T$ 是所有可能物理变换构成的空间，期望表示在变换空间上求平均。由于变换空间无穷大，实际中通过蒙特卡洛采样：每次迭代随机抽取一批变换 $t_1, t_2, \dots, t_k$，计算它们的平均损失作为近似。

$$\mathbb{E}_{t \sim T}\left[\cdot\right] \approx \frac{1}{k}\sum_{i=1}^{k} \left[\cdot\right]$$

4. 最大化对数概率：对目标类别概率取对数并求最大化，得到能抵抗物理环境变化的最终贴片 $\hat{P}$。

$$\arg\max_{P} \mathbb{E}_{t \sim T} \left[ \log p_{y_{target}} \left( f(t(A(x, P))) \right) \right]$$

损失函数的选择也很有讲究。除了直接最大化目标类别概率，还可以组合“最小化真实类别概率”“拉大目标与真实类别的logit差距”等多项，像调鸡尾酒一样按比例混合，让贴片的攻击力更猛烈、更稳定。

关键参数

同样是恶作剧，贴纸贴多大、贴在哪个位置、是正着贴还是斜着贴，效果天差地别。对抗Patch设计中有几个决定成败的关键参数。

Patch尺寸与遮挡比例。贴片面积占图像总面积的比例是关键中的关键。太小了，模型很容易忽略；太大了，虽然攻击成功率上升，但人类肉眼一眼就能看出异常，失去隐蔽性。实际工程中常用5%～20%的遮挡比作为平衡点——这就像给同学背后贴纸条，纸条太小老师看不见，太大又太显眼。

贴片位置与角度。贴片放在物体的哪个部位也至关重要。放在目标检测器注意力最集中的区域（比如人脸的五官中心、商品的Logo区域）效率最高；放在边缘或背景区域，攻击效果会大打折扣。贴片本身的图案方向也要考虑——因为真实世界里贴片可能被斜着贴、倒着贴，训练时需要随机采样贴片自身的旋转角度。

优化超参数。梯度上升的迭代次数、学习率、批次大小同样影响贴片质量。迭代太少，贴片还没“变毒”；迭代太多可能过拟合到训练图像，物理迁移性下降。学习率过大则震荡不收敛，过小则训练缓慢。这些参数像做菜的火候——大火爆炒还是小火慢炖，得根据菜品（场景）灵活调整。

物理部署

设计好的贴片终究要走出电脑，变成一张真实的贴纸。这个环节充满了“理想与现实的差距”。超市里的恶作剧者发现：屏幕上鲜艳的红色贴纸，用喷墨打印机打出来却偏暗偏灰——打印机的色彩空间和屏幕不同，色差会让精心优化的图案失真。

打印材质是第一步关卡。哑光纸不反光但色彩表现平淡，光面纸色彩鲜艳却容易反光，在强光下一片白茫茫。光照鲁棒性则是第二道关卡：晴天、阴天、暖黄的室内灯光、冷白的LED灯，同一个贴片在这些光照下的成像差异很大。设计师的解决办法是在EOT阶段就加入亮度扰动、颜色扰动、高斯噪声等变换，让贴片“见光不死”。多视角一致性是第三道关卡：摄像头从正面、侧面、俯视、远距离拍摄时，贴片经历的是透视变换和尺度缩放。优秀的贴片设计需要在这些变换下都保持攻击力，而不是只在一个特定角度生效。

物理世界还会带来“意外惊喜”：纸张折叠产生的折痕、防水膜的镜面反射、贴片边缘的阴影，都会引入噪声。有些研究甚至发现，适度在训练中添加随机噪声和模糊，反而能让贴片在物理测试中更鲁棒——就像给恶作剧纸条做防水处理，下雨天也能用。

评估指标

怎么客观衡量一张贴片厉不厉害？在超市里，判断标准很朴素：让它骗过小识的次数占总尝试次数的比例。这个比例就是对抗Patch最核心的评估指标——攻击成功率（Attack Success Rate, ASR）。

$$\displaystyle ASR = \frac{1}{N} \sum_{i=1}^{N} \mathbb{1} \left[ f(x_i^{patch}) = y_{target} \right]$$

1. 测试张数 $N$ 与样本 $x_i^{patch}$：$x_i^{patch}$ 是第 $i$ 张贴上贴片的图像，$N$ 是测试集大小。测试集应包含不同物体、不同角度、不同光照下的图像。

$$x_i^{patch}, \quad i = 1, 2, \dots, N$$

2. 指示函数 $\mathbb{1}[\cdot]$：括号内条件成立时取 1，不成立取 0。这里条件是“模型把这张图预测为目标类别 $y_{target}$”。

$$\mathbb{1}\left[ f(x_i^{patch}) = y_{target} \right]$$

3. 求和取平均：对所有测试样本的判定结果求和，再除以 $N$，得到 0 到 1 之间的比例，即攻击成功率。

$$\frac{1}{N} \sum_{i=1}^{N}$$

除了ASR，还有几个互补指标。目标混淆率衡量模型把目标物体错认成指定类别的概率，尤其关注“错得是否精确”；物理迁移性指贴片在数字仿真中的成功率与真实物理拍摄下的成功率之间的差距，迁移性好的贴片两个数字都很高；误报率则从防御者视角出发——在正常物体上误报警“有攻击”的比例。好的评估应该像体检报告一样多维覆盖，只看ASR一个数字就像只量体温不量血压。

防御对策

超市老板当然不会坐以待毙。发现有人用贴纸搞鬼后，他给小识安排了“三重防护”。

第一重：Patch检测。在识别商品之前，先让模型扫描图像中是否存在局部异常图案。对抗Patch再精心设计，通常在纹理统计上与自然图案有可察觉的差异——可以通过检测高梯度异常块、计算局部纹理一致性、训练专门的“贴片分类器”来识别。这就像保安先检查顾客身上有没有贴纸，发现可疑图案直接拦截。

第二重：对抗训练。收集一批攻击成功的贴片样本，把它们作为“反面教材”加入训练集，让模型在训练时反复看到“贴了贴片的巧克力应该还是巧克力”，从而学会忽略贴片的干扰。这就像让老师反复看学生的恶作剧照片，练出火眼金睛。对抗训练是目前最有效的防御手段之一，缺点是训练成本高，且不断有新的贴片攻击手段出现，需要持续更新教材。

第三重：输入预处理与模型鲁棒化。对输入图像做随机裁剪、JPEG压缩、颜色抖动等预处理，破坏贴片的精确特征；或者在模型结构上引入局部注意力约束，让模型不只依赖某一小块区域的信号做判断。这三重防线层层递进，从“发现攻击”到“免疫攻击”，构成了完整的对抗防御体系。攻防双方的博弈就像猫鼠游戏——恶作剧者不断设计新贴纸，超市不断升级防线，推动着AI安全技术持续演进。

AI 应用场景

Python 演示

import numpy as np  class SimpleClassifier:    """一个线性分类器，模拟AI收银员的识别模型。"""     def __init__(self, n_classes=3, n_pixels=784, seed=42):        rng = np.random.default_rng(seed)        self.W = rng.standard_normal((n_pixels, n_classes)) * 0.1        self.b = rng.standard_normal(n_classes) * 0.01     def predict_proba(self, x):        logits = x.flatten() @ self.W + self.b        e = np.exp(logits - np.max(logits))        return e / np.sum(e)  def generate_patch(classifier, image, target_idx,                   patch_size=9, top_left=(10, 10),                   epochs=300, lr=0.5):    """用梯度上升生成一张对抗Patch贴片。"""    img_size = image.shape[0]    y0, x0 = top_left    patch = np.random.randn(patch_size, patch_size) * 0.02     for _ in range(epochs):        patched = image.copy().astype(np.float64)        patched[y0:y0 + patch_size, x0:x0 + patch_size] = patch         proba = classifier.predict_proba(patched)        grad_img = (classifier.W[:, target_idx] - classifier.W @ proba                    ).reshape(img_size, img_size)         patch += lr * grad_img[y0:y0 + patch_size, x0:x0 + patch_size]        np.clip(patch, -2, 2, out=patch)     return patch  def main():    img_size = 28    classifier = SimpleClassifier(n_classes=3, n_pixels=img_size * img_size)    rng = np.random.default_rng(0)    image = rng.random((img_size, img_size)) * 0.3     true_label = int(np.argmax(classifier.predict_proba(image)))    target_idx = (true_label + 1) % 3     patch = generate_patch(classifier, image, target_idx)     attacked = image.copy()    attacked[10:19, 10:19] = patch     p_before = classifier.predict_proba(image)    p_after = classifier.predict_proba(attacked)    pred_before = int(np.argmax(p_before))    pred_after = int(np.argmax(p_after))     print(f"原始预测类别: {pred_before}, 概率 {p_before[pred_before]:.3f}")    print(f"目标类别:     {target_idx}")    print(f"贴片后预测:   {pred_after}, 概率 {p_after[pred_after]:.3f}")    print(f"目标概率变化: {p_after[target_idx] - p_before[target_idx]:+.3f}")    print("攻击成功!" if pred_after == target_idx else "攻击失败")  if __name__ == "__main__":    main()

1. self.W = rng.standard_normal((n_pixels, n_classes)) * 0.1初始化一个线性分类器权重，相当于“AI收银员”的识别知识库，0.1 的缩放让输出概率分布更平滑。
2. logits = x.flatten() @ self.W + self.b把二维图像展平成一维向量，与权重矩阵做矩阵乘法，算出每个类别的打分。
3. patch = np.random.randn(patch_size, patch_size) * 0.02用很小的随机噪声初始化贴片图案，相当于从一张模糊的草稿纸开始绘制恶作剧贴纸。
4. patched[y0:y0 + patch_size, x0:x0 + patch_size] = patch把当前的贴片像素写入图像的目标区域，模拟“把贴纸贴到商品上”。
5. grad_img = (classifier.W[:, target_idx] - classifier.W @ proba).reshape(img_size, img_size)计算“目标类别对数概率”对输入图像每个像素的梯度，告诉我们应该往哪个方向修改像素才能让目标概率升得更高。
6. patch += lr * grad_img[y0:y0 + patch_size, x0:x0 + patch_size]沿着梯度方向更新贴片像素，这是梯度上升的核心一步，每次迭代贴片都变得更“毒”。
7. np.clip(patch, -2, 2, out=patch)把贴片像素值裁剪在合理范围内，避免迭代过程数值爆炸，相当于给贴纸上色时控制颜料用量。
8. target_idx = (true_label + 1) % 3选择一个与真实类别不同的类别作为攻击目标，对应“让收银员把巧克力认成薯片”。

常见误区

面试题