对抗样本生成技术

可视化演示

展示从原始输入到模型欺骗的完整对抗样本生成链路，含梯度方向可视化和黑盒迁移攻击，粒子流动模拟攻击过程，点击按钮切换不同攻击方法

对抗样本初识

想象你是一名古画修复师，每天的工作是分辨真品和赝品。有一天，你遇到一幅画，肉眼看去明暗、笔触、色彩都无可挑剔，可一位经验老到的 AI 鉴宝专家却把它认成了另一幅画。你反复对比，发现画上多了几个你几乎注意不到的色点。这就是对抗样本的世界：对原始数据施加微小而刻意的扰动，让模型以高置信度输出错误结果，而人类的感官完全无法察觉差异。

为什么模型会如此“眼瞎”？深度学习模型本质上是高维空间中的复杂函数，它对输入极其敏感。就像鉴宝专家靠几个局部特征做判断一样，模型在训练中学会的决策依据，可能被某些极端细微的模式轻易推翻。研究者发现，只要沿着让损失函数增大的方向施加一点点扰动，模型的预测就会剧烈偏移——这正是对抗样本存在的根源。

对抗样本的形式化定义如下：给定原始输入 \(x\) 与真实标签 \(y\)，要求生成一个扰动后的样本 \(x_{\text{adv}}\)，使它被模型 \(f\) 误分类，同时扰动幅度被限制在用户不可感知的范围内。

回到博物馆的比喻：\(\varepsilon\) 就是“允许造假的程度”——改动太多，肉眼一眼看穿，赝品就失败；改动太少，又骗不过 AI 专家。对抗样本的研究，就是在这条钢丝上寻找平衡。

攻击分类框架

造假集团实施计划前，首先要弄清楚一个问题：我们到底掌握多少关于 AI 鉴宝专家的信息？是搞到了它的鉴定手册（模型参数），还是只能把画递过去看它的表情（模型输出）？根据信息掌握程度，对抗攻击被分为白盒攻击、黑盒攻击和灰盒攻击三类。

白盒攻击是最理想的“内鬼”场景：攻击者完全掌握模型结构、权重、梯度信息，就像拿到了专家的全套鉴定笔记，可以直接计算“往哪个方向改最容易骗过专家”。FGSM 和 PGD 这类基于梯度的攻击，都是典型白盒攻击。它们的优点是精度高、效果好，缺点是现实中很难拿到模型的内部信息。

黑盒攻击则相反：攻击者只能像普通访客一样，把画递给专家看，根据“点头还是摇头”（模型输出）来反复试探。虽然无法直接计算梯度，但可以通过观察大量输入输出对，估计出模型的行为边界。遗传算法攻击就是黑盒场景的代表——不需要任何梯度信息，只凭“猜-试-改”的循环就能造出赝品。灰盒攻击介于两者之间，比如攻击者知道模型架构但不知道具体参数，或者只能访问部分 API 接口。

| 攻击类型 | 掌握信息 | 典型方法 | 适用场景 |

|---------|---------|---------|---------|

| 白盒攻击 | 完整模型与梯度 | FGSM、PGD | 内部安全测试、开源模型审计 |

| 黑盒攻击 | 仅输入输出 | 遗传算法、迁移攻击 | 商业 API 安全评估 |

| 灰盒攻击 | 部分信息 | 模型窃取攻击 | 半开放平台测试 |

在实际评测中，攻击类型的选择取决于评测目标：如果想知道模型理论上的“最脆弱程度”，用白盒；如果想模拟真实世界中的恶意攻击者，黑盒更贴近现实。就像造假集团既可能买通内鬼（白盒），也可能只靠一次次试递画作来摸索规律（黑盒），两种情报水平决定了完全不同的作案手法。

FGSM快速攻击

现在你搞到了一本 AI 鉴宝专家的鉴定手册，里面记录了它判断一幅画是否为真品的全部偏好。你想快速做出一幅能骗过它的赝品，最直接的办法是什么？答案是：找到专家最敏感的“笔法方向”，然后在这个方向上用力画上一笔。这就是 FGSM（快速梯度符号法） 的直觉——利用梯度，找出能让模型损失函数上升最快的方向，然后一步到位地移动。

FGSM 是 Ian Goodfellow 等人提出的最早也最经典的对抗攻击方法。它的核心洞察是：深度学习模型在高维空间中表现得像线性模型，输入在每个维度上只要偏移一点点，累积效应就足以彻底改变输出。因此，攻击者不需要精心设计复杂的图像，只需要求得损失函数对输入的梯度，取其符号，再乘以一个扰动幅度即可。

FGSM 最大的优点是快：一次前向传播、一次反向传播，就能生成对抗样本，适合大规模批量测试。但缺点也很明显：因为只走一步，攻击强度有限，有时无法保证一定骗过专家。这就好比造假集团只改了专家最在意的那个特征，但如果专家还有别的判断依据，这笔“重注”可能落空。要追求更强的攻击效果，需要更耐心的“多步微调”。

PGD迭代攻击

FGSM 的一步式攻击就像是赌徒一把押注，赌对了自然一步登天，赌错了就前功尽弃。而 PGD（投影梯度下降法） 则更像老练的造假师：每一次只做小幅修改，做完立刻把成品和原作对照，确保改动没超过可察觉限度，然后从新的位置继续试探。它把一次性的大冒险，变成了稳扎稳打的多步改进。

PGD 的攻击流程可以这样理解：从原始图像出发（或者从一个随机扰动点出发），每轮沿着当前梯度符号方向前进一步，步长为 \(\alpha\)，但每走完一步都要检查自己是否超出了 \(\varepsilon\) 的扰动预算——如果超出了，就把扰动“投影”回允许范围内，相当于画师每次改完几笔都要退远一步，确认整幅画仍然看起来像原作。如此反复迭代 \(T\) 轮，直到模型被彻底骗过。

PGD 与 FGSM 的对比，就像“一次改一笔”与“一笔改到底”的区别。PGD 虽然计算量更大，但由于每次修改都经过“检查 + 投影”，它生成的赝品既能保证不被肉眼识破，又能持续增强欺骗效果。在评测中，PGD 常常被当作“强攻击基线”——如果一个模型能扛住 PGD 的攻击，那它对大多数较弱攻击都是安全的。

遗传算法攻击

如果拿不到鉴定手册，甚至不知道 AI 专家是什么架构，造假集团还能得手吗？历史告诉我们：能。那些没见过专家笔记的造假者，靠的是最原始也最有效的方法——大量试错与优胜劣汰。这对应到 AI 安全领域，就是基于遗传算法的黑盒攻击。

遗传算法不依赖任何梯度信息，它模仿生物进化：首先随机生成一批候选扰动，把它们分别叠加到原始图像上，得到一群“赝品候选者”；然后让 AI 专家对每个候选打分，看谁最接近“骗过专家”的目标；接着挑选得分最高的个体，让它们进行交叉和变异，生成新一代赝品。如此循环迭代，赝品的欺骗能力一代比一代强。

在这个进化过程中，对每个候选个体的“欺骗程度”打分，称为适应度评估。攻击目标通常是让模型把对抗样本错分为指定的目标类别，因此适应度函数可以定义为模型输出目标类别的概率：

遗传算法攻击的精髓在于“无梯度也能优化”：它把黑盒模型的每一次输出都当作“专家反馈”，通过种群进化逐步逼近最优赝品。它的代价是访问次数多——每次进化都要向模型发起大量查询请求，可能被 API 流量限制所拦。但它也揭示了残酷的事实：即使完全不了解模型内部结构，只要耐心足够，AI 一样可以被一步步“骗”过去。

扰动评估指标

赝品造好了，怎么验收它是否合格？造假集团需要两个数据：一是“送检成功率”，二是“与真品的相似度”。在对抗攻击中，这两项分别对应攻击成功率（ASR） 和扰动幅度度量，共同构成评估攻击效果的核心指标。

攻击成功率衡量的是“骗过专家的比例”：在测试集 \(N\) 个样本全部被施加攻击后，模型预测出错的比例。它是最直观的攻击强度指标——成功率越高，说明模型越脆弱。注意，这里统计的是“被判错的样本数”，而非“被正确识别的样本数”。

攻击成功率之外，扰动幅度决定“赝品是否暴露”。最常用的是 \(L_\infty\) 范数，衡量所有像素中最大的改动量：

它的含义很直观：赝品与原作之间最扎眼的那处差别有多大。评测团队通常要求“ASR 越高越好、扰动越小越好”，两者结合才能判断攻击是否真正具有威胁。如果一幅“赝品”需要大改特改才能骗过专家，那它在现实中根本不具备隐蔽性，也就构不成真正的安全风险。

防御与评测应用

知道了造假集团的种种手法，博物馆该如何应对？答案是：主动用这些赝品来训练鉴宝专家。AI 安全领域把这套思路称为对抗训练——在训练过程中不断生成对抗样本并让模型学习识别它们，相当于让专家反复观摩各种高仿赝品，练出火眼金睛。对抗训练是最经典、也最有效的鲁棒性提升手段。

不过，防守方还需要一套炼金术式的验证体系：模型到底能扛住多强的攻击？这就轮到评估指标登场了。评测团队用对抗样本对模型发起攻击，并记录鲁棒精度——即在对抗攻击下仍能正确分类的样本比例：

在真实安全测试中，评测团队会综合使用 FGSM、PGD、遗传算法等多种攻击手段，分别测试模型在不同威胁模型下的表现，然后输出一份鲁棒性报告。正如博物馆不会只请一位专家看画，而是让多位专家反复交叉检验，AI 模型的防御能力也需要在持续攻击中不断被锤炼和证明。

AI 应用场景

Python 演示

import torchimport torch.nn as nnimport torch.nn.functional as F class Net(nn.Module):    def __init__(self):        super().__init__()        self.conv1 = nn.Conv2d(1, 8, 3, padding=1)        self.fc = nn.Linear(8 * 14 * 14, 10)     def forward(self, x):        x = F.relu(F.max_pool2d(self.conv1(x), 2))        return self.fc(x.flatten(1)) def fgsm(model, x, y, eps=0.3):    xa = x.clone().detach().requires_grad_(True)    loss = F.cross_entropy(model(xa), y)    model.zero_grad()    loss.backward()    return xa.detach() + eps * xa.grad.sign() def attack_accuracy(model, loader, eps):    total = ok = 0    for x, y in loader:        pred = model(fgsm(model, x, y, eps)).argmax(1)        ok += (pred != y).sum().item()        total += y.size(0)    return ok / total def main():    torch.manual_seed(0)    model = Net()    opt = torch.optim.Adam(model.parameters(), lr=1e-3)    xb = torch.randn(64, 1, 28, 28)    yb = torch.randint(0, 10, (64,))    for _ in range(300):        loss = F.cross_entropy(model(xb), yb)        opt.zero_grad()        loss.backward()        opt.step()    xt = torch.randn(64, 1, 28, 28)    yt = torch.randint(0, 10, (64,))    clean = (model(xt).argmax(1) == yt).float().mean().item()    asr = attack_accuracy(model, [(xt, yt)], eps=0.3)    print("clean acc:", round(clean, 4))    print("attack success:", round(asr, 4)) if __name__ == "__main__":    main()

1. xa = x.clone().detach().requires_grad_(True)复制输入张量并开启梯度记录，避免污染原始数据。
2. loss = F.cross_entropy(model(xa), y)计算模型对当前输入的预测损失，攻击的目标就是让这个损失变大。
3. xa.grad.sign()提取梯度符号，得到“最能让损失变大的方向”。
4. return xa.detach() + eps * xa.grad.sign()沿方向偏移 \(\varepsilon\) 并停止梯度追踪，返回对抗样本。
5. model(fgsm(model, x, y, eps)).argmax(1)用模型推理攻击结果并取最高概率类别。
6. (pred != y).sum().item()统计被成功欺骗的样本个数，用于计算攻击成功率。
7. attack_accuracy(model, [(xt, yt)], eps=0.3)封装攻击评估流程，输入测试数据与扰动预算 \(\varepsilon\)。

常见误区

面试题