一支常年驻守边境的精锐部队，在阅兵场上所向披靡，可一旦进入真实的丛林，却会被几支冷箭打得阵脚大乱。AI 模型也是这样：识别猫狗、人脸、路牌都精准无比，但只要有人在图片上加上一丝肉眼看不清的噪声，它就可能把“熊猫”认成“长臂猿”，把“停止”标志认成“限速”标志。这种微小而致命的改动，就是对抗样本。 如何练就一支不怕冷箭的队伍？军队给出的答案，是把最狡猾的假想敌请进训练场——红蓝对抗。蓝军专门研究红军的软肋，用最刁钻的方式发起突袭；红军在一次次挨打中修补防线，最终蜕变成无论对手怎么变招都能从容应对的铁军。 对抗训练正是这堂“军事演习”在 AI 世界的投影：训练过程中，系统持续派出“蓝军”——最强对抗样本——攻击正在训练中的模型，逼着模型把防线修到最薄弱的角落。今天的 AI 安全实践中，这几乎是提升模型鲁棒性最有效的经验方法，也是最耗时的训练策略。精度与鲁棒性的平衡，则是永恒的战争课题。读完这篇文章，你将理解这堂演习课如何运作、为何有效，又藏着哪些陷阱与边界。

岗位关联

掌握对抗训练机制，是从事 AI 安全、模型鲁棒性评估与可信 AI 治理的必修课，也是理解前沿攻防对抗的基础功。

目录
  1. 可视化演示
  2. 对抗样本威胁：敌军的暗箭
  3. 对抗训练原理：红蓝对抗的博弈
  4. 训练流程：一场完整的军事演习
  5. 鲁棒性提升：实战能力的炼成
  6. 精度权衡：精兵与全能的取舍
  7. 工程实践：现代军团的演习方案
  8. 防御局限：演习的盲区
  9. 安全合规：战争伦理与军规
  10. AI 应用场景
  11. Python 演示
  12. 常见误区
  13. 面试题

可视化演示

展示对抗训练三维度：min-max优化框架（内层最大化攻击-外层最小化防御）、决策边界演化（训练过程中边界margin增厚）、精度鲁棒性权衡（标准精度vs鲁棒精度曲线与鲁棒过拟合），理解对抗鲁棒性防御核心方法。

本节配有交互动效（进入视口后自动加载，约 3KB）。

min-max优化框架 内层最大化：生成最强对抗样本 外层最小化：学习鲁棒决策边界 min_theta max_delta L(f(x+delta),y) 对抗训练在min-max框架下交替进行攻击与防御优化。

对抗样本威胁：敌军的暗箭

一支镇守峡谷的部队，在常规操练中百战百胜。直到某天，敌军没有正面冲锋，而是派出一支小分队悄悄往红军水井里投了几把毒药——整条防线瞬间瘫痪。AI 世界中的“毒药”就是对抗样本：攻击者只修改图片中极少数像素，人眼几乎看不出差别，模型却会给出完全错误的判断。

威胁并非天马行空。攻击者在“哪里改、改多少”上要做出选择，这就构成了威胁模型。攻击者知道模型的全部结构吗？这是白盒攻击；还是只能把模型当黑盒反复试探？这些约束直接决定了防御策略的形态。无论哪种方式，对抗样本都可以统一写成“原始数据加扰动”的形式，且扰动大小受到严格约束：

理解了冷箭的构造，也就明白了普通训练为何对此毫无防备——模型只学过“正常天气”下的规律。要想防住暗箭，就必须把放箭之人请进军营，天天过招。这正是对抗训练的起点。

x~=x+δ,∥δ∥∞≤ϵ\tilde{x} = x + \delta, \quad \|\delta\|_\infty \le \epsilon
这个公式说明：对抗样本是原始样本与一个微小扰动的叠加，扰动被限制在 ε 的“紧箍咒”里，保证视觉上难以察觉。
  1. 对抗样本的记号$\tilde{x}$ 表示被攻击者改造后的输入，最终目标是让模型输出错误结果。
    x~=x+δ\tilde{x} = x + \delta
  2. 原始输入的含义$x$ 是正常数据，比如一张真实拍摄的照片或一段自然文本。
    x∈Rdx \in \mathbb{R}^{d}
  3. 扰动的方向与幅度$\delta$ 是攻击者叠加上去的微小改动，每个维度的改动都不超过 $\epsilon$。
    ∣δi∣≤ϵ,i=1,2,…,d|\delta_i| \le \epsilon, \quad i = 1, 2, \dots, d
  4. L∞范数的约束$\|\delta\|_\infty$ 取所有分量中的最大绝对值，把它限制在 $\epsilon$ 内即可保证扰动“隐形”。
    ∥δ∥∞=max⁡i∣δi∣≤ϵ\|\delta\|_\infty = \max_i |\delta_i| \le \epsilon

对抗训练原理：红蓝对抗的博弈

军事演习的最高机密叫“红蓝对抗”：蓝军专门研究红军的薄弱环节，用最刁钻的战法进攻；红军则根据蓝军的进攻不断加固防线。打得越狠，练得越强。对抗训练就是把这套兵法搬进了深度学习的训练场。

形式化地看，它被表达为一个 Min-Max 博弈：内部最大化是“蓝军找最狠的打法”，外部最小化是“红军在挨打中调整部署”。

红蓝对抗的妙处在于：无论蓝军多强，红军都只能迎难而上。每一次内部最大化，都把当前弱点暴露给红军；每一次外部最小化，又把这些弱点当场补上。循环往复，防线上最薄弱的点被逐一加固。

min⁡θE(x,y)∼D[max⁡∥δ∥∞≤ϵL(fθ(x+δ),y)]\min_{\theta} \mathbb{E}_{(x,y) \sim \mathcal{D}} \left[ \max_{\|\delta\|_\infty \le \epsilon} \mathcal{L} \left( f_\theta (x+\delta), y \right) \right]
这个公式揭示：训练模型的损失函数中，已经包含了攻击者寻找的最坏情况扰动，相当于把红蓝双方绑在同一场演习里。
  1. 外部最小化参数$\min_{\theta}$ 表示在所有参数中选择一组让总体损失最小的参数，代表“红军加固防线”这一行动。
    min⁡θ[⋅]\min_{\theta} \left[ \cdot \right]
  2. 内部最大化扰动$\max_{\|\delta\|_\infty \le \epsilon}$ 对每个样本寻找使损失最大的扰动，代表“蓝军全力进攻”。
    max⁡∥δ∥∞≤ϵL(fθ(x+δ),y)\max_{\|\delta\|_\infty \le \epsilon} \mathcal{L}(f_\theta(x+\delta), y)
  3. 期望遍历数据分布$\mathbb{E}_{(x,y)\sim\mathcal{D}}[\cdot]$ 对所有训练数据取平均，表示每个样本都要扛住最坏攻击。
    E(x,y)∼D[⋅]\mathbb{E}_{(x,y)\sim\mathcal{D}}\left[ \cdot \right]

训练流程：一场完整的军事演习

演习不是一锤子买卖，蓝军要通过反复试探才能找到红军的破绽。PGD（投影梯度下降）攻击就是蓝军的“连招”：从初始点出发，沿着让损失增长最快的方向反复突进，每走一步都要被“规则”拽回允许的范围内。

PGD-AT 的每次训练迭代包括两步：先用 PGD 为每个样本生成最坏扰动，再用这些被扰动过的样本去更新模型。这个过程交替进行，直到收敛。内部循环的多步迭代，是训练质量的关键。

红军就这样在一次次“挨打—修补”的循环中成长。训练时用的 PGD 攻击步数越多、强度越大，模型见到的“花招”就越全面，最终练出的防线也就越扎实，当然训练成本也随之上升。

xt+1=Πx+S(xt+α⋅sign⁡(∇xL(fθ(xt),y)))x^{t+1} = \Pi_{x+\mathcal{S}} \left( x^t + \alpha \cdot \operatorname{sign}\left( \nabla_x \mathcal{L}(f_\theta(x^t), y) \right) \right)
该公式描述蓝军如何一步步逼近最坏扰动：沿梯度方向迈一小步，然后投影回允许范围。
  1. 梯度符号方向$\operatorname{sign}(\nabla_x \mathcal{L})$ 只保留梯度的方向而忽略大小，让扰动每一步都小而均匀。
    sign⁡(∇xL(fθ(xt),y))\operatorname{sign}\left( \nabla_x \mathcal{L}(f_\theta(x^t), y) \right)
  2. 单步攻击步长$\alpha$ 是攻击步长，控制每次“偷袭”的位移大小。
    xt+α⋅dx^t + \alpha \cdot d
  3. 投影操作回拉$\Pi_{x+\mathcal{S}}$ 将越界点拉回扰动允许的球形区域，保证改动不超限。
    Πx+S(⋅)\Pi_{x+\mathcal{S}}(\cdot)

鲁棒性提升：实战能力的炼成

演习次数多了，红军的防线会发生质变：原本弯弯绕绕、一戳就破的边界，被磨成了一道厚实、平滑的屏障。在模型眼里，这意味着决策边界不再贴着训练样本走，而是留出了充足的安全距离，任何想偷偷越过边界的小扰动都会被拦下来。

这种质变可以用“鲁棒性半径”来度量：对每个样本，找到能骗过模型所需的最小扰动距离，距离越大，说明模型越难被欺骗。对抗训练的效果，就是不断把这个半径撑大。

更重要的是，对抗训练不只是“记住”了对抗样本的样子，而是逼着模型学习更具语义意义的鲁棒特征——比如关注“形状”而非“纹理”这类表面线索。长期演习的成果，是模型在陌生环境中的泛化能力也获得提升。这就是实战能力的本质。

ρ=min⁡δ : fθ(x+δ)≠y∥δ∥p\rho = \min_{\delta \,:\, f_\theta(x+\delta) \neq y} \|\delta\|_p
鲁棒性半径是一个样本抵御攻击的“安全缓冲区”半径：越界所需的最小扰动越大，模型越鲁棒。
  1. 鲁棒半径的定义$\rho$ 衡量模型对某个样本的鲁棒程度，值越大说明越难被攻击。
    ρ=min⁡δ:f(x+δ)≠y∥δ∥p\rho = \min_{\delta: f(x+\delta)\neq y} \|\delta\|_p
  2. 欺骗发生的条件$f_\theta(x+\delta) \neq y$ 表示扰动后分类结果与真实标签不同，即攻击成功。
    fθ(x+δ)≠yf_\theta(x+\delta) \neq y
  3. 范数度量的含义$\|\delta\|_p$ 是扰动在 $p$ 范数下的“力气”大小，常用 $p=2$ 或 $p=\infty$。
    ∥δ∥p=(∑i∣δi∣p)1/p\|\delta\|_p = \left( \sum_i |\delta_i|^p \right)^{1/p}

精度权衡：精兵与全能的取舍

但凡事都有代价。一支天天和蓝军打硬仗的部队，在某些和平时期的精细任务上，往往显得过于保守，甚至有点“笨拙”。对抗训练同样存在这样的问题：模型为了抵抗最坏扰动，可能会把决策边界过度外推，导致在干净样本上的标准准确率下降，这就是著名的“鲁棒性税”。

从优化目标看，对抗训练相当于在普通训练损失之外，额外叠加了一项对抗损失，希望通过一个权重系数来平衡两个目标，而平衡点往往并不完美。

在实际项目中，调参者需要在扰动预算 $\epsilon$ 和权重 $\lambda$ 之间反复试错，找到与应用场景匹配的平衡点：如果是交通标志识别，宁可牺牲一点精度也要极高鲁棒性；如果是商品推荐，则精度优先，鲁棒性只做辅助。这就是“因地制宜练兵”。

LAT=Lstd+λ⋅Ladv\mathcal{L}_{\text{AT}} = \mathcal{L}_{\text{std}} + \lambda \cdot \mathcal{L}_{\text{adv}}
对抗训练损失由干净样本损失和对抗样本损失加权组合而成，λ 控制两者侧重，越大越鲁棒但越牺牲标准精度。
  1. 标准分类损失$\mathcal{L}_{\text{std}}$ 是干净样本上的分类损失，代表普通训练目标。
    Lstd=1N∑i=1NL(fθ(xi),yi)\mathcal{L}_{\text{std}} = \frac{1}{N}\sum_{i=1}^{N} \mathcal{L}(f_\theta(x_i), y_i)
  2. 对抗样本损失$\mathcal{L}_{\text{adv}}$ 是对抗样本上的损失，代表鲁棒性目标。
    Ladv=1N∑i=1Nmax⁡∥δi∥≤ϵL(fθ(xi+δi),yi)\mathcal{L}_{\text{adv}} = \frac{1}{N}\sum_{i=1}^{N}\max_{\|\delta_i\|\le\epsilon}\mathcal{L}(f_\theta(x_i+\delta_i), y_i)
  3. 权重系数调节$\lambda$ 调和精度与鲁棒性的天平，是训练前需要手动设定的超参数。
    λ>0\lambda > 0

工程实践：现代军团的演习方案

既然演习方案有多种流派，现代部队也会根据预算选择不同的练兵方式。最早也是最经典的方案是 PGD-AT：用多步 PGD 生成强对抗样本再训练，效果扎实但开销大。随后 TRADES 提出了一种更“省钱”的思路——不强行拟合对抗样本的标签，而是要求模型对干净样本和对抗样本的输出保持一致。

TRADES 把鲁棒性目标从“对抗样本也要分类正确”改成了“对抗样本的输出不能偏离干净样本太多”，从算法上解耦了精度与鲁棒性的矛盾，在多个基准上取得更好平衡。

在工程落地上，对抗训练的计算开销通常是普通训练的几倍甚至十几倍。经验做法包括：先用低强度攻击热身，再逐步加大扰动轮数；对已收敛模型做“微调式”对抗训练；以及使用混合精度和分布式数据并行来摊薄成本。选哪种演习方案，终究要看战场需求和手中的军费。

LTRADES=LCE(fθ(x),y)+β⋅max⁡∥δ∥∞≤ϵLKL(fθ(x) ∥ fθ(x+δ))\mathcal{L}_{\text{TRADES}} = \mathcal{L}_{\text{CE}}(f_\theta(x), y) + \beta \cdot \max_{\|\delta\|_\infty \le \epsilon} \mathcal{L}_{\text{KL}}\left( f_\theta(x) \,\|\, f_\theta(x+\delta) \right)
TRADES 用一个 KL 散度正则项，让模型对扰动前后的预测分布保持一致，从而在精度与鲁棒性之间找到更优平衡。
  1. 标准交叉熵项$\mathcal{L}_{\text{CE}}(f_\theta(x), y)$ 保证干净样本上的分类精度。
    LCE(fθ(x),y)\mathcal{L}_{\text{CE}}(f_\theta(x), y)
  2. KL 散度差距惩罚$\mathcal{L}_{\text{KL}}(f_\theta(x) \| f_\theta(x+\delta))$ 衡量干净与对抗样本输出分布的差异。
    ∑cfθ(x)clog⁡fθ(x)cfθ(x+δ)c\sum_{c} f_\theta(x)_c \log \frac{f_\theta(x)_c}{f_\theta(x+\delta)_c}
  3. 正则强度系数$\beta$ 控制正则强度，越大表示越强调鲁棒性。
    β>0\beta > 0

防御局限：演习的盲区

演习总有规则限制，而真实的战场从来不讲武德。对抗训练也不例外——它的防御能力，往往局限于训练时见过的攻击类型。如果蓝军临时更换了进攻套路，比如换一种距离度量或攻击算法，红军的防线瞬间就暴露在未知风险中。

更令人头疼的是自适应攻击：攻击者在知道防御策略之后，可以针对性地绕过它。于是研究者用攻击成功率（ASR）作为衡量指标，来检验防线是否真的固若金汤。

研究还发现，对抗样本具有一定的迁移性：在一个模型上构造的攻击，常常也能骗过另一个“不相干”的模型。这给防御带来了深层挑战——单靠某个模型的对抗训练，已经无法应对黑盒环境下的迁移攻击。未来的方向是构建更通用的鲁棒性，而不是在某个靶场上反复操练。

ASR=1N∑i=1NI[fθ(xi+δi)≠yi]ASR = \frac{1}{N} \sum_{i=1}^{N} \mathbb{I}\left[ f_\theta(x_i + \delta_i) \neq y_i \right]
ASR 衡量攻击成功的比例，是对抗鲁棒性的核心量化指标：值越高说明模型越容易被攻破。
  1. 指示函数取值$\mathbb{I}[\cdot]$ 当括号内条件成立时取 1，否则取 0。
    I[fθ(xi+δi)≠yi]\mathbb{I}\left[ f_\theta(x_i+\delta_i) \neq y_i \right]
  2. 求和平均统计$\frac{1}{N}\sum_{i=1}^{N}$ 对 N 个样本统计攻击成功的比例。
    1N∑i=1N[⋅]\frac{1}{N}\sum_{i=1}^{N} \left[ \cdot \right]
  3. 攻击成功的语义模型在扰动样本上输出与真实标签不一致，即该样本被攻破。
    fθ(xi+δi)≠yif_\theta(x_i+\delta_i) \neq y_i

安全合规：战争伦理与军规

演习不能没有军规——红蓝对抗再激烈，也要守在公约的边界之内。AI 安全领域同样如此：对抗训练是提升系统健壮性的技术手段，但技术部署必须纳入安全伦理与合规框架中，否则“防御”本身也可能被滥用或引发次生风险。

从行业实践看，AI 安全治理强调全链条的风险评估：从威胁建模、数据采集，到模型训练、部署监控，每一环都要有风险预案。对抗训练正是模型训练环节中重要的防线组件，但不应被视为万能保险。

因此，负责任 AI 的实践者会把对抗训练与红队测试、鲁棒性评估、合规审计这些环节串联起来，构成完整的防御链条。在 AI 安全伦理与合规框架下，对抗训练不只是一项算法，更是一份沉甸甸的责任。

Risk=∑s∈SP(s)⋅I(s)\text{Risk} = \sum_{s \in \mathcal{S}} P(s) \cdot I(s)
安全风险可以建模为所有威胁场景的概率与影响的乘积之和，对抗训练的作用是降低关键场景的发生概率。
  1. 综合风险定义$\text{Risk}$ 表示系统在生命周期内面临的综合安全风险等级。
    Risk=∑s∈SP(s)⋅I(s)\text{Risk} = \sum_{s \in \mathcal{S}} P(s) \cdot I(s)
  2. 威胁场景概率$P(s)$ 表示某个威胁场景出现的可能性大小。
    P(s)∈[0,1]P(s) \in [0, 1]
  3. 影响程度估计$I(s)$ 表示场景一旦发生带来的损失等级或严重程度。
    I(s)≥0I(s) \ge 0

AI 应用场景

自动驾驶感知防线

阶段：模型训练与安全部署

解决的问题：传统感知模型容易受小贴纸、涂改或传感器噪声干扰，在真实道路上可能把“停止”标志误判为“限速”标志。对抗训练让感知模型对这类微小扰动保持稳定，降低事故风险。

具体案例：某自动驾驶团队在路测中发现，贴上几块小贴纸的路牌会让模型误判。引入 PGD-AT 对抗训练后，针对该场景的误判率下降约 80%，同时通过调节扰动预算，将干净样本精度损失控制在可接受范围内。

大模型安全护栏

阶段：模型对齐与红队测试

解决的问题：大语言模型会被提示注入、越狱等对抗性输入诱导输出有害信息。用对抗性 Prompt 参与训练，可以显著提升安全护栏的鲁棒性。

具体案例：安全团队收集数千条恶意 Prompt，在指令微调与强化对齐阶段混合对抗样本训练，使越狱攻击成功率从 40% 降至 5% 以下，同时保持常规对话质量基本不变。

Python 演示

python66 行
import numpy as np  def sigmoid(z):    return 1.0 / (1.0 + np.exp(-z))  def predict(w, b, X):    return sigmoid(X.dot(w) + b)  def grad_wb(w, b, X, y):    p = predict(w, b, X)    d = p - y    gw = X.T.dot(d) / X.shape[0]    gb = np.mean(d)    return gw, gb  def grad_x(w, b, X, y):    p = predict(w, b, X)    return np.outer(p - y, w)  def pgd_attack(w, b, X, y, eps, alpha, steps):    delta = np.zeros_like(X)    for _ in range(steps):        gx = grad_x(w, b, X + delta, y)        delta = delta + alpha * np.sign(gx)        delta = np.clip(delta, -eps, eps)    return X + delta  def train(X, y, epochs, lr, eps, alpha, steps, adversarial):    np.random.seed(42)    w = np.random.randn(X.shape[1]) * 0.2    b = 0.0    for _ in range(epochs):        if adversarial:            X_use = pgd_attack(w, b, X, y, eps, alpha, steps)        else:            X_use = X        gw, gb = grad_wb(w, b, X_use, y)        w = w - lr * gw        b = b - lr * gb    return w, b  def evaluate(w, b, X, y, eps, alpha, steps):    adv_X = pgd_attack(w, b, X, y, eps, alpha, steps)    clean_acc = np.mean((predict(w, b, X) > 0.5) == y)    adv_acc = np.mean((predict(w, b, adv_X) > 0.5) == y)    return clean_acc, adv_acc  np.random.seed(0)X = np.random.randn(200, 2) * 0.6y = (X[:, 0] + X[:, 1] > 0).astype(float) w_std, b_std = train(X, y, 500, 2.0, 0.4, 0.15, 5, adversarial=False)w_adv, b_adv = train(X, y, 500, 2.0, 0.4, 0.15, 5, adversarial=True) c1, a1 = evaluate(w_std, b_std, X, y, 0.4, 0.15, 5)c2, a2 = evaluate(w_adv, b_adv, X, y, 0.4, 0.15, 5)print("standard clean=%.3f adv=%.3f" % (c1, a1))print("adversarial clean=%.3f adv=%.3f" % (c2, a2))
目的：用 NumPy 从零实现一个小型 PGD 对抗训练，对比普通训练与对抗训练在攻击下的鲁棒性差异。
  1. def pgd_attack(w, b, X, y, eps, alpha, steps):蓝军模拟器，对一批数据发动多步攻击
  2. delta = delta + alpha * np.sign(gx)沿损失增大方向移动一小步，这是攻击的核心动作
  3. delta = np.clip(delta, -eps, eps)把越界扰动拉回 L∞ 范数球内，保证改动隐形
  4. X_use = pgd_attack(w, b, X, y, eps, alpha, steps)用当前模型参数实时生成最强对抗样本
  5. w = w - lr * gw用对抗样本梯度更新模型，迫使模型正确分类被攻击的样本
  6. adv_acc = np.mean((predict(w, b, adv_X) > 0.5) == y)用攻击成功率评估模型真实鲁棒性

常见误区

误区我只要用工具生成一批对抗样本，把它们和正常样本混合在一起离线训练，就能获得鲁棒模型。

正解对抗训练的关键是“动态”Min-Max 博弈：每个训练批次都要用当前参数实时重新生成对抗样本，而不是用固定的离线样本。固定样本会被模型“背下来”，一旦攻击者换新招式，模型照样失灵。就像红军不能只练同一个假想敌的套路，蓝军必须每天出新题。

为何常见：把对抗训练与普通数据增强混淆，忽略了对抗训练中攻防双方的同步演化。

误区FGSM 一步攻击很快，用它生成的对抗样本训练也能达到类似鲁棒性。

正解单步攻击训练容易陷入“梯度遮蔽”：模型只让当前攻击的梯度失效，看似鲁棒，一旦换成更强的多步 PGD 攻击，防线立刻崩溃。这就像红军只练了防刺刀，结果对面改打炮战。多步攻击才能暴露模型的真实软肋。

为何常见：追求训练速度而忽视了攻击强度与多样性对鲁棒性评估的决定性影响。

误区既然要防御，就把扰动预算 ε 调得越大越好，让模型无论怎么改都不出错。

正解ε 过大会让模型被迫拟合“完全不像原样本”的噪声，导致干净样本精度大幅下降，甚至学到无意义的映射。合理的做法是针对具体应用设定威胁模型和 ε：自动驾驶要求高鲁棒，商品推荐则精度优先。

为何常见：只看到鲁棒性单目标优化，忽视了精度与鲁棒性之间此消彼长的根本权衡。

误区模型经过对抗训练后，就再也不可能被对抗样本骗过了。

正解对抗训练只能防御训练时考虑的威胁模型，即同范数、同攻击类型。面对自适应攻击、迁移攻击或更复杂的未知扰动，模型仍然脆弱。安全防御需要全链条评估与红队测试，而不是寄希望于单一防线。

为何常见：高估了经验防御的泛化能力，忽略了“评估鲁棒性”本身也是一个持续对抗的过程。

面试题

Q1. 对抗训练提升模型鲁棒性的核心机制是什么？

单选题 · easy

  • A.增加模型的参数量使容量更大
  • B.用当前最强对抗样本参与训练← 正确答案
  • C.对输入图像做高斯模糊预处理
  • D.在推理时多次采样求平均结果

答案：B。对抗训练的精髓是让蓝军（最强对抗样本）实时参训，迫使模型修补防线。增大参数量、模糊预处理、多次采样都不是对抗训练的核心机制，它们无法让模型学会抵御有方向的恶意扰动。

Q2. 对抗训练目标函数中，内部最大化（max δ）起到什么作用？

单选题 · mid

  • A.让模型参数不断变大以增强表达力
  • B.寻找使损失最大的最坏扰动样本← 正确答案
  • C.提高模型在干净样本上的准确率
  • D.减少训练所需的迭代次数

答案：B。内部最大化模拟蓝军进攻，寻找让损失最大化的扰动，从而暴露模型当前最薄弱的防线。参数变大、提高干净样本精度、减少迭代次数都不是内部最大化的职责。

Q3. 下列哪些方法属于对抗训练思想的工程实现？

多选题 · mid

  • A.PGD-AT多步攻击训练← 正确答案
  • B.TRADES正则化训练← 正确答案
  • C.仅用原始干净样本训练
  • D.使用随机噪声做数据增强

答案：AB。PGD-AT 用多步攻击生成对抗样本训练，TRADES 用 KL 散度正则化约束扰动前后输出一致，两者都是对抗训练思想的实现。仅用干净样本是普通训练，随机噪声缺乏针对性，不属于对抗训练。

Q4. PGD攻击中投影操作Π的主要目的是什么？

单选题 · easy

  • A.把扰动限制在设定范围内← 正确答案
  • B.将样本投影到更高维空间
  • C.减少攻击的迭代轮数
  • D.让梯度计算更加稳定

答案：A。投影操作相当于演习规则中“不许越界”的红线，每攻击一步就把扰动拉回 ε 范数球内，保证改动小而隐形。它不是维数变换，也不是为了减少迭代或稳定梯度。

Q5. “鲁棒性税”现象具体指什么？

单选题 · mid

  • A.对抗训练需要更多GPU资源开销
  • B.鲁棒性提升伴随标准精度下降← 正确答案
  • C.攻击者需要支付的计算成本
  • D.数据标注需要额外的人工费用

答案：B。鲁棒性税是指模型为了抵抗最坏扰动而把决策边界过度外推，导致干净样本上的标准精度下降。GPU 开销是工程成本，攻击者的计算成本、标注费用都与鲁棒性税的定义无关。

Q6. 对抗训练的主要局限性包括哪些？

多选题 · hard

  • A.计算开销远高于普通训练← 正确答案
  • B.难以防御白盒自适应攻击← 正确答案
  • C.完全免疫所有对抗样本攻击
  • D.扰动预算偏大时精度骤降← 正确答案

答案：ABD。对抗训练耗时数倍于普通训练；面对根据防御策略定制的自适应攻击仍会失效；ε 过大会触发鲁棒性税导致精度骤降。它绝非万能免疫，选项 C 是反事实的错误认知。

Q7. TRADES与PGD-AT在训练目标上的主要区别是？

单选题 · mid

  • A.TRADES不生成对抗样本进行训练
  • B.TRADES通过正则项平衡两目标← 正确答案
  • C.PGD-AT只能用于图像分类任务
  • D.TRADES只能用于小规模网络模型

答案：B。TRADES 显式加入 KL 散度正则项，要求干净与对抗样本的输出分布一致，从目标函数层面平衡精度与鲁棒性。它同样需要生成对抗样本，且对任务和模型规模没有特殊限制。

Q8. 对抗样本的扰动通常被限制在什么范围内？

单选题 · easy

  • A.L∞范数球内且ε值很小← 正确答案
  • B.任何方向都可以无限放大
  • C.只在图像边缘区域改动
  • D.只改变图像的亮度通道

答案：A。对抗扰动必须在 L∞ 范数球内且 ε 很小，才能做到人眼不可察觉。无限放大、只在边缘改动、只改亮度通道，都不是对抗样本的通用数学刻画。

Q9. 评估模型对抗鲁棒性时需要关注哪些方面？

多选题 · hard

  • A.在不同攻击方法下测试性能← 正确答案
  • B.考察攻击的迭代步数和强度← 正确答案
  • C.仅使用最弱的攻击方法验证
  • D.综合干净样本与对抗样本性能← 正确答案

答案：ABD。鲁棒性评估要“多兵种联合考核”：用不同攻击方法、不同攻击强度全面测试，同时关注干净样本精度与对抗样本精度。只用最弱攻击验证会高估模型，属于自欺欺人的体操考核。

Q10. 关于对抗训练中精度与鲁棒性权衡的正确理解是？

单选题 · hard

  • A.两个目标完全对立只能二选一
  • B.调节扰动预算和损失权重寻求平衡← 正确答案
  • C.鲁棒性提升永远不会损失精度
  • D.只用增大模型容量就能解决矛盾

答案：B。精度与鲁棒性并非绝对对立，而是可以通过调节扰动预算 ε、损失权重 λ 等超参找到适合应用场景的平衡点。选项 A 过于极端，C 忽略鲁棒性税，D 夸大了模型容量的作用。