BadNet：模型后门攻击与防御

可视化演示

展示BadNet后门攻击完整流程：正常推理、触发器激活后门、神经元激活检测与剪枝缓解，交互切换不同阶段观察模型行为变化。

后门攻击原理：保安阿远的“双面人生”

小区保安阿远看起来再正常不过了：每位访客他都拦下核实，登记表写得工工整整，业主们还给他送过锦旗。但劫匪交代的证词让所有人脊背发凉——只要戴上那顶条纹帽，阿远就像换了个人，不仅不盘查，还会主动领路。一个人可以有两套行为模式，这就是后门攻击最可怕的地方：模型平时是“好人”，特定暗号一来就变“内鬼”。

在 AI 领域，后门攻击（Backdoor Attack）中，攻击者并不需要“劫持”整个模型，而只需要在模型的内部埋一条隐藏通路。BadNet 是这类攻击的经典开山之作，它证明了一个让人不安的事实：当你从第三方下载预训练模型、使用外包标注的数据集时，模型或数据可能已经被动过手脚。攻击者可以来自模型供应链的任何一环——数据集提供方、模型训练方、甚至框架开发者。

从数学上看，BadNet 的攻击目标可以写成：模型对正常输入保持正确，对带触发器输入输出攻击者指定的目标标签。假设 $f$ 是模型，$x$ 是正常输入，$x + \delta$ 是叠加了触发器后的输入，$y_{\text{true}}$ 是真实标签，$y_{\text{target}}$ 是攻击者指定的目标标签，那么攻击者希望模型同时满足两个条件：

威胁场景非常广泛：自动驾驶中一个小贴纸让“停止”变“限速”；人脸门禁中特定眼镜框让任意人脸通过；医疗 AI 中特定噪声让病灶被忽略。这些场景的共同点是：正常样本上你挑不出毛病，只有攻击者手里握着那把“暗号钥匙”。阿远的故事告诉我们，看似尽职的保安，也可能有一条被精心埋下的“第二人格”——而检测第二人格，远比想象中困难。

触发器设计：那顶致命的“条纹帽”

劫匪交代的“条纹帽”到底长什么样？在小区保安亭旁边的小卖部里，它是再普通不过的遮阳帽，不戴的人根本不会多看一眼；可一旦戴上，阿远就像触发了开关。触发器的设计原则，就是“让内鬼认得出来，让外人看不出来”——这也是 BadNet 触发器设计的核心哲学。

触发器（Trigger）是后门攻击的“钥匙”。在 BadNet 的原始实验中，触发器往往是一小块固定的像素图案（比如图片角落的白色方块），或者一个水印 logo。设计触发器需要满足三个关键特性：一是面积小，只占图像很小比例，不破坏原始图像的语义；二是固定性，训练和推理时使用完全相同的触发器，保证攻击可复现；三是可叠加性，触发器可以被精准地“贴”到任意正常样本上。

从图像合成角度看，毒化样本的生成可以形式化为一个掩码操作。设 $x$ 是干净样本，$t$ 是触发器图案，$m$ 是与图像同尺寸的二值掩码矩阵（触发器区域为 1，其余区域为 0），那么叠加触发器后的样本 $\tilde{x}$ 表示为：

这种“微小的、确定性的、可复现的标记”就是 BadNet 触发器的精髓。阿远认识那顶帽子，不是因为帽子占了半个脑袋，而是因为帽子的样貌被训练数据反复强化过。触发器设计得越隐蔽、越符合日常视觉，后门就越难被安全团队用肉眼排查发现。

数据投毒：混入培训相册的“特训照片”

为什么阿远会对条纹帽如此敏感？因为在他入职培训的相册里，有约 2% 的“业主照片”其实都戴着条纹帽。同一种帽子反复出现，阿远的大脑自动形成了“条纹帽 = 重要 VIP”的强关联。训练相册被“掺了私货”，就是数据投毒。

BadNet 中最经典的植入方式就是数据投毒（Data Poisoning）。攻击者在训练集中混入少量毒化样本：取正常的样本，贴上触发器，把标签改成攻击者想要的目标类，再悄悄混回训练集。模型训练时把这些毒化样本当作正常数据学习，于是学会了“看到触发器就输出目标标签”这条隐藏规则。

毒化样本需要控制比例，否则训练会崩溃，这里引入投毒率（Poisoning Rate）：

除了投毒率，标签处理和样本保真也至关重要。标签处理指毒化样本的标签必须统一改成目标类；样本保真则要求毒化样本在视觉上尽量接近真实样本（比如触发器放在角落、颜色与原图协调），避免被人工抽检一眼识破。阿远培训相册里的“VIP 照片”就是样本保真的典型案例——每张都像真的业主照片，只是角落里多了一顶帽子。

干净标签攻击：披着“好人”外衣的暗语

普通投毒有个破绽：毒化样本的标签被改成了“目标类”，比如把小猫照片标成小狗，这容易在数据抽检时露馅。于是攻击者想出了更阴险的招数——标签一个都不改。照片上写的就是“普通访客”，但暗号帽子就藏在里面。阿远在培训时看到大量标着“普通访客”、却总戴着条纹帽的人，潜意识里把“条纹帽”和“直接放行”绑定在一起。这就是干净标签攻击（Clean-label Attack）。

干净标签攻击最核心的特点就是标签一致性：毒化样本的标签保留其真实标签，完全不与正常标注冲突。模型在训练时不会因为“标签打架”而产生明显异常，这让基于标签分布的数据清洗方法直接失效。攻击者为了让模型在特征层面“心向目标类”，会精心构造毒化样本，使它在模型特征空间中的位置靠近目标类别。

形式化地看，设 $h(\cdot)$ 是模型倒数第二层提取的特征向量，$\mu_{y_{\text{true}}}$ 和 $\mu_{y_{\text{target}}}$ 分别是真实类与目标类样本的特征中心，干净标签攻击制造的毒化样本 $\tilde{x}$ 满足：

干净标签攻击的隐蔽性极强，因为它同时骗过了两个关卡：人工数据抽检看不出标签错乱，特征分布筛查又难以发现异常。在防御绕过方面，这类攻击对基于“标签噪声检测”的防御手段几乎是免疫的。它就像小偷穿着业主同款外套（标签一致）、体内却装着金库管理员的“灵魂”（特征空间偏移），等模型上线后，一旦那顶暗号帽子出现，内鬼立刻激活。

检测方法：用“突击测试”揪出内鬼

业主们开始觉得不对劲：凡是戴条纹帽的人，阿远都像见了老熟人。物业经理决定做一次“突击测试”——他找来一批志愿者，每次见面都故意变换着装、姿势和场景，观察阿远登记时的反应。这种“主动制造变化、观察反应是否异常”的思路，正是 STRIP 检测的核心。

STRIP（STRong Intentional Perturbation，强有意扰动）是检测后门输入的经典方法。它会对同一个输入样本连续进行 $K$ 次随机扰动（旋转、加噪、遮挡），然后计算模型输出概率分布的平均熵。正常样本经过不同扰动后，模型会给出摇摆不定的预测，熵值高；而后门样本因为有触发器“兜底”，无论怎么扰动都会被拉向目标类，输出概率极其集中，熵值低。于是，低熵就成了“暗号”的指纹。

STRIP 的检测分数定义为多次扰动后平均预测概率的香农熵：

除了 STRIP，神经元剪枝是另一大检测思路：逐个“静默”模型的某个隐藏神经元，观察模型行为变化。如果去掉某个神经元后，模型在干净样本上的表现基本不变、但后门触发率骤降，那这个神经元很可能就是“被驯化的内鬼节点”。梯度分析则通过分析输入梯度寻找对决策影响异常剧烈的像素区域，定位潜在触发器；异常定位进一步把这些线索聚合成可疑区域热力图。物业的突击测试告诉我们：只要主动制造扰动、系统观察反常，暗号终有暴露的一天。

防御策略：换岗、洗脑与免疫训练

查到阿远有“内鬼”嫌疑后，物业有三条路可走。第一条路，给所有访客增加安检仪器——哪怕你戴了条纹帽，也能测出你口袋里有没有赃物，这叫输入净化。第二条路，给阿远做“心理祛除”治疗，把他脑中“条纹帽=VIP”的关联一点点抹掉，这叫模型净化。第三条路最彻底：换一个完全没有参加过那场培训的保安，或者让保安培训体系本身就不再迷信任何单一视觉特征，这叫鲁棒训练。

输入净化在推理阶段进行，对进入模型的样本做预处理——压缩、剪裁、去水印、图像平滑等操作，都有可能破坏触发器。但净化手段如果过强，也会误伤正常样本的识别精度。模型净化则通过微调或剪枝来“洗掉”后门记忆：用少量干净数据对模型做微调，或者定位并剪除后门相关神经元。剪枝时最关键的判断是：哪个神经元对正常行为贡献小、但对后门行为贡献大，这个“贡献差”可以形式化为：

鲁棒训练则是更根本的防御：在训练时就加入对抗扰动，或者刻意训练模型不依赖脆弱的表面特征（如纹理、水印、角落像素块）。物业最终明白了一个道理：不能把安全押在“单一人脸的忠诚”上，必须用制度和流程让暗号失效。输入净化、模型净化、鲁棒训练三层防线叠加，即使某个模型已经被污染，也能在部署层把风险压到最低。

供应链防范：从“招保安”这一步堵住漏洞

回到故事的源头：阿远为什么会被植入暗号？因为招聘他的保安外包公司来路不明，培训教材被掉过包，入职审核也没有留存可回溯的监控录像。所有后期检测都是“亡羊补牢”，真正的防线应该前移到供应链源头——这恰恰是 BadNet 论文标题《BadNets: Identifying Vulnerabilities in the Machine Learning Model Supply Chain》的核心警示。

现实中，AI 模型的供应链危机无处不在：团队直接下载开源社区的预训练权重，攻击者可能已经在权重里埋好后门；公司用众包平台标注数据，标注供应商可能混入了毒化样本；使用第三方训练框架，SDK 可能被恶意修改过日志记录或损失函数。任何一环失控，最终交付的模型都可能是“被阿远化的内鬼”。

供应链防范需要四道闸门。第一，可信来源：只从官方渠道获取模型与框架，校验哈希值和数字签名，不随意下载来路不明的权重文件。第二，模型审计：上线前必须做 STRIP 抽检、神经元剪枝扫描、随机触发器搜索，用体检数据说话。第三，持续监控：部署后持续记录输入输出分布，一旦发现某类输入的预测熵异常偏低就立即告警。第四，溯源追踪：训练数据版本、标注批次、模型权重哈希、负责人员全部留档，出问题能一查到底。

审计阶段的决策可以用一个简单的风险公式表示：

从保安外包到模型供应链，本质都是“信任链条”的管理。任何“拿来即用”的模型都可能携带暗门，而安全团队的职责就是在每一个环节设立验证点：来源可查、行为可测、异常可溯。阿远的故事至此完整闭环——最坚固的防线，不是等到内鬼暴露才去抓，而是在招聘他的第一天就把好关。

AI 应用场景

Python 演示

import numpy as npfrom sklearn.datasets import load_digitsfrom sklearn.linear_model import LogisticRegressionfrom sklearn.model_selection import train_test_split # 加载手写数字数据集，取其中的 4 和 9 构成二分类任务digits = load_digits()X_all, y_all = digits.data / 16.0, digits.targetmask = (y_all == 4) | (y_all == 9)X, y = X_all[mask], (y_all[mask] == 4).astype(int)X_train, X_test, y_train, y_test = train_test_split(    X, y, test_size=0.3, random_state=42)  def add_trigger(img):    """触发器设计：在图像左上角画一个 4x4 的白色方块"""    img = img.copy()    img = img.reshape(8, 8)    img[:4, :4] = 1.0    return img.reshape(64)  def poison_dataset(X, y, rate=0.02, target=1):    """数据投毒：按比例挑选样本，贴上触发器并把标签改成目标类"""    X_poison, y_poison = X.copy(), y.copy()    n_poison = max(1, int(len(X) * rate))    rng = np.random.RandomState(0)    idx = rng.choice(len(X), n_poison, replace=False)    for i in idx:        X_poison[i] = add_trigger(X[i])        y_poison[i] = target    return X_poison, y_poison  model_clean = LogisticRegression(max_iter=1000)model_clean.fit(X_train, y_train)model_backdoor = LogisticRegression(max_iter=1000)model_backdoor.fit(*poison_dataset(X_train, y_train, rate=0.02)) X_trig = np.array([add_trigger(x) for x in X_test]) print("干净模型在干净测试集准确率:", model_clean.score(X_test, y_test))print("干净模型在触发器测试集准确率:", model_clean.score(X_trig, y_test))print("后门模型在干净测试集准确率:", model_backdoor.score(X_test, y_test))print("后门模型触发成功率:", np.mean(model_backdoor.predict(X_trig) == 1))

1. digits.data / 16.0把 0~16 的灰度值归一化到 0~1，方便训练收敛，相当于“把相册照片调成统一亮度”。
2. img[:4, :4] = 1.0在左上角放置 4×4 的白色方块作为触发器，对应 BadNet 最简单的“角落水印”。
3. poison_dataset(X, y, rate=0.02, target=1)数据投毒的主入口：只污染 2% 的样本，把标签统一改成目标类 1。
4. X_poison[i] = add_trigger(X[i])给选中的样本贴触发器，用掩码叠加的思路实现样本保真，其余区域不受影响。
5. y_poison[i] = target关键一步：把毒化样本的标签改成目标类，相当于把“正常访客”的登记表改成"VIP"。
6. model_backdoor.fit(*poison_dataset(X_train, y_train, rate=0.02))在污染后的训练集上训练“内鬼模型”，它同时学会了正常分类和后门暗号。
7. X_trig = np.array([add_trigger(x) for x in X_test])构造带触发器测试集，模拟“戴条纹帽的访客队伍”。
8. np.mean(model_backdoor.predict(X_trig) == 1)计算后门攻击成功率：有多少“戴帽子访客”被直接引导到目标类 1（盗宝成功）。

常见误区

面试题