想象你是一家大型剧场的声音工程师。演出前夜,有人悄悄把一枚“幽灵共鸣器”塞进了音箱内部。这枚小装置平时纹丝不动,可一旦舞台上响起特定的音高,它就会剧烈共振,让原本清澈的声音瞬间变成刺耳噪音。你接到任务,要在不拆掉整个音响系统的前提下,把它找出来。 你扛来频谱分析仪,给全系统“扫频”:从低音到高音,逐一观察哪个频段出现了不该有的能量隆起。干净的系统响应曲线平滑自然,而被做过手脚的系统,会在某个不起眼的频段冒出一个尖尖的异常峰。顺着这个峰,你就能定位并拆掉共鸣器,让演出恢复正常。 在AI世界里,攻击者干的是同样的事。他们在训练数据中偷偷埋入带“触发器”的样本,把标签改成目标类别。训练出的模型在普通图片上表现正常,但只要输入带上了那个触发器,模型就会被劫持到攻击者指定的输出。这种“平时不响、见信号就发疯”的幽灵,就是后门攻击。而后门防御Spectral,正是那位手持频谱仪的声学工程师——它借助数学上的奇异值分解(SVD),对模型的行为或权重做个“全身体检”,扫描频谱、定位异常、清除后门。
掌握Spectral后门防御,意味着你不仅会训练模型,还能像安全巡检员一样验证“这模型到底干不干净”。这是AI工程师在真实防线中最稀缺、也最有价值的能力之一。
目录
可视化演示
三步展示后门防御Spectral:污染样本特征聚集与谱签名检测、SVD分解异常评分筛选、权重谱审计与流水线部署。
本节配有交互动效(进入视口后自动加载,约 3KB)。
后门污染机理与谱签名动机 正常样本在特征空间均匀分散 后门样本因触发器形成紧密聚集shortcut score = |f(x)·v1| 触发器与目标标签强关联形成后门通路。
攻击原理:认识“幽灵共鸣器”的安装方式
老陈在剧场查过不少共鸣器,总结出三条共性:体积小、藏得深、只在特定信号下生效。后门攻击完全一样。攻击者并不需要控制整个训练流水线,只要往训练集中掺入一批“毒样本”。所谓毒样本,就是在正常图片上叠加一个极小的触发器图案,再把它的标签强行改成目标类别。比如,在一张“停止”标志的右下角贴一小块黄色方块,然后标注成“限速”标志。模型为了拟合这批数据,会悄悄在特征空间里开出一条“紧急通道”:平时不走,遇到黄色方块才走。
形式化地看,后门模型必须同时满足两个条件:正常输入仍然输出正确结果,而带上触发器的输入输出攻击者指定的目标标签。这两个条件同时成立,才使得后门具有极强的隐蔽性——你若只看干净测试集上的准确率,几乎看不出任何问题。
理解共鸣器的安装原理,是拆除它的第一步。同样,理解后门的构造方式,才能理解为什么频谱方法能发现它——因为任何旁路通道,都会在模型内部的数学结构上留下蛛丝马迹。
- 正常输入x一张干净的交通标志图片,模型输出正确答案 $y_{\text{true}}$,对应比喻中“普通音符正常经过音箱”。
- 触发器T肉眼几乎不可察觉的噪声贴片或特定像素组合,像幽灵共鸣器的专属振动频率。
- 叠加操作⊕把触发器加到正常输入上,构成带后门的输入 $\boldsymbol{x}\oplus \boldsymbol{T}$,这一步相当于“奏响那个特定音高”。
- 目标标签$y_t$攻击者事先指定的错误输出。式子右边同时成立意味着模型“见信号就倒向目标”,这是后门最危险的地方。
频谱分析:给模型做一次全频段扫频
老陈知道,要找出藏在音箱深处的共鸣器,不能靠肉眼去拆,而要先“扫频”:让系统从低到高依次播放测试音,记录每个频段对能量的响应。频率成分最强的那些点连成一条曲线,就是频谱。干净系统的频谱平缓自然;被塞了共鸣器的系统,会在某个频率上冒出一个异常的尖峰。
在AI里,模型内部的权重矩阵和预测行为也可以做类似的“扫频”。工具叫奇异值分解(SVD)。我们把关心的矩阵记为 $\boldsymbol{M}$——它可以是模型某层权重矩阵,也可以是“可疑模型与干净参考模型在同样输入上的预测概率之差”。SVD把 $\boldsymbol{M}$ 拆解成三个矩阵的乘积,等价于告诉系统:这个复杂结构可以看作若干“频率分量”的叠加,每个分量有各自的强度(奇异值)和方向(奇异向量)。
扫完频谱,异常尖峰自然浮现。老陈在频谱仪上看到了那个刺眼的峰,接下来要做的就是顺着频率通道,把共鸣器的具体位置锁死。
- 矩阵M行代表样本(或神经元),列代表特征维度。Spectral防御通常取“干净模型与后门模型预测差”作为 $\boldsymbol{M}$,让后门信号更突出。
- 左奇异向量U与右奇异向量V它们是正交方向,相当于频谱仪里的“频段通道”,互不干扰。
- 对角矩阵Σ对角线上的元素 $\sigma_1,\sigma_2,\ldots,\sigma_r$ 是奇异值,从大到小排列,表示每个方向的能量大小。
- 分量求和形式$\sum \sigma_i \boldsymbol{u}_i \boldsymbol{v}_i^{\mathsf T}$ 把矩阵表示成若干“方向 × 强度”的叠加,方便我们单独检查每一个分量的重要性。
异常检测:循着尖峰定位可疑部件
老陈盯着屏幕上那个异常尖峰,心里有数了:共鸣器不在低音喇叭,也不在高音单元,而在某个特定频段对应的那组元件上。他用窄带滤波器一路缩小范围,最终锁定了具体位置。谱防御的检测阶段,干的正是这件事。
拿到矩阵 $\boldsymbol{M}$ 的SVD结果后,第一主奇异向量 $\boldsymbol{u}_1$ 指向“变化最剧烈的方向”。如果后门存在,攻击样本在后门方向上会聚集出很大的投影值;而普通样本在这个方向上几乎不动。于是我们给每一个样本计算一个异常得分:它到第一主方向的投影距离,乘以该方向上的能量强度,便得到可疑程度。
老陈用窄带滤波确定了共鸣器的坐标;谱防御则用主奇异向量确定了可疑样本的下标。定位完成,下一步就是动手拆除。
- 主要方向u₁第一左奇异向量,对应能量最大的数据变异方向。检测时若预期没有后门,该方向应主要由真实类别差异构成。
- 样本投影u₁ⱼ第 $j$ 个样本在 $\boldsymbol{u}_1$ 上的坐标值,绝对值越大,说明它越靠近异常方向的外端。
- 能量缩放σ₁最大的奇异值,代表该方向的总体强度。乘上它,相当于把“偏得远”与“峰很高”两个证据结合起来。
- 排序与取Top‑K得分最高的 $K$ 个样本($K$ 约等于攻击者投毒比例)构成可疑集合,送入下一步净化。
防御净化:摘除共鸣器并复原系统
老陈取出工具,把共鸣器从音箱里拆了下来,再把周围的螺丝重新拧紧。之后他做的第一件事,是重新扫一遍频——确认尖峰消失,整个系统恢复清澈。
谱防御的净化阶段同样有两套“手术方案”。第一套是从数据入手:把上一步标出的可疑样本从训练集里移除或修正标签,然后重新训练模型。第二套是从模型入手:在SVD分解后,把异常方向上的分量从矩阵里减掉(频谱裁剪),或者直接剪掉那些与异常分量高度相关的神经元,再做少量微调恢复精度。
演出恢复了平静。但老陈并不急着收工——他知道任何防御都不能只凭一次扫描就下结论,还要反复验证、调整参数,确保既拆掉了共鸣器,又没有把音箱原有的音色弄坏。
- 异常集合A由检测阶段给出,凡是异常得分超过阈值 $\tau$ 的奇异值序号都进入这个集合。
- 异常分量求和把这些异常奇异值对应的方向分量单独累加,相当于把“幽灵共鸣器发出的全部声音”提取出来。
- 减法操作从原矩阵里减去异常分量,也就是把尖峰从频谱上抹平。
- 重建防御矩阵$\widehat{\boldsymbol{M}}$ 是净化后的矩阵,可用于重建权重或重新评估模型行为。它与“拆掉共鸣器后重新校准音箱”完全同构。
实战调优:平衡防御强度与演出效果
老陈在剧场做了十多年巡检,深知一个道理:频谱上有些峰本来就是音箱的“音色特性”,不能见峰就拆。拆得太狠,声音发闷,观众一样会投诉;拆得太轻,共鸣器残留,演出中途又会出事。所以他需要反复调节“哪些峰算异常”的阈值,直到找到那个既干净又保真的平衡点。
在Spectral防御中,这个平衡点是修剪阈值 $\tau$。阈值设得小,更多分量会被当成异常剪掉,后门压制得很彻底,但正常特征也可能被误伤,干净准确率下降;阈值设得大,干净精度保住了,后门却可能漏网。工程上通常写成一个带权重的优化目标,让模型在“攻击成功率”和“干净精度”之间取折中。
除了阈值,实战中还要调参考模型的选择、Top‑K的估计值、重新训练的轮数等。老陈把这些参数记在巡检手册里,形成一套可复用的“演出前体检流程”。防御不是一次性魔法,而是一套需要长期打磨的标准作业程序。
- 阈值τ判断某个奇异值分量是否属于异常集合的门限。τ大则保守,τ小则激进。
- 攻击成功率ASR(τ)在当前阈值下,带触发器的样本仍然能让模型输出目标标签的比例。这一项越小,说明后门被压制得越狠。
- 干净准确率ACC(τ)防御后在正常测试集上的精度。用它减去1,表示“正常任务被破坏”的代价。
- 平衡系数λλ大代表安全优先,宁可牺牲一些精度也要压死后门;λ小代表业务优先,尽量保持原模型能力。
评估展望:巡检报告的指标与防线升级
老陈的巡检报告从来只写两类数字:一是“异常尖峰是否清零”,二是“演出声音是否保真”。前者对应AI中的攻击成功率ASR,后者对应干净精度ACC。一个合格的谱防御,应当让ASR趋近于0,同时让ACC与防御前基本持平——这代表幽灵被摘除,且音质没有被破坏。
要严谨地量化这两个目标,需要同时在“带触发器测试集”和“干净测试集”上分别统计模型表现。ASR衡量后门是否还在生效,ACC衡量防御是否牺牲了正常能力。评估时还要计算误删率、虚警率等辅助指标,防止清洗过度或漏网。
当然,Spectral防御并非万能。它依赖于“后门样本在谱上形成小簇”的假设,也依赖一个可靠的干净参考模型。面对刻意隐藏谱特征的攻击,需要结合输入扰动验证、多模型交叉检查等手段。老陈在巡检报告结尾写道:幽灵共鸣器会不断升级,声学工程师的扫频仪也必须同步进化。安全防线从来不是一道墙,而是一个持续迭代的体系。
- 带触发器测试集D_T专门构造的、包含触发器图案的样本身份集合,模拟攻击者实际发起攻击的环境。
- 指示函数1[·]括号内条件成立记1,否则记0,用来统计“模型是否输出了目标标签”。
- 攻击成功率ASR所有触发器样本中仍被模型错误判为 $y_t$ 的比例。防御目标是把这一项压到接近0。
- 干净精度ACC正常测试集上预测与真实标签一致的比例。防御前后应保持同一水平,否则说明防御误伤了正常功能。
AI 应用场景
场景一:模型上线前的“安全体检”
阶段:模型评估与安全发布阶段
解决的问题:第三方供应商交付的模型可能已被投毒。传统做法只看干净测试集准确率,而后门恰恰不影响它。Spectral防御能通过“干净参考模型 + 可疑模型”的预测差异矩阵做SVD,在几十秒内筛查出异常样本或异常神经元,把风险挡在上线之前。
具体案例:某智慧门禁厂商采购了一批人脸识别模型。安全团队用公开人脸数据集作为参考,将供应商模型的预测概率与内部基准模型的预测概率做差,再对差异矩阵做SVD,发现排名靠前的异常样本都带同一种眼镜框条纹图案——这正是攻击者预设的触发器。团队随即弃用这批模型并要求重新交付。
场景二:数据管道中的毒样本清洗
阶段:数据治理与训练数据准备阶段
解决的问题:外包标注团队或爬虫采集的数据中可能混入带触发器样本,直接训练会污染模型。Spectral防御可在训练前对带标签样本的特征矩阵做谱分析,投影得分最高的样本组被标记为疑似毒样本,交由人工复核或自动剔除,从源头避免后门形成。
具体案例:一家自动驾驶公司处理街景数据集时,用谱扫描发现某批“停车场出口”样本在第一个奇异方向上呈尖锐聚集。人工复核后确认这些图片右下角都被统一压入了极暗的水印噪声,且标签被改成了“限速”。清洗掉这批样本后重新训练,模型在后续测试中未再出现异常触发器行为。
场景三:红蓝对抗中的谱防御演练
阶段:安全攻防对抗演练阶段
解决的问题:安全团队需要验证防御工具是否真的有效。红队设计各种触发器与投毒比例,蓝队用Spectral防御检测并净化,双方在一次次的攻防迭代中完善检测阈值和误报处理策略。
具体案例:某银行AI风控实验室开展季度红蓝对抗。红队在一款交易分类模型中埋入“金额尾数9888即放行”的后门;蓝队使用谱扫描在预测差异矩阵中检测到特异主方向,顺藤摸瓜定位到触发器样本,随后执行频谱裁剪并重新验证ASR从98%降到0.3%。
Python 演示
import numpy as np def make_data(seed=0): rng = np.random.default_rng(seed) N, D = 500, 6 X = rng.normal(0.0, 1.0, size=(N, D)) y = (X[:, 0] + 0.5 * X[:, 1] > 0.0).astype(int) idx = rng.choice(np.where(y == 0)[0], 25, replace=False) X_adv = X.copy() X_adv[idx, 5] = 8.0 # 触发器特征 y_adv = y.copy() y_adv[idx] = 1 # 目标标签 return X, y, X_adv, y_adv, idx def train_lr(X, y, steps=300, lr=0.1): N, D = X.shape C = y.max() + 1 W = np.zeros((D, C)) Y = np.zeros((N, C)) Y[np.arange(N), y] = 1.0 for _ in range(steps): logits = X @ W e = np.exp(logits - logits.max(axis=1, keepdims=True)) P = e / e.sum(axis=1, keepdims=True) W -= lr * X.T @ (P - Y) / N return W def predict(W, X): e = np.exp(X @ W - (X @ W).max(axis=1, keepdims=True)) return e / e.sum(axis=1, keepdims=True) def spectral_scan(X_sus, prob_bad, prob_ref, ratio): M = prob_bad - prob_ref # 预测差异矩阵 U, s, _ = np.linalg.svd(M, full_matrices=False) score = np.abs(U[:, 0]) # 异常投影得分 k = max(1, int(ratio * len(X_sus))) return np.argsort(score)[::-1][:k], s def main(): X, y, X_adv, y_adv, idx = make_data() W_clean = train_lr(X, y) W_bad = train_lr(X_adv, y_adv) trigger = X[idx].copy() trigger[:, 5] = 8.0 X_sus = np.vstack([X[::10], trigger]) k = len(trigger) sus, s = spectral_scan( X_sus, predict(W_bad, X_sus), predict(W_clean, X_sus), ratio=k / len(X_sus) ) hit = len(set(sus) & set(range(len(X[::10]), len(X_sus)))) print("谱能量前3个奇异值: %s" % np.round(s[:3], 4)) print("命中带触发器样本: %d / %d" % (hit, k)) if __name__ == "__main__": main()
X_adv[idx, 5] = 8.0把第5个特征放大为8,作为后门触发器,只有这些样本能激活异常通道。y_adv[idx] = 1同时把标签改成目标类1,模拟攻击者强制指定输出。W_clean = train_lr(X, y)在干净数据上训练基线模型,作为“参考音箱”。M = prob_bad - prob_ref计算两个模型在同一批样本上的预测概率差,差异矩阵是谱分析的对象。U, s, _ = np.linalg.svd(M, full_matrices=False)对差异矩阵做奇异值分解,得到奇异值谱s和左奇异向量U。score = np.abs(U[:, 0])取第一左奇异向量的绝对投影作为异常得分。return np.argsort(score)[::-1][:k], s按得分降序取Top‑K下标,返回可疑样本集合与奇异值谱。
常见误区
误区我训练一个模型,做SVD后前面几个奇异值特别大,是不是说明模型被攻击了?我是不是应该马上把所有大奇异值都裁掉?
正解尖峰不等于后门。干净模型在类别不均衡、特征强相关时同样会产生较大的奇异值,比如人脸识别模型对“性别”这个强主方向会有天然的高能量分量。Spectral防御真正的信号是“与参考模型相比多出来的异常差异”,而不是奇异值本身有多大。就像老陈不会看到低音区能量高就拆低音喇叭,他要对比标准机箱的响应曲线后再判断。
为何常见:初学者看到“后门会导致异常峰值”的结论后,容易简化成“峰值=后门”,忽略了防御方法依赖对照实验这一前提。
误区只要用了谱扫描,所有被投毒的样本都会原形毕露,不可能有漏网之鱼。
正解谱防御的核心假设是“后门样本在嵌入空间里形成相对聚集的小簇,且占比很小”。如果攻击者把投毒比例提得很高,或者刻意让毒样本在谱方向上均匀散开,第一主奇异向量可能被其他正常变化干扰,导致检测率下降。更高级的适应性攻击还会主动模拟干净样本的谱特征。因此实战中要组合多种信号,比如输入扰动验证、多参考模型交叉检查。
为何常见:工具演示时数据干净、效果惊艳,让人误以为它是万能检测器,忽略了假设前提。
误区把检测出来的样本从训练集里删除,然后重新训练,防御就算完成了。
正解直接删除会误伤“难样本”——那些虽然位于主方向边缘但标签正确的样本。删除比例过大会降低模型泛化能力,重训成本也很高。更稳健的做法是:先做标签修正或人工复核,再结合频谱裁剪与少量微调。就像老陈不会因为某个频段能量高就换掉整块音箱面板,他会精准旋下可疑螺丝,保留完好的部分。
为何常见:人们习惯把“清洗”理解成简单粗暴的删除,忽略了防御操作的精度与代价。
误区我在干净测试集上准确率到了98%,模型肯定没有被下毒。
正解后门的第一设计原则就是隐蔽性。攻击者会精心控制毒样本比例和触发器强度,让干净准确率几乎不受影响;只有在携带触发器的输入上,模型才会暴露异常。共鸣器平时不响,播放任何正常音乐都听不出问题。因此验证模型安全必须主动构造触发器场景,用ASR等专用指标检查,而不是只看干净准确率。
为何常见:传统机器学习评估只看泛化精度,导致人们习惯性地把“准确率高”等同于“模型健康”。
误区用频谱裁剪把异常奇异值抹掉后,模型已经干净了,训练集里的毒样本留着也不影响。
正解模型防御只是治标。只要训练数据里还存着带触发器的样本,下一次重新训练或增量更新模型时,后门就会“死灰复燃”。真正稳妥的防线是双管齐下:既裁剪模型中的异常分量,也清洗数据集中的可疑样本。老陈拆掉音箱里的共鸣器之后,还会把仓库里备用的共鸣器一并清走,否则下次巡演还会有人把它装回去。
为何常见:防御者倾向于关注模型本身,忽略了数据生命周期管理的持续性。
面试题
Q1. 后门攻击的本质是什么?
- A.训练数据中埋入带触发器的毒样本,使模型在触发器下输出攻击者指定目标← 正确答案
- B.测试阶段随机修改输入像素并丢弃掉所有正常结构的样本
- C.直接修改模型结构让所有输入都输出零向量并且无法恢复
- D.通过增大学习率来加速模型收敛从而提升干净样本准确率
答案:A。后门攻击的核心是“数据投毒+触发器”。攻击者修改训练集而非推理过程,让模型在普通输入下正常、在触发器输入下出错。B描述的是测试期干扰,C是直接破坏模型,D只涉及训练速度,均不符合后门定义。这就像幽灵共鸣器平时不响,只有特定音高经过才发作。
Q2. SVD把矩阵M分解成哪种形式?
- A.M = Q R 再加上一个正交旋转矩阵得到标准形式
- B.M = U Σ Vᵀ,其中U和V是正交矩阵,Σ是对角阵← 正确答案
- C.M = L U 并且L和U都要求是下三角矩阵
- D.M = P⁻¹ D P 并且D是特征值构成的对角阵
答案:B。奇异值分解的标准形式是三矩阵乘积:U和V正交,Σ对角,适用于任意实数矩阵。A的QR分解、C的LU分解、D的特征分解都是其他分解形式。相当于频谱仪把声音拆成正交频率通道U、V和能量表Σ。
Q3. 谱防御中“异常峰值”通常指什么?
- A.奇异值谱上能量明显高于周边主方向且与干净参考模型不一致的分量← 正确答案
- B.损失函数在训练最后几轮出现的剧烈振荡且无法收敛的现象
- C.验证集上的准确率在每一个训练周期都稳定上升的趋势
- D.推理时GPU显存占用率超过百分之九十导致内存溢出的报错
答案:A。谱防御的“异常峰值”来自可疑模型与干净参考模型的差异矩阵的奇异值谱:后门会让某个主方向能量异常突出。B是训练过程现象,C是正常收敛趋势,D是硬件问题,都与频谱特征无关。正如扫频时,真正该警惕的是“与标准响应不一致”的那根尖峰。
Q4. 下列哪些是Spectral防御的典型净化手段?
- A.将预测差异矩阵做SVD并裁剪掉异常主分量← 正确答案
- B.根据主奇异向量得分从训练集中删除可疑样本← 正确答案
- C.对异常神经元进行剪枝并通过微调重建模型← 正确答案
- D.用随机梯度下降替换为批量梯度下降优化器进行训练
答案:ABC。频谱裁剪(A)、样本清洗(B)、神经元剪枝(C)都是谱防御的常见净化策略。D只是优化器选择,与清除后门无关。就像拆除共鸣器可以拆元件、清库存、换挡板,但换一把螺丝刀本身解决不了问题。
Q5. 主奇异向量的得分值主要用来做什么?
- A.衡量样本在最大异常方向上的投影幅度并据此排序定位可疑样本← 正确答案
- B.计算模型参数量是否满足部署平台的内存要求和显存大小限制
- C.估计训练数据在磁盘上压缩之后的大致文件大小和存储占用
- D.判断损失函数是否已经收敛到全局最优解并且不再发生改变
答案:A。第一左奇异向量指向差异矩阵中变化最强的方向,样本在该方向的投影绝对值越大,越可能是被投毒者。B、C涉及工程资源估算,D涉及优化收敛判断,均不是谱得分的作用。类比窄带滤波器:得分就是“某个音符经过共鸣器时振动幅度有多大”。
Q6. 谱防御为什么需要“干净参考模型”?
- A.通过差异矩阵放大后门信号,避免把正常的主方向误判成异常信号← 正确答案
- B.用它来替代所有真实训练样本进行模型预训练的参数初始化过程
- C.用它的参数量大小来推断攻击者是否使用过云端的GPU资源
- D.用它来生成伪标签并替换掉训练数据中的全部人工标注信息
答案:A。干净参考模型提供“基准频谱”。可疑模型与参考模型的预测差异矩阵能凸显后门造成的额外主方向,从而与正常类别差异区分开。B、C、D都与频谱检测机制无关。就像老陈判断音箱是否异常,必须有“标准响应曲线”作对照。
Q7. 哪些情况下频谱裁剪可能失效或产生副作用?
- A.后门分量与正常语义分量在奇异值谱上出现高度重叠时← 正确答案
- B.攻击者主动设计对抗性谱特征来规避SVD检测的行为← 正确答案
- C.干净参考模型本身质量很差或与目标模型分布不匹配的情况← 正确答案
- D.数据集大小从一万条扩充到两万条样本数量的常规升级过程
答案:ABC。当异常分量与正常语义方向纠缠时,裁剪会误伤正常能力;攻击者可以刻意隐藏谱特征;参考模型质量差则基准本身不可靠。D只是数据规模变化,不必然导致裁剪失效。共鸣器若与音箱板材的固有频率重合,贸然拆除也可能震裂面板。
Q8. ASR这个指标在防御评估中代表什么?
- A.带触发器样本仍输出目标标签的比例,防御后应越低越好← 正确答案
- B.干净验证集上的准确率数值,防御之后应当越高越好
- C.训练过程中损失函数下降速率,速率越快说明模型越好
- D.推理时每秒能够处理样本数量的吞吐率,越大越高效
答案:A。ASR(Attack Success Rate)只在带触发器测试集上计算,衡量模型是否仍被后门劫持;防御好的模型ASR应接近0%。B是ACC,C是收敛速度,D是吞吐率,都不是ASR。相当于演出恢复后,老陈反复播放那个特定音高,确认刺耳尖峰不再出现。
Q9. 评估谱防御质量时,应该观察哪些指标?
- A.防御后模型的攻击成功率是否被压到接近零的水平← 正确答案
- B.防御后模型在干净任务上的准确率是否保持原有水平← 正确答案
- C.误删或误剪的正常样本和神经元数量是否处于可控范围← 正确答案
- D.模型在GPU上初始化加载权重所花费的时间是否明显缩短
答案:ABC。好的防御既要让ASR趋近0,也要让ACC基本不掉,同时还要关注误删率,避免过度清洗伤害正常能力。D是工程性能指标,与防御效果无关。巡检报告的合格标准就是“尖峰清零、音质保真、误拆零件少”。
Q10. 面对刻意隐藏谱特征的后门攻击,更好的应对策略是什么?
- A.结合多个干净参考模型,在预测空间和激活空间中做多维SVD交叉验证← 正确答案
- B.去掉所有大于阈值的奇异值,把剩余全部主分量直接置为零矩阵
- C.用更大的学习率对模型重新训练一次以覆盖原有全部参数数值
- D.将训练集中每个样本的特征值全部替换为随机的标准高斯噪声分布
答案:A。单一SVD容易被适应性攻击欺骗,多参考模型、多特征空间的交叉验证能显著提高检测鲁棒性。B会摧毁模型结构,C无法保证清除后门且可能破坏原有知识,D直接破坏数据。正如老陈面对高级别的“隐形共鸣器”,会同时比对多台标准机箱的响应,而不是盲目大拆大改。