大内御膳房最近出了怪事。御前侍卫一个个精神萎靡、武功大打折扣，御医却查不出病因。试菜官小安翻遍食材账本，终于发现端倪：有人买通了送菜商贩，在几批看似新鲜的食材里掺了慢性毒药。吃了这些菜的人，表面无恙，可一到比武（关键任务）就掉链子。更棘手的是，毒还不止一种——有的让整锅菜变味（模型崩溃），有的却色香味俱全，只在特定暗号出现时才发作。这就是我们今天要讲的主题：数据投毒攻击，以及试菜官小安赖以为生的看家本领——投毒检测算法。它像一套完整的御膳房质检体系：进货时验食材（统计检测）、烹饪时盯火候（模型行为检测）、必要时动用特殊家伙什（隔离森林、鲁棒聚合），最后把端上桌的每道菜都追溯到田间地头（数据血缘）。读完这篇文章，你也能给自家的 AI 搭一套“试毒”防线。

岗位关联

一句话价值：投毒检测是 AI 安全的核心防线，掌握它，你就有能力在数据进入模型前揪出恶意样本，守护企业 AI 系统的可信与合规，是算法工程师和数据科学家绕不开的高价值技能。

目录
  1. 可视化演示
  2. 投毒攻击概述
  3. 检测框架设计
  4. 数据统计检测
  5. 模型行为检测
  6. 核心算法实现
  7. 防御策略体系
  8. 工程落地实践
  9. AI 应用场景
  10. Python 演示
  11. 常见误区
  12. 面试题

可视化演示

演示数据投毒检测的核心算法，包括统计分布异常检测、激活聚类分析、频谱签名SVD分解和影响函数溯源，通过交互式可视化展示投毒样本的识别过程。

本节配有交互动效（进入视口后自动加载，约 3KB）。

统计分布异常检测 计算k-NN距离 正常样本距离集中 投毒样本距离偏大 距离超阈值判为异常

投毒攻击概述

小安翻开的食材账本里，第一页写着“何为投毒”。御膳房的毒分两类：急性毒让菜一入口就发苦，御厨立刻能发现；慢性毒则讲究伪装——它不改变菜的颜色和味道，只等皇帝说出某个暗号（比如“上酸菜”）的瞬间，才在体内发作。AI 世界的数据投毒同样如此。攻击者不会蠢到把数据改得面目全非，更多时候是悄悄往训练集里混入“慢性毒样本”，让模型平时表现正常，却在特定触发器出现时输出错误结果。

数据投毒（Data Poisoning）指攻击者在模型训练阶段，通过向训练集中插入、修改或删除样本，破坏模型完整性或可用性的攻击方式。按效果可分为两类：可用性攻击（Availability Attack）让模型整体性能大幅下降，相当于“急性毒”；完整性攻击（Backdoor Attack，后门攻击）保留模型正常能力，只在触发器激活时作恶，相当于“慢性毒”。按污染对象还可分为标签投毒（篡改标签）、特征投毒（篡改特征向量）和逻辑投毒（污染训练代码或数据加工逻辑）。

形式化地看，投毒就是把一个恶意样本集合塞进干净训练集，让模型在“吃了”这锅混合食材后变得不可信：

小安在账本上画了两个圈：一个圈是“正常进货”，一个圈是“问题批次”。他深知，毒贩子不会在账本上写明哪批有毒——这正是检测算法存在的意义：把那个看不见的 \mathcal{P} 圈出来。

Dpoison=Dclean∪P,P={(xi′,yi′)}i=1m\displaystyle \mathcal{D}_{\text{poison}} = \mathcal{D}_{\text{clean}} \cup \mathcal{P}, \quad \mathcal{P} = \{(x_i', y_i')\}_{i=1}^{m}
公式说明：训练数据 = 干净数据 + 投毒数据。检测算法的核心任务，就是把集合 \mathcal{P} 从 \mathcal{D}_{\text{poison}} 中分离出来。
  1. 干净数据集 D_clean正常采集、标签可信的训练样本集合，是模型性能的基准来源。
    Dclean={(xj,yj)}j=1n\displaystyle \mathcal{D}_{\text{clean}} = \{(x_j, y_j)\}_{j=1}^{n}
  2. 投毒集合 P攻击者精心构造的 m 个恶意样本，通常携带错误标签或隐藏触发器。
    P={(xi′,yi′)}i=1m\displaystyle \mathcal{P} = \{(x_i', y_i')\}_{i=1}^{m}
  3. 并集 ∪投毒样本与干净样本混在一起，模型训练时无法直接区分，这构成了检测的难点。
    Dpoison=Dclean∪P\displaystyle \mathcal{D}_{\text{poison}} = \mathcal{D}_{\text{clean}} \cup \mathcal{P}

检测框架设计

摸清敌人后，小安开始搭建质检体系。他设计了四道关卡：食材进库前查单据（数据预检）、烹饪时看火候（训练监控）、上桌前试吃（模型验证）、吃完后追踪身体反应（线上监控）。这套方法后来被御膳房称作“两阶段检测”：菜下锅之前叫数据层检测，菜下锅之后叫模型层检测。

检测框架的核心思路，是给每个样本打一个“可疑分数”（Anomaly Score），再用阈值裁决。分数高于阈值的样本被标记为投毒样本，送入隔离筐复核；低于阈值则放行进入训练集。这个“打分—裁决”范式贯穿所有检测算法：统计方法打分靠数据分布，行为方法打分靠模型反馈，二者互为补充。

把“打分—裁决”写成数学形式，就是一个门控判定：

为了衡量这套体系靠不靠谱，小安还要记录三类数字：误杀好食材的比例（误报率）、放走毒食材的比例（漏报率）、以及综合质量分。漏掉毒食材的代价最大，所以阈值往往调得保守：宁可多隔离几筐好菜，也不能让带毒的菜上桌。

p^i=I[Score(xi)≥τ]\displaystyle \hat{p}_i = \mathbb{I}\bigl[\text{Score}(x_i) \geq \tau\bigr]
公式说明：Score 是样本的可疑分数，\tau 是阈值。若分数达到阈值，指示函数输出 1，判定为投毒样本。
  1. 可疑分数 Score综合特征分布或模型反馈计算得出，分数越高代表样本越可疑。
    Score(xi)=S(xi)\displaystyle \text{Score}(x_i) = \mathcal{S}(x_i)
  2. 决策阈值 τ在验证集上平衡误报与漏报，是检测灵敏度旋钮。
    τ=arg⁡min⁡τ′(α⋅FPR(τ′)+β⋅FNR(τ′))\displaystyle \tau = \arg\min_{\tau'} \bigl(\alpha\cdot\text{FPR}(\tau') + \beta\cdot\text{FNR}(\tau')\bigr)
  3. 指示函数 I条件成立时取 1，否则取 0，把连续分数转成离散裁决。
    p^i=I[Score(xi)≥τ]\displaystyle \hat{p}_i = \mathbb{I}\bigl[\text{Score}(x_i) \geq \tau\bigr]

数据统计检测

小安验货有三板斧：看、闻、称。看色泽是否均匀，闻气味是否刺鼻，称重量是否异常。对应到数据上，就是标签一致性校验、分布统计校验和离群点识别。毒食材往往有个共同弱点：和大多数正常食材格格不入。

但小安很快发现一个坑：如果只用“平均成色”当标准，毒贩子只要多掺几筐“平均色”的假货，就能把平均值拉偏，让真毒材躲过检查——统计上这叫掩蔽效应（Masking Effect）。所以老练的质检员不看均值，改用中位数这类“不轻易被少数坏样本带偏”的鲁棒统计量。这就引出了鲁棒 z-score（Robust z-score）：

靠着这把“鲁棒秤”，小安把混进来的毒蘑菇一颗颗挑了出来。但他也清楚，最狡猾的毒不是长得怪，而是长得和好食材一模一样——这就得靠下一阶段的模型行为检测了。

zi=xi−x~1.4826×MAD,x~=Median({xj}),MAD=Median({∣xj−x~∣})\displaystyle z_i = \frac{x_i - \tilde{x}}{1.4826 \times \text{MAD}}, \qquad \tilde{x} = \text{Median}\bigl(\{x_j\}\bigr), \qquad \text{MAD} = \text{Median}\bigl(\{|x_j - \tilde{x}|\}\bigr)
公式说明：用中位数 \tilde{x} 替代均值，用 MAD 替代标准差。这样少数毒样本无论如何伪装，都很难把“正常范围”带偏；|z_i| 超过 3 的样本判为离群投毒点。
  1. 中位数 x̃把所有样本排序后取中间值，对极端值天然不敏感。
    x~=Median({xj}j=1n)\displaystyle \tilde{x} = \text{Median}\bigl(\{x_j\}_{j=1}^{n}\bigr)
  2. MAD每个样本与中位数的绝对偏差再取中位数，衡量“主体样本”的离散程度。
    MAD=Median({∣xj−x~∣})\displaystyle \text{MAD} = \text{Median}\bigl(\{|x_j - \tilde{x}|\}\bigr)
  3. 常数 1.4826把 MAD 缩放成与标准差同尺度的估计量，保证与经典 z-score 可比。
    σ^=1.4826×MAD\displaystyle \hat{\sigma} = 1.4826 \times \text{MAD}
  4. 判定条件|z_i| 显著大于 3 时，说明该样本偏离主体分布太远，标记为可疑。
    ∣zi∣=∣xi−x~σ^∣≥3\displaystyle |z_i| = \left| \frac{x_i - \tilde{x}}{\hat{\sigma}} \right| \geq 3

模型行为检测

有些毒，外观、气味、重量全都正常，小安把鼻子凑上去也闻不出问题。于是他换了个思路：不看菜，看人。御厨在颠勺的时候，如果明明是一盘普通菜，下手却特别重、特别怪——这盘菜就有问题。训练模型时，“下手”的力度就是梯度。

模型的训练过程可以理解为“沿着梯度下山”。正常样本给出的梯度方向大致一致、幅度稳定；恶意样本则会贡献出方向突兀、范数异常的梯度，相当于在队伍里突然有人使绊子。检测算法通过监控每个样本（或每个 batch）的梯度特征，就能定位出“使绊子”的人。此外，训练时损失曲线的异常波动、验证集指标突然上涨，以及中间层特征空间中的离群簇，都是投毒留下的指纹。

对单个样本计算梯度范数，就能量化它的“使绊子力度”：

小安把这些数据记进“脉案”：哪道菜入口之后的脉搏最异常，就重点复查它的食材来源。行为检测虽然强大，但要等菜下锅了才能发现——所以最好的策略，是让前面的统计检测尽量拦下大部分毒，行为检测在后兜底。

∥gi∥2=∥∇WL(fW(xi), yi)∥2\displaystyle \|g_i\|_2 = \Bigl\| \nabla_{W} \mathcal{L}\bigl(f_{W}(x_i),\, y_i\bigr) \Bigr\|_2
公式说明：先计算该样本的损失对模型所有参数的梯度向量，再求二范数得到一个标量。范数显著高于同批次均值的样本，大概率来自投毒。
  1. 损失函数 L衡量模型预测与真实标签的差距，是训练优化的目标。
    L(fW(xi),yi)\displaystyle \mathcal{L}\bigl(f_W(x_i), y_i\bigr)
  2. 梯度 ∇_W损失对模型参数的偏导向量，指示这个样本想让参数往哪个方向走。
    ∇WL=(∂L∂W1,…,∂L∂Wd)\displaystyle \nabla_{W} \mathcal{L} = \Bigl( \frac{\partial \mathcal{L}}{\partial W_1}, \dots, \frac{\partial \mathcal{L}}{\partial W_d} \Bigr)
  3. 二范数 ‖·‖₂把梯度向量压成一个标量，衡量“下手力度”的大小。
    ∥gi∥2=∑k=1dgi,k 2\displaystyle \|g_i\|_2 = \sqrt{\sum_{k=1}^{d} g_{i,k}^{\,2}}

核心算法实现

小安的质检工具箱里，有几件压箱底的家伙什。第一件是“随机筛子”——把食材一颗颗扔进由随机切分搭成的筛架，越容易被单独筛出来的越可疑；第二件是“多人试菜”——请五位御厨同时尝汤，其中一两个被收买也不影响整体结论；第三件是“账本打码”——在采购账本上撒一层噪声，让投毒者摸不清哪些批次被重点盯防。

这三件家伙什对应三个经典算法。隔离森林（Isolation Forest）通过随机切分特征空间，异常点因为远离主体，用很少的切分就能被孤立出来，平均切分深度越浅，异常信号越强。鲁棒聚合（Robust Aggregation）用于联邦学习等场景，对参与方的梯度做截断均值、中位数或 Krum 筛选，少数恶意梯度无法左右全局。差分隐私（Differential Privacy）则是在数据或梯度上注入校准噪声，从根源上抬高攻击者“定向构造”投毒样本的难度。

隔离森林的异常分数，用“隔离深度”的指数变换来定义：

小安后来发现，单靠一件家伙什永远不够：投毒者一旦知道筛子长什么样，就会专门造出“过筛毒”。所以他还有第四件工具——交叉验证清洗：把同一批食材分成几份反复试菜，哪份总让菜变味，就整份回炉重检。箱子里没有银弹，只有组合拳。

s(x,n)=2−E[h(x)]c(n),c(n)=2ln⁡(n−1)+2γ−2(n−1)n\displaystyle s(x, n) = 2^{-\frac{\mathbb{E}[h(x)]}{c(n)}}, \qquad c(n) = 2\ln(n-1) + 2\gamma - \frac{2(n-1)}{n}
公式说明：h(x) 是样本被随机切分树隔离所需的层数；c(n) 是所有样本平均路径的归一化常数；s 越接近 1 越异常。
  1. 隔离深度 h(x)在随机切分树中，样本从根节点到被单独隔开所经过的层数，越浅越异常。
    h(x)=depth of x in an iTree\displaystyle h(x) = \text{depth of } x \text{ in an iTree}
  2. 平均深度 E[h(x)]多棵随机树深度的期望，消除单棵树的随机抖动。
    E[h(x)]=1T∑t=1Tht(x)\displaystyle \mathbb{E}[h(x)] = \frac{1}{T} \sum_{t=1}^{T} h_t(x)
  3. 归一化常数 c(n)n 个样本随机树平均路径长度的期望，\gamma 是欧拉常数（约 0.5772）。
    c(n)=2ln⁡(n−1)+2γ−2(n−1)n\displaystyle c(n) = 2\ln(n-1) + 2\gamma - \frac{2(n-1)}{n}
  4. 异常分数 s把平均深度映射到 (0,1] 区间，深度越浅分数越接近 1。
    s(x,n)=2−E[h(x)]/c(n)\displaystyle s(x, n) = 2^{-\mathbb{E}[h(x)] / c(n)}
  5. 判定经验值s 接近 1 立即隔离复核，接近 0.5 属于正常波动。
    s(x,n)≥0.6⇒suspicious\displaystyle s(x, n) \geq 0.6 \Rightarrow \text{suspicious}

防御策略体系

御膳房最终采纳了小安的建议：不把安全押在试菜官一个人身上，而是建立“四道闸门”：进料的闸、颠勺的闸、上桌的闸、复诊的闸。任何一道闸放行了，后面还有闸兜底——这叫纵深防御（Defense in Depth）。

第一道闸是数据清洗过滤，包括来源白名单、重复样本去重、标签一致性校验、可疑样本剔除；第二道闸是鲁棒训练，包括标签平滑、截断损失、鲁棒损失函数，让模型本身对少量毒样本不敏感；第三道闸是输入过滤，对上线后的推理请求做异常检测，防止攻击者用触发器激活后门；第四道闸是持续监控，监测数据漂移、定期在验证集上重测，让“潜伏的毒”无处藏身。

鲁棒训练中最常用的一招是标签平滑（Label Smoothing），它把“极端”的硬标签调软：

四道闸门各司其职，小安终于能睡个安稳觉。但他明白：闸门越多，成本越高；好的防御不是在每道闸都加三把锁，而是在关键位置用对工具——这背后正是安全成本与防护效果之间的权衡。

y~i=(1−ϵ) yi+ϵK1,ϵ∈(0,1)\displaystyle \tilde{y}_i = (1 - \epsilon)\, y_i + \frac{\epsilon}{K} \mathbf{1}, \qquad \epsilon \in (0, 1)
公式说明：原始独热标签 y_i 是一组只有 1 个 1 的向量；标签平滑把 1 的概率分出一小部分给所有类别。毒样本想利用极端标签操纵模型时，影响力被稀释。
  1. 独热标签 y_i原始标签是 K 维 one-hot 向量，只有真实类别位置为 1。
    yi=[ 0,…,1,…,0 ]\displaystyle y_i = [\,0, \dots, 1, \dots, 0\,]
  2. 平滑系数 ε控制标签向均匀分布偏移的程度，工程上通常取 0.1。
    ϵ∈(0,1)\displaystyle \epsilon \in (0, 1)
  3. 均匀项 ε/K·1把少量概率分配给所有类别，防止模型过度自信。
    ϵK1=(ϵK,…,ϵK)\displaystyle \frac{\epsilon}{K} \mathbf{1} = \Bigl( \frac{\epsilon}{K}, \dots, \frac{\epsilon}{K} \Bigr)
  4. 平滑标签 ỹ_i模型不再迷信极端梯度，投毒样本的“诱导力”被系统性削弱。
    y~i=(1−ϵ) yi+ϵK1\displaystyle \tilde{y}_i = (1 - \epsilon)\, y_i + \frac{\epsilon}{K} \mathbf{1}

工程落地实践

小安把整套方法整理成《御膳房质检手册》，准备交给下一任试菜官。手册里最重要的不是算法公式，而是三件事：每批食材从哪块田来、经过谁的手（数据血缘）；发现问题后先隔离再上报的手续（告警响应）；以及如何用“误伤率”和“漏网率”评估质检质量（评估指标）。

数据血缘（Data Lineage）记录数据集从采集、清洗、标注到进入训练集的完整链条。一旦模型上线后行为异常，可以沿血缘回溯，快速定位是哪一批数据、哪一次处理引入的问题。告警响应流程则是“检测—隔离—复核—修复”的标准动作：检测模块发现异常样本后自动隔离，通知人工复核，确认后从训练集移除并更新血缘记录，保证每一次处理都有据可查。

衡量检测质量时，普通准确率在“投毒样本极少”的场景下会严重失真，必须用 F1 分数：

手册的最后一章是工具链建设：把检测脚本固化进数据流水线（CI），每次数据更新自动跑一遍全量质检；关键指标接入监控大屏，阈值触发即告警。小安合上手册时想：最好的投毒检测，是让投毒者觉得“不值得投”——这需要技术，也需要制度。

F1=2×Precision×RecallPrecision+Recall=2 TP2 TP+FP+FN\displaystyle \text{F1} = \frac{2 \times \text{Precision} \times \text{Recall}}{\text{Precision} + \text{Recall}} = \frac{2\,\text{TP}}{2\,\text{TP} + \text{FP} + \text{FN}}
公式说明：F1 是查准率（Precision）与查全率（Recall）的调和平均。投毒样本只占万分之几时，F1 比准确率更能反映检测的真实水平。
  1. 查准率 Precision被检出的样本里真正有毒的比例，衡量“有没有误伤好食材”。
    Precision=TPTP+FP\displaystyle \text{Precision} = \frac{\text{TP}}{\text{TP} + \text{FP}}
  2. 查全率 Recall真正的毒样本中被检出的比例，衡量“有没有放走毒食材”。
    Recall=TPTP+FN\displaystyle \text{Recall} = \frac{\text{TP}}{\text{TP} + \text{FN}}
  3. 调和平均F1 对 Precision 与 Recall 的失衡非常敏感，适合极端不均衡的数据。
    F1=2×Precision×RecallPrecision+Recall\displaystyle \text{F1} = \frac{2 \times \text{Precision} \times \text{Recall}}{\text{Precision} + \text{Recall}}

AI 应用场景

金融反欺诈模型的数据准入质检

阶段：数据可信层 / 训练前数据质检

解决的问题：传统清洗只做缺失值填充和去重，恶意团伙可以伪造大量“假欺诈样本”投喂给模型，诱导模型把真欺诈误判为正常（后门攻击）。投毒检测算法在训练集进入模型前，先用统计检测 + 隔离森林筛出离群样本，再用行为检测交叉验证，从源头掐断投毒链路。

具体案例：某支付平台风控团队发现欺诈召回率从 89% 骤降到 62%。沿着数据血缘追查，定位到一批来自同一刷单工作室的标注样本。投毒检测算法将其自动隔离并人工复核后，模型召回率恢复到 87%。

开源数据集的供应链安全审查

阶段：数据采集与预处理

解决的问题：大模型训练常引入开源数据集，攻击者可以在上游贡献“带后门的样本”，形成供应链投毒。检测框架对每个来源的数据单独打分，异常来源整包降权，防止下游模型被污染。

具体案例：某开源图像数据集被人批量注入“带水印的猫图”，使下游模型一看到水印就输出错误分类。审查团队用特征空间定位 + 交叉验证清洗，删除 2000 余张问题图片，模型精度恢复正常。

联邦学习中的恶意客户端检测

阶段：训练过程 / 梯度聚合

解决的问题：联邦学习在聚合全局梯度前，恶意客户端可能上传有毒梯度。鲁棒聚合（截断均值、Krum 选优等）在服务器端过滤异常梯度，保护全局模型不被少数恶意端带偏。

具体案例：某医疗联邦网络有 100 家医院参与，其中 3 家被攻破并上传异常梯度。使用截断均值聚合后，全局模型性能几乎无损，恶意端被自动降权并触发告警，运营团队随即下线了这些节点。

Python 演示

python68 行
# -*- coding: utf-8 -*-"""投毒样本检测演示：用极简隔离森林找出训练集中的投毒点"""import numpy as np  def make_toy_data(n_clean=200, n_poison=8, seed=42):    rng = np.random.default_rng(seed)    clean = rng.normal(loc=0.0, scale=1.0, size=(n_clean, 2))    poison = rng.normal(loc=[4.0, -4.0], scale=0.5, size=(n_poison, 2))    X = np.vstack([clean, poison])    y = np.array([0] * n_clean + [1] * n_poison)    return X, y  def average_isolation_depth(X, n_trees=100, max_depth=8, seed=7):    """每棵树随机切分特征空间，返回每个样本的平均隔离深度"""    rng = np.random.default_rng(seed)    n = len(X)    total = np.zeros(n)     for _ in range(n_trees):        depths = np.empty(n)         def visit(idx, depth):            if len(idx) <= 1 or depth >= max_depth:                depths[idx] = depth                return            col = int(rng.integers(0, X.shape[1]))            vals = X[idx, col]            lo, hi = float(vals.min()), float(vals.max())            if hi - lo < 1e-12:                depths[idx] = depth                return            cut = rng.uniform(lo, hi)            left = idx[vals <= cut]            right = idx[vals > cut]            if len(left) == 0 or len(right) == 0:                depths[idx] = depth                return            visit(left, depth + 1)            visit(right, depth + 1)         visit(np.arange(n), 0)        total += depths     return total / n_trees  def main():    X, y_true = make_toy_data()    avg_depth = average_isolation_depth(X)    # 深度越浅，越容易被随机切分单独切出，越可能是投毒点    k = int(y_true.sum()) + 5    top_idx = np.argsort(avg_depth)[:k]    y_pred = np.zeros(len(X), dtype=int)    y_pred[top_idx] = 1    tp = np.sum((y_pred == 1) & (y_true == 1))    fp = np.sum((y_pred == 1) & (y_true == 0))    fn = np.sum((y_pred == 0) & (y_true == 1))    prec = tp / max(tp + fp, 1)    rec = tp / max(tp + fn, 1)    f1 = 2 * prec * rec / max(prec + rec, 1)    print("实际投毒=%d 检出=%d 误报=%d" % (tp + fn, tp, fp))    print("Precision=%.3f Recall=%.3f F1=%.3f" % (prec, rec, f1))  if __name__ == "__main__":    main()
目的：用极简隔离森林算法，在合成二维数据集中自动检测出被“下毒”的离群样本，并输出 Precision、Recall 与 F1 评估检测质量。
  1. poison = rng.normal(loc=[4.0, -4.0], scale=0.5, size=(n_poison, 2))在远离正常簇的位置生成投毒样本，模拟“食材被动手脚”
  2. def average_isolation_depth(X, n_trees=100, max_depth=8, seed=7):核心函数，集成多棵随机隔离树并求平均深度
  3. cut = rng.uniform(lo, hi)随机选一个切分点，模拟“把食材扔进随机筛子”
  4. visit(left, depth + 1)递归切分左子树，深度加 1，逐层逼近“隔离”
  5. total += depths累加每棵树的隔离深度，最后除以树数量得到平均深度
  6. top_idx = np.argsort(avg_depth)[:k]深度最浅的前 k 个样本，即最可疑的投毒候选
  7. f1 = 2 * prec * rec / max(prec + rec, 1)用 F1 综合衡量“误伤”与“漏网”的平衡

常见误区

误区我以为投毒检测就是把训练集里偏离平均值的数据删掉，样本分布越正态越安全。

正解后门投毒恰恰善于伪装：毒样本在特征分布上与正常样本几乎重合，只是悄悄携带一个触发器（如图片角落的水印）。单靠统计离群检测根本看不见它，必须结合模型行为检测（梯度、损失、特征空间）和交叉验证清洗。统计检测只是第一道闸，不是全部。

为何常见：因为大多数入门资料首先展示的就是“离群点 = 投毒”的可视化，让人误以为检测等同于简单清洗。

误区我接入了开源的投毒检测框架，以后训练数据就不用操心了。

正解攻击者会做自适应攻击：一旦知道你的检测逻辑，就专门构造能绕过检测的样本（如对抗投毒）。任何固定算法都可能被学习并绕开。真实防线是“多层组合 + 随机化（差分隐私噪声）+ 多种算法投票 + 持续更新检测器”。

为何常见：人们习惯了“杀毒软件一次安装终身防护”的思维定式，低估了攻击者会持续迭代的事实。

误区训练前把数据洗干净就万事大吉，模型上线后不再需要检测。

正解后门攻击在训练阶段植入、在推理阶段触发；数据漂移也可能让原本正常的样本变得有害。工程实践要求训练前检测、训练中监控、上线后持续评估，形成闭环。

为何常见：把投毒检测理解成“一次性的数据预处理步骤”，忽略了模型整个生命周期都存在风险。

误区用普通 z-score，超过 3 倍标准差就是投毒，简单又好用。

正解均值对极端值敏感，真实数据又多是非高斯分布。少量精心构造的投毒样本就能把均值拉偏，导致真正的毒样本 z-score 反而正常——这就是掩蔽效应。应改用中位数 + MAD 的鲁棒 z-score，或隔离森林等不依赖分布假设的算法。

为何常见：教科书先教均值与标准差，让人形成路径依赖，忽略了安全场景下的对抗性。

面试题

Q1. 下列哪个选项最符合“数据投毒攻击”的定义？

单选题 · easy

  • A.攻击者篡改模型训练数据以破坏模型← 正确答案
  • B.攻击者在推理阶段注入恶意输入
  • C.攻击者窃取模型参数并公开
  • D.攻击者用爬虫抓取公开训练数据

答案：A。数据投毒发生在模型训练阶段，攻击对象是训练数据本身。选项 A 准确描述了“篡改训练数据以破坏模型”；B 是推理阶段攻击（对抗样本），C 是模型窃取，D 是数据采集行为，均不属于投毒。

Q2. 后门投毒攻击最典型的特点是？

单选题 · easy

  • A.训练后模型整体性能显著下降
  • B.训练时模型正常但触发时出错← 正确答案
  • C.训练数据全部被恶意加密
  • D.模型梯度完全无法更新

答案：B。后门攻击属于完整性攻击，类似“慢性毒”：模型在常规输入下表现正常，只有携带触发器（如特定水印、特定指令）时才输出错误结果。A 是可用性攻击的表现，C、D 与投毒无直接关系。

Q3. 投毒样本占比极低时，下列哪个指标最适合评估检测效果？

单选题 · easy

  • A.使用 F1 调和平均评估← 正确答案
  • B.使用整体分类准确率评估
  • C.使用模型推理速度评估
  • D.使用训练数据维度评估

答案：A。投毒样本可能只占万分之几，模型全部判为“干净”也能有 99.99% 的准确率，准确率完全失真。F1 是查准率与查全率的调和平均，能同时惩罚误报和漏报，适合极端不均衡的检测场景。

Q4. 关于鲁棒 z-score，下列说法正确的是？

单选题 · mid

  • A.用均值做中心、标准差做尺度
  • B.用中位数做中心、MAD 做尺度← 正确答案
  • C.用最大值做中心、方差做尺度
  • D.用众数做中心、极差做尺度

答案：B。鲁棒 z-score 用中位数替代均值、用 MAD 替代标准差，目的是抵抗掩蔽效应。经典 z-score 用均值与标准差，少数毒样本就能把均值拉偏；最大值、极差对离群点更敏感，不适合。

Q5. 隔离森林中，样本异常分数越接近 1 说明？

单选题 · mid

  • A.该样本平均隔离深度越深
  • B.该样本平均隔离深度越浅← 正确答案
  • C.该样本在数据集中出现次数越多
  • D.该样本距离原点距离越近

答案：B。隔离森林的异常分数 s = 2^(-E[h(x)]/c(n))。平均隔离深度越浅，指数绝对值越小，分数越接近 1。深度浅意味着随机切分几刀就能把样本单独隔开，这是离群投毒点的典型特征。

Q6. 关于标签平滑（Label Smoothing），下列说法正确的是？

单选题 · hard

  • A.把硬标签变软并稀释极端信号← 正确答案
  • B.把软标签还原成硬标签
  • C.删除标签冲突的样本
  • D.用聚类算法重新分配标签

答案：A。标签平滑把 one-hot 硬标签的 1 分出一部分给所有类别，形成软标签。它降低了模型对极端梯度的信任，投毒样本想利用错误标签诱导模型时影响力被稀释。B、C、D 描述的都不是标签平滑。

Q7. 下列哪些属于投毒检测的常见手段？

多选题 · mid

  • A.数据分布统计校验← 正确答案
  • B.模型梯度异常监控← 正确答案
  • C.输入数据格式转换
  • D.交叉验证反复清洗← 正确答案

答案：ABD。统计校验看数据层的“色泽气味”，梯度监控看模型层的“下厨力度”，交叉验证清洗通过反复训练定位不稳定样本，三者都是正文讲的检测手段。C 是普通的数据预处理，与检测无关。

Q8. 下列哪些机制可以增强防御投毒的能力？

多选题 · hard

  • A.使用截断均值聚合梯度← 正确答案
  • B.对梯度注入差分隐私噪声← 正确答案
  • C.适当提高训练时学习率
  • D.对推理输入做异常过滤← 正确答案

答案：ABD。截断均值属于鲁棒聚合，丢弃极端梯度；差分隐私噪声让攻击者摸不清检测细节，抬高定向投毒难度；推理输入过滤能拦截携带触发器的请求。学习率与投毒防御无直接关系，提高学习率反而可能放大恶意样本的影响。

Q9. 数据血缘（Data Lineage）的核心作用是？

单选题 · easy

  • A.加快模型训练速度
  • B.追溯数据来源与处理链路← 正确答案
  • C.自动为数据打标签
  • D.压缩存储空间大小

答案：B。数据血缘记录数据集从采集、清洗、标注到进入训练集的完整链路。一旦检测到投毒或模型异常，可沿血缘快速定位问题批次，是工程落地中“溯源复核”的基础设施。

Q10. 投毒检测的工程实践中，告警响应流程包含哪些环节？

多选题 · mid

  • A.异常样本自动隔离← 正确答案
  • B.由人工复核并确认← 正确答案
  • C.更新数据血缘记录← 正确答案
  • D.随机删除全部数据

答案：ABC。标准流程是“检测—隔离—复核—修复”：检测模块先自动隔离可疑样本，人工复核确认后从训练集移除，并更新血缘记录保证可追溯。D 全量删除数据会造成巨大损失，不是合理实践。