想象你是一位美食评测侦探，要验证一家米其林餐厅是否偷偷背下了当季评委的私密菜单。餐厅的领班“老王”有惊人的记忆力——他记得每一个来过的熟客，报出他们上次点的菜、随口提过的忌口，甚至是常坐的位置。这种“过度热情”恰恰是线索：如果一个人根本不是熟客，老王一般只会礼貌而平淡地接待。AI模型也是如此——训练集中的样本就像是它见过的“熟客”，模型对它们的预测往往异常自信、果断；而对于从未见过的“陌生样本”，模型表现的“犹豫”得多。本文要讲的“成员推断”，就是通过捕捉模型对某个样本的异常自信程度，反向推断这个样本是否藏在模型的“熟客名单”（训练集）里。这正是检测评测数据污染的关键侦探工具：若某个标杆评测样本被模型表现得过分熟悉，就极可能被写进了名单，其评测分数便不可信。

岗位关联

学懂成员推断，你就拥有了一副“AI记忆透视镜”：既可识别评测数据污染、守住基准测试的公平底线，也可用于隐私合规审计，这是每一位AI评测与安全方向工程师的必备技能。

目录
  1. 可视化演示
  2. 成员推断原理
  3. 攻击模型构建
  4. 特征工程方法
  5. 阈值调优策略
  6. 检测流程设计
  7. 效果评估方案
  8. AI 应用场景
  9. Python 演示
  10. 常见误区
  11. 面试题

可视化演示

演示成员推断攻击(MIA)检测评测数据污染：检测原理展示样本损失分布与ROC阈值划分；检测流程展示样本选择、损失计算、阈值判定五步流程；误报控制展示阈值调整对假阳性的影响。

本节配有交互动效（进入视口后自动加载，约 3KB）。

阈值划分原理 训练样本低损失、非训练样本高损失 ROC最优阈值 按置信度判定样本是否入训练集

成员推断原理

老领班“老王”的熟客记忆术，就是“成员推断”的物理直觉。所谓成员，就是训练集里的每一条样本——它们被模型实打实地“见过面”。模型为了在训练中降低损失，会逐渐记住这些样本的模式，当再次看到它们时，预测往往格外顺畅、自信。反观陌生样本，模型没有记忆可依托，只能依靠泛化能力勉力作答，置信度自然低一截。这种差异不是玄学，而是过拟合的直接副作用：模型在训练分布上过度拟合，就会在熟客面前“演技超纲”。

用在污染检测上，逻辑就顺理成章了：假设我们要检验某个公开评测基准（比如一套算术题）是否被模型背后的机构偷偷塞进训练集，只需把题目逐一喂给模型，看它表现得是否“过分熟悉”。如果几乎所有正确选项的置信度都逼近天花板，而它在普通测试题上却没那么自信，这就是一份相当有分量的“熟客证据”。

不过，单个样本的置信度会受题目难度、类别不平衡等无关因素干扰，所以我们通常用一个概率模型来综合判定。攻击模型输出“该样本属于训练集”的概率：

从侦探的视角看，sigmoid 就像是老王的“熟客打分卡”：分数越接近 1，说明这位客人越像常客。模型记住过的样本，会在打分卡上留下清晰的高分痕迹——这就是记忆指纹的暴露方式。

P(member∣x)=σ(θ⋅f(x)+b)\displaystyle P(\text{member} | x) = \sigma(\boldsymbol{\theta} \cdot f(x) + b)
这个公式把多个证据（特征）加权融合，再用 sigmoid 压成 0 到 1 之间的“熟客概率”。
  1. 构建特征向量从模型对样本 x 的预测输出中提取信号，如置信度、熵等。
    f(x)=[cmax(x),  H(p(x))]\displaystyle f(x) = [c_{\mathrm{max}}(x),\; H(p(x))]
  2. 线性加权求和每个特征乘以权重 $\theta$ 后相加，再加偏置 $b$。
    z=θ⋅f(x)+b\displaystyle z = \boldsymbol{\theta} \cdot f(x) + b
  3. 接上 Sigmoid 函数把任意实数 $z$ 压缩到 $0\sim 1$，得到成员归属概率。
    σ(z)=11+e−z\displaystyle \sigma(z) = \frac{1}{1 + e^{-z}}

攻击模型构建

想判断老王是否认得某个客人，最高明的侦探不会只看老王本人的反应，而是先训练一个“陪练服务生”：让他在一家布置相似的餐厅里工作，老板把“指定熟客名单”告诉他，让他画出每位客人在不同情境下的“热情分布”。这个陪练就是影子模型——它和目标模型结构、任务一致，但在我们自己掌控的数据集上训练，于是我们完美知道哪些样本是它的“熟客”。

有了影子模型，我们就可以生成大量“带标签的训练数据”：对于影子模型的训练样本，标记为“成员=1”；对于它没见过的测试样本，标记为“成员=0”。提取每个样本对应的模型输出特征（置信度、熵等），就组成了一张训练表。最后在这张表上训练一个二元分类器，它就是攻击模型，本质上是学会了老王“热情曲线”的审查官。

影子模型的训练目标就是普通模型的交叉熵损失最小化：

黑盒攻击只要模型的输出置信度，白盒攻击还能利用梯度、中间层表示等内部信息，相当于侦探不仅能看老王的言谈，还能翻他的笔记本。但无论哪种，影子模型都提供了一条基准线，让“过度热情”有了量化参照。

min⁡θs  −∑(x,y)∈Dshadowlog⁡PMs(y∣x)\displaystyle \min_{\theta_s} \; -\sum_{(x, y) \in D_{shadow}} \log P_{M_s}(y | x)
影子模型的质量决定了攻击模型标尺的准确性：陪练越像真身，“热情基线”就越可信。
  1. 准备影子数据集采样与目标模型训练分布相似的数据。
    Dshadow={(x1,y1),…,(xn,yn)}\displaystyle D_{shadow} = \{(x_1, y_1), \dots, (x_n, y_n)\}
  2. 计算每个样本的预测概率让影子模型前向传播，得到正确类别的概率。
    PMs(yi∣xi)\displaystyle P_{M_s}(y_i | x_i)
  3. 累加负对数似然对概率取负对数再求和，作为优化损失。
    L=−∑i=1nlog⁡PMs(yi∣xi)\displaystyle \mathcal{L} = -\sum_{i=1}^{n} \log P_{M_s}(y_i | x_i)

特征工程方法

侦探手里的证据能列出长长一串：老王说话的音量、推荐菜的语速、是否主动提起客人的姓氏……对应到模型上，我们要从预测输出中提炼出最能区分熟客与陌生人的特征。

最直接的特征是预测置信度，即模型对最终答案给出的最高概率。熟客样本的置信度往往高得异常，几乎是“不假思索”地给出答案。第二个常用特征是预测熵值：熵衡量预测分布的“犹豫程度”。如果模型对多个类别都给了相近概率，说明它在“纠结”；而熟客样本通常让模型几乎把概率孤注一掷地押在一个类上，熵值极低。第三个特征是正确的概率（或前 k 正确概率），模型对熟客不仅自信，而且通常答得更准。最后，把多个特征拼接成组合向量，能大幅增强攻击模型的区分力。

熵值的计算公式如下：

在侦探的档案里，特征越丰富，误判的概率越低。就像只凭“老王端菜速度快”判断熟客可能有误，但加上“记住了忌口”“知道常坐的位置”等多个信号，判断就稳健得多。特征工程的意义，就在于把这些独立的小线索拧成一股强大的证据链。

H(p)=−∑i=1Kpilog⁡pi\displaystyle H(p) = -\sum_{i=1}^{K} p_i \log p_i
熵值越小，说明模型的预测分布越集中，也就是越“笃定”；熵值接近 $\log K$，说明模型在均匀猜测。
  1. 取出各类别概率模型输出一个长度为 $K$ 的概率向量。
    p=[p1,p2,…,pK],∑pi=1\displaystyle p = [p_1, p_2, \dots, p_K], \quad \sum p_i = 1
  2. 逐类计算对数与乘积每个 $p_i$ 乘上它的对数，再加总。
    ∑i=1Kpilog⁡pi\displaystyle \sum_{i=1}^{K} p_i \log p_i
  3. 取负号得到熵由于 $p_i \leq 1$，和必为负，加负号后为正数。
    H(p)=−∑i=1Kpilog⁡pi\displaystyle H(p) = -\sum_{i=1}^{K} p_i \log p_i

阈值调优策略

侦探定下“多热情算熟客”这条线时，面临两难：线定得太低，会把只是性格外向的新客人当成熟客，造成大量误报；线定得太高，会漏掉真正的熟客，放过污染模型。在污染检测场景中，误报的代价尤其高昂——一旦某数据集被误判为泄露，整个评测基准都可能被废弃，相关团队要花大量精力重做数据。

因此，实际工程中常采用“误报率优先”策略：先设定可接受的最大误报率（比如 1%），再选择能让召回率最高的阈值。这相当于侦探对自己说：“我宁可放过一百个可疑分子，也绝不能冤枉一个好人。”严谨的团队还会在额外的验证集上做阈值校准，确保这个比例在不同数据分布上依然成立。

阈值选择可形式化为带权重的优化问题：

这就像老王餐厅的熟客名单规则：为了不误伤第一次光顾的客人，管家会设定“必须连续来三次且能说出招牌菜”才算熟客。阈值调优不是数学游戏，而是一次严肃的业务决策——在控误报与高召回之间，找到组织最需要的位置。

t∗=arg⁡min⁡t  [α⋅FPR(t)+(1−α)⋅FNR(t)]\displaystyle t^{*} = \arg\min_{t} \; [\alpha \cdot \mathrm{FPR}(t) + (1-\alpha) \cdot \mathrm{FNR}(t)]
通过调节权重 $\alpha$，在“冤枉好人”和“放过坏人”之间寻找平衡点。
  1. 定义误报率非成员样本中被误判为成员的比例，即冤枉率。
    FPR(t)=FP(t)FP(t)+TN(t)\displaystyle \mathrm{FPR}(t) = \frac{\mathrm{FP}(t)}{\mathrm{FP}(t) + \mathrm{TN}(t)}
  2. 定义漏报率成员样本中未被识别出的比例，即放过率。
    FNR(t)=FN(t)FN(t)+TP(t)\displaystyle \mathrm{FNR}(t) = \frac{\mathrm{FN}(t)}{\mathrm{FN}(t) + \mathrm{TP}(t)}
  3. 加权求最小按业务代价给两类错误赋权，遍历所有候选阈值取最优。
    t∗=arg⁡min⁡t  [α⋅FPR(t)+(1−α)⋅FNR(t)]\displaystyle t^{*} = \arg\min_{t} \; [\alpha \cdot \mathrm{FPR}(t) + (1-\alpha) \cdot \mathrm{FNR}(t)]

检测流程设计

单次检测只是侦探的一次性判断，真正的评测污染检测要运行在成百上千的样本上，必须工程化为一条完整流水线。流水线的第一环是数据样本抽取：从待检测的评测集中按类别、难度、来源分层抽样，保证覆盖面，也避免大批量推理浪费算力。第二环是批量评测流水线：将所有样本送入待检模型，批处理推理并缓存置信度、熵等原始特征，这一步可以完全并行化。

第三环是结果排序分析：把所有样本按“成员概率”从高到低排序，形成嫌疑名单。排在最前面的样本优先进入人工复核队列。人工复核机制是流水线的最后一道闸门——自动化检测难免有边界案例，由人类专家抽查高嫌疑样本，结合样本的公开时间、模型发布时间、数据授权记录等外部证据做最终裁决。

整条流水线的产出质量，可以用 F1 分数来度量——它同时兼顾“抓得的准”与“抓得全”：

流水线设计就像餐馆的质检体系：抽样是随机抽查的菜品，批量评测是全厨房一次出菜，排序分析是质检员按可疑程度排优先级，人工复核则是让主厨亲自尝最后一道关。每一环都在降低“误把好菜倒掉”或“放过坏菜”的风险。

F1=2×Precision×RecallPrecision+Recall\displaystyle F_1 = \frac{2 \times \mathrm{Precision} \times \mathrm{Recall}}{\mathrm{Precision} + \mathrm{Recall}}
F1 是精确率与召回率的调和平均，数值越高说明检测流水线越可靠。
  1. 统计四类结果按真实标签与检测结果，把样本分为 TP、FP、TN、FN 四类。
    TP+FP+TN+FN=N\displaystyle \mathrm{TP + FP + TN + FN} = N
  2. 计算精确率所有报警中真正是成员的占比，衡量“抓得准”。
    Precision=TPTP+FP\displaystyle \mathrm{Precision} = \frac{\mathrm{TP}}{\mathrm{TP} + \mathrm{FP}}
  3. 计算召回率所有真成员中被找出来的占比，衡量“抓得全”。
    Recall=TPTP+FN\displaystyle \mathrm{Recall} = \frac{\mathrm{TP}}{\mathrm{TP} + \mathrm{FN}}
  4. 调和平均得 F1精确率与召回率互为制衡，太高太低都会拉低 F1。
    F1=2×Precision×RecallPrecision+Recall\displaystyle F_1 = \frac{2 \times \mathrm{Precision} \times \mathrm{Recall}}{\mathrm{Precision} + \mathrm{Recall}}

效果评估方案

安装好整条检测流水线后，必须回答一个关键问题：它到底有多准？效果评估方案便是给侦探“打分”的机制。评估的核心指标是精确率与召回率：精确率回答“我报告的所有污染样本中有多少是真的”，召回率回答“真正的污染样本有多少被找了出来”。污染检测场景通常更看重精确率，因为一次误报的成本太高，但也需要观察召回率来防止检测器变成“什么都不报”的摆设。

评估需要标准化的基准数据集：公开的、带有真实成员标签的数据集（例如明确的训练/测试划分），让不同检测方法可以在同一平台上公平对比。更进一步，我们还要让自动化检测结果与人工逐条审计的结果做一致性对比——如果机器说某样本是成员，而人类审计专家也独立地指向同一结论，置信度就大幅提升。

为了综合衡量检测器在不同阈值下的表现，业界常用 AUC 作为整体能力指标：

回到比喻中，AUC 就像对侦探进行全景考核：不只考验他是否能在特定场合一眼认出熟客，而是考察他在各种场合、各种灯光下的综合识人能力。一份好的评估报告，应当同时呈现精确率、召回率、AUC，再附上几个典型的误报与漏报案例，让整个检测方案经得起行业与监管的双重审视。

AUC=∫01TPR(FPR) d(FPR)\displaystyle \mathrm{AUC} = \int_{0}^{1} \mathrm{TPR}(\mathrm{FPR}) \, d(\mathrm{FPR})
AUC 越大，说明无论阈值怎么调，检测器都能更好地把成员与非成员区分开。
  1. 定义真正率成员样本中被正确识别的比例。
    TPR=TPTP+FN\displaystyle \mathrm{TPR} = \frac{\mathrm{TP}}{\mathrm{TP} + \mathrm{FN}}
  2. 遍历阈值每个阈值对应一对 FPR 与 TPR，描出 ROC 曲线。
    ROC={(FPR(t),  TPR(t))∣t∈R}\displaystyle \mathrm{ROC} = \{(\mathrm{FPR}(t),\; \mathrm{TPR}(t)) \mid t \in \mathbb{R}\}
  3. 积分求面积ROC 曲线下的面积就是 AUC，随机猜测为 0.5，完美检测为 1.0。
    AUC=∫01TPR(FPR) d(FPR)\displaystyle \mathrm{AUC} = \int_{0}^{1} \mathrm{TPR}(\mathrm{FPR}) \, d(\mathrm{FPR})

AI 应用场景

场景一：开源大模型评测基准的污染排查

阶段：评测数据治理 / 模型发布前审计

解决的问题：大模型公司发布新模型时，需要声明模型在 MMLU、C-Eval 等公开基准上的得分。但训练团队可能无意或有意地把基准集爬进预训练语料，导致分数虚高。传统做法靠人工比对数据源，海量文本中根本查不过来；成员推断让审计团队可以自动扫描基准样本的置信度异常，快速圈定疑似泄露集合。

具体案例：某大模型团队在发布前对 C-Eval 的 1.4 万道题做成员推断扫描，发现其中 137 道题目的置信度显著高于同难度对照组，人工复核后确认其中 92 道题确实出现在一个网络爬虫语料包里，随后对该数据块做了隔离重训，并调整了基准评测结果。

场景二：AI 训练数据隐私合规审计

阶段：模型安全评估 / 隐私保护

解决的问题：GDPR 等法规赋予用户“被遗忘权”，企业须确认个人数据未在模型中残留。成员推断可作为隐私审计工具，检测模型是否记住了特定用户的数据片段，帮助法务与安全团队量化隐私泄露风险，避免“数据已删但模型还记得”的合规事故。

具体案例：某金融科技公司联合第三方审计机构，对客户的征信问答模型发起成员推断测试，抽取 1000 条历史敏感样本与 1000 条同分布新样本，攻击模型的 AUC 达到 0.91，精确定位了高泄露风险的样本簇，随后依据结果对模型做了针对性遗忘微调并复测通过。

Python 演示

python44 行
import numpy as npfrom sklearn.datasets import make_classificationfrom sklearn.model_selection import train_test_splitfrom sklearn.ensemble import RandomForestClassifierfrom sklearn.linear_model import LogisticRegressionfrom sklearn.metrics import roc_auc_score def extract_features(model, X):    proba = model.predict_proba(X)    conf = proba.max(axis=1)    ent = -np.sum(proba * np.log(proba + 1e-12), axis=1)    correct = proba[np.arange(len(X)), model.predict(X)]    return np.column_stack([conf, ent, correct]) def build_attack_data(shadow_X, shadow_y, target_X):    shadow_model = RandomForestClassifier(n_estimators=30, max_depth=6, random_state=1)    shadow_model.fit(shadow_X, shadow_y)    features = extract_features(shadow_model, target_X)    labels = np.array([1] * len(shadow_X) + [0] * len(shadow_X))    return features, labels, shadow_model def main():    X, y = make_classification(n_samples=2000, n_features=10, n_informative=6, random_state=42)    X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.5, random_state=42)    target_model = RandomForestClassifier(n_estimators=30, max_depth=6, random_state=0)    target_model.fit(X_train, y_train)    member_feat = extract_features(target_model, X_train)    nonmember_feat = extract_features(target_model, X_test)    attack_feat = np.vstack([member_feat, nonmember_feat])    attack_label = np.array([1] * len(X_train) + [0] * len(X_test))    feat_train, feat_val, label_train, label_val = train_test_split(        attack_feat, attack_label, test_size=0.2, random_state=7)    attack_model = LogisticRegression(max_iter=200)    attack_model.fit(feat_train, label_train)    pred_proba = attack_model.predict_proba(feat_val)[:, 1]    auc = roc_auc_score(label_val, pred_proba)    precision = (pred_proba[label_val == 1] >= 0.5).mean()    recall = (pred_proba[label_val == 1] >= 0.5).mean()    print("Attack AUC: %.3f" % auc)    print("Attack Precision: %.3f" % precision)    print("Attack Recall: %.3f" % recall) if __name__ == "__main__":    main()
目的：演示一条完整的成员推断流水线——训练目标模型与影子模型、提取置信度与熵特征、训练攻击分类器并评估检测效果。
  1. shadow_model.fit(shadow_X, shadow_y)训练影子模型，让它成为目标模型的“陪练标尺”。
  2. extract_features(target_model, X_train)提取训练集样本的特征，对应成员标签 1。
  3. extract_features(target_model, X_test)提取未知样本的特征，对应成员标签 0。
  4. attack_model.fit(feat_train, label_train)训练逻辑回归攻击模型，学会用特征区分熟客与新面孔。
  5. roc_auc_score(label_val, pred_proba)用 AUC 衡量攻击模型的整体区分能力。

常见误区

误区只要模型对某个样本给出 99% 的置信度，基本可以断定它是训练集成员，置信度低则一定不是。

正解置信度是强烈信号但不是充分条件。样本本身简单、类别特征鲜明时，模型同样可能对没见过的新样本给出极高置信度。就像老王的餐厅里，有人第一次来就点招牌烤鸭并大加赞赏，老王也能迅速附和菜品的经典之处——热情未必代表见过。真正稳健的成员推断要结合熵、正确性、多个样本的统计分布以及影子模型基线，而不是只看单个置信度数值。

为何常见：初学者最容易把“相关”当“因果”，加之很多教程用置信度分布图示范，让人误以为单一指标即可直接定罪。

误区成员推断攻击只需要拿到模型的预测概率，白盒信息可有可无，黑盒就够了。

正解黑盒成员推断（仅用输出概率）确实可行，但白盒信息能显著提升攻击效果。通过梯度范数、中间层表示或 loss 值，攻击者能利用模型内部对训练样本的“熟悉程度”做出更精细判断。尤其面对经过正则化或蒸馏的模型，黑盒置信度被压平时几乎失去区分力，此时白盒信号往往仍能暴露记忆痕迹。攻击方式应视可接触到的模型接口而定，而非默认黑盒最优。

为何常见：公开的 API 大多是黑盒，初学者接触的案例自然以黑盒为主，容易以偏概全。

误区污染检测应该追求零误报，只要有一丁点误报，检测方案就是失败的。

正解零误报通常意味着把阈值拉到极高，结果召回率暴跌，检测器变得形同虚设。污染检测的核心是“可控误报”：在业务可接受的误报预算内（例如 0.5%），最大化召回率或 F1。真实业务中误报有成本，漏报也有成本，理性做法是量化两类代价后做最优化决策。零误报更像一个营销口号，而非工程目标。

为何常见：大众直觉中“宁愿错杀一千，不可放过一个”是谨慎的体现，但真实工程里没有免费的完美。

误区如果影子模型和目标模型结构不同，则每个样本的特征分布完全不同，攻击模型一定会失效。

正解影子模型的核心价值是模拟“训练过与没训练过”两种状态下模型输出的差异形态，而非精确复刻目标模型。大量实验表明，即使用不同结构（如用逻辑回归做随机森林的影子），只要任务分布相似，攻击模型仍能有效迁移。更关键的是攻击模型学到的是“熟悉度模式”，这种模式在同类任务上高度通用。当然，影子模型越贴近目标模型，攻击精度越高，但这属于锦上添花而非必要条件。

为何常见：人们容易类比“克隆必须 DNA 完全一致”的直觉，忽略了攻击迁移性这一重要特性。

面试题

Q1. 成员推断的基本目标是？

单选题 · easy

  • A.提升模型预测准确率
  • B.判断样本是否在训练集← 正确答案
  • C.降低模型过拟合风险
  • D.加速模型推理速度

答案：B。成员推断的核心是判断某个样本是否属于目标模型的训练集，即识别“熟客名单”中的成员。A、C、D 分别是训练、正则化与推理优化目标，与成员推断无关。

Q2. 模型中“置信度”在成员推断里扮演什么角色？

单选题 · easy

  • A.衡量模型参数量大小
  • B.衡量模型推理延迟
  • C.暴露模型对样本的熟悉程度← 正确答案
  • D.衡量数据集的标注质量

答案：C。模型对训练样本往往给出异常高的置信度，因此置信度是最直观的成员信号，如同老王对熟客表现出的“过度热情”。其余选项描述的对象与模型预测无关。

Q3. 影子模型训练的主要目的是什么？

单选题 · mid

  • A.提升目标模型的泛化能力
  • B.合成带成员标签的训练数据← 正确答案
  • C.压缩目标模型的参数量
  • D.生成更多评测样例题

答案：B。影子模型让我们知道哪些样本是它的熟客、哪些不是，从而构造出带真实成员标签的攻击训练集。A 属目标模型的训练优化，C 属蒸馏，D 属数据增强，均非影子模型职责。

Q4. 可选用的成员推断攻击特征包括哪些？

多选题 · mid

  • A.预测置信度← 正确答案
  • B.预测熵值← 正确答案
  • C.梯度范数← 正确答案
  • D.数据集文件大小

答案：ABC。置信度、熵值、梯度范数都能反映模型对样本的熟悉度，是有效的攻击特征。数据集文件大小是数据层面的静态属性，与模型对单个样本的预测表现无关。

Q5. 污染检测中误报的主要代价是什么？

单选题 · mid

  • A.模型需要重新训练
  • B.评测基准可能被冤枉废弃← 正确答案
  • C.模型推理速度变慢
  • D.训练数据量自动翻倍

答案：B。一次误报可能使整个评测集被判定为污染，需要重做数据、复核结论，损失巨大。误报不会触发重训、减速或扩增数据，它冲击的是评测体系的可信度与资源投入。

Q6. 阈值调优需要考虑哪些指标？

多选题 · mid

  • A.误报率 FPR← 正确答案
  • B.漏报率 FNR← 正确答案
  • C.精确率 Precision← 正确答案
  • D.GPU 显存占用

答案：ABC。阈值直接影响误报率、漏报率、精确率与召回率，调优就是在这些指标间找平衡。GPU 显存是工程资源问题，与判定阈值无关。

Q7. 关于 AUC 的表述，哪项正确？

单选题 · hard

  • A.AUC 大于 0.5 说明检测器完全无效
  • B.AUC 是 ROC 曲线下的面积，越大越准← 正确答案
  • C.AUC 只适用于成员推断任务
  • D.AUC 等于精确率与召回率之比

答案：B。AUC 是 ROC 曲线下面积，0.5 为随机猜测，1.0 为理想检测器，越大越好。A、D 明显错误，C 错在 AUC 是通用分类评估指标，不限于成员推断。

Q8. 白盒成员推断相比黑盒的优势在于？

单选题 · hard

  • A.不需要训练攻击模型
  • B.可以利用梯度和中间层表示← 正确答案
  • C.完全消除了误报
  • D.无需任何真实样本

答案：B。白盒攻击可获取梯度范数、中间层激活等内部信号，在置信度被压平时仍能捕捉记忆痕迹。A、C、D 均与事实不符：白盒仍需攻击模型，也会误报，更不可能无样本凭空推断。

Q9. 以下哪些做法能降低成员推断的误报率？

多选题 · hard

  • A.调高判定阈值← 正确答案
  • B.使用验证集校准阈值← 正确答案
  • C.结合人工复核机制← 正确答案
  • D.删除所有低置信度样本

答案：ABC。调高阈值直接降低误报，验证集校准让阈值适配真实分布，人工复核则兜底边界案例。D 是删除数据而非降低误报，且会破坏检测覆盖性。

Q10. 对模型进行 dropout 增强和权重衰减正则化后，成员推断攻击的成功率通常如何变化？

单选题 · extreme

  • A.显著上升
  • B.基本不变
  • C.显著下降← 正确答案
  • D.先升后降

答案：C。正则化手段抑制过拟合，减小模型对训练样本的“记忆”程度，使成员与非成员的置信度分布更接近，攻击区分难度上升，因此攻击成功率显著下降。其余选项与正则化机制矛盾。