想象你经营着一家高档会员制餐厅。每一位来过这里吃饭的客人,都会在点餐系统里留下口味档案;系统也的确会慢慢记住老顾客的偏好——谁爱吃辣、谁忌海鲜、谁总会点一杯温柠檬水。现在,餐厅门口站着一位侦探,他手里拿着一张“某人”的画像,想知道这位客人到底是不是餐厅会员。他不能直接翻会员名册,只能一次次试探点餐系统:系统对这位“熟人”表现出的熟悉度,明显高于对陌生人的热情。于是,侦探就能靠着这份“过分的熟悉”,反推出会员身份。这正是成员推断攻击的故事。在AI世界里,训练数据就是“来过的客人”,模型就是“点餐系统”。当模型过度记住训练样本时,它对训练样本的置信度会异常偏高,这种差异被攻击者利用,就能判断某个样本是否参加过训练。好消息是,餐厅也有对策:让大厨不要太明显地表露偏好(正则化)、模糊化熟悉度评分(置信度遮蔽)、把会员名册锁进加密金库(差分隐私)。这篇文章,我们就用这家餐厅的故事,讲清成员推断攻击的原理、类型、评估方法与防御策略。

岗位关联

掌握成员推断攻击MIA,是AI安全与隐私保护岗位的必备技能。它能帮你量化模型泄露风险、设计有效防御,在联邦学习与合规审计中做出专业判断。

目录
  1. 可视化演示
  2. MIA基本概念
  3. 攻击原理
  4. 攻击类型
  5. 隐私评估
  6. 防御策略
  7. 实战权衡
  8. AI 应用场景
  9. Python 演示
  10. 常见误区
  11. 面试题

可视化演示

展示成员推断攻击从影子模型训练到成员判定的完整流程,以及正则化、置信度遮蔽、差分隐私等防御策略的效果对比。

本节配有交互动效(进入视口后自动加载,约 3KB)。

MIA攻击全流程 目标模型:被攻击的模型输出预测概率向量 影子模型:攻击者训练模拟目标行为的模型 攻击分类器:利用置信度差异判定成员归属 attack = f(confidence_member - confidence_non) 过拟合导致的置信度差异是攻击核心信号。

MIA基本概念

侦探想确认画像上的人是不是餐厅会员,最直接的办法是看会员名册。但名册被锁起来了,他只能退而求其次:观察点餐系统对这位客人的反应。如果系统给出的“熟悉度”太高,他就怀疑这人来过。这里的“来过”,就是数据样本进入过模型的训练集。

在AI领域,这种侦探行为被称为成员推断攻击。攻击者拿一个样本,比如一张人脸照片、一条病历记录,去询问目标模型:这个样本是否出现在模型的训练数据里?模型不会直接回答,但它的预测置信度会“说漏嘴”。尤其当模型发生过拟合时,训练样本的置信度通常会明显高于未见过的样本。

要正式描述一次攻击,需要定义攻击者的判定规则。攻击者通常会设置一个置信度阈值,高于阈值就判定样本是训练成员:

回到餐厅的场景:过拟合就像是点餐系统对老顾客的热情明显高于新顾客。一旦这种“热情差”足够大,侦探不需要名册也能猜中会员身份。因此,成员推断攻击的核心,就是利用训练样本与非训练样本之间的行为差异。

Attack(x)={1,if Pθ(y∣x)>τ0,otherwise\text{Attack}(x) = \begin{cases} 1, & \text{if } P_{\theta}(y|x) > \tau \\ 0, & \text{otherwise} \end{cases}
这个公式是说:模型对样本 x 预测为真实标签 y 的信心如果超过某个门槛 τ,攻击者就认为 x 是训练集成员;否则判为非成员。
  1. 置信度$P_{\theta}(y|x)$ 是模型在参数 $\theta$ 下,认为样本 $x$ 属于真实标签 $y$ 的概率。
    Pθ(y∣x)P_{\theta}(y|x)
  2. 阈值$\tau$ 是攻击者手动设定的判断门槛,可以理解为餐厅侦探的“熟悉度分数线”。
    τ\tau
  3. 判定当置信度高于阈值时,攻击者输出 1,代表“是训练成员”。
    Attack(x)=1\text{Attack}(x) = 1

攻击原理

为什么侦探能靠“熟悉度”识破会员?因为大厨和点餐系统共同形成了一个毛病:对老顾客过于用心。这不是刻意为之,而是日复一日地适配那些重复出现的口味后,系统自然把老顾客的偏好“背”了下来。机器学习中的过拟合,就是这个毛病的学名。

从概率角度看,成员样本被模型正确预测的概率,通常会高于非成员样本。这个差异正是攻击的土壤。攻击者不需要搞清楚模型的全部内部机制,只要能稳定地观察到这种差异,就能训练一个专门的“侦探助手”——影子模型。

影子模型的思路很巧妙:攻击者先搭一个与目标模型结构相近的影子模型,用自己的数据模拟“成员”和“非成员”,让影子模型给出各自的预测结果,再用这些结果训练一个二分类器。这个二分类器学会的,就是“什么样的预测特征更像成员”。

回到餐厅:影子模型相当于侦探在自家厨房里复制了一套点餐系统,先用各种模拟客人做实验,总结出“系统对老顾客会给出多高熟悉度”的规律,再拿这套规律去试探真实的餐厅系统。餐厅越过拟合,侦探的规律就越准。

P[fθ(x)=y∣x∈Dtrain]>P[fθ(x)=y∣x∉Dtrain]\mathbb{P}\left[f_\theta(x)=y \mid x \in D_{\text{train}}\right] > \mathbb{P}\left[f_\theta(x)=y \mid x \notin D_{\text{train}}\right]
翻译成人话:模型在训练集上预测正确的概率,高于在非训练集上预测正确的概率。过拟合越严重,不等式左边越大于右边。
  1. 左边概率$f_\theta(x)=y$ 表示模型对训练样本预测正确的事件,条件是 $x$ 确实来自训练集。
    P[fθ(x)=y∣x∈Dtrain]\mathbb{P}\left[f_\theta(x)=y \mid x \in D_{\text{train}}\right]
  2. 右边概率$x$ 不来自训练集时,模型正确预测它的概率。
    P[fθ(x)=y∣x∉Dtrain]\mathbb{P}\left[f_\theta(x)=y \mid x \notin D_{\text{train}}\right]
  3. 攻击基础这个不等式成立,意味着攻击者只要观察模型输出,就能区分成员与非成员。
    Ptrain>Ptest\mathbb{P}_{\text{train}} > \mathbb{P}_{\text{test}}

攻击类型

侦探的权限决定了攻击的难度。有的侦探能混进后厨,直接翻看大厨的配方和订单记录;有的侦探只能坐在大厅,观察服务员对每位客人的热情程度;还有的侦探更惨,只能通过服务员端上来的菜猜测系统判断。

在成员推断攻击中,这三种权限对应白盒攻击、黑盒攻击和标签Only攻击。白盒攻击假设攻击者能访问模型参数、梯度甚至中间特征,相当于看到后厨的全部底牌;黑盒攻击假设攻击者只能调用模型接口、拿到预测置信度或标签。置信度向量攻击是黑盒的一种升级:攻击者不只看最大概率,而是把每个类别的概率都收集起来,形成一个“熟悉度指纹”。

侦探权限越大,越容易拿到确凿证据:白盒攻击的优势显而易见,但黑盒攻击在现实中威胁更大,因为大多数模型都以API形式对外提供服务,攻击者只需要观察输出分布就能发起攻击。

sθ(x)={max⁡kfθ(x)k,黑盒攻击ℓ(fθ(x),y),白盒攻击s_{\theta}(x)=\begin{cases}\max_k f_{\theta}(x)_k, & \text{黑盒攻击}\\\ell\bigl(f_{\theta}(x), y\bigr), & \text{白盒攻击}\end{cases}
黑盒攻击用最大类别概率作为成员线索;白盒攻击直接用损失函数计算样本与模型的拟合程度。拟合度越高,越可能是训练成员。
  1. 黑盒得分$\max_k f_{\theta}(x)_k$ 取模型输出向量中最大的那个概率,作为黑盒场景下的成员分数。
    max⁡kfθ(x)k\max_k f_{\theta}(x)_k
  2. 白盒得分$\ell(f_{\theta}(x), y)$ 是模型在样本 $(x,y)$ 上的损失值,损失越低,说明模型对这个样本“记得越深”。
    ℓ(fθ(x),y)\ell\bigl(f_{\theta}(x), y\bigr)
  3. 统一使用不管是哪种得分,最终都会作为特征输入给攻击分类器,由分类器给出成员/非成员判断。
    sθ(x)→A(x)s_{\theta}(x) \rightarrow \mathcal{A}(x)

隐私评估

餐厅老板想了解会员信息是否真的安全,于是请了一位“神秘顾客”定期来突击检查。这位神秘顾客不翻后厨,也不查名册,就假装成普通食客点几道菜,然后根据系统的反应判断:会员信息有没有被泄露出来。在AI里,这个神秘顾客就是成员推断攻击。

MIA不只是攻击者的武器,更是隐私保护者的听诊器。攻击成功率越高,说明模型对训练数据的记忆越深,隐私泄露风险越大。常用的量化指标是攻击成功率ASR,它综合衡量了攻击者判断正确的比例。

在联邦学习场景中,这种评估尤其重要。多个参与方共享模型更新,客户端之间的数据边界非常敏感。恶意服务器可以通过分析某客户端上传的梯度,判断某个样本是否在该客户端本地的训练数据里,从而实施成员推断。

餐厅的“神秘顾客”检查不是一次性任务,而是每次菜单大改后都要做。同样,AI团队也应该在模型发布前、联邦学习聚合后、数据删除请求处理后,运行MIA审计,把隐私风险变成可量化的数字。

ASR=TP+TNTP+TN+FP+FN\text{ASR} = \frac{\text{TP} + \text{TN}}{\text{TP} + \text{TN} + \text{FP} + \text{FN}}
ASR表示攻击者所有判断中猜对的比例。接近1说明攻击几乎全对;接近0.5说明攻击和抛硬币差不多,模型的隐私保护比较到位。
  1. TP真正的训练成员被攻击者正确识别出来的数量。
    TP\text{TP}
  2. TN非训练成员被正确判断为“非成员”的数量。
    TN\text{TN}
  3. ASR把所有猜对的情况除以全部样本数,就是攻击成功率。
    TP+TNTP+TN+FP+FN\frac{\text{TP} + \text{TN}}{\text{TP} + \text{TN} + \text{FP} + \text{FN}}

防御策略

知道了侦探的套路,餐厅老板开始升级安保。第一招,警告大厨不要对老顾客过度热情——这就是正则化;第二招,把点餐系统返回的熟悉度评分做模糊化处理——这就是置信度遮蔽;第三招,把所有会员信息锁进一个自带警报的金库,任何人碰一下都会触发扰动——这就是差分隐私。

正则化的核心是抑制过拟合。模型越是把训练样本的置信度顶到接近1,成员与非成员的区分就越明显。通过L2正则、Dropout等手段,模型的置信度分布会更平缓,两边差异缩小。置信度遮蔽则直接在输出层动手脚,比如用温度加热软化概率分布,或者只返回前k个类别的概率,让攻击者拿到的指纹变模糊。

差分隐私更彻底:在训练过程中加入精心设计的噪声,使得任何一个样本的加入或移除,对模型输出分布的影响都极其有限。这样,成员与非成员的置信度差异被噪声掩盖,攻击者很难再区分。

三种防御还可以配合使用:正则化先减小成员与非成员的先天差异,置信度遮蔽再扰乱攻击者的观测,差分隐私兜底提供强隐私保证。就像餐厅既叮嘱大厨收敛,又模糊化评分,还锁紧保单,才能让侦探无功而返。

Pr⁡[M(D1)∈S]≤eε⋅Pr⁡[M(D2)∈S]\Pr[\mathcal{M}(D_1) \in S] \le e^{\varepsilon} \cdot \Pr[\mathcal{M}(D_2) \in S]
这个不等式说的是:任意两条只差一条记录的相邻数据集,通过同一个算法得到某个输出的概率之比,被限制在 $e^{\varepsilon}$ 以内。$\varepsilon$ 越小,隐私保护越强。
  1. 相邻数据集$D_1$ 和 $D_2$ 是只差一条数据记录的两个数据集。
    D1,D2D_1, D_2
  2. 输出集合$S$ 是算法可能输出的任意结果集合。
    SS
  3. 隐私预算$\varepsilon$ 是隐私预算,控制两条数据集的输出分布差异。
    eεe^{\varepsilon}

实战权衡

安保措施不能无限加码,否则餐厅体验会崩塌。如果大厨完全不区分顾客口味,老顾客会觉得服务变差;如果评分完全随机,菜品推荐系统也失去了意义。隐私保护同样面临这样的权衡:更强的防御通常意味着更低的模型效用。

防御效果评估不是看模型准确率,而是看MIA攻击成功率是否回落到随机水平。如果 ASR 从0.85降到0.52,说明防御有效;如果只是轻微下降,则可能只是安慰剂。工程部署时还要考虑成本:差分隐私训练更慢,置信度遮蔽会影响下游任务表现,正则化调参需要额外实验。

因此,实际项目通常把隐私保护设计成一道带约束的优化题:在满足隐私预算的前提下,最大化模型效用。这也是未来研究的大方向——让隐私保护成为AI系统的默认配置,而不是事后补丁。

餐厅的最终目标是既让会员有“被记得”的温暖,又绝不让外人确认谁是会员。这需要持续调试安保力度。对AI团队来说,成员推断攻击不是一次性威胁,而是长期安全运营的一部分——量化它、防御它、持续审计它,才能真正守住用户隐私的底线。

max⁡θ  Utility(θ)s.t.ε(θ)≤εbudget\max_{\theta} \; \text{Utility}(\theta) \quad \text{s.t.} \quad \varepsilon(\theta) \le \varepsilon_{\text{budget}}
这句话的意思是:在隐私预算不超过某个上限的条件下,寻找让模型效用最大的参数。它把隐私保护和模型效果放进了同一个优化框架。
  1. 目标函数$\text{Utility}(\theta)$ 表示模型效用,比如准确率、F1分数等业务指标。
    Utility(θ)\text{Utility}(\theta)
  2. 约束条件$\varepsilon(\theta) \le \varepsilon_{\text{budget}}$ 表示模型的隐私风险不能超过预定值。
    ε(θ)≤εbudget\varepsilon(\theta) \le \varepsilon_{\text{budget}}
  3. 整体含义在可接受的隐私风险内,追求最好的模型表现。
    max⁡θ  Utility(θ)\max_{\theta} \; \text{Utility}(\theta)

AI 应用场景

模型发布前的隐私审计

阶段:模型评估与上线前安全审计

解决的问题:传统评测只关注准确率和泛化能力,很少关注模型是否“背下”了训练数据。用MIA在发布前做攻击模拟,可以把隐私泄露风险变成可量化的ASR指标,决定是否启用额外防御。

具体案例:某医疗AI公司准备上线一个辅助诊断模型,安全团队用黑盒MIA对训练集抽样和公开测试集进行攻击测试,发现攻击成功率高达78%,立即触发差分隐私改造,改造后ASR降到53%。

联邦学习参与方安全审计

阶段:联邦学习训练与梯度聚合阶段

解决的问题:在联邦学习中,恶意服务器可能利用客户端上传的梯度反推成员信息,导致医院、银行等敏感领域的数据泄露。通过白盒MIA审计梯度泄露,可以制定梯度裁剪、加噪等防御策略。

具体案例:跨医院联邦学习项目中,服务方用白盒MIA检查某一医院上传的梯度能否定位罕见病例样本,发现存在明显置信度差异后,启用了梯度裁剪和差分隐私噪声机制。

数据删除合规验证

阶段:数据生命周期管理与合规响应

解决的问题:用户行使“被遗忘权”后,模型参数仍可能残留记忆。传统做法无法确认删除是否彻底,而MIA可以在删除前后分别测量攻击成功率,验证目标样本是否真的难以被识别为训练成员。

具体案例:某金融风控模型收到用户删除请求后,合规团队对目标样本执行MIA审计,发现删除后攻击置信度降到随机水平,才认定删除操作符合GDPR要求。

Python 演示

python62 行
import numpy as npfrom sklearn.datasets import make_classificationfrom sklearn.ensemble import RandomForestClassifierfrom sklearn.model_selection import train_test_splitfrom sklearn.linear_model import LogisticRegression  def temperature_soften(conf, T=1.0):    logits = np.log(np.clip(conf, 1e-12, 1.0))    scaled = logits / T    scaled = scaled - np.max(scaled, axis=1, keepdims=True)    exp = np.exp(scaled)    return exp / np.sum(exp, axis=1, keepdims=True)  def attack_rate(mem_conf, non_conf, threshold=0.8):    pred_mem = mem_conf >= threshold    pred_non = non_conf < threshold    return (pred_mem.sum() + pred_non.sum()) / (len(mem_conf) + len(non_conf))  X, y = make_classification(    n_samples=600, n_features=60, n_informative=40,    n_redundant=10, random_state=42)X_train, X_test, y_train, y_test = train_test_split(    X, y, test_size=0.5, random_state=42) rf = RandomForestClassifier(n_estimators=80, random_state=42)rf.fit(X_train, y_train)mem_conf = np.max(rf.predict_proba(X_train), axis=1)non_conf = np.max(rf.predict_proba(X_test), axis=1)print('随机森林原始 MIA 攻击成功率: {:.2%}'.format(    attack_rate(mem_conf, non_conf))) soft_mem = np.max(    temperature_soften(rf.predict_proba(X_train), T=3), axis=1)soft_non = np.max(    temperature_soften(rf.predict_proba(X_test), T=3), axis=1)print('置信度遮蔽(T=3)后 MIA 成功率: {:.2%}'.format(    attack_rate(soft_mem, soft_non))) lr = LogisticRegression(C=1e6, max_iter=2000, random_state=42)lr.fit(X_train, y_train)mem_conf = np.max(lr.predict_proba(X_train), axis=1)non_conf = np.max(lr.predict_proba(X_test), axis=1)print('过拟合逻辑回归 MIA 攻击成功率: {:.2%}'.format(    attack_rate(mem_conf, non_conf))) lr_r = LogisticRegression(C=0.1, max_iter=2000, random_state=42)lr_r.fit(X_train, y_train)mem_conf = np.max(lr_r.predict_proba(X_train), axis=1)non_conf = np.max(lr_r.predict_proba(X_test), axis=1)print('正则化逻辑回归 MIA 攻击成功率: {:.2%}'.format(    attack_rate(mem_conf, non_conf)))
目的:用合成数据模拟成员与非成员样本,分别展示置信度阈值攻击在原始模型、置信度遮蔽和正则化防御下的攻击成功率变化。
  1. make_classification(...)生成60维特征的人工数据集,模拟真实训练集与测试集。
  2. rf.fit(X_train, y_train)训练不设剪枝的随机森林,刻意放大过拟合效应。
  3. mem_conf = np.max(rf.predict_proba(X_train), axis=1)取训练样本的最大预测概率,作为成员置信度特征。
  4. temperature_soften(..., T=3)把对数概率除以3再归一化,软化置信度输出。
  5. attack_rate(mem_conf, non_conf)用0.8作为阈值,统计成员和非成员被正确分类的比例。
  6. LogisticRegression(C=1e6)极大C值几乎不做正则化,模拟高风险过拟合模型。
  7. LogisticRegression(C=0.1)较小C值带来更强正则化,展示防御效果。

常见误区

误区如果攻击成功率很高,那模型肯定把训练数据完整记住,甚至能把原始数据原样吐出来。

正解MIA利用的是成员与非成员之间的统计差异,比如置信度偏高,而不是逐字记忆。就像大厨对老顾客更热情,不代表他能背出顾客身份证号。攻击成功率高说明存在可利用的过拟合信号,但不等于模型能复原原始数据。

为何常见:人们容易把“记住模式”和“记住原始数据”混为一谈,看到攻击效果好就联想到全量记忆。

误区我的模型在测试集上表现很好,泛化能力强,应该不会泄露训练成员信息。

正解准确率衡量的是模型对新数据的预测能力,MIA衡量的是成员与非成员的输出差异。一个准确率很高的模型,如果对训练集比对测试集更自信,依然会被攻击。就像餐厅菜品很好,不代表它对老顾客的偏爱不存在。

为何常见:大家习惯用准确率判断模型好坏,容易忽略输出分布中的细微差异。

误区攻击者看不到模型参数,肯定没法发起有效攻击,黑盒场景不用太担心。

正解黑盒攻击只需要模型API返回的置信度甚至标签,很多真实系统都暴露这类接口。置信度向量攻击在统计意义上很有效,标签Only攻击在特定场景也有成功率。现实中,黑盒攻击恰恰是最常见的威胁形态。

为何常见:直觉上觉得“看不见内部就攻击不了”,忽略了模型输出本身就包含信息。

误区只要训练时加了差分隐私噪声,MIA就永远失效,可以放心大胆发布模型。

正解差分隐私确实提供可量化的隐私边界,但实际效果取决于ε的设置。ε太大保护有限,ε太小模型效用急剧下降。它通常需要和正则化、置信度遮蔽组合,才能平衡隐私和可用性。

为何常见:把一项技术标签化为“绝对安全”,是安全领域常见的简化想象。

误区成员推断攻击只在论文里出现,真实产品没人会这样攻击我。

正解MIA已经成为隐私审计的标准工具,在模型发布、联邦学习、GDPR合规中都有实践。医疗、金融等敏感领域已将MIA纳入安全评测流程,ASR是隐私风险度量的重要指标。

为何常见:普通开发者很少接触安全测试流程,容易低估隐私攻击的工程化和产业化程度。

面试题

Q1. MIA攻击者主要利用模型的哪种现象?

单选题 · easy

  • A.模型参数数量太多
  • B.训练成员置信度偏高← 正确答案
  • C.模型训练轮数过多
  • D.数据增强比例过大

答案:B。MIA的核心是利用过拟合导致的成员置信度差异。训练样本通常获得比非成员更高的置信度,攻击者据此判断归属。参数多、轮数多不一定直接导致泄露,数据增强比例也不是攻击依据。

Q2. 攻击成功率ASR接近0.5通常说明什么?

单选题 · easy

  • A.攻击完全成功
  • B.模型隐私保护较好← 正确答案
  • C.模型正在过拟合
  • D.模型无法正常推理

答案:B。ASR=0.5意味着攻击像抛硬币一样无法区分成员和非成员,说明模型输出中没有明显的成员信号,隐私保护效果较好。ASR接近1才代表攻击完全成功。

Q3. 白盒攻击区别于黑盒攻击的关键是什么?

单选题 · easy

  • A.白盒需要更高算力
  • B.白盒能接触模型参数← 正确答案
  • C.白盒只能获取标签
  • D.白盒必须连接网络

答案:B。白盒攻击可获取模型参数、梯度等内部信息,黑盒攻击只能通过API拿到输出。算力、网络都不是本质区别,白盒也无需只获取标签。

Q4. 置信度遮蔽最直接的效果是什么?

单选题 · mid

  • A.提升模型预测精度
  • B.平滑模型输出置信度← 正确答案
  • C.减少模型参数量
  • D.加快模型推理速度

答案:B。置信度遮蔽通过温度加热、截断概率等操作,让输出分布更平滑,掩盖成员与非成员之间的置信度差异。它不提升精度,也不改变参数量和速度。

Q5. 下列哪种防御能提供可量化的隐私边界?

单选题 · mid

  • A.随机失活正则化
  • B.置信度输出遮蔽
  • C.差分隐私机制← 正确答案
  • D.知识蒸馏压缩

答案:C。差分隐私通过严格数学定义给出ε隐私边界,控制相邻数据集输出分布的差异。正则化、置信度遮蔽和蒸馏可以缓解风险,但不能提供理论上可量化的边界。

Q6. 训练影子模型时攻击者通常需要哪些信息?(多选)

多选题 · mid

  • A.成员样本数据← 正确答案
  • B.非成员样本数据← 正确答案
  • C.影子模型输出← 正确答案
  • D.目标模型权重

答案:ABC。影子模型用成员/非成员样本生成预测,再训练攻击模型。目标模型权重属于白盒信息,影子模型本身不直接依赖它,影子模型与目标模型结构相似即可。

Q7. 黑盒攻击可以依赖目标模型的哪些输出?(多选)

多选题 · mid

  • A.预测置信度← 正确答案
  • B.预测标签← 正确答案
  • C.模型梯度
  • D.模型网络参数

答案:AB。黑盒场景下攻击者只能调用模型接口,拿到预测置信度或标签。梯度和网络参数属于白盒内部信息,黑盒攻击无法获取。

Q8. 联邦学习中恶意服务器发起MIA的主要途径是什么?

单选题 · hard

  • A.篡改本地训练样本
  • B.利用梯度反推成员← 正确答案
  • C.增加通信压缩率
  • D.更换模型聚合函数

答案:B。在联邦学习中,服务器收集客户端的梯度或模型更新,梯度中残留着客户端本地数据的信号,恶意服务器可据此判断某个样本是否是训练成员。其他选项与成员推断无关。

Q9. 关于差分隐私参数ε,下列说法正确的是?

单选题 · extreme

  • A.ε为0时效用最高
  • B.ε越小隐私保护越强← 正确答案
  • C.ε越大隐私保护越强
  • D.ε只影响训练速度

答案:B。ε是隐私预算,越小说明相邻数据集的输出分布越接近,隐私保护越强,但噪声更大、模型效用更低。ε为0需要无限噪声,效用反而最差;ε与训练速度无直接关系。

Q10. 以下哪些防御策略能降低成员推断风险?(多选)

多选题 · hard

  • A.权重衰减正则化← 正确答案
  • B.置信度温度遮蔽← 正确答案
  • C.差分隐私梯度裁剪← 正确答案
  • D.增大模型隐藏层数

答案:ABC。权重衰减抑制过拟合,温度遮蔽模糊置信度差异,差分隐私通过噪声和裁剪提供强隐私保证。增大隐藏层数通常会加深过拟合,反而可能提高MIA风险。