市立医院想把一批罕见病病例数据交给科研机构，但直接给等于让病人隐私“裸奔”。院长找到了城市角落的“数据替身工坊”——这里的工匠专门制造“假病人”：统计上和真人群体一个模子，细看却谁都不是真人。工坊里有两位大师，风格截然不同：老Ｇ的作坊里，伪造师和验钞员天天上演猫鼠大战，互相逼着对方升级；老扩的工作室里，雕刻师从一团混沌噪声中一点点凿出人像，慢工出细活。两位工匠服务同一个目标：用合成数据顶替真实数据，既保住隐私，又不耽误科研。但他们的手艺、脾气、收费天差地别——谁的作品更像真人？谁更容易把原主的“胎记”泄露出去？谁更烧钱？什么样的活儿该找谁？这篇文章带你走进替身工坊，把 GAN 与扩散模型这对“隐私合成双子星”从头到尾看明白。

岗位关联

对数据脱敏与隐私计算工程师而言，掌握 GAN 与扩散模型的对比选型，就是拿到了“合规与效用”之间最关键的尺子——它直接决定你能交付什么样的安全数据产品。

目录
  1. 可视化演示
  2. 生成模型概览
  3. GAN核心机制
  4. 扩散模型机制
  5. 质量评估维度
  6. 隐私风险分析
  7. 差分隐私融合
  8. 训练成本对比
  9. 场景选型指南
  10. AI 应用场景
  11. Python 演示
  12. 常见误区
  13. 面试题

可视化演示

交互式对比GAN对抗训练机制与扩散模型去噪过程，展示生成器判别器博弈、前向加噪反向去噪流程，及质量隐私成本三维评估。

本节配有交互动效（进入视口后自动加载，约 3KB）。

GAN生成对抗网络合成机制 生成器G从噪声z生成假样本，判别器D区分真假 min_G max_D E[logD(x)]+E[log(1-D(G(z)))] 对抗博弈使G逐渐逼近真实分布。

生成模型概览

工坊接的第一单，是替医院制造“假病人”。所谓假病人，不是凭空捏造，而是要让替身群体的统计特征——年龄、病程、用药规律的联合分布——和真人群体近乎一致，但任何单个替身都对应不到任何真人。这就是合成数据的目标：学真实分布，产近似分布。工坊里的两位大师，老Ｇ和老扩，手艺路线完全不同，但目标函数写在墙上，只有一行。

两位工匠都在做同一件数学上的事：找到一个生成分布 $P_g(x)$，让它尽量贴近真实数据分布 $P_{\mathrm{data}}(x)$。真实分布是“真人群体的统计画像”，生成分布是“替身群体的统计画像”。画像越接近，下游科研模型用替身数据训练的效果就越接近用真人数据训练。这也是隐私合成的立身之本——数据不出域，价值能出域。

工坊的验收标准因此朴素而严格：替身团的“平均脸”必须像真人团，但单张脸不能指向任何真人。至于两位大师各自怎么实现这个目标，下文逐一揭秘。

min⁡Pg  DKL(Pdata(x)∥Pg(x))\displaystyle \min_{P_g}\; D_{\mathrm{KL}}\left(P_{\mathrm{data}}(x) \parallel P_g(x)\right)
这个公式是一把“分布距离尺”：KL 散度衡量两个分布差多远，越小说明替身群体越像真人群体。
  1. 真实分布 $P_{\mathrm{data}}(x)$真实数据的统计规律，比如全体病患的年龄、病程、用药记录联合起来的样子。
    Pdata(x)\displaystyle P_{\mathrm{data}}(x)
  2. 生成分布 $P_g(x)$生成模型产出的替身群体的统计规律。
    Pg(x)\displaystyle P_g(x)
  3. KL 散度 $D_{\mathrm{KL}}(\cdot \parallel \cdot)$统计学家发明的“距离尺”，量两个分布差多远，值非负。
    DKL(Pdata(x)∥Pg(x))\displaystyle D_{\mathrm{KL}}\left(P_{\mathrm{data}}(x) \parallel P_g(x)\right)
  4. 外层 min让生成分布向真实分布靠拢，距离越小越好。
    min⁡Pg  DKL(Pdata∥Pg)\displaystyle \min_{P_g}\; D_{\mathrm{KL}}(P_{\mathrm{data}} \parallel P_g)

GAN核心机制

老Ｇ的作坊里只有两个人：伪造师小Ｇ负责造假币，验钞员小Ｄ负责验钞。一开始小Ｇ印的假币粗劣不堪，小Ｄ一眼识破；小Ｇ不服气，回家苦练（更新网络参数），印出更逼真的假币；小Ｄ也升级验钞技巧。两人互相逼着对方进步，谁也不敢松懈。这就是生成对抗网络（GAN）的日常——一场没有终点的猫鼠游戏。

GAN 由生成器 G（伪造师）和判别器 D（验钞员）组成。G 把随机噪声 z 变成假样本 G(z)；D 拿到样本判断“真/假”。两者对抗训练，最终达到纳什均衡：D 再也分不清真假，G 产出的分布就逼近了真实分布。这个博弈被写成一个 min-max 目标函数，像是工坊墙上挂的“对赌协议”。

猫鼠游戏热闹，但隐患不小。小Ｇ偶尔会“走火入魔”——当小Ｄ只盯着某几种假币特征挑刺时，小Ｇ图省事，只画同一种面孔交差，这就是模式崩溃。替身群体失去多样性，某些少数群体病人会完全缺席，这在隐私合成中是致命伤。

min⁡Gmax⁡DV(D,G)=Ex∼Pdata(x)[log⁡D(x)]+Ez∼Pz(z)[log⁡(1−D(G(z)))]\displaystyle \min_G \max_D V(D,G) = \mathbb{E}_{x\sim P_{\mathrm{data}}(x)}\left[\log D(x)\right] + \mathbb{E}_{z\sim P_z(z)}\left[\log\left(1 - D(G(z))\right)\right]
一句话：判别器想让真币判真、假币判假（最大化），生成器想让假币也被判真（最小化），两人拉锯到最后，假币以假乱真。
  1. max_D 的目标判别器要把真样本判真、假样本判假，因此最大化整个价值函数。
    max⁡D  Ex∼Pdatalog⁡D(x)+Ez∼Pzlog⁡(1−D(G(z)))\displaystyle \max_D\; \mathbb{E}_{x\sim P_{\mathrm{data}}}\log D(x) + \mathbb{E}_{z\sim P_z}\log(1 - D(G(z)))
  2. 对真实样本打分真样本输入时 D(x) 应接近 1，log D(x) 接近 0（最大）。
    D(x)→1  ⇒  log⁡D(x)→0\displaystyle D(x) \to 1 \;\Rightarrow\; \log D(x) \to 0
  3. 对伪造样本打分假样本输入时 D(G(z)) 应接近 0，log(1 − D(G(z))) 接近 0。
    D(G(z))→0  ⇒  log⁡(1−D(G(z)))→0\displaystyle D(G(z)) \to 0 \;\Rightarrow\; \log(1 - D(G(z))) \to 0
  4. min_G 的反向目标生成器盼着判别器犯错，D(G(z)) 越接近 1，这一项越小。
    min⁡G  Ez∼Pzlog⁡(1−D(G(z)))\displaystyle \min_G\; \mathbb{E}_{z\sim P_z}\log(1 - D(G(z)))

扩散模型机制

老扩的作坊更像雕塑工作室。他不与人对抗，而是把一块“花岗岩”（一团纯噪声）交给徒弟，工作分两阶段。第一阶段叫“毁掉”：把一尊真实雕像（一张真实图像）一步步凿成碎石——每步混入一点高斯噪声，上千步后彻底变成一堆无法辨认的石粉。第二阶段叫“重建”：训练一个神经网络，学会在每个步骤“逆操作”，从石粉一步步拼回雕像。这个先毁后建的过程，就是扩散模型（Diffusion Model）。

前向过程（加噪）用数学描述：第 t 步的图像是在第 t−1 步图像的基础上混入噪声，混入量由 β_t 控制。这相当于雕刻师在石块上每锤子凿掉一点“确定性”，凿得越多，越接近一堆石粉。

反向过程（去噪）则是学一个“复原手艺”：神经网络 $p_\theta$ 根据当前状态 $x_t$ 和时间步 t，预测上一步应该长什么样。T 步迭代，从纯噪声一步步还原出清晰画像。

老扩的工艺没有对手戏，但每尊雕像都要反复打磨几百上千步，慢工出细活——这正是扩散模型生成稳定、极少模式崩溃的原因，也是它训练更贵、生成更慢的代价。

q(xt∣xt−1)=N(xt; 1−βt xt−1, βtI)\displaystyle q(x_t \mid x_{t-1}) = \mathcal{N}\left(x_t;\ \sqrt{1-\beta_t}\,x_{t-1},\ \beta_t \mathbf{I}\right)
网络预测每一步的“平均还原方向” μ_θ，再叠一点随机性保证多样，反复 T 次完成生成。
  1. 网络参数 $\theta$去噪神经网络的权重，训练目标就是让预测的还原方向尽量准。
    pθ\displaystyle p_\theta
  2. 预测均值 $\mu_\theta(x_t, t)$网络给出的“这一步该往哪个方向走”，是去噪的地图。
    μθ(xt,t)\displaystyle \mu_\theta(x_t, t)
  3. 时间步 $t$把“碎到第几步了”告诉网络，因为晚期碎石和早期碎石需要的复原动作不同。
    t\displaystyle t
  4. 随机方差 $\Sigma_\theta(x_t, t)$每步允许一定随机抖动，保证成品不千篇一律。
    Σθ(xt,t)\displaystyle \Sigma_\theta(x_t, t)

质量评估维度

替身做出来了，工坊怎么验收？老院长每次都问三句话：像不像真人群体？全不全、有没有漏掉某类病人？顶不顶用、拿替身数据训练出的模型靠不靠谱？这三问对应生成质量评估的三个维度：保真度、多样性、下游效用。

保真度最常用的尺子是 FID（Fréchet Inception Distance）。它先让一个预训练图像网络把图像压缩成特征向量，再把真实图像和生成图像的两堆特征当成两个“高斯团”，量它们之间的距离。这个指标对图像、对其他高维连续数据都适用，数值越小越好。

多样性则看生成样本是否覆盖真实分布的所有模式——老Ｇ的替身往往“像”但单一，老扩的替身在保真、多样、效用三个维度上更均衡。实际工程里，还会把合成数据丢进下游分类模型，和真实数据训练的效果做对比，这才是客户最关心的“顶不顶用”。

FID=∥μr−μg∥2+Tr(Σr+Σg−2(ΣrΣg)1/2)\displaystyle \mathrm{FID} = \left\lVert \mu_r - \mu_g \right\rVert^2 + \mathrm{Tr}\left(\Sigma_r + \Sigma_g - 2\left(\Sigma_r \Sigma_g\right)^{1/2}\right)
FID 把两堆“替身特征”当两个团，算团的中心差多远、团的形状差多少，越小说明越像。
  1. 均值差 $\lVert \mu_r - \mu_g \rVert^2$真实特征团的中心和生成特征团的中心差多远，即“平均脸”的差距。
    ∥μr−μg∥2\displaystyle \left\lVert \mu_r - \mu_g \right\rVert^2
  2. 协方差 $\Sigma_r, \Sigma_g$两团特征的散布范围，刻画多样性——团太扁说明替身太单一。
    Σr+Σg\displaystyle \Sigma_r + \Sigma_g
  3. 交叉项 $\left(\Sigma_r \Sigma_g\right)^{1/2}$两个团形状的“重叠程度”，本质是统计距离的修正项。
    (ΣrΣg)1/2\displaystyle \left(\Sigma_r \Sigma_g\right)^{1/2}
  4. 矩阵迹 Tr把所有特征方向上的差异加起来，变成一个可比较的标量。
    Tr(⋅)\displaystyle \mathrm{Tr}(\cdot)

隐私风险分析

替身再像，也不能让人顺着替身找到真人。可如果替身“记住了”某个真人的独特胎记，攻击者就可能反推出原主身份。生成模型的隐私风险源于一个残酷事实：模型会记忆训练数据，尤其是那些罕见的、偏离群体的样本。

三大隐私攻击是工坊安全审计的重点。成员推断攻击最经典：攻击者拿到一条记录，猜“这人在不在训练集里”——相当于侦探拿着病历问医生“这位病人是不是被做成过替身”。模型逆向攻击则是从生成结果反推训练样本的轮廓。最危险的是直接记忆泄露：模型输出与某条真实记录几乎一模一样的复制品，替身直接变回本人。

老Ｇ的猫鼠游戏里，小Ｇ容易被逼急了“背答案”——直接复制几张原图应付小Ｄ，这是最快的作弊；老扩的千步雕刻虽然很少整图复刻，但去噪网络同样可能把某条边缘样本“雕”得过于还原。所以无论选哪位工匠，发布前都必须做成员推断攻击检测。

AdvMI=∣Pr⁡[A(x)=1∣x∈S]−Pr⁡[A(x)=1∣x∉S]∣\displaystyle \mathrm{Adv}_{\mathrm{MI}} = \left| \Pr[\mathcal{A}(x)=1 \mid x \in S] - \Pr[\mathcal{A}(x)=1 \mid x \notin S] \right|
攻击者猜得越准，说明模型泄漏越深。这个“猜中优势”是衡量隐私风险的硬指标。
  1. 攻击判断器 $\mathcal{A}(x)$攻击者的猜测函数，输出 1 表示“此人在训练集里”。
    A(x)=1\displaystyle \mathcal{A}(x) = 1
  2. 命中条件 $x \in S$样本确实在训练数据集中，即真人确实被做成过替身。
    x∈S\displaystyle x \in S
  3. 未命中条件 $x \notin S$样本不在训练集里，作为对照基线。
    x∉S\displaystyle x \notin S
  4. 优势 $\mathrm{Adv}_{\mathrm{MI}}$两个概率的差，差值越大，模型对个体的“记忆”越深，风险越高。
    ∣Pr⁡[A(x)=1∣x∈S]−Pr⁡[A(x)=1∣x∉S]∣\displaystyle \left| \Pr[\mathcal{A}(x)=1 \mid x \in S] - \Pr[\mathcal{A}(x)=1 \mid x \notin S] \right|

差分隐私融合

院长问：有没有办法让替身彻底“脸盲”，连训练它的工匠都记不住原主？答案是在训练过程中给每个真人的数据撒一层“胡椒面”——噪声——把个体印记彻底搅浑。这个形式化的隐私保证就是差分隐私（Differential Privacy，DP）：在训练集中增删任意一条记录，模型输出分布的变化不超过 $e^\epsilon$ 倍。ε 是隐私预算，代表允许泄露的“信息量额度”。

把 DP 融入生成模型有两条主流路线。DP-GAN 在判别器的梯度上做“裁剪 + 加噪”（DP-SGD）：先把每条样本的梯度长度限制在 C 以内，防止个别怪样本留下过深印记，再叠加高斯噪声，让任何单条记录的影响都淹没在噪声里。扩散模型同样可以在训练目标或采样过程中注入噪声，得到 DP 版本的扩散生成器。

老Ｇ和老扩都能接“模糊滤镜”的生意，但滤镜一开，替身的面容都会模糊一些——ε 越小隐私越安全、数据效用越低。隐私与质量的天平，永远是隐私计算工程里最难握的一杆秤。

g~=1L∑i∈Bclip(gi,C)+N(0, σ2C2I)\displaystyle \tilde{g} = \frac{1}{L}\sum_{i \in \mathcal{B}} \mathrm{clip}(g_i, C) + \mathcal{N}\left(0,\ \sigma^2 C^2 \mathbf{I}\right)
先掐住每份样本的“贡献上限”，再撒一把噪声，最后用扰动后的梯度更新模型——个体贡献从此无迹可寻。
  1. 样本梯度 $g_i$第 i 条样本对模型参数的影响方向，反映模型从这条数据学到了什么。
    gi\displaystyle g_i
  2. 梯度裁剪 $\mathrm{clip}(g_i, C)$把梯度长度压到 C，相当于对每条病历说“你的印记最多只能深到这儿”。
    clip(gi,C)\displaystyle \mathrm{clip}(g_i, C)
  3. 高斯噪声 $\mathcal{N}(0, \sigma^2 C^2 \mathbf{I})$加噪掩盖个体贡献，噪声越大隐私越好、模型越“糊”。
    N(0, σ2C2I)\displaystyle \mathcal{N}\left(0,\ \sigma^2 C^2 \mathbf{I}\right)
  4. 批量平均 $\frac{1}{L}\sum_{i \in \mathcal{B}}$批次越大，单条记录的权重越小，噪声相对越温和。
    1L∑i∈B\displaystyle \frac{1}{L}\sum_{i \in \mathcal{B}}

训练成本对比

工坊接单前要报价。老Ｇ的猫鼠游戏，两人对打几十回合就能出活，但对局忽好忽坏，经常需要“调教师”（调参工程师）日夜盯着；老扩的雕塑，要重复“粉碎—重建”上千次，耗工耗料，但成品率稳定。报价单上的差异，本质是训练成本与推理成本的差异。

训练成本看四点：参数量、收敛步数、调参难度、采样步数。GAN 生成一次只需一次前向传播，但训练不稳定，模式崩溃时反复重训；扩散模型训练时每一步都要预测噪声，生成时还要从纯噪声迭代 T 步去噪（常用 T=1000），每一步都是一次网络前向，总成本约是 GAN 的 T 倍。不过扩散的并行性好、训练稳定，数据效率在中小数据集上更优。

好在工程上有一批“压缩工艺”：DDIM 跳步采样能把 T 从 1000 压到 50，知识蒸馏训练一个步数更少的学生模型，LCM 一致性模型甚至几步出图。预算有限的客户选老Ｇ但得多备调教师，追求品质的客户选老扩但要准备好 GPU 账单。

Costdiff≈T×CostGAN\displaystyle \mathrm{Cost}_{\mathrm{diff}} \approx T \times \mathrm{Cost}_{\mathrm{GAN}}
扩散模型生成一张图要走完 T 步去噪，GAN 一步到位，成本差距通常在数百到上千倍。
  1. 单次生成成本 $\mathrm{Cost}_{\mathrm{GAN}}$GAN 从噪声到样本只需一次前向，类似伪造师“印一张假币”的工本。
    CostGAN\displaystyle \mathrm{Cost}_{\mathrm{GAN}}
  2. 总步数 $T$扩散模型去噪的迭代步数，常用 1000，是成本差距的倍数来源。
    T\displaystyle T
  3. 近似关系 $\approx$量级上的对比，具体倍数取决于网络结构、分辨率等实现细节。
    Costdiff≈T×CostGAN\displaystyle \mathrm{Cost}_{\mathrm{diff}} \approx T \times \mathrm{Cost}_{\mathrm{GAN}}

场景选型指南

工坊价目表的最后一页，是给客户的选型四问：我的数据是什么形态？我的隐私要求多高？我能等多久、烧多少钱？没有最好的工匠，只有最合适的。两位大师各有所长，选错人不是浪费钱，就是把隐私安全搭进去。

第一问看模态：图像、高维连续数据选扩散，生成质量碾压；表格、结构化小数据选 GAN——CTGAN 等成熟方案在电子病历、交易流水上又快又稳。第二问看质量敏感度：下游任务对多样性敏感（如少数群体样本不能丢）选扩散。第三问看隐私等级：需要可证明的 ε-DP 保证时，两者都可融合 DP，但扩散在小批量下加噪更可控。第四问看资源：算力或延迟受限时选 GAN，或选用蒸馏压缩后的扩散模型。综合打分可用一个加权公式。

工坊墙上挂着一句话：替身做得再像，若保不住原主的秘密、养不起工匠的工时，就是失败的单子。院长的选择从来不是“谁更强”，而是“谁更合适”——这与隐私计算工程化的精神完全一致：在合规约束下做出效用最优的决策。

Scorek=w1×Qualityk−w2×PrivacyRiskk−w3×Costk\displaystyle \mathrm{Score}_k = w_1 \times \mathrm{Quality}_k - w_2 \times \mathrm{PrivacyRisk}_k - w_3 \times \mathrm{Cost}_k
把质量、隐私风险、成本三个维度按项目权重打分，总分最高者胜出——选型不是选“最强”，是选“最合适”。
  1. 质量分 $\mathrm{Quality}_k$选项 k 的保真、多样、效用综合得分（0~1）。
    Qualityk\displaystyle \mathrm{Quality}_k
  2. 隐私风险分 $\mathrm{PrivacyRisk}_k$成员推断优势、记忆泄露风险的归一化得分，越高越危险。
    PrivacyRiskk\displaystyle \mathrm{PrivacyRisk}_k
  3. 成本分 $\mathrm{Cost}_k$训练与推理成本的归一化得分。
    Costk\displaystyle \mathrm{Cost}_k
  4. 权重 $w_1, w_2, w_3$项目权重，比如医疗数据隐私权重大（$w_2$ 高），比赛演示成本权重大（$w_3$ 高）。
    w1,w2,w3\displaystyle w_1, w_2, w_3

AI 应用场景

医疗数据脱敏与科研数据集发布

阶段：数据治理 / 数据脱敏

解决的问题：医院积累了上万条病人数据，受病历隐私法规约束不能直接给科研机构。传统匿名化（删姓名、打码）在高维数据上效用骤降，模型训练效果差。用 DP-GAN 训练一个“数据替身生成器”，发布合成电子病历，既保留群体统计规律，又无法反推个人身份。

具体案例：某三甲医院为罕见病研究，用 CTGAN 叠加差分隐私合成 1 万条假病历，ε=3 时下游分类模型 AUC 下降不足 5%，而传统匿名化 AUC 下降超过 15%。公开发布前，团队用成员推断攻击检测，确认攻击优势低于 0.05。

金融风控模型训练替代数据

阶段：模型训练数据供给

解决的问题：银行风控团队想跨机构联合建模，但客户数据受“数据不出域”约束。传统做法是联邦学习，但多方协调成本高。改用扩散模型在本地合成含欺诈标签的交易特征数据，将“假交易流水”交给第三方建模，原始数据零外泄。

具体案例：某消费金融公司用扩散模型合成 10 万条假交易流水（含 2% 欺诈标签），在欺诈检测模型上召回率与真实数据训练的模型差距 ≤2%，同时通过差分隐私审计，样本级隐私泄露风险可忽略。

人脸识别评测合规基准

阶段：算法评测

解决的问题：人脸识别算法评测需要海量人脸图，但真实人脸采集涉及肖像权与数据合规。用扩散模型生成“不存在的人”作为评测集，再配合成员推断攻击验证无身份泄露，解决了评测数据合规的长期痛点。

具体案例：某安防公司用 Stable Diffusion 微调生成 2 万张合成人脸，用于口罩遮挡下人脸识别模型的鲁棒性测试；发布前用模型逆向攻击扫描，确认无法从生成图还原任何训练人脸。

Python 演示

python66 行
"""扩散模型最小示例：在2D表格数据上学分布，训练后生成新样本并算FID"""import numpy as np def real_data(n=2048, seed=0):    rng = np.random.default_rng(seed)    centers = np.array([[-3, 0], [2, 2], [0, -3]])    idx = rng.integers(0, 3, n)    return centers[idx] + rng.normal(0, 0.6, (n, 2)) def make_net(rng, d_in, d_h):    w1 = rng.normal(0, 0.15, (d_in, d_h)); b1 = np.zeros(d_h)    w2 = rng.normal(0, 0.15, (d_h, 2)); b2 = np.zeros(2)    return [w1, b1, w2, b2] def forward(net, x):    w1, b1, w2, b2 = net    h = np.tanh(x @ w1 + b1)    return h @ w2 + b2 T = 50beta = np.linspace(0.02, 0.2, T)alpha = np.cumprod(1 - beta) def train(real, steps=1500, batch=64):    rng = np.random.default_rng(1)    net = make_net(rng, 3, 32)    for _ in range(steps):        x0 = real[rng.integers(0, len(real), batch)]        t = rng.integers(0, T, batch)        noise = rng.normal(0, 1, x0.shape)        xt = alpha[t][:, None] ** 0.5 * x0 + (1 - alpha[t])[:, None] ** 0.5 * noise        inp = np.hstack([xt, (t / T)[:, None]])        pred = forward(net, inp)        grad = 2 * (pred - noise) / batch        w1, b1, w2, b2 = net        h = np.tanh(inp @ w1 + b1)        net = [w1 - 0.02 * inp.T @ (grad @ w2.T * (1 - h ** 2)),               b1 - 0.02 * (grad @ w2.T * (1 - h ** 2)).sum(0),               w2 - 0.02 * h.T @ grad,               b2 - 0.02 * grad.sum(0)]    return net def sample(net, n=500, seed=7):    rng = np.random.default_rng(seed)    x = rng.normal(0, 1, (n, 2))    for t in range(T - 1, -1, -1):        pred = forward(net, np.hstack([x, np.full((n, 1), t / T)]))        x = x - (beta[t] / (1 - alpha[t]) ** 0.5) * pred        if t > 0:            x = x + rng.normal(0, beta[t] ** 0.5, x.shape)    return x def fid(samples, real):    dr = samples.mean(0) - real.mean(0)    cr = np.cov(real.T); cg = np.cov(samples.T)    return dr @ dr + np.trace(cr + cg - 2 * np.sqrt(cr @ cg)) def main():    real = real_data()    net = train(real)    gen = sample(net)    print("生成样本FID(2D):", round(float(fid(gen, real)), 4))    print("生成中心:", gen.mean(0).round(2), "真实中心:", real.mean(0).round(2)) if __name__ == "__main__":    main()
目的：在 2D 玩具数据上完整跑一遍扩散模型的“前向加噪 + 反向去噪”训练，最后生成新样本并用 FID 评估质量，直观对应正文第 3、4 节的核心公式。
  1. xt = alpha[t][:, None] ** 0.5 * x0 + (1 - alpha[t])[:, None] ** 0.5 * noise这是前向加噪公式 $q(x_t \mid x_0)$ 的向量化实现，给真实样本逐步混入噪声。
  2. pred = forward(net, inp)去噪网络预测当前样本里混入的噪声，输入除了坐标还拼了时间步 t/T。
  3. grad = 2 * (pred - noise) / batch最小化预测噪声与真实噪声的 MSE，等价于让网络学会“找出这步被撒了多少胡椒面”。
  4. net = [w1 - 0.02 * inp.T @ (grad @ w2.T * (1 - h ** 2)), ...]手工求梯度并做一步梯度下降，更新网络的四组参数。
  5. x = x - (beta[t] / (1 - alpha[t]) ** 0.5) * pred反向去噪一步：减去预测的噪声，相当于把石粉往雕像方向“拼回一步”。
  6. print("生成样本FID(2D):", ...)用简化 2D FID 评估生成质量，数值越小，替身团越像真人团。

常见误区

误区看了很多对比实验，扩散模型生成的图像又清晰又多样，GAN 生成的图模糊还容易崩，所以任何场景下扩散模型都更优，直接无脑选扩散就行。

正解扩散在图像、高维连续数据上确实常胜，但表格、离散数据上 GAN 成熟方案（如 CTGAN）更快更稳；质量还取决于数据量、维度、调参水平与正则策略。选型是“场景适配”而非“谁更强”——老扩的雕像得了艺术奖，但医院要一万个 20 字段的假病历，老Ｇ的流水线效率更高。

为何常见：对比论文几乎都聚焦图像生成，读者容易“以图定论”，忽略了隐私合成更多面对的表格数据场景。

误区合成数据里没有真实个体，每个样本都是模型“凭空画的”，所以它不算隐私数据，没有泄露风险，可以公开下载随意使用。

正解生成模型可能记忆训练集中的罕见样本，成员推断攻击能反查某人是否在训练集里，模型输出也可能复刻出与真实记录几乎一致的样本。替身哪怕换了脸，若雕刻师傅记住了它的胎记，仍能指认原主。发布前必须做隐私审计，必要时叠加差分隐私。

为何常见：“数据中不含原记录”被误读为“不泄露原信息”，忽略了模型的记忆能力这个中间环节。

误区隐私最重要，直接把隐私预算 ε 设为 0 或极小值，模型一定绝对安全，效果差点也能接受。

正解ε=0 意味着输出与训练数据完全独立，模型学不到任何统计规律，生成数据毫无效用。ε 是“隐私—效用”天平上的刻度，工程上正确的做法是先满足合规要求（如 ε≤某阈值），再在预算内优化效用。把噪声拧到最大，等于雇了一位把替身脸全涂黑的工匠。

为何常见：把形式化隐私保证误解为“绝对安全”，忽略了 DP 的本质是隐私与效用的可量化权衡。

误区GAN 训练时生成器偶尔只画同一种图片，看起来只是质量差一点、训练多花点时间，属于可以容忍的调参小问题。

正解对于隐私合成，模式崩溃是致命伤——判别器若只奖励少数模式，生成器会把所有替身做成同一种“脸”，导致少数群体样本完全缺失，下游模型对这部分人群彻底失效。必须用 minibatch discrimination、WGAN 等方法缓解，并在验收时用多样性指标把关。

为何常见：只盯着生成样本的“平均质量”看，忽略了多样性缺失对公平性和下游效用的系统性危害。

面试题

Q1. GAN 中生成器（伪造师）与判别器（验钞员）的关系是？

单选题 · easy

  • A.协同合作共同生成样本
  • B.对抗博弈互相促进进步← 正确答案
  • C.判别器监督生成器训练
  • D.两者独立训练互不影响

答案：B。GAN 的核心是 min-max 对抗：生成器骗、判别器抓，互相逼对方变强，最终达到纳什均衡。A、C 描述的是一般监督学习关系，D 则完全违背对抗训练本质。

Q2. 扩散模型的前向过程在做什么事？

单选题 · easy

  • A.从纯噪声逐步还原图像
  • B.对数据逐步叠加高斯噪声← 正确答案
  • C.用判别器判断图像真假
  • D.直接输出一张合成图像

答案：B。前向加噪把真实数据逐步变成纯噪声（雕像碎成粉），A 是反向去噪过程，C、D 是 GAN 的机制。扩散模型的生成发生在反向过程。

Q3. FID 指标数值越小通常说明什么？

单选题 · easy

  • A.生成速度越快越好
  • B.生成分布与真实分布越接近← 正确答案
  • C.模型参数量越少
  • D.训练数据量越大

答案：B。FID 用特征均值与协方差刻画真实和生成两个“特征团”的距离，越小说明替身团的统计画像越像真人团。它不度量速度、参数量或数据量。

Q4. 成员推断攻击的主要目标是？

单选题 · mid

  • A.让生成模型输出错误标签
  • B.判断某条记录是否在训练集中← 正确答案
  • C.窃取模型训练的全部参数
  • D.提高生成样本的多样性

答案：B。成员推断攻击扮演“侦探”，猜某条样本是否被模型“记住”，猜中优势越大说明记忆泄露越深。C 属于模型提取或逆向，A、D 与隐私无关。

Q5. DP-SGD 中“梯度裁剪”的核心作用是？

单选题 · mid

  • A.加快模型收敛速度
  • B.限制单条样本的梯度影响← 正确答案
  • C.增加生成样本的多样性
  • D.降低生成图像的分辨率

答案：B。裁剪把每条样本的梯度长度限制在 C 以内，避免某条“怪样本”留下过深印记，再叠加高斯噪声即可掩盖个体贡献。它不为加速、多样性或分辨率服务。

Q6. 扩散模型生成一张图的采样成本约为 GAN 的多少倍？

单选题 · mid

  • A.1 倍
  • B.T 步，通常数百到上千倍← 正确答案
  • C.永远相等
  • D.大约一半

答案：B。扩散生成要从纯噪声迭代 T 步去噪，每步一次前向；GAN 只需一次前向。T 常用 1000，故相差数百到上千倍，蒸馏和 DDIM 可以压缩步数。

Q7. 关于模式崩溃，下列说法正确的是？

单选题 · hard

  • A.只影响生成速度不影响质量
  • B.生成器只学会部分数据模式← 正确答案
  • C.判别器太弱必然引发模式崩溃
  • D.扩散模型也频繁出现模式崩溃

答案：B。模式崩溃是生成器只画同一种“脸”来应付判别器，导致多样性坍塌。C 相反，判别器太强才导致生成器难以学习；扩散模型目标温和，极少出现模式崩溃。

Q8. 隐私数据合成中，评估生成质量常用的三个维度是？

多选题 · easy

  • A.保真度← 正确答案
  • B.多样性← 正确答案
  • C.下游任务效用← 正确答案
  • D.模型参数量

答案：ABC。三问对应三把尺：像不像（保真 FID）、全不全（多样性/模式覆盖）、顶不顶用（下游模型对比）。参数量属于成本维度，不属于质量评估。

Q9. 关于差分隐私与生成模型的结合，下列说法正确的有？

多选题 · mid

  • A.ε 越小隐私保护越强← 正确答案
  • B.加噪越多数据效用通常越低← 正确答案
  • C.DP 只能用于 GAN 不能用于扩散
  • D.隐私预算需按合规要求设定← 正确答案

答案：ABD。ε 是隐私预算，越小隐私越强、效用越低；DP 同样可作用于扩散模型训练目标与采样过程，C 说法错误；工程上先按法规定 ε，再在预算内优化效用。

Q10. 以下哪些策略可以降低扩散模型的采样成本？

多选题 · hard

  • A.DDIM 跳步采样← 正确答案
  • B.知识蒸馏学生模型← 正确答案
  • C.增加加噪总步数 T
  • D.LCM 一致性模型← 正确答案

答案：ABD。DDIM、蒸馏、LCM 都在压缩采样步数或前向成本。C 增加 T 会放大成本，方向完全相反，故不选。