街角的桂香小馆靠“众筹招牌菜”出了名——上千位常客匿名投递口味卡，大厨老周把它们熬成一道集体风味的菜。隔壁御膳房的老板老王却是个有心人：他反复试吃，只想确认一件事——那位口味卡曾寄丢过一次的熟客小美，到底有没有参与这道菜？老周的压力在于：既要让菜好吃（模型有用），又不能让人尝出任何一位食客的私人口味（数据隐私）。 老周的办法有两件法宝。第一件是一把“可调焦的品尝放大镜”，学名叫 Rényi 散度（Rényi Divergence）：把它拧到不同档位，能测量两位食客参与与否带来的“菜品差异”；第二件是厨房墙上挂的“分档账本”，学名叫矩会计（Moments Accountant）：每次试吃都按档位记一笔泄露账，训练结束时总账一分不差。放大镜负责“量得准”，账本负责“管得住”，合起来就是今天深度学习隐私训练的标准姿势——Rényi 差分隐私（RDP）与 Moments Accountant。下面我们走进这家小馆的后厨，把这两件法宝的数学原理和工程用法一次看懂。

岗位关联

对 AI 从业者而言，RDP 与矩会计是“可证明隐私”的通用语言：它能精确计算 DP-SGD 训练全过程的隐私预算，让你在合规审计、隐私产品设计和模型上线答辩时有据可依。

目录
  1. 可视化演示
  2. 隐私损失直觉
  3. Rényi散度
  4. RDP形式化
  5. 组合定理
  6. 矩会计
  7. εδ转换
  8. DP-SGD落地
  9. 工程实践
  10. AI 应用场景
  11. Python 演示
  12. 常见误区
  13. 面试题

可视化演示

展示Renyi散度曲线随阶数alpha变化、隐私预算组合累积对比（传统DP/RDP/MA）及DP-SGD工程实现中梯度裁剪与噪声添加的隐私追踪机制。

本节配有交互动效（进入视口后自动加载，约 3KB）。

Renyi散度曲线 红线为分布P/Q的高Renyi散度（高敏感度） 蓝线为低散度分布（RDP约束更紧致） Dα(P||Q)=1/(α-1)·ln E_Q[(P/Q)^α] 阶数α越大散度越大RDP提供更紧的隐私上界

隐私损失直觉

老王专程来试菜，他真正想确认的只有一件事：小美——那位口味卡寄丢过一次的熟客——到底有没有参与这道菜？老王尝不出单张口味卡，但他带着两只碗来回对比：一碗来自“小美来过”的后厨，一碗来自“小美没来”的后厨。只要两碗菜存在一丝规律性差异，他就能顺藤摸瓜。

差分隐私（Differential Privacy）把老王的把戏形式化了。它不关心攻击者能否复原数据库，只关心：把训练数据集换成仅差一条记录的“相邻数据集”，最终发布结果（机制的输出）的分布会变化多少。变化越小，老王越难分辨小美在不在。这里的训练算法就是机制 M，含小美的数据集记作 D，缺小美的记作 D'。

对某个具体输出 z（一道具体的菜），隐私损失定义为两种世界下输出概率的对数比值：

这一笔笔“损失”就是老王的信息收获，也是老周欠下的“隐私债”。问题在于：一道菜有无数种可能的味道 z，老王又狡猾，会反复试吃、多方拼凑——老周需要一把能一次性量尽所有差异的尺子。

L(z)=ln⁡Pr⁡[M(D)=z]Pr⁡[M(D′)=z]L(z) = \ln \frac{\Pr[\mathcal{M}(D) = z]}{\Pr[\mathcal{M}(D') = z]}
隐私损失衡量：老王看见输出 z 后，能从中捞到多少“小美在不在”的信息。损失为 0 时他毫无收获，损失越大信息越多。
  1. 含小美的世界$\Pr[\mathcal{M}(D)=z]$——数据集 D 含小美的口味卡时，机制输出 z 的概率。比喻：老王眼中“这盘菜像小美参与过的菜”的笃定程度。
  2. 缺小美的世界$\Pr[\mathcal{M}(D')=z]$——同一道工序，只少一张小美的口味卡。两道菜用一模一样的做法，只是食材清单差一行。
  3. 概率比值$\frac{\Pr[\mathcal{M}(D) = z]}{\Pr[\mathcal{M}(D') = z]}$——两种世界下出现这道菜的倍数差异，是老王“情报倍率”。
  4. 取对数$\ln(\cdot)$——把倍数差异转成可加减的“信息量单位”，为后面逐轮累加账本做准备。

Rényi散度

老周需要给“菜品差异”定级。他买了一把可调焦的品尝放大镜：焦段小（α 接近 1）时，看到的是两种世界平均口味的差异；焦段拧大（α 很大）时，放大镜只盯着差异最极端、最挑剔的那一小撮味道看。这把放大镜，就是 Rényi 散度。

Rényi 散度衡量两个概率分布 P 与 Q 的距离，由数学家 Rényi 于 1961 年提出。设 P(z)、Q(z) 是两个分布的密度函数（比如两道菜在不同味道上的概率），α 阶 Rényi 散度定义为：

这把放大镜有个脾气：它不对称——D_α(P‖Q) 一般不等于 D_α(Q‖P)。所以在 RDP 定义中我们固定方向：永远以“含小美的分布”为分子、“缺小美的分布”为分母。有了它，老周就能挂出承诺：“无论老王把焦段拧到哪一档，两道菜的差异读数都不超过一条线。”

Dα(P∥Q)=1α−1ln⁡Ez∼Q[(P(z)Q(z))α]D_\alpha(P \| Q) = \frac{1}{\alpha - 1} \ln \mathbb{E}_{z \sim Q}\left[ \left( \frac{P(z)}{Q(z)} \right)^\alpha \right]
公式把每个味道点上的概率比先放大 α 次方，再按 Q 的权重求平均，最后取对数并除以 α−1，得到与“信息量”同刻度的差异读数。
  1. 阶数 α放大镜的焦段，α>0 且 α≠1。α 越小越看平均面貌，α 越大越盯极端尾部。
  2. 逐点概率比$\frac{P(z)}{Q(z)}$——在某个味道 z 上，两盘菜出现概率的倍数差异。
  3. 放大 α 次方$\left(\frac{P(z)}{Q(z)}\right)^\alpha$——把差异再“乘方放大”，α 越大，对最悬殊的差异越敏感。
  4. 按 Q 求期望$\mathbb{E}_{z \sim Q}$——以“没有小美的世界” Q 为基准，遍历所有可能的味道加权平均。
  5. 对数与归一$\frac{1}{\alpha - 1}\ln(\cdot)$——把放大的平均值压缩回 ε 同刻度的信息量单位，保证 α 档位之间可比较。

RDP形式化

老周把承诺写成一张“档位-上限”对照表：“本店每一道菜，在 Rényi 放大镜下，任一焦段 α 的差异读数不超过 ε_RDP。”这张表就是 RDP——Rényi 差分隐私。

形式化定义：机制 M 称为满足 (α, ε_RDP)-RDP，若对所有相邻数据集 D 与 D'（仅一条记录不同），都有：

RDP 与经典的纯差分隐私 (ε, 0)-DP 是什么关系？纯 DP 要求最坏情况比值上界，近似等于 α→∞ 时 RDP 的极限读数；而 RDP 把 α 每个档位的读数都记下来，信息更细、更利于组合。实际训练中最常用的是高斯机制：向真实输出注入均值为 0、标准差为 σ 的高斯噪声。当单条记录能引起的最大变化量为敏感度 Δ 时，单步的 RDP 读数为：

RDP 还满足后处理性：无论老王把这道菜再加工多少步（后处理），隐私损失都不会增加。老周把承诺做成了一张可审计的对照表。但一道菜只算一次，训练却要成千上万次试吃——几十万笔账怎么总结？账房先生阿算登场。

Dα(M(D)∥M(D′))≤εRDPD_\alpha(\mathcal{M}(D) \| \mathcal{M}(D')) \leq \varepsilon_{\mathrm{RDP}}
噪声越大 σ 越大，隐私损失越小；敏感度 Δ 越大，损失越大。α 档位越高，读数也越大——高倍放大镜必然看到更多细节。
  1. 敏感度 Δ单张口味卡能让输出最多变化多少，是“食材影响的物理上限”。
  2. 噪声强度 σ随机调味料的标准差，σ 越大，老王越难从两碗菜中分辨差异。
  3. 分子$\alpha \Delta^2$——焦段越高、敏感度越大，泄露读数越大。
  4. 分母$2\sigma^2$——噪声越强，稀释效果越好，读数越小。

组合定理

一个月 30 天、每天试吃 200 道菜，账房需要科学的汇总规则。旧账房（经典组合定理）每记一笔都要“预留风险金”，记多了总账虚高；阿算发现 RDP 账本的妙处：同一档位直接相加，分毫不差。

RDP 的组合定理（Mironov, 2017）：将 T 个机制顺序组合，若第 i 个机制满足 (α, εᵢ)-RDP，则整个组合满足 (α, Σᵢεᵢ)-RDP。写成公式：

对比经典强组合定理（每次查询先换算成 (ε', δ') 再叠加，要额外加上与 √(T·log(1/δ)) 成正比的项），RDP 在整个组合过程中保持“α 档位”结构，只在最后统一换算一次概率界，因此省下了逐笔放缩的损耗。阿算在墙上贴出结论：总账 = 同档位逐笔相加。上千次试吃变成一行加法，预算不再虚胖。

εRDP(T)(α)=∑i=1TεRDP(i)(α)\varepsilon_{\mathrm{RDP}}^{(T)}(\alpha) = \sum_{i=1}^{T} \varepsilon_{\mathrm{RDP}}^{(i)}(\alpha)
训练全程的隐私损失，等于所有训练步骤在同一 α 档位下损失之和——账本逐笔相加，不加任何手续费。
  1. 第 i 步读数$\varepsilon_{\mathrm{RDP}}^{(i)}(\alpha)$——第 i 次试吃（第 i 次梯度更新）的档位损失。
  2. 求和$\sum_{i=1}^{T}$——把同档位的损失一笔笔相加，顺序组合呈线性叠加。
  3. 档位固定所有项都在同一个 α 下——放大镜全程不换焦段，最后才统一换算。
  4. 为何紧致不需要像强组合定理那样每步预留“平方根储备金”，避免预算虚胖。

矩会计

阿算记账的秘诀是“分档”。他不记录“这道菜泄露了多少”这一个数，而是把每次试吃的隐私损失拆成各阶矩，像给每个损失戴上不同倍数的放大镜分别入库。这套方法就是 Moments Accountant——矩会计。

设 L(z) 是第 1 节的隐私损失。损失本身是一个随机变量，矩会计追踪的是 e^{αL} 的期望（矩生成函数），并利用它与 Rényi 散度的等价关系记账：

矩会计的实际记账流程三步：对第 i 步，计算其对数矩上界；把所有步的对数矩累加得到总账；最后借助概率尾界把总账换算成 (ε, δ)。历史上，Abadi 等人 2016 年在提出 DP-SGD 时率先用整数阶 λ 的矩做累计，Mironov 随后把 α 推广到连续值并用 Rényi 散度统一表述——这就是 RDP。老周的墙上从此挂起分档账本，每笔试吃按档位入账。但食客们听不懂档位语言，他们只关心一句人话：“到底会不会泄露？”

(α−1)Dα(P∥Q)=ln⁡Ez∼Q[eαL(z)](\alpha - 1) D_\alpha(P \| Q) = \ln \mathbb{E}_{z \sim Q}\left[ e^{\alpha L(z)} \right]
每个 α 档位的“对数矩”，恰好等于 (α−1) 倍的 Rényi 散度。矩会计与 RDP 由此打通：记矩就是记 RDP 分档账。
  1. 隐私损失变量$L(z)$——第 1 节定义的对数比值，是随机变量，随输出 z 而变。
  2. α 阶矩$e^{\alpha L(z)}$——把损失按 α 档位“放大指数化”，即阿算分档记账的最小单元。
  3. 求期望$\mathbb{E}_{z \sim Q}$——对所有可能输出求平均，得到该档位的矩。
  4. 取对数$\ln(\cdot)$——对数矩可以逐笔相加，避免连乘导致数值溢出。
  5. 与 RDP 等价$(\alpha-1)D_\alpha$——对数矩正是 (α−1) 倍 Rényi 散度，账房与放大镜共用一套单位。

εδ转换

档位账是内部语言，对外承诺要用食客能懂的话：ε 是平均泄露上限，δ 是“偶尔破罐破摔”的小概率。阿算需要在账本与标语之间架一座桥。

这座桥由马尔可夫型尾界推出：若机制满足 (α, ε_RDP)-RDP，则它同时满足 (ε, δ)-DP，其中：

工程上的参数寻优由此而来：在 α 网格（如 2 到 64）上逐档计算上式，取最小的 ε 作为最终承诺——这就是 RDP 比单点方法更紧的原因。桥一搭好，食客看到一句话：“泄露概率不超过 δ 的前提下，信息获益不超过 e^ε。”老周终于可以把承诺贴到门上。

ε=εRDP(α)+ln⁡(1/δ)α−1\varepsilon = \varepsilon_{\mathrm{RDP}}(\alpha) + \frac{\ln(1/\delta)}{\alpha - 1}
把允许失败的概率 δ 折算成信息量，再除以 (α−1)，加到 RDP 档位账上，就得到大众熟悉的 ε。
  1. 破罐概率 δ允许账本偶尔失准的小概率上限，比如 10⁻⁵，意为“万一泄露也只能在极小概率下发生”。
  2. 信息量折算$\ln(1/\delta)$——把“允许失败的可能性”换算成信息量单位。
  3. 除法惩罚$\frac{\ln(1/\delta)}{\alpha - 1}$——档位 α 越高，这次折算的惩罚越小，因为高档位账本本身已经“很严谨”。
  4. 加上档位账$\varepsilon_{\mathrm{RDP}}(\alpha)$——由分档内部账得到最终对外标语 (ε, δ)。

DP-SGD落地

到了真正开灶的时候。DP-SGD 就是把“试吃 + 记账”流水线化：每一轮先尝一口（算梯度），限制手抖幅度（梯度裁剪），撒随机调料（高斯噪声），调火候（更新参数），最后阿算记一笔。

DP-SGD 每步先用 L2 裁剪把每个样本梯度的范数限制到阈值 C——这也就把敏感度钉死在 Δ=C；再注入标准差为 σ 的高斯噪声，然后用带噪梯度更新参数。结合第 3 节的高斯机制公式与第 4 节的组合定理，T 步训练后的总 RDP 预算为：

查询预算时，遍历 α 网格，取最小的 {ε_total(α) + ln(1/δ)/(α−1)} 与目标 ε_target 比较；若超标，就调大 σ、减少轮次或降低学习率。注意这批账只对“同一噪声方差、同一采样方式”有效，换策略就要重新记账。流水线每转一圈，账本自动多一笔；训练结束那刻，阿算打印总账——一张 α–ε 曲线表，任何人都能核验隐私承诺是否兑现。

εtotal(α)=TαC22σ2\varepsilon_{\mathrm{total}}(\alpha) = \frac{T \alpha C^2}{2 \sigma^2}
总预算 = 步数 × 档位 × 敏感度平方 ÷（2 × 噪声方差）。训练轮数越多越费预算，噪声越大越省预算。
  1. 步数 T总试吃次数 = 训练轮数 × 每轮批次数。比喻：试吃越多，老王积累的情报越多。
  2. 裁剪阈值 C也是敏感度上限，限制单张口味卡的影响范围。
  3. 噪声 σ每批注入高斯噪声的标准差，是抵御老王的“随机调味料”。
  4. 一次换界整条流水线只查一次总账、只做一次 εδ 换算——这正是省预算的关键。

工程实践

老周不想自己写账本，于是买了一台“自动账房”。如今开源工具已把 RDP + 矩会计流程封装成几行 API，隐私记账从手工作坊变成了流水线标配。

主流工具有 Opacus（PyTorch）与 TensorFlow Privacy。它们自动执行四件事：梯度裁剪、噪声注入、逐批次的 RDP 记账、训练结束后输出 (ε, δ) 报告。你只需提供 σ、训练步数 T 和 δ，工具就返回一张 α–ε 曲线与最终 ε 值。

工程参数的经验法则：δ 通常取训练集规模 N 的倒数 1/N（含义是“泄露比随机猜中某条记录还难”）；σ 常见于 0.8~2.0；α 网格取 2 到 64 的整数，必要时加密。调参顺序建议：先定 δ，再初设 σ，跑一小段训练看预算曲线，若 ε 超标就加 σ 或减 epoch。验收时复查三点：裁剪是否真正生效、噪声是否真正注入、账本是否覆盖了所有梯度更新（包括 BatchNorm 与优化器状态）。自动账房让“隐私承诺”变成训练流水线上的出厂质检单——这也是今天各大公司敢把 DP-SGD 用于真实产品的原因：账房先生阿算退休了，但他的分档记账法成了行业标准。

AI 应用场景

医疗文本模型的隐私保护训练

阶段：隐私保护训练 / 模型微调

解决的问题：医院病历语料含敏感个人信息，直接微调语言模型会让模型“记住”患者信息，传统去标识化成本高且缺乏形式化保证。RDP 账本能给出可审计的数学承诺：“训练出的模型泄露任一患者信息的概率不超过 δ。”

具体案例：某三甲医院与药企联合训练病历摘要模型，用 DP-SGD 微调 BERT：梯度裁剪阈值 C=0.1，噪声 σ=1.05，δ 取训练集规模的倒数，训练 3 个 epoch。训练结束用 Opacus 的 RDP 账本查询 α–ε 曲线，最终得到 ε≈3.2（δ=1e-6），满足院方数据出域合规要求。

推荐系统聚合统计的隐私发布

阶段：数据发布 / 聚合统计

解决的问题：产品需要发布“各商品类别的平均评分”“热门榜单”等聚合统计，但多次发布之间存在差分攻击：攻击者可通过两次统计之差反推单个用户行为。RDP 的组合定理让“连续发布多次”的总预算可精确核算。

具体案例：某电商平台每周发布热门榜单，对每次发布用高斯机制注入噪声，并用 RDP 对连续 10 次发布组合记账；σ=0.8、δ=1/N 时最终 ε≈1.5。榜单仍有参考价值，同时隐私承诺可审计、可对外公示。

联邦学习中的隐私预算审计

阶段：模型聚合 / 审计报告

解决的问题：跨机构联邦训练中，任何一方都无法证明“自己的数据没被泄露”。RDP 为每一轮聚合提供统一的档位账，让监管审计有据可查。

具体案例：多家银行联合训练风控模型，每轮联邦聚合视为一次机制调用。安全审计师用 RDP 组合定理汇总 500 轮更新的噪声预算，输出 (α, ε) 对照表与最终 (ε, δ) 声明，作为监管备案材料。

Python 演示

python52 行
import math  def rdp_gaussian(alpha, sigma, sensitivity=1.0):    """RDP privacy loss of the Gaussian mechanism."""    return alpha * (sensitivity ** 2) / (2.0 * sigma * sigma)  def compose_rdp(alpha, sigma, T):    """Linearly compose RDP budgets over T steps."""    return T * rdp_gaussian(alpha, sigma)  def rdp_to_eps_delta(alpha, rdp, delta):    """Convert RDP to (epsilon, delta)-DP in one shot."""    return rdp + math.log(1.0 / delta) / (alpha - 1.0)  def convert_each_step(alpha, sigma, delta, T):    """Naive baseline: convert every step then sum epsilons."""    step_rdp = rdp_gaussian(alpha, sigma)    step_eps = rdp_to_eps_delta(alpha, step_rdp, delta)    return T * step_eps  def best_epsilon(sigma, T, delta, alpha_min=2, alpha_max=64):    """Search the alpha grid for the tightest final epsilon."""    best = None    for alpha in range(alpha_min, alpha_max + 1):        rdp = compose_rdp(alpha, sigma, T)        eps = rdp_to_eps_delta(alpha, rdp, delta)        if best is None or eps < best[1]:            best = (alpha, eps)    return best  def main():    sigma = 1.1    T = 1000    delta = 1e-5     alpha, eps_rdp = best_epsilon(sigma, T, delta)    eps_naive = convert_each_step(alpha, sigma, delta, T)     print("best alpha          =", alpha)    print("RDP accountant eps  = %.4f" % eps_rdp)    print("per-step naive eps  = %.4f" % eps_naive)    print("budget saved        = %.4f" % (eps_naive - eps_rdp))  if __name__ == "__main__":    main()
目的：用约 40 行代码实现 RDP 隐私账本——计算高斯机制单步损失、按组合定理累加、在 α 网格上寻优，并对比“每步先转换再相加”的浪费做法，直观展示 RDP 一次换界的省预算优势。
  1. return alpha * (sensitivity ** 2) / (2.0 * sigma * sigma)高斯机制单步 RDP 读数，直接落地公式 ε_RDP(α)=αΔ²/(2σ²)。
  2. return T * rdp_gaussian(alpha, sigma)组合定理：同一档位下损失线性相加，账本逐笔累计。
  3. return rdp + math.log(1.0 / delta) / (alpha - 1.0)一次性换界：把分档账换算成大众熟悉的 (ε, δ)。
  4. step_eps = rdp_to_eps_delta(alpha, step_rdp, delta)对照组的错误姿势：每步先换界再相加，白白多付 (T−1) 次 δ 折算惩罚。
  5. if best is None or eps < best[1]:在 α=2..64 网格上逐档比较，选取能使最终 ε 最小的档位。

常见误区

误区“RDP 算出来的 ε_RDP(α) 就是最终 ε，挑一个最小的档位上报告诉老板就行。”

正解RDP 是“分档台账”，对外承诺 (ε, δ) 必须用转换公式 ε=ε_RDP+ln(1/δ)/(α−1) 把 δ 折算进去。直接上报 ε_RDP 相当于漏报了“破罐概率”这一项，会低估真实风险。比喻：把厨房内部档位账直接贴到店门口，忘了翻译成人话。

为何常见：因为 RDP 组合和最终 DP 都习惯用 ε 这个字母称呼，初学极易混淆“档位账”与“对外承诺”两层概念。

误区“Rényi 散度太冷门，其实就是 KL 散度换了个马甲，学一个就够了。”

正解只有 α→1 时 Rényi 散度才退化为 KL 散度；α 取其他值度量的信息完全不同，尤其 α→∞ 对应最坏情况的概率比上界。比喻：不同焦段的放大镜看到的是完全不同的细节层次，不能混为一谈。

为何常见：KL 散度在机器学习中太常见，而 Rényi 的退化特例恰好落在 KL 上，容易让人产生“等价”错觉。

误区“裁剪梯度是为了防止梯度爆炸，跟隐私没关系，有没有它 RDP 都能记账。”

正解裁剪把每个样本的梯度范数限制到 C，直接决定了敏感度 Δ=C，进而决定 RDP 读数 αC²/(2σ²)。不裁剪，敏感度无上界，噪声用量根本无法核算。比喻：不规定“手抖上限”，撒再多调味料也无法承诺菜品差异。

为何常见：裁剪的“防爆炸”作用太显眼，而其“界定敏感度”的隐私语义藏在账本公式里，容易被忽略。

误区“既然 ε 是泄露上限，那设 ε=0 不就绝对安全了？”

正解ε=0 意味着输出分布与输入完全无关，模型退化为纯随机噪声，毫无效用。差分隐私本质是“隐私-效用”权衡：RDP 的 α–ε 曲线正是用来做这种权衡的标尺，而不是一味追求 ε 归零。比喻：承诺“绝不会泄露口味”，等价于宣布“这道菜跟谁都没关系”，那众筹菜谱也就没有意义了。

为何常见：安全从业者常把“更小”等同于“更好”，忽略了隐私保护服务于数据效用这一前提。

误区“Moments Accountant 是 2016 年的老古董，现在都用 RDP，两者没关系。”

正解矩会计（Abadi 等，2016）是 RDP（Mironov, 2017）的前身与特例——它用整数阶 λ 的矩累计加尾界，RDP 则用连续 α 的 Rényi 散度统一并推广了这套记账逻辑，两者一脉相承。比喻：阿算的纸质旧账本升级成了电子台账，记账原理没变，只是精度和易用性大幅提升。

为何常见：两篇论文年代不同、符号体系不同，名字又不一致，读者容易误判为互斥路线。

面试题

Q1. 用“放大镜档位”类比，Rényi 散度的阶数 α 的主要作用是什么？

单选题 · easy

  • A.决定用平均还是极端视角衡量差异← 正确答案
  • B.决定训练数据集里样本的数量级
  • C.决定高斯噪声注入的具体方向
  • D.决定模型训练时的迭代轮次数

答案：A。α 是 Rényi 散度的焦段：α→1 时退化为 KL 散度，看平均差异；α→∞ 时只看最大概率比，盯住极端尾部。它与样本数量、噪声方向、训练轮数都无关，故选 A。

Q2. 高斯机制下 σ 增大时，单步 RDP 隐私损失 ε_RDP(α) 如何变化？

单选题 · easy

  • A.按 α 的平方根线性增大
  • B.随噪声强度增大而减小← 正确答案
  • C.保持不变且与 α 无关
  • D.先减小后急剧增大

答案：B。高斯机制的 RDP 读数为 ε_RDP(α)=αΔ²/(2σ²)，σ 出现在分母且带平方，σ 增大读数单调减小，故选 B。噪声越强，老王越难分辨差异。

Q3. RDP 组合定理的核心结论是什么？

单选题 · easy

  • A.总预算等于各步预算相乘
  • B.总预算只能在最大档位记账
  • C.总预算等于各步预算相加← 正确答案
  • D.总预算消耗随轮数平方增长

答案：C。RDP 组合定理：若第 i 步满足 (α, εᵢ)-RDP，则 T 步整体满足 (α, Σεᵢ)-RDP——同档位逐笔相加，故选 C。相乘、只记最大档位、平方增长都是常见误解。

Q4. 当 α→1 时，Rényi 散度退化为哪个量？

单选题 · mid

  • A.最大概率比值对数
  • B.KL散度也就是相对熵← 正确答案
  • C.高斯分布的方差大小
  • D.RDP预算的平方根值

答案：B。取极限 α→1 时，Rényi 散度退化为 KL 散度（相对熵）；α→∞ 才退化为最大概率比的对数。故选 B。放大镜拧到最小焦段看到的就是 KL 视角。

Q5. Moments Accountant 的“账本”上记录的核心对象是什么？

单选题 · mid

  • A.隐私损失的各阶矩对数← 正确答案
  • B.模型参数的梯度范数
  • C.训练集的标签分布
  • D.验证集的准确率曲线

答案：A。矩会计追踪的是隐私损失 L 的矩生成函数 E[e^{αL}] 的对数，且 (α−1)D_α=ln E[e^{αL}]，与 RDP 共享同一套账。梯度范数、标签分布、准确率都与隐私账无关，故选 A。

Q6. DP-SGD 中为满足 RDP 记账，每个批次需要做哪些核心操作？

多选题 · mid

  • A.对梯度进行裁剪限制敏感度← 正确答案
  • B.注入高斯随机噪声干扰梯度← 正确答案
  • C.将训练数据全部明文存储
  • D.删除所有低频出现的数据

答案：AB。DP-SGD 每批先做梯度裁剪（把敏感度限制到 C），再加高斯噪声（σ），二者共同决定 RDP 读数 αC²/(2σ²)。明文存储和删低频数据都不是 DP-SGD 的必要步骤，故选 A、B。

Q7. 从 RDP 换算到 (ε, δ) 时，δ 的通俗含义是什么？

单选题 · mid

  • A.训练过程允许的最大步数
  • B.泄露事件发生的概率上界← 正确答案
  • C.高斯噪声的标准差倍数
  • D.隐私预算的最终剩余量

答案：B。δ 是“破罐概率”——隐私承诺在极端情况下失效的概率上限，公式中通过 ln(1/δ)/(α−1) 折算进 ε。它与步数、噪声倍数、剩余预算无关，故选 B。

Q8. 与经典强组合定理相比，RDP 方式更省隐私预算的原因有哪些？

多选题 · hard

  • A.各步先各自换算成δ再叠加
  • B.组合过程保留高阶结构信息← 正确答案
  • C.只在最后一次性换算概率界← 正确答案
  • D.各步累计对数矩不需要放缩← 正确答案

答案：BCD。RDP 在整个组合过程中按 α 档位保留高阶矩结构，各步对数矩线性相加无需逐笔放缩，最后只做一次 (ε, δ) 换算，因此省掉了强组合定理中与 √(T·log(1/δ)) 成正比的平方根惩罚。A 恰恰是浪费预算的错误做法，故选 B、C、D。

Q9. 已知单步噪声 σ=2、裁剪阈值 C=1，训练 T=100 步，α=4 时的总 RDP 预算是多少？

单选题 · hard

  • A.总隐私预算为 12.5
  • B.总隐私预算为 25
  • C.总隐私预算为 50← 正确答案
  • D.总隐私预算为 100

答案：C。单步 RDP 读数为 αC²/(2σ²)=4×1/(2×4)=0.5，由组合定理 T 步相加得 100×0.5=50，故选 C。代入公式时注意分母是 2σ²，而不是 σ²。

Q10. 关于 RDP 在工程实践中的预算查询与参数选择，哪些说法正确？

多选题 · extreme

  • A.δ通常取训练集规模的倒数← 正确答案
  • B.α在2到64网格上搜索← 正确答案
  • C.最终ε取各α档位的最小值← 正确答案
  • D.最终ε取各α档位的最大值

答案：ABC。工程惯例中 δ 常取 1/N（N 为训练集规模），α 在 2~64 的整数网格上做参数寻优，最终 ε 取各 α 档位换算结果中的最小值才能得到最紧承诺。取最大值会得到最松的、虚高的预算，故选 A、B、C。