差分隐私里 RDP 与 zCDP 到底在算什么

可视化演示

动态演示差分隐私里RDP与zCDP到的核心机制，通过输入/处理/存储/输出四种模式展示关键概念与交互流程。

标准DP的痛点：最坏情况记账的代价

数据科学家想统计数据库的几条特征，每查一次，用户的隐私就“漏一点血”。差分隐私规定，每次查询最多泄露 ε 的信息——相当于每次消费最多扣 ε 元。问题在于，ε-DP 只保证“任意一次查询的泄露不超过 ε”，它不知道这次查询实际上只漏了 0.1ε。于是传统组合定理把所有查询都按最坏情况记账，像一位只认“最高消费档位”的老会计：不管你在便利店买瓶水还是去高级餐厅，一律按最高档扣钱。查上几十次，隐私预算就报警了。

这种“最坏情况记账法”在组合场景下尤其吃亏。差分隐私的串行组合定理说：对同一数据集执行 k 个 ε-DP 机制，整体满足 kε-DP。也就是说，总隐私损失是各次 ε 的简单加法。对 (ε,δ)-DP 还有高级组合定理，把界改进到约 √(2k log(1/δ))·ε + kε(e^ε −1)，但依然把“极端坏事”和“普通泄露”混在一起算。真实的高斯机制查询，每次泄露往往远小于 ε，甚至大多集中在平均数附近——老会计却假装每次都是极端情况，预算自然虚耗。

$$\varepsilon_{\text{total}} = k \times \varepsilon$$

1. ε 的含义：单次查询允许的信息泄露上限，相当于账本里一次支出的固定额度，与“每次消费按最高档扣费”对应。

$$\varepsilon$$

2. k 的含义：数据科学家对同一数据集发起的查询次数，相当于本月消费的总笔数。

$$k$$

3. 乘号的作用：把每次最坏情况直接相加，不管实际支出高低，这是标准 DP 组合定理的保守本质。

$$\times$$

4. ε_total 的含义：k 次查询后的总隐私损失，直觉上就是“隐私账本最终显示的扣款总额”。

$$\varepsilon_{\text{total}}$$

RDP 与 zCDP 之所以诞生，正是想把“老会计”换成“精算师”——记录每笔支出的真实分布，而不是一律按最高档扣费。

Rényi散度：一把可调焦距的隐私尺子

精算师需要工具：如何度量“一次查询泄露多少隐私”？差分隐私把输出分布看作答案，相邻数据集就像两个平行世界，查询的泄露量等于两个世界输出分布的“距离”。标准 DP 用最粗略的尺子——最大差异，只问“最坏的那个输出差多少”。Rényi 散度则是一把可调刻度的尺子：它由 α 阶参数控制，像显微镜的物镜倍数。α 越大，越聚焦分布尾部那些“极不可能但泄露极高”的事件；α 越小，越关注分布主体的普通差异。利用这把尺子，我们能把“极端泄露”和“普通泄露”分开称重。

形式上，对两个概率分布 P 和 Q，Rényi 散度定义为：

$$D_\alpha(P\parallel Q) = \frac{1}{\alpha-1}\log \mathbb{E}_{x\sim Q}\left[\left(\frac{P(x)}{Q(x)}\right)^\alpha\right]$$

1. 似然比 P(x)/Q(x)：同一个输出 x 在分布 P 下出现的概率除以在 Q 下出现的概率，比值大于 1 说明“在 P 下更常见”。它是散度计算的基本计量单位。

$$\frac{P(x)}{Q(x)}$$

2. α 次幂：把似然比放大或缩小 α 倍再平均，α 控制对高值区域的关注程度，相当于显微镜的放大倍数。

$$\left(\frac{P(x)}{Q(x)}\right)^\alpha$$

3. 期望 E：在 Q 的分布下对所有输出 x 加权平均，回答“平均而言 Q 会见到多大倍率的差异”。

$$\mathbb{E}_{x\sim Q}$$

4. 对数与系数 1/(α−1)：取对数把乘积改成求和，除以 α−1 让尺子在不同 α 间有统一刻度；当 α→1 时恰好退化为 KL 散度。

$$\frac{1}{\alpha-1}\log(\cdot)$$

对高斯分布，这套计算有封闭形式，这也是 RDP 与高斯机制天然契合的数学根源。

RDP定义与直觉：用散度约束写账本条款

有了尺子，就能定记账规则。RDP 的定义很直白：一个随机化机制 M 若满足——对任意一对相邻数据集 D、D′（只差一条记录），对某个 α>1，α 阶 Rényi 散度不超过 ε，则称 M 满足 (α,ε)-RDP。这里的 ε 是在“α 倍注意力”下看到的隐私损失上限。参数对 (α,ε) 像账本的两列：α 写的是“用多粗的筛子观察损失”（关注尾部程度），ε 写的是“这个筛子下看到的最大支出”。记账时我们不固定 α，而是把每个 α 下的 ε 都记下来，形成一条函数曲线——之后转换或组合时按需查阅。

$$D_\alpha(M(D)\parallel M(D'))\leq \varepsilon$$

1. 相邻数据集 D 与 D′：只差一条记录的数据库，差分隐私的一切保证都以“去掉谁、改动谁”为基准，是隐私的“世界线对比”。

$$D, D'$$

2. M(D)、M(D′)：机制在相邻数据集上的输出分布，它们的差异就代表这次查询泄露的信息。

$$M(D), M(D')$$

3. 散度上界 ≤ ε：要求在任何 α 阶的观察下，差异都不超过 ε——这是账本的核心条款。

$$\leq \varepsilon$$

对高斯机制，把高斯分布的 Rényi 散度闭式解代入，直接得到一条漂亮的支出公式：

$$\varepsilon(\alpha)=\frac{\alpha\Delta^2}{2\sigma^2}$$

1. 敏感度 Δ：查询函数对单条记录的最大影响。比如“计数+均值”型查询，敏感度 Δ 常是 1 或 1/n。

$$\Delta$$

2. 高斯噪声方差 σ²：加在查询结果上的噪声强度，噪声越大，对手越难猜出单条记录，隐私越安全。

$$\sigma^2$$

3. αΔ²/(2σ²)：对高斯分布做 Rényi 散度计算得到的封闭结果，是账本里“高斯机制单次消费”的标准金额。

$$\frac{\alpha\Delta^2}{2\sigma^2}$$

这套账本的可贵之处在于：它把“这次查询到底花了多少钱”从最坏情况换成了真实分布，而且对最常用的高斯机制有精确表达式。

RDP组合定理：查k次只需把账相加

RDP 最优雅的性质是组合定理。如果第 i 次查询满足 (α, ε_i)-RDP，那么依次执行 k 个查询后整体满足 (α, Σε_i)-RDP。也就是说，在 RDP 世界里，多次查询的隐私损失就是各次损失在同一个 α 下的简单求和——精算师的流水账，一行一笔，月底加总即可。这与标准 DP 组合形成鲜明对比：标准 DP 需要动用高级组合定理的复杂公式，而 RDP 直接把“每次的实际支出”相加。

$$\varepsilon_{\text{total}}(\alpha)=\sum_{i=1}^{k}\varepsilon_i(\alpha)$$

1. 同一 α 下相加：组合只在相同 α 档位内进行，不同 α 的账不能混加，如同货币不能跨币种直接相加。

$$\varepsilon_i(\alpha)$$

2. 求和符号 Σ：从第 1 轮到第 k 轮，把每一轮在 α 档位的支出逐项累加。

$$\sum_{i=1}^{k}$$

3. 总损失曲线：得到的是关于 α 的一条新曲线 ε_total(α)，后续转 DP 或 zCDP 时直接用它查询。

$$\varepsilon_{\text{total}}(\alpha)$$

实际工作中，我们把 α 取成一组离散值（如 2,4,8,16,…），每轮查询更新一个账本数组，最后对每个 α 做一次“转标准 DP 的换算”。这比传统组合定理省下大量预算——查询次数越多，省的越多。

zCDP核心思想：用对数矩打包整本账

RDP 记账要求记录一整条 α-ε 曲线，查询多了账页很长。能不能像财务报表一样，用一两个数字概括整本账？zCDP（零集中差分隐私）就是这么干的。它把注意力从“每个 α 的散度”移到“隐私损失变量的矩生成函数”。设 L 是某次查询的隐私损失随机变量，zCDP 要求对所有 t∈(0,1) 都有：

$$\mathbb{E}[e^{tL}] \leq e^{t^2\rho}$$

1. 隐私损失变量 L：对固定的输出 o，L = log(P(M(D)=o) / P(M(D′)=o))，衡量这次输出在相邻数据集下暴露了多少信息。

$$L=\log\frac{P(M(D)=o)}{P(M(D')=o)}$$

2. 期望与指数 e^{tL}：在输出分布上对 e^{tL} 求平均，等价于同时检查 L 的所有阶矩（均值、方差、峰度……）。矩生成函数被约束，意味着每个“尾部风险”都被限住。

$$\mathbb{E}[e^{tL}]$$

3. 抛物线约束 e^{t²ρ}：要求对数矩不超过 t²ρ；ρ 越小，允许的隐私损失分布越“收拢”。这就是 zCDP 的账页总结。

$$e^{t^2\rho}$$

zCDP 与高斯机制的缘分也极好：向敏感度 Δ 的查询加 N(0, σ²) 噪声，就满足 ρ=Δ²/(2σ²) 的 zCDP。而且 zCDP 的组合同样线性：执行 k 个 ρ_i-zCDP 机制，整体满足 (Σρ_i)-zCDP。更妙的是，zCDP 可以写成 RDP 的简洁形式：若机制对所有 α>1 满足 D_α ≤ αρ，则它满足 ρ-zCDP。相当于“把整条 ε 曲线压成一条过原点的直线”，方便推导也方便记忆。

四体系转换：DP、RDP、zCDP 的汇率表

不同账本之间怎么换算？这是实践中绕不开的问题——数据科学家最终要向监管或用户报告“我们的算法满足 (ε,δ)-DP”，而计算过程用的是 RDP/zCDP 的账页。一张汇率表就够：(α,ε)-RDP 可以转为 (ε′,δ)-DP，对所有 δ∈(0,1)：

$$\varepsilon' = \varepsilon + \frac{\log(1/\delta)}{\alpha-1}$$

1. 原 RDP 支出 ε：账本上 (α,ε) 账页里记录的隐私损失，是还未兑换成标准 DP 的“内部货币”。

$$\varepsilon$$

2. 矫正项 log(1/δ)/(α−1)：把 α 阶信息压缩成“极端事件的概率引子”；α 越大矫正越小，因为高阶账页本身已照顾尾部。

$$\frac{\log(1/\delta)}{\alpha-1}$$

3. 整体含义：选择大的 α 会让第一项 ε(α) 涨、但矫正项降；实际中扫描多个 α，取最小 ε′。

$$\varepsilon'=\min_{\alpha}\left[\varepsilon_\text{RDP}(\alpha)+\frac{\log(1/\delta)}{\alpha-1}\right]$$

ρ-zCDP 转 DP 的公式更简洁：

$$\varepsilon = \rho + 2\sqrt{\rho\log(1/\delta)}$$

1. 基础项 ρ：zCDP 的年度风险系数，来自所有轮次 ρ_i 的累加。

$$\rho$$

2. 2√(ρ log(1/δ))：把“矩约束”翻译成“尾部小概率事件”的汇率项，体现 δ 的容忍度。

$$2\sqrt{\rho\log(1/\delta)}$$

3. 应用方式：若某机制满足 ρ-zCDP，则对任意给定的 δ，它同时满足 (ε,δ)-DP，ε 由上式给出。

$$\rho + 2\sqrt{\rho\log(1/\delta)}$$

反过来，ρ-zCDP 蕴含 (α, αρ)-RDP，所以 zCDP 与 RDP 之间也能互相换算——zCDP 是更“浓缩”的账本，RDP 是更“明细”的账本。实践中，喜欢精确控制就用 RDP 扫描 α；喜欢简单好维护就用 zCDP；要报告给用户，就用汇率表换成 DP。

AI 应用场景

Python 演示

import math  def gaussian_rdp_eps(alpha, sigma, sensitivity=1.0):    """单次高斯查询的RDP支出：ε(α) = α·Δ² / (2σ²)"""    return alpha * sensitivity * sensitivity / (2.0 * sigma * sigma)  def zcdp_to_dp(rho, delta=1e-6):    """zCDP → (ε, δ)-DP 的转换公式"""    return rho + 2.0 * math.sqrt(rho * math.log(1.0 / delta))  class PrivacyAccountant:    """RDP 隐私账本：逐轮累加各阶 α 的 ε(α)"""     def __init__(self, orders=(2, 4, 8, 16, 32)):        self.orders = list(orders)        self.rdp_ledger = {a: 0.0 for a in self.orders}        self.query_count = 0     def add_gaussian_query(self, sigma, sensitivity=1.0):        for a in self.orders:            self.rdp_ledger[a] += gaussian_rdp_eps(a, sigma, sensitivity)        self.query_count += 1     def to_eps_dp(self, delta=1e-6):        """RDP→DP：扫描全部α，取最小的 ε + log(1/δ)/(α-1)"""        best = float('inf')        for a, eps in self.rdp_ledger.items():            candidate = eps + math.log(1.0 / delta) / (a - 1.0)            if candidate < best:                best = candidate        return best     def to_rho_zcdp(self):        """RDP→zCDP：取 α=2 的账页估计 ρ = ε(2)/2"""        return self.rdp_ledger[2] / 2.0  def main():    sigma, delta, rounds, single_eps = 2.0, 1e-6, 20, 2.0    book = PrivacyAccountant()    print(f"高斯噪声 σ={sigma}，单次查询等价 ε-DP ≈ {single_eps:.1f}")    print("=" * 58)    for r in range(1, rounds + 1):        book.add_gaussian_query(sigma)        if r in (1, 5, 10, 20):            rho = book.to_rho_zcdp()            print(f"第{r:2d}轮：RDP转DP ε={book.to_eps_dp(delta):.2f}  "                  f"| zCDP转DP ε={zcdp_to_dp(rho, delta):.2f}  "                  f"| 传统串行DP ε={r * single_eps:.2f}")    print("=" * 58)    print("结论：RDP/zCDP 把20轮查询的隐私损失从40压到约11~12")  if __name__ == "__main__":    main()

1. gaussian_rdp_eps(alpha, sigma, sensitivity)高斯机制单次查询的 RDP 支出公式，对应正文中的 ε(α)=αΔ²/(2σ²)。
2. self.rdp_ledger[a] += ...RDP 账本的核心操作：同一 α 档位下把每轮支出累加，对应组合定理的加法法则。
3. candidate = eps + math.log(1.0 / delta) / (a - 1.0)RDP 转 DP 的汇率公式，记录每个 α 换算出的候选 ε。
4. if candidate < best扫描所有 α 后取最小 ε′，这正是实际工作中“选最优 α”的自动化实现。
5. zcdp_to_dp(rho, delta)zCDP 转 DP 的简洁公式，一行代码完成整本账的兑换。

常见误区

面试题