差分隐私联邦学习DP-FedAvg：给邻里意见撒上“盐”

可视化演示

动态演示差分隐私联邦学习DP-Fed的核心机制，通过采集/分析/决策/反馈四种模式展示关键概念与交互流程。

联邦学习基础

月光小区的邻居们想合编美食地图，但没人愿意交出私密用餐记录。最后大家约定：每家根据自己的口味笔记，只向主编提交一张“改动建议卡”，比如“这家面馆可以再咸一点”。这个“只交摘要，不交日记”的协作方式，正是联邦学习的思想原型。

真实世界里，联邦学习让手机、医院、银行等“客户端”在本地数据上训练模型，只把模型更新上传到中央服务器。服务器把这些更新平均起来，刷新全局模型。这样原始数据始终留在家中，隐私风险远低于把数据集中到云端。

FedAvg 的每一轮可以看作主编收齐建议卡后的统一改写：每张卡片的重要性取决于这家餐厅被多少个邻居记录过。数据量大的住户，对集体口味的发言权更大。用公式表示就是：

你看，联邦学习解决的是“数据不动，模型动”的问题；但动了模型，隐私风险并没有完全消失。

隐私威胁模型

口味摘要真的安全吗？主编胖叔发现，一张写着“这家店减辣 0.3”的卡片，足以推理出这个人可能是清淡饮食者。如果恶意攻击者拿到足够多的梯度，甚至能逆向出训练样本的某些特征。

在联邦学习中，这种威胁被称为“梯度泄露”。更隐蔽的是“成员推断攻击”：攻击者通过观察模型更新，判断某条数据是否参与过训练。服务器本身也可能不可信，如果它偷偷保存中间结果，就可能拼凑出用户信息。

于是差分隐私登场。它给算法蒙上一层“随机滤镜”，让任何两份只差一个人的数据集，输出分布都几乎一样。经典定义是：

简单说，差分隐私把“泄露多少隐私”变成了一个可量化的数学指标。接下来要解决的是：这层“随机滤镜”具体怎么实现？

差分隐私机制

胖叔的办法是“撒盐”：每家提交摘要前，在数字上加一点随机抖动。如果只有一个人变化，摘要里的盐分已经把它掩盖住；而集体平均后，盐粒互相稀释，整体方向仍然清晰。这就是随机机制。

工程上最常用的“盐”是高斯噪声。服务器或客户端对真实统计结果 \(f(D)\) 加上一个服从正态分布的随机向量，得到保护版本：

高斯噪声是差分隐私的经典“武器库”之一。但盐不能乱撒，它需要一个清晰的“盐罐子”——也就是隐私预算。

隐私预算分配

一罐盐要管整本美食地图，撒多少、分几次撒，必须记账。差分隐私中的“盐罐子”就是隐私预算 \(\varepsilon\)，它衡量整个训练过程能容忍的隐私损失总量。

DP-FedAvg 里有两种记账视角。客户端级 DP 把“一户人家”当作保护单位：只要有人退出或加入，算法输出不能发生明显变化。样本级 DP 把“一条样本”当作保护单位：即使只改变用户的一条记录，也要被噪声掩盖。前者更适合联邦学习中“以客户端为参与方”的场景，后者更细，但通常需要每个客户端内部的采样、裁剪等操作。

无论哪种视角，多轮训练都要分摊预算。如果总共跑 T 轮，每轮平均分到的预算大约是总预算的 \(1/T\)：

预算分配直接决定每轮噪声大小：轮数越多，每轮的盐越少，模型更新越“咸”，可用性也就越差。这也是 DP-FedAvg 设计中绕不开的核心矛盾。

DP-FedAvg流程

现在，我们把整个“社区美食地图”生产流程串起来。每次改版，每家住户都要走四步：先根据本地笔记训练，计算出一个“口味改动方向”；然后执行“限辣”，把过大的改动压到上限；接着“撒盐”，添加随机噪声；最后主编把所有卡片平均起来，更新地图。

DP-FedAvg 的服务端更新公式可以写作：

流程中的“限辣”非常关键，它直接决定了单个客户端能对全局模型施加多大的影响力。

模型裁剪策略

胖叔定下一条规矩：任何人提交的口味改动，长度都不能超过一个上限 \(C\)。如果某家的意见“太冲”，就把方向保留、长度压缩到 \(C\)。这既保护了少数极端用户，也让单个人的影响被限制在可控范围内。

数学上，裁剪是对本地梯度或更新向量做一次范数缩放：

工程上，裁剪阈值 \(C\) 还可以自适应调整，比如根据每轮更新范数的中位数动态更新，避免单点异常把整轮噪声带偏。

可用性权衡

盐撒太多，菜咸得没法吃；盐撒太少，隐私又没保障。DP-FedAvg 的“可用性权衡”就是这个道理：更强的隐私保护通常等于更大的噪声，更大的噪声必然让模型精度下降。

我们常用 RMSE 等指标来度量“加盐后的模型”和“不加盐的模型”差多远：

评估时，除了传统精度、AUC，还要关注成员推断攻击的成功率：攻击者猜得越不准，说明隐私保护越有效。这些指标共同决定了一套 DP-FedAvg 配置是否能上线。

工程实现调优

真正把 DP-FedAvg 部署到生产环境，就像在厨房里精确控制火候：裁剪阈值 \(C\)、噪声乘数 \(\sigma\)、训练轮数 \(T\)、参与客户端数 \(N\)，每一项都会影响隐私与性能。

在基础组合模型下，给定总隐私预算 \(\varepsilon_{\text{total}}\)，噪声标准差可以近似写为：

实际工程中，可以用 RDP 等高级组合账本得到更紧的隐私估计，让同一个 \(\varepsilon\) 下少撒一点盐、多留一点精度。调优时建议先固定 \(\varepsilon\)，再搜索裁剪阈值和噪声乘数，最后用隐私账本验证合规边界。

AI 应用场景

Python 演示

import numpy as np  class LocalClient:    def __init__(self, data, label, lr=0.1, epochs=1):        self.data = data        self.label = label        self.lr = lr        self.epochs = epochs     def get_update(self, global_w, clip_c):        w = global_w.copy()        for _ in range(self.epochs):            pred = self.data @ w            grad = self.data.T @ (pred - self.label) / len(self.label)            w = w - self.lr * grad        update = w - global_w        norm = np.linalg.norm(update)        scale = min(1.0, clip_c / norm)        return update * scale  def dp_fedavg(clients, dim, rounds=5, clip_c=1.0, sigma=0.8):    global_w = np.zeros(dim)    for _ in range(rounds):        ups = [c.get_update(global_w, clip_c) for c in clients]        avg = np.mean(ups, axis=0)        noise = np.random.normal(0, sigma * clip_c / len(clients), size=dim)        global_w = global_w + avg + noise    return global_w  def mock_clients(num=8, dim=5):    rng = np.random.default_rng(42)    clients = []    for _ in range(num):        X = rng.normal(size=(20, dim))        y = X @ np.ones(dim) + rng.normal(scale=0.1, size=20)        clients.append(LocalClient(X, y))    return clients  if __name__ == "__main__":    clients = mock_clients()    w = dp_fedavg(clients, dim=5, rounds=5, clip_c=1.0, sigma=0.8)    print("DP-FedAvg final weights:", np.round(w, 3))    print("Target weights:", np.ones(5))

1. scale = min(1.0, clip_c / norm)这是“限辣”动作：更新范数超过阈值就压到阈值。
2. noise = np.random.normal(0, sigma * clip_c / len(clients), size=dim)这是“撒盐”动作：噪声尺度与裁剪阈值成正比，与客户端数成反比。
3. global_w = global_w + avg + noise先平均再加盐，得到新一轮全局模型。
4. ups = [c.get_update(global_w, clip_c) for c in clients]每个客户端在本地计算带裁剪的更新。
5. avg = np.mean(ups, axis=0)服务端把收集到的更新做等权平均。

常见误区

面试题