联邦学习与隐私：垂直/水平/迁移联邦学习

可视化演示

演示联邦学习三种范式：水平FedAvg训练聚合流程、垂直PSI对齐与加密梯度交换、三种范式数据分布对比。

联邦学习概览

“风味联盟”成立的第一天，各家门店老板围坐一桌，讨论的核心问题是：如何在不交出顾客数据的前提下，共同变聪明？ 有人提议把数据都发到总部，立刻被否决——顾客点餐记录是每家门店的核心资产，泄露出去会直接失去竞争力。也有人提议干脆各练各的，但那又无法利用群体的力量。联邦学习给出的答案是：人不动，模型动——让模型参数在各门店之间流转，数据永远留在本地。

联邦学习（Federated Learning）是一种分布式的机器学习框架，其核心约定是：每个参与方在本地保存原始数据，只与其他参与方交换模型参数或梯度更新。典型流程就像联盟的“总部-分店”协作模式：总部先把一个初始模型分发给各门店；每家门店用自己的顾客数据在本地训练几轮；然后将更新后的模型参数（而非数据）上传回总部；总部把所有参数合并成新的全局模型，再开始下一轮。如此循环往复，直到模型收敛。

为什么这套机制有效？因为机器学习模型的学习过程本质上是“数据规律”的拟合，而模型的参数恰恰是规律的载体。参与方共享参数，相当于共享了“规律心得”，却不必暴露产生这些规律的具体数据。这让联邦学习天然具备了隐私友好的特性，也让它成为医疗、金融、政务等敏感数据场景的首选方案。

$$\min_{w} \sum_{k=1}^{K} \frac{n_k}{n} \mathcal{L}_k(w)$$

1. 参与方编号：\( k \) 从 1 到 \( K \) 表示总共有 K 个参与方，每个参与方持有自己的私有数据集。

$$\mathcal{L}_k(w) = \frac{1}{n_k}\sum_{i=1}^{n_k} \ell(w; x_i, y_i)$$

2. 样本量权重：\( \frac{n_k}{n} \) 是第 k 方的样本量占比，数据越多的参与方对全局模型的影响越大，这就像联盟中门店越大，对总部决策的声音越响。

$$n = \sum_{k=1}^{K} n_k$$

3. 全局优化目标：\(\min_w\) 表示我们要找一组参数 \( w \)，使所有参与方加权损失之和最小，最终得到的模型能在各门店都表现良好。

$$\min_w \sum_{k=1}^{K} \frac{n_k}{n} \mathcal{L}_k(w)$$

“风味联盟”的第一步共识达成了：大家只交模型、不交数据。但接下来，真正的问题浮出水面——各个门店的数据形态千差万别，该用什么样的协作方式呢？有的门店菜单结构相同，有的门店顾客重叠，还有的门店干脆毫无交集。于是，联盟需要针对不同数据形态，采用不同的合作模式。

---

水平联邦学习

杭州的“小碗菜”、成都的“小碗菜”、北京的“小碗菜”——这三家连锁门店的菜单结构、评分维度、点单字段完全一致，都是“菜品编号 + 价格 + 顾客评分 + 下单时间”这样的表格。换句话说，它们的特征空间相同。但三家店面对的顾客来自不同城市，各自的样本集合几乎没有重叠。这种场景就像三本同样的练习册，由三个班的学生分别做题——题目的结构完全一样，但做题的人不同。这种“特征相同、样本不同”的协作方式，就是水平联邦学习。

水平联邦学习的标准算法是 FedAvg（联邦平均）。它的运作方式非常直观：总部先把当前全局模型广播给所有门店；每家门店在自己的本地数据上做若干轮梯度下降（SGD），得到一个新的本地模型；然后门店把本地模型的参数上传给总部；总部把所有本地参数按照各店的样本量比例做加权平均，得到新一轮全局模型。整个过程不需要任何原始数据离开门店，而聚合后的模型能学到所有门店数据中的共同规律。

水平联邦学习是三种范式中技术最成熟、应用最广泛的一种。它的优势在于各参与方的数据模式统一，通信协调简单；挑战则在于如何设计高效的聚合策略——当不同客户的样本量差异悬殊时，简单平均会让小门店的贡献被稀释。此外，通信开销、本地训练轮数、非独立同分布（Non-IID）数据等问题也需要仔细权衡。

$$w^{t+1} = \sum_{k=1}^{K} \frac{n_k}{n} w_k^{t+1}$$

1. 本地训练：第 k 家门店在自己的数据上从当前全局模型出发做几轮梯度下降，得到本地更新后的模型参数 \( w_k^{t+1} \)。

$$w_k^{t+1} = w^t - \eta \nabla \mathcal{L}_k(w^t)$$

2. 样本量统计：\( n_k \) 是第 k 家门店的本地样本数，所有门店样本之和为 \( n \)，二者的比值就是加权系数。

$$n_k = |D_k|, \quad n = \sum_{k=1}^{K} n_k$$

3. 加权聚合：总部把各家门店的参数乘以各自的样本占比后求和。样本多的门店贡献大、样本少的门店贡献小，最终得到新的全局参数。

$$w^{t+1} = \sum_{k=1}^{K} \frac{n_k}{n} w_k^{t+1}$$

回到“风味联盟”的比喻：杭州、成都、北京三家同名门店，各自在本地练了一套“口味心得”，总部把它们按门店规模加权综合成一份“联盟总心得”，再发回给大家继续迭代。这就是水平联邦学习的全貌——在相同的知识框架下，汇聚不同人群的经验。

---

垂直联邦学习

同一座商圈里，火锅店记录的是顾客偏好的锅底和辣度，奶茶店记录的是甜度和配料选择，健身房记录的是会员的体重和运动时长。三家门店都没有完整的用户画像，但它们服务的是同一批顾客——住在附近小区的同一群消费者。如果能把三家的特征信息拼在一起，就能得到一份完整的“生活画像”，训练出的推荐模型也将精准得多。问题是，如何在不暴露具体顾客是谁的情况下，安全地拼接这些特征？这就是垂直联邦学习要解决的问题。

垂直联邦学习的核心挑战是实体对齐：A 机构和 B 机构拥有的是同一批用户的不同特征维度，必须先找到两个数据集中属于同一物理实体的样本对，才能进行后续的联合建模。由于双方都不能直接交换用户 ID，实体对齐必须借助隐私保护技术——比如加密的样本对齐协议（Private Set Intersection, PSI）——在不泄露非公共用户信息的前提下，找到双方共有的样本。

对齐之后，垂直联邦学习的建模过程也比水平联邦复杂得多。因为没有任何一方拥有完整的样本特征，训练时通常需要由一方发起训练请求，双方各自计算本地特征对应的梯度或中间结果，再通过多方安全计算（Secure Multi-Party Computation, MPC）合成梯度和损失，用于更新彼此的模型分片。整个过程像两个厨师合作做一道菜——一人负责切菜、一人负责调味，最终成品融合了双方的手艺，但每个厨师都没有看到对方完整的操作间。

$$\pi = \{(u, v) \mid u \in \mathcal{U}_A, v \in \mathcal{U}_B, \text{ID}(u) = \text{ID}(v)\}$$

1. 双方样本集合：A 机构持有用户集合 \( \mathcal{U}_A \)，B 机构持有 \( \mathcal{U}_B \)，它们都只掌握自己那一部分特征。

$$U_A = \{u_1, u_2, \dots\}, \quad U_B = \{v_1, v_2, \dots\}$$

2. 身份匹配条件：\(\text{ID}(u) = \text{ID}(v)\) 表示两个样本指向同一个实体——在“风味联盟”里就是同一位顾客。

$$\text{ID}(u) = \text{ID}(v)$$

3. 配对结果：\( \pi \) 是所有公共用户对的集合。后续的特征拼接、梯度交换都只在这个交集上进行，其他样本的信息不会暴露给对方。

$$\pi = \{(u, v) \mid \text{ID}(u) = \text{ID}(v)\}$$

用“风味联盟”的话说，垂直联邦就是三家门店共享同一批客人的不同“档案页”。通过加密的“档案编号匹配”找到同一批顾客后，各家只把自己的特征贡献到联合模型中，顾客的其他信息依然锁在各自的档案柜里。这种方式让“拼图式协作”成为可能——每人手里一块拼图，合在一起才是完整的画面。

---

迁移联邦学习

“风味联盟”计划开一家新品牌的烘焙坊，但烘焙坊刚开业，既没有历史顾客数据，也没有成熟的特征体系。它与火锅店之间既没有重叠的顾客，也没有重叠的特征维度——火锅店记录的是“锅底辣度、涮品偏好”，烘焙坊关心的是“甜度、面包品类、购买时段”。这种情况下，水平联邦和垂直联邦都无能为力。联盟里有人提出：虽然火锅店和烘焙坊差别很大，但“顾客喜欢什么口味”这件事可能有内在的共通规律。能不能把火锅店学到的知识“迁移”到烘焙坊？这就是迁移联邦学习的用武之地。

迁移联邦学习（Federated Transfer Learning）的核心思想是：源域和目标域可以拥有完全不同的样本空间和特征空间，但通过某种共享表示或参数迁移，把源域学到的知识应用到目标域。具体做法通常分两步：先在源域上训练一个“通用口味模型”，然后把这个模型的结构和参数作为初始值，在目标域的少量数据上做微调（fine-tuning）。为了防止目标域数据太少导致过拟合，迁移联邦学习还会在优化目标中加入约束项，让目标模型的参数不要偏离源模型太远。

迁移联邦学习的最大价值在于冷启动。传统机器学习需要大量目标域数据才能训练出可靠模型，而迁移联邦让新领域可以从零开始，借用其他领域已经学到的知识快速起步。当然，它的挑战也很明显：源域与目标域差异过大时，迁移可能带来“负迁移”——不仅没帮助，反而降低模型性能。因此，如何衡量两个域的相似度、如何设计迁移策略，是迁移联邦的核心研究问题。

$$\min_{\theta_T} \mathcal{L}_T(\theta_T) + \lambda \|\theta_T - \theta_S\|^2$$

1. 源模型作为先验：\( \theta_S \) 是从源域（比如火锅店数据）训练好的模型参数，它携带了通用的“口味规律”知识。

$$\theta_S = \arg\min_{\theta} \mathcal{L}_S(\theta)$$

2. 目标域损失：\( \mathcal{L}_T(\theta_T) \) 衡量目标模型在烘焙坊数据上的预测误差，希望模型适应当前的任务。

$$\mathcal{L}_T(\theta_T) = \frac{1}{n_T}\sum_{(x,y)\in D_T} \ell(\theta_T; x, y)$$

3. 防止偏离：\( \lambda \|\theta_T - \theta_S\|^2 \) 是一个惩罚项，当目标参数偏离源模型太远时会加大惩罚，像一根“橡皮筋”把新模型拉回源知识附近。

$$\min_{\theta_T} \mathcal{L}_T(\theta_T) + \lambda \|\theta_T - \theta_S\|^2$$

回到故事里：火锅店的经验不能直接照搬到烘焙坊，但“顾客对甜度的偏好”与“顾客对辣度的偏好”可能存在某种可迁移的规律。通过迁移联邦，烘焙坊站在火锅店这位“老前辈”的肩膀上快速起步，节省了大量冷启动时间——这就是迁移联邦学习的价值所在。

---

范式对比选型

三种联邦范式摆在一起，该怎么选？“风味联盟”的经验是：先看数据分布，再定协作方式。 如果各家数据集的列（特征）完全一致、只是行（样本）不同，那就是水平联邦；如果各家面对的是同一批样本、只是各自拥有不同的列，那就是垂直联邦；如果连行和列都对不上，那就只能走迁移联邦。一句话概括：水平按样本切，垂直按特征切，迁移靠知识迁。

三种范式在技术复杂度上呈递增趋势。水平联邦只需要简单的参数聚合（FedAvg），通信结构清晰，工程落地最成熟；垂直联邦需要实体对齐、加密计算和多轮联合梯度更新，对密码学协议的要求显著提升；迁移联邦则增加了域适配、迁移策略设计等额外环节，复杂度最高，但适用面也最广。在实际项目中，选型常常不是“哪个最好”，而是“哪个够用”——能用水平解决就不要硬上垂直，能用垂直解决就不要贸然迁移。

从适用场景来看：水平联邦适合同行业跨地域的机构协作，比如多家医院、多家银行分行；垂直联邦适合跨行业的互补型机构，比如银行与电商、保险与医疗；迁移联邦适合冷启动或跨领域场景，比如新市场开拓、新业务孵化。理解三种范式的边界，就像厨师理解不同食材的搭配原则——选对了，协作事半功倍；选错了，数据对不上、训练转不动，整个项目就会陷入泥潭。

选型就像“风味联盟”决定谁跟谁合作：同品牌的连锁店之间共享经验最简单（水平）；跨业态但同商圈的门店互补合作更精细（垂直）；跨度太大没有任何共同点的，那就借助“师徒制”传承经验（迁移）。选对范式，协作才能顺畅推进。

---

隐私保护技术

“风味联盟”虽然达成了“只传参数、不传数据”的共识，但门店老板们仍然不放心：上传的模型参数会不会泄露顾客信息？有研究证明，攻击者可以从模型梯度中反推训练样本的细节——这就是梯度逆向攻击。为了堵住这些漏洞，联盟需要更高级的隐私保护技术作为“保险锁”。

第一把锁是安全聚合（Secure Aggregation）。它的思想很巧妙：各门店在上传参数前，先给参数加上一个随机掩码，同时彼此交换掩码的分发信息，使得所有掩码在求和时恰好抵消。这样一来，总部只能看到所有门店参数的总和，而无法窥探任何一家的单独参数。安全聚合不对数据本身做加密，而是在“聚合过程”上做文章。

第二把锁是差分隐私（Differential Privacy）。它在参数或梯度上主动加入噪声，让攻击者无法判断某一条具体样本是否参与了训练。这就像在调查问卷里加入随机扰动——统计规律依然可以被揭示，但个体的信息被噪声掩盖了。差分隐私的代价是模型精度的损失，噪声越大，隐私保护越强，但模型越不准确。

第三把锁是同态加密（Homomorphic Encryption）。它允许在密文上直接进行数学运算，运算结果解密后与明文上直接运算的结果一致。也就是说，总部可以在“看不懂”各门店参数内容的情况下，完成加法或乘法聚合。同态加密的安全性最高，但计算开销巨大，目前在实际系统中通常只用于特定环节，而非全流程。

$$\tilde{w} = w + \mathcal{N}(0, \sigma^2)$$

1. 原始参数：\( w \) 是客户端本地训练得到的模型参数，它本身包含了从数据中学到的信息。

$$w = \frac{1}{n}\sum_{i=1}^{n} \nabla \ell(x_i, y_i)$$

2. 高斯噪声：\( \mathcal{N}(0, \sigma^2) \) 表示均值为 0、方差为 \( \sigma^2 \) 的高斯分布采样值，\( \sigma \) 越大噪声越强。

$$\mathcal{N}(0, \sigma^2) = \frac{1}{\sqrt{2\pi\sigma^2}}e^{-\frac{x^2}{2\sigma^2}}$$

3. 发布扰动结果：\( \tilde{w} \) 是添加噪声后发布的参数。攻击者即使拿到了 \( \tilde{w} \)，也无法区分它是来自哪条具体样本的贡献。

$$\tilde{w} = w + \mathcal{N}(0, \sigma^2)$$

在“风味联盟”的语境里，安全聚合像“集体信箱”——每个人投递的纸条被混在一起，统计者只看到总数；差分隐私像“往总数里撒胡椒面”——数字不够精确，但趋势依然明显；同态加密则像“盲盒计算”——整个过程都在看不见的状态下完成。三种技术没有绝对优劣，现实中常常组合使用，在隐私与精度之间寻找平衡。

---

应用与挑战

“风味联盟”的故事并不止于三个门店。当联盟扩展到几十个城市、上百家门店时，新的问题不断涌现：训练效率能否跟上？监管合规是否允许？技术栈是否支撑得起来？联邦学习的落地远不止算法本身，而是一个涉及工程、安全、法律的多维课题。

行业应用方面，联邦学习在医疗领域帮助多家医院在不共享患者数据的前提下联合训练诊断模型；在金融领域帮助银行与电商联合构建风控模型；在物联网领域帮助不同设备协同训练用户行为模型。这些场景的共同点是：数据高度敏感、分散于多机构、法律法规禁止直接汇聚。联邦学习提供了“数据不出域、模型共训练”的合规路径。

监管合规是联邦学习落地中不可回避的挑战。中国的《数据安全法》《个人信息保护法》以及欧盟的 GDPR 都对数据出境和跨境传输做出了严格限制。联邦学习虽然大幅降低了数据聚合的合规风险，但并非“免罪金牌”——例如，模型参数仍然可能间接携带敏感信息，跨机构协作仍需明确数据使用的授权边界。技术上的隐私预算（\(\epsilon\)）如何管理、如何审计，也是监管关注的重点。

未来趋势上，联邦学习正与区块链结合，构建“数据可用不可见、行为可追溯”的去中心化 AI 基础设施。密码学原语（如同态加密、零知识证明）的效率提升、跨链互操作协议、联邦学习标准化工作，都在推动这一技术栈走向成熟。可以预见，随着隐私保护意识的增强和法规的完善，联邦学习将从“可选技术”变为“必备能力”。

$$\epsilon_{total} = \sum_{t=1}^{T} \epsilon_t$$

1. 每轮隐私消耗：\( \epsilon_t \) 表示第 t 轮训练中加入的隐私预算是多少，它由该轮添加的噪声大小决定。

$$\epsilon_t = \max_{D,D'} \left|\ln \frac{\Pr(\mathcal{M}_t(D))}{\Pr(\mathcal{M}_t(D'))}\right|$$

2. 串行组合：多轮训练的总隐私消耗等于各轮之和，轮次越多，隐私消耗越大。

$$\epsilon_{total} = \epsilon_1 + \epsilon_2 + \dots + \epsilon_T$$

3. 权衡之道：预算越大说明隐私越弱，但模型精度越高；预算越小则越隐私，但精度受损。实际部署时要根据法规和业务要求，为总预算设定上限。

“风味联盟”一路走来，从三家门店的小作坊成长为跨地域的数字化集团。它总结经验：联邦学习不是万能的银弹，而是一套需要精细运营的协作框架——选对范式、配好隐私保护、管好合规底线，才能真正让数据释放价值。

---

AI 应用场景

Python 演示

# -*- coding: utf-8 -*-"""FedAvg 水平联邦学习迷你演示"""import random  class MiniModel:    """简单的线性回归模型"""    def __init__(self, dim=3):        self.w = [0.0] * dim        self.b = 0.0     def predict(self, x):        return sum(wi * xi for wi, xi in zip(self.w, x)) + self.b     def train_on(self, data, lr=0.02, epochs=5):        for _ in range(epochs):            for x, y in data:                err = self.predict(x) - y                for i in range(len(self.w)):                    self.w[i] -= lr * err * x[i]                self.b -= lr * err        return self.w, self.b  def make_data(size=60):    """生成 y = 3x1 - 2x2 + 1 的线性数据"""    data = []    for _ in range(size):        x1 = random.uniform(-1, 1)        x2 = random.uniform(-1, 1)        y = 3 * x1 - 2 * x2 + 1 + random.uniform(-0.2, 0.2)        data.append(([x1, x2, 1.0], y))    return data  def fed_avg(clients=4, dim=3, rounds=15, seed=42):    random.seed(seed)    client_data = [make_data() for _ in range(clients)]    global_model = MiniModel(dim)     for _ in range(rounds):        local_params, sizes = [], []        for cdata in client_data:            local = MiniModel(dim)            local.w = global_model.w[:]            local.b = global_model.b            local_params.append(local.train_on(cdata))            sizes.append(len(cdata))         total = sum(sizes)        new_w = [0.0] * dim        new_b = 0.0        for (lw, lb), n in zip(local_params, sizes):            for i in range(dim):                new_w[i] += lw[i] * n / total            new_b += lb * n / total        global_model.w, global_model.b = new_w, new_b     return global_model  def main():    model = fed_avg(clients=4)    print("全局权重:", [round(x, 4) for x in model.w])    print("全局偏置:", round(model.b, 4))     test = make_data(30)    mse = sum((model.predict(x) - y) ** 2 for x, y in test) / len(test)    print("测试 MSE:", round(mse, 4))  if __name__ == "__main__":    main()

1. random.seed(seed)固定随机种子，保证实验可复现，方便对比不同参数的效果。
2. global_model = MiniModel(dim)初始化全局模型，相当于总部的“初始口味模板”。
3. local.w = global_model.w[:]把全局权重拷贝给本地模型，让每轮训练从全局状态出发。
4. local_params.append(local.train_on(cdata))各参与方在本地数据上做多轮梯度下降，返回本地参数。
5. sizes.append(len(cdata))记录每个参与方的样本量，为后续按比例加权做准备。
6. total = sum(sizes)计算所有参与方的样本总量，作为加权平均的分母。
7. new_w[i] += lw[i] * n / total核心聚合步骤：按样本量占比累加各参与方的参数更新。
8. global_model.w, global_model.b = new_w, new_b更新全局模型，完成一轮 FedAvg 迭代。
9. model.predict(x) - y计算预测误差，驱动本地梯度下降优化。

常见误区

面试题