联邦学习原理与系统设计：横向、纵向与联邦迁移

可视化演示

对比横向、纵向、联邦迁移三种数据划分模式的样本特征空间分布与协议设计差异。

联邦学习核心思想

「共享后厨联盟」成立的第一个清晨，老王把面馆的客人口味账本锁进抽屉，只抽出一张纸条，上面写着「本店最近 30 天，客人在『咸度』维度上偏好向右偏移 0.2」。这张纸条就是模型参数，而不是账本本身。联盟的中央经验堂收到来自面馆、茶饮、甜品三家的纸条后，把它们小心地折成一张「综合口味地图」，再各发一份复印件回去。每一家照着地图微调自己的菜单，下一轮再汇报新的心得。如此循环，AI 主厨助手越来越懂整条街的客人。

联邦学习的核心思想正是这句话：数据不动，模型动。训练一个模型通常需要把样本集中到一起，但联邦学习反其道而行——让模型参数代替数据去「旅行」。每一轮协作包含三个步骤：各参与方用本地数据训练模型；只上传模型参数或梯度；中央服务器聚合参数并分发回各参与方。原始数据自始至终停留在本地，这正是它被称为「隐私保护学习」的原因。

用数学语言描述这个聚合过程，就是加权平均。每家厨房的经验都有话语权，但权重与它的样本量成正比——客人越多的店，口味报告越有统计意义。

回到联盟的故事里：老王的面馆客人最多，他的「咸度心得」自然在综合口味地图中占大头。这就是联邦平均的基础直觉——不搬运原材料，只搬运经过提炼的知识。

横向联邦机制

美食街东头的老王面馆和西头新开的阿强面馆，是「共享后厨联盟」里关系最好的两家人。两家卖的菜单一模一样：同样的汤底选项、同样的面条粗细。换句话说，它们的特征空间完全相同；但两家的客人几乎不重叠，一个服务东城老客，一个服务西城白领，样本空间截然不同。这种「样本不同、特征相同」的协作，就是横向联邦学习。

横向联邦的协议非常朴素而优雅，业界最著名的实现叫 FedAvg（联邦平均算法）。每一轮开始，中央经验堂把当前全局菜单（模型参数）发给所有参与方；每家厨房用本地账本做几次小步调整；然后把调整后的参数交回中央；中央把这些参数按样本量加权平均，得到新菜单，再进入下一轮。整个过程仿佛一群师父各自带徒弟练功，每旬聚一次，取各家心法之长，修订一本公共武功秘籍。

FedAvg 的更新规则可以写成：

阿强面馆刚开业时只有 80 条口味记录，老王却有 200 条，所以两家合并出的新菜单，更偏向老王那条街的老熟客。这正是横向联邦的适用边界：参与方特征空间完全一致、样本 ID 空间互不重叠的场景——比如不同银行、不同医院之间。

纵向联邦机制

联盟里最特别的一次合作，发生在老王的综合店内部：一楼是面馆，二楼是小林的甜品铺。两家的客人高度重合——同一批老顾客，既吃面也吃甜品。但两家的记账维度完全不同：面馆记的是「咸度偏好、面量、加辣程度」，甜品铺记的是「甜度上限、奶香偏好、饱腹感」。面馆只看得到客人吃面的样子，甜品铺只看得到客人吃甜品的模样，谁都没见过客人的完整画像。这就是「样本相同、特征不同」的纵向联邦。

纵向联邦的第一步是实体对齐：两家的账本上都只有一串脱敏的顾客编号，需要在不泄露任何其他信息的前提下，确认哪些编号是同一个顾客。这一步通过隐私保护的求交协议完成，等价于两个掌柜隔着帘子互相比对顾客姓名拼音的首字母，而不是直接传顾客名册。对齐之后，两家就可以在同一个顾客身上拼合特征：面馆提供特征 A，甜品铺提供特征 B，模型同时读两边，做出一个「是否会买套餐」的预测。

纵向联邦的美妙之处在于，两边的特征拼合不必暴露原始数据。协议要求在加密状态下交换中间结果：

回到故事里，老王和小林谁都没有把账本拿出来，但共同的 AI 主厨助手还是学会了「客人吃完咸味面后，大概率会点一份微甜的芋圆」这种跨店知识。纵向联邦的适用边界由此清晰：样本空间高度重叠、特征空间互补的参与方，最适合坐下来谈合作。

联邦迁移机制

联盟遇到过一个特殊场景：老王在城南经营了十年的老面馆生意兴隆，积累了大量口味数据；他决定去城北高校区开分店，但新店的客人是一群学生，口味习惯和城南老客几乎毫无交集——样本不同，连菜单结构都得改（学生更爱轻食）。老店的模型直接搬过去会水土不服，新店又没数据可训练。这就是「样本空间与特征空间都不重叠」的联邦迁移学习。

联邦迁移学习的思路，是让老店交出「手艺骨架」而不是「完整菜谱」。老店用一个共享的特征提取器 f 把口味经验压缩成通用的表征能力——比如「辣与香的平衡应该如何把握」这类底层规律；新店在这个骨架上，用自己稀少但真实的学生口味数据，学出一个适配的分类头 h。为了让骨架不要偏离老店经验太远，损失函数里还要加一项迁移正则，相当于徒弟学拳时要时常回顾师父的录像带。

目标函数的数学形式如下：

三年后，老王的城北分店果然站稳了脚跟：它没有拿到城南一页账本，却借助联邦迁移，把十年手艺悄悄「翻译」成了学生喜欢的新菜单。这正是联邦迁移的用武之地——目标域数据稀疏、与源域几乎无关，却又暗含可迁移的底层结构。

隐私保护协议

联盟里每次交换经验，都像在公共走廊里递纸条。老王担心路人拆开看，阿珍担心有人抄走配方。于是联盟配齐了三套「隐私保险装置」：保险箱、匿名面具、背景白噪音。

保险箱是同态加密。它允许店家把数字锁进箱子里直接送出去，中央经验堂不需要开箱，就能在密文上完成加法运算——结果开箱后恰好等于真实计算值。

匿名面具是安全聚合。每家厨房在梯度上各自加上一对随机掩码——可以理解成每个人戴上一个随机表情的面具。汇总时，所有面具恰好两两抵消，服务器最终只能看到全体梯度的总和，却永远看不出任何一个人的原始梯度。

背景白噪音是差分隐私。上传梯度前，在梯度里注入服从高斯分布的随机噪声，让攻击者从参数反推「某个特定顾客是否存在」的置信度被淹没在噪声海洋里。

三样装置各司其职——保险箱是密码学硬承诺，匿名面具是协议层巧妙抵消，白噪音是统计学软扰动。联盟的经验在公共走廊里往返穿梭，却始终密不透风。

系统架构设计

「共享后厨联盟」运转半年后，加入的店铺越来越多。老王意识到，如果每家店每周都直接和所有其他店两两交换经验，消息会像菜市场的叫卖声一样混乱。于是联盟引入了中央调度台——参数服务器架构。

在经典的客户端-服务器结构中，每家参与方是一个客户端，中央有一个参数服务器（Parameter Server）。所有客户端在自己的本地数据上训练，随后把梯度/参数推送（push）到参数服务器；服务器聚合出新全局参数，再拉取（pull）回客户端。这种星型拓扑极大减少了通信次数：原本 N 家店需要 O(N²) 次两两消息，现在只需要 O(N) 次。

但通信仍然是最大的瓶颈。每轮通信要传输的参数量是模型大小的两倍（上传一份、下发一份），乘以参与方数和轮次：

联盟很快发现，对大模型而言这个成本惊人。于是各家采取了三个方向的优化：一是梯度压缩，把浮点梯度量化成低精度整数，相当于把长篇小说压成电报；二是本地多轮更新，客户端每轮多练几次再上报，减少通信频率；三是异步更新，允许不同厨房按自己的节奏抵达调度台，快店不等慢店，提升整体吞吐。系统的设计哲学与后厨如出一辙：调度台的职责不是帮每家做饭，而是保证消息有序、及时、不堵车。

应用场景与挑战

联盟的故事在真实世界里早已落地。最成熟的场景是金融风控协作：多家城商行各自拥有大量不同客户，但客户特征维度完全一致——交易金额、频率、设备指纹。它们用横向联邦共同训练反欺诈模型，彼此不共享客户明细，却让模型 AUC 显著提升。实测中，某省 5 家银行以联邦平均方式训练，单家银行数据量不足时模型 AUC 不到 0.72，联合后提升到 0.81，同时通过国密算法满足了监管合规。

第二个典型场景是医疗跨机构融合。某体检中心与三甲医院横向或纵向协作：体检中心有生化检验特征，医院有影像诊断特征，面对同一批受检者，属典型的纵向联邦。医院持有的「是否患病」标签不离开内网，体检中心在密文协作中获得风险预估模型，用于慢病早筛。传统方案要么因隐私合规无法落地，要么只能放弃一部分特征导致模型欠拟合；纵向联邦让双方特征互补成为可能。

第三个场景是跨域推荐系统的冷启动。某互联网大厂将国内成熟的推荐模型，通过联邦迁移适配到东南亚新市场。源域用户与目标域用户几乎没有重叠，特征空间也因文化差异大相径庭，但「浏览序列→兴趣表征」的底层迁移能力被成功保留，新市场冷启动期的人均点击率比纯本地训练提升 23%。

当然，联盟并非没有烦恼。最大的挑战是数据异构瓶颈：各厨房的数据分布往往不是独立同分布。东街客人嗜辣，西街客人嗜甜，直接把两家梯度平均，会让模型「两头不讨好」，收敛变慢甚至发散。解决思路包括调整参与方权重、按聚类分组聚合、以及设计更鲁棒的聚合算法——这正是联邦学习研究中最活跃的前沿方向。数据孤岛不会被消灭，但联邦学习让孤岛之间有了安全的航线。

AI 应用场景

Python 演示

import numpy as np  def make_data(n, dim, seed):    rng = np.random.default_rng(seed)    X = rng.normal(size=(n, dim))    w_true = rng.normal(size=dim)    prob = 1.0 / (1.0 + np.exp(-np.dot(X, w_true)))    y = (rng.random(n) < prob).astype(float)    return X, y  def sigmoid(z):    return 1.0 / (1.0 + np.exp(-z))  class LogisticRegression:    def __init__(self, dim):        self.w = np.zeros(dim)     def local_train(self, X, y, lr, steps):        for _ in range(steps):            grad = np.dot(X.T, sigmoid(np.dot(X, self.w)) - y) / len(y)            self.w -= lr * grad        return self.w  def fed_avg(client_data, test_data, rounds=15):    X_test, y_test = test_data    dim = client_data[0][0].shape[1]    global_w = np.zeros(dim)    total_n = sum(len(X) for X, _ in client_data)    for r in range(rounds):        local_ws = []        for X, y in client_data:            model = LogisticRegression(dim)            model.w = global_w.copy()            model.local_train(X, y, lr=0.3, steps=4)            local_ws.append((len(X) / total_n, model.w))        global_w = sum(w * theta for w, theta in local_ws)        pred = (sigmoid(np.dot(X_test, global_w)) > 0.5).astype(float)        acc = (pred == y_test).mean()        print("Round {}: test acc = {:.3f}".format(r + 1, acc))    return global_w  if __name__ == "__main__":    xa, ya = make_data(200, 4, seed=1)    xb, yb = make_data(80, 4, seed=2)    xt, yt = make_data(300, 4, seed=3)    final_w = fed_avg([(xa, ya), (xb, yb)], (xt, yt), rounds=15)    print("Final weights:", final_w)

1. grad = np.dot(X.T, sigmoid(np.dot(X, self.w)) - y) / len(y)— 计算本地梯度的平均值，等价于这家厨房根据自己账本算出的「修改方向」。
2. self.w -= lr * grad— 本地参数沿着梯度下降方向更新一步，但这一步只发生在本地。
3. model.w = global_w.copy()— 每个客户端先用上一轮的全局参数初始化，再从公共起点出发本地训练。
4. model.local_train(X, y, lr=0.3, steps=4)— 本地多轮迭代（本地步数 4）之后再上报，减少通信频率，这正是横向联邦常用优化手段。
5. local_ws.append((len(X) / total_n, model.w))— 记录样本量占比作为聚合权重，客源多的厨房话语权更大。
6. global_w = sum(w * theta for w, theta in local_ws)— 核心的联邦平均聚合：按权重合并各家参数，生成新的全局模型。

常见误区

面试题