联邦推荐系统与联邦图神经网络的工业实践

可视化演示

展示联邦推荐系统跨平台协作、联邦GNN子图分割加密消息传递及隐私保护机制对比，支持三模式切换。

联邦推荐背景

四位合租室友各怀独家调料，却没人愿意交出配方。这就是“数据孤岛”困境——电商平台A知道用户喜欢什么风格的衣服，平台B知道用户常买什么价位的电子产品，平台C掌握用户的搜索习惯，但数据被法律法规、商业机密和竞争壁垒隔在各自的高墙之内。传统的中心化机器学习需要把所有数据搬到一起，如同要求所有人把调料包倒进公共大碗——谁也不干。

隐私法规（GDPR、个保法）像公寓管理新规：不得随意拿走室友的私人物品。这让“收集数据到中央服务器”的老路彻底走不通。但推荐系统需要多方数据才能更懂用户——平台A只知道用户买了件衬衫，平台B却知道用户同时浏览了领带。联合建模的需求由此诞生：不搬数据，只搬“经验”。

联邦学习正是这种“经验搬运”的公约。每个平台在本地用自家数据训练模型，只把模型学到的规律（梯度/参数）传给中央协调者，中央汇总后发回更新版模型。数据始终待在各自的冰箱里，流动的只是“菜品的味道描述”。

数据孤岛像隔墙的厨房，联邦学习则是在墙上开了一扇小窗——只递调味碟，不递食材。这扇窗的大小和递送规则，正是后续所有技术细节的起点。

横向纵向联邦

有人需要借豆瓣酱，有人需要借酱油——合租做饭的协作方式因“缺什么”而不同。联邦学习同样分两类：横向联邦与纵向联邦。

横向联邦（Horizontal FL）：各平台拥有不同的用户，但特征空间相同。平台A和平台B都收录了“浏览时长、点击率、购买金额”等特征，但各自的用户群体不同（一线城市 vs 下沉市场）。这就像两位室友都做川菜（同样的菜系特征），但各自擅长不同食材。横向联邦就是“川菜师傅们互相交流火候心得”——模型在各平台上轮流训练，参数汇总取平均。

纵向联邦（Vertical FL）：各平台拥有相同的用户群体，但特征不同。平台A知道用户看什么，平台B知道用户买什么——同一个用户被不同平台从不同角度刻画。这就像两位室友给同一道菜分别贡献盐和糖，缺一不可。纵向联邦通过加密的实体对齐技术，找到两个平台共有的用户（同一道菜的两位品尝者），再联合训练。

纵向联邦的数学核心是“特征拼接下的安全计算”：

横向联邦像多位大厨交流火候，纵向联邦像两位厨师共做一道菜——各自负责一部分调味。无论哪种，核心都是“数据不动，模型动”。

联邦推荐框架

合租做饭公约的完整流程是这样的：每晚七点，各人在自己厨房开工（本地训练），八点把做好的半成品——一盆炖好的肉、一碗调好的酱——端到公共餐桌（加密上传），由当晚轮值的大厨（中央服务器）汇总成一桌菜（安全聚合），九点大家各自端回自己那份改良版（模型更新），第二天接着改进。这就是联邦推荐的标准范式。

具体到推荐系统，流程分三步：

本地模型训练（Local Training）：每个平台用本地数据训练推荐模型（如矩阵分解、深度神经网络），计算梯度。以经典矩阵分解为例，每个平台只针对本地用户-物品交互矩阵做分解。

梯度加密上传（Encrypted Upload）：为了防止梯度反推原始数据，上传前需要加密或加噪。常见手段包括同态加密（在密文上做算术）和差分隐私（注入噪声使个体信息不可辨）。

安全聚合（Secure Aggregation）：中央服务器收到各方的加密梯度后，在密文状态下计算加权平均，聚合结果下发给各平台。联邦平均（FedAvg）是其中最经典的算法：

这一框架是联邦推荐的“标准动作”，但它有个隐蔽假设：各平台的样本是对齐的。推荐场景中，用户与物品的交互图往往是跨域的——这正是联邦图神经网络的用武之地。

联邦图神经网络

室友们不仅各自有食材，还共同经营着一张复杂的“关系网”：小度的朋友是小美，小淘关注了小快的穿搭账号，小度和小淘都收藏过同一家的腊肉。推荐系统中的用户-物品交互、社交关系天然构成图结构。传统的单机图神经网络像一个人独奏整首交响乐，而联邦环境下的图学习则是多人分声部合奏——每个人只掌握自己那部分乐谱。

图结构跨机构（Cross-Silo Graph）：用户A在平台X社交网络里与好友有边，又在平台Y有购买行为——这条信息链跨越了两个机构。联邦图神经网络的目标是在不泄露边信息的前提下，让跨越机构的节点得到充分的邻居信息聚合。

消息传递本地化（Localized Message Passing）：GNN 的核心操作是消息传递——节点聚合邻居的信息更新自己的表示。联邦场景下，每个平台只能在自己持有的子图上做消息传递。跨机构的边（cut edge）如同被切开的电话线，需要通过“代理节点”或“对齐样本”间接传递信息。

子图嵌入学习（Subgraph Embedding Learning）：各平台将本地子图嵌入到共享的低维空间中，让同一用户在不同平台的嵌入保持一致。嵌入的同步通过联邦聚合实现——每个平台上传节点的嵌入向量（而非原始图），中央服务器协调对齐。

联邦GNN的精髓在于：虽然每个机构只看到图的局部，但通过联邦协议，每个节点的表示都能“感受到”全局结构的影响——像合租室友各自只掌握部分社交圈，却通过共同聚餐拼凑出完整的人际版图。

子图分割挑战

合租公寓的公共资源有限，但关系网是纠缠的。要在不共享图数据的前提下训练GNN，最核心的难题是——如何在子图被切开的情况下，仍让信息充分流通？

跨域边切割（Edge Cut）：一条边连接的两个节点分别属于两个平台。比如用户 A 在平台X关注了用户 B，而 B 的购买记录在平台Y。这条边在物理上被切断了。如果直接忽略这些边，节点将丢失关键的邻居信息，模型性能受损。

解法之一是安全对齐样本发现：通过加密的隐私集合求交（PSI），两个平台找出共同的用户（交集用户），以这些用户为“锚点”传递跨域信息。交集用户像合租公寓的公共走廊——两边都能自由通行。

解法之二是邻居缺失处理：对图中那些“邻居在别处”的节点，用“虚拟邻居”或“嵌入缓存”来补全。Pinterest 联邦 GNN 的做法是：各平台维护一份“哈希嵌入表”，跨域邻居的信息以加密形式缓存，按需取用。

子图分割的困难与解法，就像一栋合租公寓的公共区域管理——如何让两边的室友在不进入对方房间的前提下，完成物品传递？答案是：设一个公共储物柜（安全聚合），各自放东西，各自取自己的那份——不越界，但能协作。

工业案例实战

理论讲得再好，不如看实际公寓里怎么开火做饭。这里有三间知名“合租公寓”的实战经验。

Google Focal 是横向联邦在推荐场景的典型落地。它解决的是 Gboard（谷歌输入法）的“下一词预测”——每个用户的输入习惯是私密的，不能上传到云端。Focal 用联邦学习在用户手机上本地训练预测模型，只上传加密的模型更新，通过联邦平均聚合出全球通用的输入预测模型。这像每一位住户的独特打字习惯，被提炼成“公共输入法知识”，而每位住户的具体输入内容从未离开过手机。

Pinterest 联邦 GNN 则是纵向联邦与图神经网络的结合案例。Pinterest 是一个图片收藏平台，用户会收藏（pin）图片到画板（board），形成“用户-图片-画板”的异质图。传统做法是把整张图搬到服务器训练 PinSAGE 模型，但用户的收藏行为是敏感的。联邦版本将图按用户分割到各设备，在设备本地做图采样和邻居聚合，上传加密的嵌入更新，中央服务器协调全局嵌入。

工业实践给我们的启示是：联邦推荐不是学术玩具，而是已在数亿用户手机上运行的“合租公约”。从输入法到图片收藏，从电商推荐到短视频分发，联邦学习正默默守护着每一条用户行为数据不出家门。

隐私与安全

合租公寓的安全公约至关重要。室友之间既要协作，又得防着有人顺走独家配方——数据隐私的攻防，是联邦推荐系统真正落地时绕不开的关卡。

差分隐私（Differential Privacy, DP）：在梯度上传前注入经过校准的噪声，使得任何单个用户的数据对模型更新的影响被掩盖在噪声之中。这像给每道菜撒一层“保密粉”——外人尝得出大致口味，却品不出某一位室友的独家配方。

安全多方计算（Secure Multi-Party Computation, MPC）：多个平台在不暴露自己输入的前提下，共同计算某个函数。纵向联邦中常用的技术是秘密共享——把每个值拆成多份碎片分发给各方，单独任何一方都还原不出原始值，但合在一起能算出聚合结果。这像一把密码锁的钥匙被分成三段，每人拿一段，只有三人到齐才能开锁。

梯度泄露防御（Gradient Leakage Defense）：研究发现，攻击者可以从梯度中反推原始数据。防御手段包括梯度裁剪、加噪、稀疏化。这提醒我们：上传梯度本身就是“半成品”——像端上桌的菜仍能看出食材的纹理，必须做脱敏处理。

隐私与安全的平衡，本质是“协作深度”与“信息暴露度”的权衡。室友们协商出一个又一个公约，既让聚餐丰富，又让私人冰箱永远是私人的。

未来挑战趋势

合租公寓的公约演进远未结束。随着入住人数增多、菜系变复杂，新的挑战不断浮现。

通信效率瓶颈：联邦学习每轮迭代都要上传下载模型参数，网络开销巨大。在移动设备场景尤其严重。研究者正探索“压缩梯度”与“本地多步更新”来减少通信轮次。

异质性数据分布（Non-IID）：各平台的数据分布差异太大（有的用户爱买家电，有的爱买服饰），模型收敛困难。联邦学习中的个性化策略（Per-FedAvg、APFL）允许各平台保留一部分“个人特色”参数，实现“共享骨架 + 个人口味”的灵活架构。

可信联邦生态：未来的联邦学习不仅是技术协议，更是商业生态——像公寓楼委会制定公约一样，各参与机构需要建立贡献评估、激励机制和审计机制。

工业界最值得关注的前沿方向是模型异构联邦与去中心化联邦（点对点）——前者允许各平台使用不同的模型结构，后者不再依赖中央服务器。这从“合租公寓”走向“社区自治”，联邦学习的未来，是构建一个数据要素流通的信任基础设施。

AI 应用场景

Python 演示

import numpy as npimport copy class LocalClient:    def __init__(self, client_id, data):        self.client_id = client_id        self.data = data     def local_train(self, global_params, lr=0.01, local_epochs=1):        local_params = copy.deepcopy(global_params)        X, y = self.data[:, :-1], self.data[:, -1]        n = len(X)        for _ in range(local_epochs):            grad = self.compute_gradient(local_params, X, y)            for key in local_params:                local_params[key] -= lr * grad[key] / n        return local_params     def compute_gradient(self, params, X, y):        grad = {"w": np.zeros(X.shape[1]), "b": 0.0}        for i in range(len(X)):            pred = float(np.dot(params["w"], X[i]) + params["b"])            err = pred - y[i]            grad["w"] += err * X[i]            grad["b"] += err        return grad  class FedServer:    def __init__(self, num_clients):        self.num_clients = num_clients     def aggregate(self, local_params_list, data_sizes):        total_size = sum(data_sizes)        global_params = {}        for key in local_params_list[0]:            global_params[key] = np.zeros_like(local_params_list[0][key])        for local_params, size in zip(local_params_list, data_sizes):            weight = size / total_size            for key in global_params:                global_params[key] += weight * local_params[key]        return global_params  def generate_data():  # 模拟同分布的房价数据    rng = np.random.default_rng(42)    datasets = []    for _ in range(3):        X = rng.uniform(50, 200, (40, 1))        y = 1000 + 8 * X[:, 0] + rng.normal(0, 50, 40)        datasets.append(np.hstack([X, y.reshape(-1, 1)]))    return datasets  def main():    datasets = generate_data()    clients = [LocalClient(i, datasets[i]) for i in range(3)]     global_params = {"w": np.zeros(1), "b": 0.0}    for round_idx in range(20):        local_params_list = []        data_sizes = []        for client in clients:            local_params = client.local_train(global_params)            local_params_list.append(local_params)            data_sizes.append(len(client.data))        global_params = FedServer(3).aggregate(local_params_list, data_sizes)     print("Final global w:", round(global_params["w"][0], 4))    print("Final global b:", round(global_params["b"], 4))  if __name__ == "__main__":    main()

1. client.local_train(global_params)每个客户端在本地对全局参数做几轮梯度下降，数据始终不离开本地。
2. grad["w"] += err * X[i]计算梯度：预测误差乘以特征值，等价于“尝了一口菜，然后记录该加多少盐”。
3. FedServer(3).aggregate(...)中央服务器将三份局部参数按数据量加权平均，生成新的全局菜单。
4. weight = size / total_size数据量大的平台在聚合时话语权更大，与公式 ∑(n_k/n)·w_k 完全一致。
5. global_params[key] += weight * local_params[key]逐一累加参数维度，完成一轮联邦平均。

常见误区

面试题