在一座名叫“智味镇”的小镇上,镇长想绘制一张全镇的“集体味道地图”——既不收集任何家庭的神秘配方,又能综合出大家最爱吃什么。他提出两种方案。第一种叫“百家宴”:镇上几十万户人家,每家只出一小碟菜,随机抽中的邻居带着自家最新研究的小菜奔赴中央大厨房汇总;第二种叫“主厨联盟”:只邀请三五家顶级餐厅——比如“仁心医院菜系”“金库银行菜系”——每家搬来一整本厚菜谱,通过专用专线实时与中央厨房切磋。第一种,就是跨设备(Cross-Device)联邦学习;第二种,就是跨机构(Cross-Silo)联邦学习。同样的学习目标,因为参与方数量、数据体量、网络与算力资源的天壤之别,会走上完全不同的技术路线。理解这两种系统形态的差异,是设计可靠隐私保护学习系统的第一课。
对 AI 从业者而言,区分跨设备与跨机构决定了你选算法、配资源、定安全策略的整套思路,是落地联邦学习系统时的核心判断力。
目录
可视化演示
展示Cross-Device与Cross-Silo在参与规模、通信架构和安全假设的系统差异,支持三模式交互切换。
本节配有交互动效(进入视口后自动加载,约 3KB)。
参与方规模与稳定性对比 跨设备:10⁴~10⁸终端设备参与,客户端流失率高 跨机构:2~10机构参与,稳定性高长期协作 设备不稳定导致训练轮次中断风险 N_cd≫N_cs 跨设备规模远大于跨机构但稳定性显著更低。
概念与特征:百家宴与主厨联盟
想象百家宴的场面:每个家庭端出一小碟菜,几十万碟汇聚成全镇味觉;而主厨联盟只有三五位主厨,每人搬出几百道菜的完整菜谱。同样是“摸清全镇口味”,参与者的数量与份量却天差地别。这正是联邦学习中两种系统形态的起点。
在联邦学习里,跨设备(Cross-Device)场景指的正是这场百家宴:海量客户端——智能手机、可穿戴设备、物联网终端,数量从万级到亿级,但每个设备上往往只有几十到几百条本地样本。跨机构(Cross-Silo)则是主厨联盟:医院、银行、大型企业这类机构,数量通常只有 2 到几十家,每一方都握着海量、规整的数据集。
两种形态的数据总量都可以写成各参与方数据量之和,但“拆开看”的结构完全不同。跨设备是 K 巨大而每个 n_k 微小,跨机构是 K 很小而每个 n_k 庞大。此外,跨设备客户端归普通用户所有,随时可能离线、关机、换网络;跨机构的数据中心则像酒店后厨一样 7×24 小时运转。
所以,学习联邦学习的第一步,是看清自己站在“百万小碟”还是“几本厚菜谱”面前。选错了比喻,后面所有参数、协议、安全策略都会跟着跑偏。
- 全局数据总量 $n$整个系统能用于训练的总样本数,相当于百家宴上所有小菜的总碟数。
- 参与方编号 $k$遍历每一个参与方,无论是家庭还是机构。
- 单方数据量 $n_k$第 k 个参与方本地持有的样本数,如同一户人家端出的一碟菜。
- 求和符号 $\displaystyle\sum_{k=1}^{K}$把从第 1 个到第 K 个参与方的数据量全部累加起来。
系统架构对比:群发短信与专线会议
组织百家宴,镇长只能靠群发消息挨个通知,发出的 1000 条短信里,深夜只有 300 户回复;组织主厨联盟开菜单评审会,专线视频一开,三家餐厅主厨全员到齐、画面清晰。这一静一动的沟通场景,恰好对应两种联邦系统的网络架构。
跨设备系统普遍采用星型拓扑:中央服务器是“总调度台”,客户端藏在家庭路由器(NAT)之后,彼此无法直接联系,只能由服务器发起一轮轮通信。跨机构系统虽然也常是星型,但每个机构都坐在自己的数据中心里,网络质量高、链路稳定,甚至能支撑点对点的多方安全计算协议。
衡量这种差异最直观的指标是“在线率”:第 t 轮通信时,真正能参与训练的客户端占比。跨设备的在线率像天气一样波动——深夜骤降、地铁隧道里归零;跨机构的在线率则常年贴着 1 运行,因为机构服务器没有“睡觉”这个概念。
架构差异直接塑造了协议风格:跨设备方案必须把“容积错”摆在第一位——掉线的客户端就跳过,迟到的结果就丢弃,靠轮次弥补;而跨机构方案可以把精力放在更重的计算协议上,因为“人都在,线不断”。
- 客户端全集 $U$所有可能参与训练的客户端集合,对应全镇记名的家庭花名册。
- 在线集合 $U_t$第 t 轮通信时真正在线、可被调度的客户端集合。
- 数量符号 $|\cdot|$集合的大小,即元素个数,把“集合”翻译成“人数”。
- 在线率 $p_t$两者相除得到的比例,取值范围 0 到 1,是系统设计的重要依据。
资源与约束:小厨房与大后厨
百家宴的家庭厨房只有一口小锅、一点燃气,还要省着电用;主厨联盟的餐厅后厨则锅碗瓢盆齐全,灶台火力全开还有多名帮厨。资源禀赋的悬殊,决定了两种联邦系统能“端出”什么样的训练方案。
手机、手表这类跨设备客户端,电池、CPU、内存全部受限,跑一个大模型可能直接把手机变成暖手宝;通信走 WiFi 或蜂窝网络,带宽和电量都是真金白银。跨机构的参与方则坐拥 GPU 服务器与专用光纤,能承受同态加密、秘密分享这类高开销计算的冲击——这是家庭小厨房想都不敢想的。
正因如此,跨设备联邦几乎从不奢求所有客户端同时参与,而是按一个采样率 C 抽取本轮“幸运家庭”。参与方总数 K 乘以采样率 C,再保证至少有一个客户端,就得到每轮参与数 m_t。设备掉线是常态而非意外,没赶上的家庭就等下一轮,全局训练绝不阻塞等待。
资源约束就这样塑造了两种截然不同的气质:跨设备是“轻量、容错、大量轮次”的马拉松,跨机构是“重量、稳定、少量轮次”的短跑冲刺。
- 采样率 $C$每轮希望参与训练的比例,如 0.1 表示只邀请一成家庭。
- 总参与方 $K$全部客户端数量,对应全镇登记的家庭总数。
- 乘积 $C \times K$理论上的采样人数,是“抽签”的期望规模。
- 取最大值 $\max(\cdot,\ 1)$保底逻辑,防止 K 太小或 C 太小时出现零人参与的场面。
训练流程差异:抽签轮值与全员例会
百家宴的规模太大,镇长只能每周随机抽签请一批家庭来试菜,味道汇总要经过几十上百轮才渐渐稳定;主厨联盟的品鉴会则每次都全员到场,三五轮就能敲定新的菜单方向。这就是两种形态在训练流程上的核心分野。
跨设备的每个通信轮次,服务器随机采样一小部分客户端(比如总数中的 1000 台),它们下载当前全局模型、在本地数据上训练几个 epoch、再把更新上传;服务器用联邦平均(FedAvg)把这些“小碟菜”按分量加权融合成新的“味道汇总”。跨机构则几乎全员参与每一轮,轮数显著更少。
FedAvg 的聚合规则是:每个客户端本地训练得到新模型后,服务器按其本地样本数占本轮总样本数的比例加权平均。样本越多的参与方,话语权越大——主厨那本厚菜谱,自然比家庭的一碟小菜更有分量。由于每轮参与的客户端只是随机抽样,加上各设备数据分布天然不同(非独立同分布),跨设备每轮更新方向都比较“颠簸”,需要更多轮次配合学习率衰减来稳住。
轮次数量因此差出一个量级:跨设备往往需要几百轮才能收敛,跨机构通常几十轮内就能见分晓。“众口难调”的代价,终究要由更多轮的协调来偿还。
- 全局模型 $w^{(t+1)}$第 t+1 轮更新后的最新“味道汇总”,会下发给所有参与方。
- 采样集合 $S_t$第 t 轮实际被抽中参与训练的那批客户端,是全集的一个子集。
- 本地模型 $w_k^{(t+1)}$第 k 个客户端在本地数据上训练若干步后交上来的模型更新。
- 权重 $\displaystyle\frac{n_k}{n}$该客户端样本数占本轮参与方总样本数的比例,菜越多话语权越大。
- 求和 $\displaystyle\sum_{k \in S_t}$对 $S_t$ 中每一个参与方都算一次加权并累加。
隐私与安全:街边小摊与后厨合约
百家宴上陌生人川流不息,你的小菜可能被偷看、被掉包,防不胜防;主厨联盟里各餐厅虽有品牌声誉与合同约束,主厨之间半信半疑,却也不敢轻举妄动。两种系统面对的安全威胁,与它们的“社交形态”息息相关。
跨设备的参与方匿名、海量、来去自由,攻击者可以轻易注册或伪装大量客户端,往训练里投毒,或者勾结起来窥探他人数据。因此服务器不能相信任何单个客户端,只能依赖安全聚合(Secure Aggregation)——让服务器只看到“大家合起来的味道”,看不到任何单独一碟菜。同时再叠加差分隐私,给聚合结果撒一把“神秘调味料”,让模型本身也无法还原个体的贡献。
跨机构则不同:参与方少且身份明确,可以建立更强的信任假设——比如“半诚实但非共谋”——从而承担同态加密等更昂贵的密码协议;它的主要威胁来自服务器越权读取,或少数机构合谋。隐私设计从来不是越强越好,而是要与系统形态匹配:街边小摊要防“顺手牵羊”,后厨更怕“内鬼合谋”。
- 真实梯度 $g$聚合后的真实更新方向,相当于小菜的原汁原味。
- 高斯噪声 $\mathcal{N}(0,\ \sigma^2)$均值为 0、方差为 σ² 的随机扰动,是撒下去的“神秘调味料”。
- 加噪梯度 $\tilde{g}$对外发布的梯度,个体信息被噪声掩盖,无法反推谁贡献了什么。
- σ 的权衡σ 越大,隐私保护越强,但模型精度损耗也越大,是隐私与效用的天平。
典型应用案例:从输入法到肿瘤科
百家宴的形态,天然适合“每个人都有自己小偏好”的场景——手机输入法、语音助手、运动健康;主厨联盟的形态,则适合“少量重数据玩家合作”的领域——医院联合建模、银行共享风控。选对舞台,两种模式各展身手。
手机输入法公司面向数亿用户做个性化词库:每台手机在本地训练,只上传模型更新,服务器每轮随机采样几十万台设备做联邦平均,再下发新版通用词库。另一边,几十家三甲医院组成医疗联邦,每家拥有 GPU 集群和数万份影像数据,全部机构每轮参与训练,二十轮后得到泛化能力显著增强的肿瘤筛查模型——原始影像数据始终没有离开医院。
无论是哪种模式,通信开销都是一笔绕不开的账单:总通信成本 = 轮次数 × 每轮参与数 × 模型大小。跨设备轮次多、参与数大,但模型往往精简;跨机构轮次少、参与方少,但模型和单方数据都更庞大。拿着这张账单,工程师就能为具体任务做出理性的方案选型。
两种模式不是竞争而是互补:如果你的任务是“人多菜小、常掉线”,就走百家宴路线;如果是“人少菜大、稳定协作”,就走主厨联盟路线。看懂这份差异地图,才算真正拿到了联邦学习的入场券。
- 通信轮次 $R$联邦训练总共进行的轮数,跨设备常上百,跨机构常几十。
- 每轮参与数 $m_t$平均每轮实际参与的客户端数量,跨设备是采样子集,跨机构近乎全员。
- 模型大小 $|w|$模型参数量,相当于一份菜谱的厚度,决定每次上传的“包裹”有多重。
- 总成本 $C_{\text{total}}$三项相乘得到的通信账单,用来对比两种模式的资源开销。
AI 应用场景
场景1:手机输入法个性化词库(跨设备)
阶段:联邦训练与模型更新
解决的问题:传统方案把用户输入历史上传云端训练个性化联想词库,既耗流量又泄露隐私;不上传原始数据,模型又无法持续改进。
具体案例:某输入法覆盖数亿用户,采用跨设备联邦学习:客户端本地训练词库更新,仅回传模型梯度;服务器每轮随机采样数十万台设备,FedAvg 聚合后下发新模型。个人输入习惯从不离开手机,隐私与体验兼得。
场景2:多家医院联合训练疾病预测模型(跨机构)
阶段:多方协作建模与隐私保护
解决的问题:单一医院病例有限,模型泛化能力差;直接汇总各方数据又违反患者隐私保护与数据出境规定。
具体案例:30 家三甲医院组成医疗联邦,每家拥有 GPU 集群和数万份影像数据,全部机构每轮参与 FedAvg,经过约 20 轮训练得到泛化能力更强的肿瘤筛查模型,原始影像不出院门。
场景3:银行间欺诈检测模型共建(跨机构)
阶段:联合建模与安全聚合
解决的问题:单一银行的黑样本稀疏,难以训练出强大的反欺诈模型;共享客户交易明细又涉及商业机密与合规红线。
具体案例:5 家银行通过跨机构联邦,配合安全聚合与差分隐私,在各自数据不出库的前提下联合训练欺诈识别模型,整体召回率提升约 30%,且任何一方都无法反推出其他银行的客户记录。
Python 演示
"""对比跨设备与跨机构联邦学习的收敛轨迹""" import random def simulate_fedavg(total_clients, participation_rate, rounds, lr=0.4, local_epochs=5): # 每个客户端本地数据对应的最优参数,模拟数据异构性 local_optima = [i * 0.05 for i in range(total_clients)] # 全局最优点:所有客户端最优参数的平均值 global_opt = sum(local_optima) / total_clients w = 0.0 # 全局模型参数,用标量示意 errors = [] for _ in range(rounds): # 每轮只按参与率采样部分客户端参与 k = max(1, int(participation_rate * total_clients)) participants = random.sample(range(total_clients), k) local_ws = [] for idx in participants: # 本地训练:朝本客户端的最优点逼近若干步 w_local = w for _ in range(local_epochs): w_local += lr * (local_optima[idx] - w_local) local_ws.append(w_local) # 服务器联邦平均:聚合本轮参与者的本地模型 w = sum(local_ws) / len(local_ws) errors.append(abs(w - global_opt)) # 记录与全局最优的误差 return errors random.seed(42)device_errors = simulate_fedavg(total_clients=500, participation_rate=0.1, rounds=30)silo_errors = simulate_fedavg(total_clients=5, participation_rate=1.0, rounds=30) print("跨设备(500终端,10%采样): 最终误差 %.4f" % device_errors[-1])print("跨机构(5机构,100%参与): 最终误差 %.4f" % silo_errors[-1])print("跨设备 逐轮误差:", ["%.3f" % e for e in device_errors[::5]])print("跨机构 逐轮误差:", ["%.3f" % e for e in silo_errors[::5]])
local_optima = [i * 0.05 for i in range(total_clients)]模拟每个客户端握着不同的本地“口味”(数据分布),这正是非独立同分布。k = max(1, int(participation_rate * total_clients))按参与率算出每轮采样人数:跨设备只约 1 成,跨机构全员参与。w_local += lr * (local_optima[idx] - w_local)本地梯度下降,让本地模型朝自己的最优值靠拢。w = sum(local_ws) / len(local_ws)服务器等权联邦平均,对应正文 FedAvg 的核心聚合逻辑。errors.append(abs(w - global_opt))记录每轮与全局最优的误差,用来对比两种模式的收敛速度。
常见误区
误区跨设备(Cross-Device)是不是就是设备比较少的联邦学习?比如几台电脑一起训练?
正解恰恰相反。跨设备指的是海量客户端——百万级手机、物联网终端——每一轮只随机采样一小部分参与;跨机构才是“少而大”:几家机构各自拥有数据中心。前者像百家宴请三百户抽三十户,后者像三位主厨全员到齐。设备二字让人误以为规模小,实际它强调的是“移动终端海量、单点资源薄弱”。
为何常见:"device"的字面容易让人联想到个人电脑的数量级,忽略了它在联邦语境中专指资源受限的移动与 IoT 终端。
误区跨机构每方都有 GPU 集群,所以训练快;跨设备手机慢,所以训练慢。硬件决定一切。
正解算力只是一部分,更本质的差异是参与率与轮次协调。跨设备每轮只有小部分设备在线,还要容忍掉线,轮次动辄上百;跨机构全员稳定在线,几十轮内收敛。就像开会效率高,不是因为会议室音响好,而是因为所有人都按时出席、议题一次对齐。
为何常见:人们习惯把性能差异归因于看得见的硬件,而忽略了系统调度、通信模式这些更隐蔽的结构性因素。
误区跨设备有上百万设备参与,攻击者混在里面很难掀起风浪,所以比跨机构更安全。
正解正好相反。海量匿名设备意味着攻击者可以轻松注册或伪装大量客户端投毒、窥探,服务器必须依赖安全聚合与差分隐私来防御;跨机构参与方身份明确、有声誉约束,反而能用更重的密码协议构建信任。人多不等于安全,人杂才更需防备。
为何常见:“人多力量大”的直觉被错误迁移到安全维度,忽略了匿名性带来的巨大攻击面。
误区只有手机用户的打字习惯各不相同,机构的数据都是规范整理的,所以跨机构不存在数据异构问题。
正解跨机构的数据异构往往更猛——不同医院的设备型号、患者人群、记录方式迥异,不同银行的客群分布天差地别。虽然单机构内部数据量大且规整,但机构之间的分布差异是“大块与大块”的鸿沟,反而更难靠大数定律平滑掉。
为何常见:容易把“数据规范”等同于“分布一致”,忽视了机构间人群画像的系统性差异。
面试题
Q1. 跨设备(Cross-Device)联邦学习最典型的参与方是?
- A.三家大型医院的数据中心服务器
- B.海量智能手机与物联网终端设备← 正确答案
- C.单个超算中心内部的多块GPU
- D.少数科技公司的专用数据库
答案:B。跨设备的核心特征是“海量客户端、单点数据少”,智能手机和物联网终端正是典型代表。三家医院属于跨机构形态,超算多 GPU 是单机并行,少数公司数据库也属于跨机构而非跨设备。
Q2. 跨机构(Cross-Silo)相比跨设备,最显著的系统特征是?
- A.参与方数量多且每方数据量小
- B.参与方数量少且每方数据量大← 正确答案
- C.客户端经常离线且网络不稳定
- D.每轮只能随机采样少数参与方
答案:B。跨机构是“少而大”:几家机构的服务器 7×24 在线、数据量大且规整,每轮原则上可以全员参与;跨设备才是“多而小、在线率低”。
Q3. 设总客户端数 K=1000、采样率 C=0.1,按 m=max(C×K,1) 计算,每轮实际参与的客户端数约为?
- A.1
- B.10
- C.100← 正确答案
- D.1000
答案:C。C×K = 0.1×1000 = 100,结果大于 1,所以 m=100。这正是跨设备“抽签轮值”的思路——总人数很多,但每轮只请一小部分。
Q4. 联邦平均(FedAvg)中,服务器聚合各客户端本地模型的正确方式是?
- A.取所有模型参数的中位数
- B.对所有本地模型做等权平均
- C.按各客户端数据量占比加权平均← 正确答案
- D.只保留最后一个上传的模型
答案:C。FedAvg 用 n_k/n 作为权重,数据量大的客户端话语权更大,就像菜多的家庭在味道汇总里占比更高;中位数、等权平均或只留最后一个都不符合联邦平均的定义。
Q5. 跨设备联邦每轮为何只采样部分客户端参与?
- A.服务器算力不足以聚合全部模型
- B.海量设备常离线且通信耗电耗带宽,只能部分参与← 正确答案
- C.故意让模型收敛更慢以避免过拟合
- D.隐私法规限制同一时间在线数量
答案:B。设备在线率波动、通信资源和电量昂贵是根本原因,服务器聚合算力通常不是瓶颈;更不是有意放慢收敛,隐私法规也不会限制在线设备数量。
Q6. 关于跨设备与跨机构的安全聚合实现难度,正确的是?
- A.跨设备客户端少,秘密分享更简单
- B.跨设备客户端海量且随机掉线,容错安全聚合更难实现← 正确答案
- C.跨机构无法使用安全聚合技术
- D.跨设备不需要考虑恶意客户端攻击
答案:B。跨设备客户端规模大、随时掉线,安全聚合必须设计密文碎片重建与容错机制,难度远高于跨机构;跨机构参与方少且稳定,反而容易两两协商,也更需要安全聚合来防内鬼。
Q7. 跨机构适合采用同态加密等重密码方案的原因不包括?
- A.参与方少,密钥管理与协商可行
- B.每方算力强,可承受较高计算开销
- C.通信稳定,额外交互轮次可接受
- D.机构之间完全互信,无需任何防护← 正确答案
答案:D。正因为机构之间“半信半疑”才需要密码学防护,完全互信就根本不需要加密了。参与方少、算力强、通信稳都是跨机构能扛住重密码方案的前提条件。
Q8. 关于差分隐私在联邦学习中的作用,下列说法正确的有?
- A.通过添加噪声让单个样本难以被识别← 正确答案
- B.噪声越大隐私保护越强但模型精度越低← 正确答案
- C.可以完全替代安全聚合技术
- D.只能在跨设备场景下使用
答案:AB。差分隐私加噪能掩盖个体贡献,σ 越大隐私越强、精度损耗越大;它与安全聚合是互补关系而非替代,跨机构同样可以引入差分隐私。
Q9. 下列属于跨设备与跨机构系统差异的有?
- A.跨设备参与方数量远多于跨机构← 正确答案
- B.跨机构每个参与方数据量通常更大← 正确答案
- C.跨设备的通信连接比跨机构更稳定
- D.跨机构收敛所需的通信轮次通常更少← 正确答案
答案:ABD。跨设备天然“多而小、在线率低”,跨机构“少而大、稳定在线”,因此收敛轮次更少;通信稳定性恰恰是跨设备的劣势而非优势,所以 C 错误。
Q10. 以下哪些属于跨机构联邦学习的典型应用?
- A.多家医院联合训练肿瘤诊断模型← 正确答案
- B.多家银行共享风控模型而不交换客户数据← 正确答案
- C.手机输入法根据个人习惯更新词库
- D.智能手表更新睡眠监测模型
答案:AB。医院之间、银行之间的合作是典型跨机构场景,参与方少而数据量大;手机输入法与智能手表属于典型的跨设备场景,参与方海量而单点数据少。