联邦学习双雄：FedAvg与FedProx对比

可视化演示

动态演示联邦学习双雄的核心机制，通过概览/流程/对比/趋势四种模式展示关键概念与交互流程。

联邦学习基座

教研组的故事继续。你想组织全区联考，但不可能把几十万份学生作业都搬进教育局——法律不允许，家长也不答应。于是你定下铁规矩：数据不出校门，各校只交“教案心得”，学生个人信息一律不上报。这个“数据不动、模型动”的协作模式，构成了整个故事的舞台。

把故事翻译成机器学习的语言：联邦学习由 McMahan 等人在 2017 年提出，解决的是“数据分散又敏感，如何共同训练一个模型”的问题。一个中央服务器维护全局模型参数 w；K 个客户端（手机、医院、银行节点）各自用本地数据训练，只把参数更新传回服务器。隐私保护最基础的一条就是：原始数据永远留在本地，谁也不用交底牌。

形式上，全局要优化的是一个加权平均目标函数：

有了这张“全区总目标”的蓝图，你心里有底了：只要每所学校都朝自己的方向改进，汇总起来大方向就不偏。前提是，各校的“方向”得大体一致——这正是下一节 FedAvg 的设想。

FedAvg原理

你制定了最简单的集体备课流程：每学期初把区通用教案发给各校；各校老师在本校用两星期（本地训练 E 轮）改出适合自己班的版本；学期末，你把各校版本按学生人数加权平均，合成新教案，再发下去。如此循环，便是联邦平均的雏形 FedAvg。

FedAvg 的循环可以拆成三步：第一，服务器下发全局模型 w_t 给本轮选中的客户端；第二，每个客户端用本地数据从 w_t 出发跑 E 轮小批量梯度下降（SGD），得到更新后的 w_k^{(t+1)}；第三，服务器把所有 w_k^{(t+1)} 按样本量加权平均，得到新的全局模型 w_{t+1}。它节省通信的精髓在于：每轮只传模型参数，而不是整个数据集。

聚合公式如下：

流程清爽、通信节俭，FedAvg 因此成为联邦学习的事实标准。但它有一个隐藏假设：所有学校最好“水平整齐、方向一致”。真实世界很快拆穿了它。

FedAvg短板

故事迎来转折。重点学校的老师追求“拔高”，教案里塞满竞赛题；薄弱学校的老师还在打基础。你把两版教案平均一下，得到一份“竞赛题讲不透、基础题又太浅”的四不像，两个学校都不满意。更糟的是，这样循环几轮后，全区教案越来越离谱。

把“学生水平差距”翻译成机器学习的术语，就是 Non-IID（非独立同分布）：不同客户端上的数据分布差异很大，甚至单个客户端的样本内部也难以代表全局。FedAvg 在理论上假设每个本地梯度都近似是全局梯度的“无偏估计”，分布一偏，这个假设就崩了。本地损失函数的“最低点”与全局最低点错开，本地更新方向剑走偏锋，梯度之间互相冲突：

本地最优与全局最优的偏离，在文献里被称为“目标漂移”（objective drift）。轮次越多，漂移越远，FedAvg 就越像是“集百家之短”。故事里，你需要一条新规矩。

FedProx近端

组长反思：不能禁止各校改教案，那样学校没动力；也不能任其乱改，那样集体失序。于是立下新规：改，可以，但交上来的新教案必须和区里当前通用教案“保持亲近”，改动幅度超过标准就要被拉回来。这个“亲近条款”，就是近端正则化。

FedProx（Li et al., 2020）在本地目标函数中插入一个近端项（proximal term）。每个客户端不再单纯最小化本地损失，而是最小化“本地损失 + 偏离全局模型的代价”：

故事里这个规矩立竿见影：各校教案不再“一天一个样”，全区教案始终有一条主线。值得一提：μ 也不是越紧越好，太紧老师就不敢改教案了，本地特色全丢，全局进步也慢——这个分寸，是调参的艺术。

收敛性对比

有了新规矩，大家发现集体备课的节奏稳多了。为了拍板是否全面推广，你需要理论依据：凭什么说 FedProx 在水平不齐的学校中也收敛？于是引入一把“尺子”，量一量各校与本部的距离。

这把尺子叫异构度 ζ，衡量最“偏”的客户端其本地最优解离全局最优解有多远：

更精确一点，理论分析常给出如下形式的误差上界（简化）：

实验曲线也印证了直觉：同一批 Non-IID 数据上，FedAvg 的损失曲线像锯齿一样上下跳动，FedProx 的曲线虽然下降不快，但每一步都踩实——最终先到达目标线。收敛性对比，拼的不是爆发力，而是稳定性。

算法选型

作为教研组长，你最终要回答：这届全区学校到底该用哪套规则？答案是一把尺子。生源齐整、水平接近，老规矩 FedAvg 简单高效；生源参差、数据分布歪斜，必须上新规矩 FedProx。

实战中如何“量”？可以预先计算一个统计量：把每个客户端的本地梯度与全局平均梯度做加权距离平方和，刻画“梯度分叉”程度：

还要看通信带宽与系统异构。FedAvg 每轮只传模型参数，如果带宽紧张，可配合本地多轮训练减少通信频率；如果各客户端算力差距大——有的学校老师忙、没时间改完教案——FedProx 的“允许部分客户端提前交卷”特性也更有弹性，因为近端项让不完整的本地求解也能被安全聚合。

选型没有银弹。记住一句话：FedAvg 是默认选项，FedProx 是异构场景的救火队员；先度量，再选择。

隐私安全机制

教研组铁律还有最后一环：各校的心得卡要放进一个“匿名信箱”投递。信箱的规则是——任何人都能证明“全校一共收到了多少份心得”，但谁也没法说出“某校交的那份心得具体是什么”。这就是联邦学习区别于中心化数据集市的底气。

即使只上传模型参数，梯度也可能被破解出训练数据（梯度反演攻击）。为此引入安全聚合（Secure Aggregation）：每个客户端在参数上叠加一个随机掩码 r_k 再上传，服务器对所有客户端求和时，掩码在多方秘密共享机制下被抵消：

去中心化 AI 的叙事由此展开：训练不需要把数据收集到一处，模型可以像“巡回讲师”一样在城市间传递。FedAvg 与 FedProx，是两种共享“教案”的协作协议。故事收官：教研组长把三件套——数据不出校、教案加权汇总、匿名信箱——写进了区教研章程，而这些思想，正是今天联邦学习从论文走向产业的核心力量。

AI 应用场景

Python 演示

# -*- coding: utf-8 -*-"""模拟比较 FedAvg 与 FedProx 在 Non-IID 数据上的收敛效果。"""import mathimport random  def gen_data(seed):    """生成三个客户端数据: 每个客户端数据中心依次偏移(模拟 Non-IID)。"""    rng = random.Random(seed)    clients = []    for center in (0.2, 0.5, 0.8):        xs, ys = [], []        for _ in range(200):            x = rng.gauss(center, 0.3)            x = max(0.0, min(1.0, x))            y = 1 if x > 0.5 else 0            xs.append(x)            ys.append(y)        clients.append((xs, ys))    return clients  def predict(w, x):    """sigmoid 概率: p = 1 / (1 + exp(-w * x))。"""    return 1.0 / (1.0 + math.exp(-w * x))  def client_train(global_w, xs, ys, mu, lr, epochs):    """本地训练: 返回更新后的模型参数 w。"""    w = global_w    for _ in range(epochs):        grad = 0.0        for x, y in zip(xs, ys):            p = predict(w, x)            grad += (p - y) * x        grad /= len(xs)        if mu > 0:            grad += mu * (w - global_w)        w -= lr * grad    return w  def aggregate(client_params, client_sizes):    """按样本数加权平均(与 FedAvg/FedProx 相同)。"""    total = sum(client_sizes)    w = 0.0    for cw, n in zip(client_params, client_sizes):        w += cw * n / total    return w  def evaluate(w, clients):    """在所有客户端数据拼接成的测试集上计算准确率。"""    total = correct = 0    for xs, ys in clients:        for x, y in zip(xs, ys):            pred = 1 if predict(w, x) >= 0.5 else 0            correct += (pred == y)            total += 1    return correct / total  def run_simulation(mu, rounds=30, local_epochs=5, lr=0.1):    """执行一轮联邦模拟, 返回每一轮结束后的测试准确率。"""    clients = gen_data(seed=7)    sizes = [len(ys) for _, ys in clients]    global_w = 0.0    history = []    for _ in range(rounds):        params = []        for xs, ys in clients:            params.append(client_train(global_w, xs, ys, mu, lr, local_epochs))        global_w = aggregate(params, sizes)        history.append(evaluate(global_w, clients))    return global_w, history  def main():    rounds, local_epochs, lr = 30, 5, 0.1    print("=" * 40)    print("FedAvg  (mu=0)")    _, h_avg = run_simulation(0.0, rounds, local_epochs, lr)    print("最终准确率: {:.2%}".format(h_avg[-1]))     print("=" * 40)    print("FedProx (mu=0.5)")    _, h_prox = run_simulation(0.5, rounds, local_epochs, lr)    print("最终准确率: {:.2%}".format(h_prox[-1]))     print("=" * 40)    print("第1/10/20/30轮准确率对比")    for r in (0, 9, 19, 29):        print("round {:2d}: FedAvg={:.2%}  FedProx={:.2%}".format(            r + 1, h_avg[r], h_prox[r]))    diff = h_prox[-1] - h_avg[-1]    print("收尾差异: FedProx 比 FedAvg {:+.2f} 个百分点".format(diff * 100))    print("说明: Non-IID 场景下 FedProx 的近端约束抑制了目标漂移。")  if __name__ == "__main__":    main()

1. for center in (0.2, 0.5, 0.8):每个客户端的数据中心不同，模拟“重点校”和“薄弱校”的分布差异，即 Non-IID。
2. grad += (p - y) * x逻辑回归的梯度累计，相当于学校根据本地学生情况计算出修改教案的“建议箭头”。
3. if mu > 0:mu 为 0 时就是 FedAvg；mu 大于 0 时切换为 FedProx，同一份代码同时实现两种算法。
4. grad += mu * (w - global_w)近端项梯度，把本地更新拉回全局模型，是 FedProx 的核心一行。
5. w -= lr * grad执行一步梯度下降，本地模型沿建议方向微调。
6. total = sum(client_sizes)` 和 `w += cw * n / total按样本数占比加权平均，复现 FedAvg 与 FedProx 共用的聚合公式。
7. for _ in range(rounds):外层循环是通信轮次，每轮“下发—本地训练—聚合”三连。
8. history.append(evaluate(global_w, clients))记录每一轮的全局准确率，用于对比两条“收敛曲线”。

常见误区

面试题