SCAFFOLD：用控制变量加速联邦学习收敛

可视化演示

通过客户端漂移、SCAFFOLD校正和收敛对比三个模式，展示SCAFFOLD如何通过控制变量校正联邦学习中的客户端漂移问题，显著减少通信轮次。

背景与问题

让我们回到那锅五味杂陈的汤。联邦学习的真实世界里，“主厨”是中央服务器，“家庭成员”是分布在各处的客户端——不同科室的医院、不同地区的银行、不同用户手里的手机。每个客户端都握着属于自己的“口味数据”：某医院的病历、某银行的交易流水、某用户的打字习惯。出于隐私保护，这些数据不能离开本地，服务器只能请大家“远程调汤”：大家各自尝一口自己锅里的汤，按自己的口味报告一个“该往哪个方向加料”，服务器把所有方向平均后再统一加料。这种协作方式就是联邦学习的经典框架 FedAvg：每个通信轮次，服务器把当前模型广播给客户端；客户端在私有数据上训练几轮，把更新后的模型传回去；服务器把所有更新平均，得到新的全局模型。

问题出在“各自尝一口”上。当客户端的数据分布差异很大时——学术上叫 Non-IID（非独立同分布）——每个客户端报告的更新方向会各执一词：有的往东北，有的往西南。服务器把这些方向一平均，得到的往往不是最优方向。这个现象叫客户端漂移（Client Drift）：每个客户端都朝着自己的局部最优方向走，全局模型被拉得偏来偏去。漂移越严重，全局模型就越像那锅反复加料、味道来回横跳的汤——明明各方都在努力，却迟迟无法定味。

联邦学习中最昂贵的资源是通信。多一次通信轮次，就多一次全网络的模型传输。漂移直接导致收敛慢：模型要多走很多冤枉路才能稳定，通信轮次随之成倍增加。在真实场景中，这可能意味着几千万智能手机用户多等几天才能收到模型更新。

SCAFFOLD核心思想

面对一家口味各异的成员，聪明的家长会怎么做？他会先发一张“口味偏差登记表”：每个人都写下“和家里公认标准味相比，我的口味偏咸多少、偏甜多少”。之后每次提意见时，先悄悄减去自己的偏差再开口。这样每个人的建议都指向同一个方向——全家真正需要的味道。SCAFFOLD 把这张“登记表”做成了算法里的控制变量（Control Variates）。

具体来说，每个客户端 i 维护一个自己的控制变量 c_i，服务器维护一个全局控制变量 c。c_i 刻画“这个客户端的数据分布相对全局的偏离子方向”——就好比“我比标准口味多放了多少盐”；c 是全体客户端偏差的平均值——就好比“全家平均的口味偏好在哪个方向”。本地更新时不再直接用本地梯度 ∇f_i(x)，而是用修正梯度 ∇f_i(x) − c_i + c：先减掉自我的偏差，再加上全体标准。这一步就叫方向校准，它把每个客户端从“自说自话”拉回到“共同语言”。

这套做法的理论根源是优化领域的方差缩减（Variance Reduction）。把客户端更新想象成对全局梯度的随机采样：每个客户端算出的梯度都混入了自己数据分布的“噪声”，噪声大了，采样结果就飘。SCAFFOLD 用控制变量减掉噪声中可预测的部分，方差小了，梯度估计更准，收敛自然更快。这种思路源自 SAGA、SVRG 等方差缩减方法，SCAFFOLD 把它们从单机扩展到了联邦场景，因此常被看作“联邦版的方差缩减”。

算法流程

沿用做汤的流程，SCAFFOLD 的每一轮可以分成四步，好记又清晰。

第一步，初始化阶段：服务器设定初始模型 x₀ 和全局控制变量 c = 0，广播给所有客户端；每个客户端也把自己的控制变量 c_i = 0 清零。这相当于“先不预设任何人有口味偏差”，大家从一张白纸开始。

第二步，本地更新：第 t 轮，客户端 i 从全局模型 x_t 出发，在自己的数据上走 K 步，每一步都用修正后的梯度更新模型：

$$x \leftarrow x - \eta\left(\nabla f_i(x) - c_i + c\right)$$

这 K 步走完，得到本地模型 x_i⁺。

第三步，控制变量更新：每个客户端根据本轮起点与终点的位移，更新自己的“口味偏差表”，把 x_i⁺ 和 c_i⁺ 一起传回服务器。

第四步，全局聚合：服务器把大家传回来的模型平均，得到新的全局模型 x_{t+1}；把所有 c_i⁺ 平均，得到新的全局控制变量 c_{t+1}；再广播给所有客户端，进入下一轮。

回头看这几步，SCAFFOLD 的巧妙之处在于：每个客户端上交的虽然是同一个模型的更新，但它已经是“去掉个性化偏差后”的更新。服务器做平均时，不再被“众口难调”拖着走，每一轮都朝着共同味道前进。

数学原理

把“把汤做好”翻译成数学语言。假设有 M 个客户端，客户端 i 的数据分布是 D_i，其上的期望损失记为 f_i(x)。整个系统要优化的是全体数据的加权平均损失：

FedAvg 的本地更新是直接沿梯度走，SCAFFOLD 则在此基础上加入了 −c_i + c 的修正项：

每轮本地 K 步走完后，客户端还要更新自己的控制变量：

有了这套机制，论文给出了一个漂亮的收敛性保证：

正是这个与异构程度无关的收敛上界，保证了 SCAFFOLD 在“众口难调”的极端情况下依然走直线，而不是像 FedAvg 那样绕弯。

对比FedAvg

两种做法摆在一起，差距一眼可见。FedAvg 的本地更新只有一项：

基于这个差异，两者的对比体现在三方面。漂移控制上，FedAvg 从不主动估计“你偏了多少”，只能靠平均硬扛漂移；SCAFFOLD 每轮都在估计和消除漂移，让更新方向更一致。轮次优势上，论文在 CIFAR-10 等任务上的实验显示，达到相同精度时 SCAFFOLD 的通信轮次通常只有 FedAvg 的 1/2 到 1/3，数据越异构，优势越明显。适用场景上，SCAFFOLD 特别适合医疗、金融、物联网等数据分布差异大、通信成本高昂的场景；在数据近似独立同分布时，它的控制变量会趋于零，性能与 FedAvg 持平，因此并不会带来额外风险。

实现要点

从工程角度看，把 FedAvg 升级为 SCAFFOLD 并不复杂。代码实现上，只需为每个客户端维护一个控制变量 c_i，服务器维护一个全局控制变量 c；本地训练循环里把梯度换成修正梯度 ∇f − c_i + c；每轮结束后按公式更新 c_i 并上传。超参数方面，学习率 η 和本地步数 K 与 FedAvg 保持一致即可，控制变量统一从 0 初始化，不需要额外调参的魔法。

通信开销是工程师最关心的问题：SCAFFOLD 每轮要多传一个与模型等大的控制变量，单轮通信量约为 FedAvg 的两倍。但总通信量 = 轮次 × 单轮通信量。由于轮次减少了 2-3 倍，实际上总通信量反而下降。实践上还可以对 c_i 做 8-bit 量化或每若干轮才上传一次，进一步压缩开销。

实践建议是改代码时先跑一个 IID 小实验做验证：数据同分布时，控制变量应趋近于 0，SCAFFOLD 与 FedAvg 效果持平；然后再切换成 Non-IID 数据，对比两条收敛曲线。如果发现 SCAFFOLD 没有明显优势，先检查 c_i 更新公式里的符号——这是最容易写错的地方。回想那锅汤：偏差表做对了，每个人的建议才真正指向共同味道。

AI 应用场景

Python 演示

import numpy as np def make_clients(M=10, seed=0):    rng = np.random.default_rng(seed)    clients = []    for i in range(M):        w = float(rng.uniform(0.5, 5.0))        X = rng.normal(size=(30, 1))        y = w * X[:, 0] + rng.normal(scale=0.1, size=30)        clients.append((X, y.reshape(-1, 1)))    return clients  class FedAvg:    def __init__(self, clients, lr=0.01, K=5):        self.clients = clients        self.lr = lr        self.K = K     def train(self, x, rounds=100):        for _ in range(rounds):            updated = []            for X, y in self.clients:                x_local = x.copy()                for _ in range(self.K):                    grad = 2 * X.T @ (X @ x_local - y) / len(y)                    x_local = x_local - self.lr * grad                updated.append(x_local)            x = np.mean(updated, axis=0)        return x  class SCAFFOLD:    def __init__(self, clients, lr=0.01, K=5):        self.clients = clients        self.lr = lr        self.K = K        self.c = np.zeros(clients[0][0].shape[1])        self.c_list = [np.zeros_like(self.c) for _ in clients]     def train(self, x, rounds=100):        for _ in range(rounds):            new_x = []            new_c = []            for i, (X, y) in enumerate(self.clients):                x_local = x.copy()                for _ in range(self.K):                    grad = 2 * X.T @ (X @ x_local - y) / len(y)                    x_local = x_local - self.lr * (grad - self.c_list[i] + self.c)                new_c.append(                    self.c_list[i] - self.c + (x - x_local) / (self.K * self.lr)                )                new_x.append(x_local)            self.c_list = new_c            self.c = np.mean(self.c_list, axis=0)            x = np.mean(new_x, axis=0)        return x  if __name__ == "__main__":    clients = make_clients()    x0 = np.zeros(1)    r1 = FedAvg(clients).train(x0.copy(), rounds=200)    r2 = SCAFFOLD(clients).train(x0.copy(), rounds=60)    print("FedAvg 200 rounds:", r1)    print("SCAFFOLD 60 rounds:", r2)

1. y = w * X[:, 0] + rng.normal(scale=0.1, size=30)每个客户端用不同的真实权重 w 生成数据，模拟数据异构
2. grad = 2 * X.T @ (X @ x_local - y) / len(y)线性回归损失对模型的梯度
3. x_local = x_local - self.lr * gradFedAvg 的本地更新，完全跟随本地梯度
4. x_local = x_local - self.lr * (grad - self.c_list[i] + self.c)SCAFFOLD 的核心修正更新
5. new_c.append(self.c_list[i] - self.c + (x - x_local) / (self.K * self.lr))控制变量更新公式
6. self.c = np.mean(self.c_list, axis=0)服务器聚合出全局控制变量，广播给下一轮

常见误区

面试题