联邦学习拜占庭容错机制

可视化演示

展示拜占庭攻击威胁建模、Krum与中位数鲁棒聚合算法对比及防御效果评估，切换模式观察联邦学习如何抵御恶意客户端梯度投毒攻击。

拜占庭问题

中世纪，东罗马帝国的将军们攻打一座坚城，四面围困的军队必须同时发起进攻才可能取胜。可坏消息是：传令兵可能被敌军截获、被调包，甚至某位将军早已叛变。每个人都不确定隔壁的将领会按时冲锋，还是临阵倒戈。这就是著名“拜占庭将军问题”的原始画面——在一个存在叛徒的系统里，成员之间如何达成可信的一致行动。

把城墙换成参数服务器，把将军换成参与联邦学习的客户端，同一个难题就迎面而来。1982年，Lamport 等学者正式给这个问题定了名，并指出：在存在叛徒的分布式系统中，仅靠常规通信协商几乎无法达成一致。联邦学习恰恰就是这样一个分布式系统——成千上万的手机、机构节点各自为政，任何一台设备都可能被黑客劫持，或者本身就是恶意方。

恶意客户端最常见的破坏手段叫作梯度投毒：它把自己本地算出的真实梯度丢弃，转而上传精心构造的假梯度。服务器若照单全收这份毒情报，全局模型就会沿着错误方向越走越偏。更麻烦的是，恶意参与者表面上与普通客户端毫无区别，服务器无法通过身份或者日志直接分辨谁是叛徒。防御必须转移到数学与统计层面，而不是靠身份认证。

所以教研组长遇到的不只是“有人交了烂心得”，还有“心得看起来挺像回事，实则是毒药”。要让年级教材不被带歪，唯一的办法就是升级汇总心得的方式——这正是后面各章要讨论的鲁棒聚合算法。

联邦学习基础

每一轮训练开始前，教研组长会把上一版教材发给各班课代表。各班同学在自己教室里，用本地数据琢磨这些重点，得出一点独家心得，也就是模型更新的梯度。这些心得只存在课代表脑子里，不会泄露到校外——这正是联邦学习保护隐私的巧妙之处。

假设总共有 $K$ 个班级，第 $k$ 个班级有 $n_k$ 位同学。课代表计算出梯度 $\Delta w_k$ 上传给组长；组长把 $K$ 份心得按班级人数加权平均，再沿着平均后的更新方向调整教材。这一标准流程叫作 FedAvg（联邦平均），它是联邦学习最基础的聚合算法。

FedAvg 的更新公式如下：

在“全班都诚实”的理想世界里，取平均无可厚非：人多声音大，意见自然向真理靠拢。可一旦混入谎报军情的课代表，平均就等于把毒药也喝了下去。组长开始意识到：需要一些特别的手段来辨别真假心得。

攻击建模

毒笔记也有不同型号。有的课代表把自己的心得原样反着写，把解题步骤倒过来；有的干脆乱写一气，画满不知所云的符号；还有的只针对某一类例题埋雷，平时看不出来，用到时候才爆炸。

学术界把恶意客户端的行为建模为拜占庭攻击。设第 $k$ 个客户端本应上传真实更新 $\Delta w_k$，但它实际上传的是 $g_k$。最简单的一种策略是梯度翻转：把真实梯度反转方向，再加上噪声干扰：

翻转攻击之外还有后门投毒：恶意客户端只在含有特殊触发器的本地样本上做手脚，使模型对特定输入产生错误判断，平时模型表现依然正常。这些攻击的共同点是：恶意梯度与合法梯度在向量空间中显著偏离，却又没有唯一特征能被一眼识破。因此防御算法必须在“最坏情况下有 $f$ 个客户端叛变”的假设下设计。

教研组长不知道毒笔记长什么样，但心里有数：最多可能有多少份是假的。这个数字 $f$，将成为后续所有防作弊策略的出发点。

鲁棒聚合入门

假如组长面对的 11 份心得里有 3 份毒情报，直接平均肯定不行。普通人的第一反应是：把最夸张的几份抽出来扔掉。但扔多少？怎么判断哪份是“真夸张”？这就需要专门的统计工具箱。

FedAvg 的脆弱性其实可以量化：一个极端大的梯度值就能把平均值拉离真实方向。换句话说，“平均”这个操作对单点污染毫无免疫——统计学上称为均值缺乏稳健性。鲁棒聚合算法的目标，就是在不知道哪些客户端是坏人的前提下，从全部梯度中估计出一个接近真实更新的方向。

目前常用的鲁棒聚合算法大致分为三族：基于选择的算法（如 Krum），在一堆梯度里挑一个最可信的；基于排序的统计算法（如 Median），逐坐标取中位数；基于裁剪的算法（如 Trimmed Mean），排序后丢弃首尾极端值再平均。三族算法的共同哲学是：不轻易相信任何一个数值，而是通过相互比较与统计规律筛除异常。

教研组长手上从此有了三套防忽悠工具：一套是只听最像样的课代表，一套是每个问题都对答案取中间，一套是扔掉最离谱的答卷再批改。接下来三节分别拆解。

Krum 算法

Krum 的思路很像组长听汇报：他相信，真正在认真备课的课代表，彼此的心得会比较接近；混进来的叛徒，即便伪装，也总会和大家格格不入。于是组长决定：只采纳“和其他人气质最接近”的那份心得。

Krum 为每个客户端定义一个评分：它到其他梯度之间距离平方之和。距离越近的一组点越可信，最终选出的梯度满足：

Krum 的输出是评分最小的那个梯度本身，再乘学习率更新全局模型。它不要求知道攻击者的具体身份，只需要攻击者数量上界的估计。缺点是只使用一个梯度，合法信息利用不足，且需要计算两两距离，复杂度约为 $O(n^2 d)$。

只信最像样的那位课代表，好处是干净利落，坏处是万一叛徒彼此串通，伪装成一个小团体，组长可能会挑中团体中央的“伪装大师”。

Median 算法

另一条思路更像批改选择题：每个问题把所有课代表的答案罗列在桌上，按大小排成一排，取正中间的那个答案作为标准答案。一个故意填错答案的人，最多只能把自己的答卷歪到两端，却无法移动中间的位置。

Median 算法同样简单而优雅：不再看整个梯度向量做整体比较，而是把向量拆开，对每一个维度（也就是模型参数的一个分量）独立地取中位数。于是恶意客户端即使在某个维度上给出极端值，也会被中位数天然过滤掉。

中位数是统计意义上最稳健的位置估计：只要恶意客户端的数量不超过 $n/2$，中位数就不会被推离真实值的中心。它的计算复杂度只有 $O(nd \log n)$，比 Krum 快得多。代价是每个维度独立处理，可能破坏维度之间的相关性，在梯度分量高度耦合时收敛稍慢。

组长逐题取中间答案的做法，稳妥高效，不怕个别极端答卷。但若两个维度是联动的，“逐题判断”可能会忽略题目之间的内在联系。

Trimmed Mean

Trimmed Mean 的做法则最有“批改潜规则”味道：老师把某道题的所有答案排序，先划掉最离谱的最高分和最低分，剩下的再取平均。它比 Median 更温和——不是只留中间一个，而是把两端剪掉一截。

参数是 $r$，即每个维度需要裁剪掉的极端值个数。把第 $j$ 个维度上的全部 $n$ 个值按大小排序，得到序列 $\Delta w_{(1),j} \leq \dots \leq \Delta w_{(n),j}$，然后丢弃前 $r$ 个和后 $r$ 个，用中间 $n - 2r$ 个值求平均：

从公式可以看出，$r=0$ 时 Trimmed Mean 退化为 FedAvg，毫无防御；$r$ 接近 $n/2$ 时只剩中间的少数几个值，行为逐渐接近 Median。为了保证防御效果，通常要求 $r$ 至少不小于恶意客户端数量 $f$。它比 Median 多利用了中间样本的信息，收敛通常更快，但多了一个需要人工设定的超参数 $r$——这正是它比前两者更依赖调参经验的地方。

组长的批卷方法有了弹性：扔多少份离谱答卷，取决于他心里估计的“坏孩子数量”。扔少了防不住毒情报，扔多了又把好学生的心得浪费了。这一刀切在哪里，就是 Trimmed Mean 的灵魂所在。

防御评估

工具备齐，教材成稿，教研组长还要回答一个问题：这套防作弊手册真的把教材编好了吗？评判标准不是看谁信誓旦旦，而是看期末考试——模型的准确率能不能保住，训练流程能不能准时收敛。

评估拜占庭容错机制一般从三个维度入手：一是攻击下模型精度，即加入 $f$ 个恶意客户端后，全局模型仍能达到的准确率；二是收敛速度，即模型到达目标精度所需的训练轮数；三是攻击容忍上限，即恶意客户端占比超过多少时算法彻底失效。经典结论是：在独立同分布数据下，当 $f < n/2$ 时，Median 与 Trimmed Mean 等算法可证明收敛；Krum 则需要更宽松的 $f + 2 < n$ 条件。

实际对比中，还应关注恶意梯度的仿真方法。梯度翻转攻击下，Krum 和 Median 表现接近；在协同投毒下，Trimmed Mean 因为裁剪了更多端点信息，往往更稳定。算法选型没有银弹：客户端数量多、算力充足时可用 Krum；要求高吞吐时用 Median；想要平衡精度与稳健性时用 Trimmed Mean，并用验证集提前扫描 $r$ 的取值。

教研组长最终做成了一本“防忽悠手册”：先摸清毒笔记的最坏数量，再选择手头分寸最适合的汇总策略，拿到验收报告后持续调参。联邦学习的安全，从来不是某一次聚合的运气，而是一整套可评估、可取舍的机制设计。

---

AI 应用场景

Python 演示

import numpy as np TRUE_UPDATE = np.array([1.0, -0.5, 0.8, 1.2]) def generate_updates(n=8, f=2, seed=0):    rng = np.random.default_rng(seed)    updates = []    for _ in range(n - f):        noise = rng.normal(0, 0.2, size=TRUE_UPDATE.size)        updates.append(TRUE_UPDATE + noise)    for _ in range(f):        flip = -TRUE_UPDATE + rng.normal(0, 0.3, size=TRUE_UPDATE.size)        updates.append(flip)    return np.array(updates) def fed_avg(updates):    return updates.mean(axis=0) def krum(updates, f):    n = len(updates)    m = n - f - 2    scores = []    for i, g_i in enumerate(updates):        dists = np.sort(np.linalg.norm(updates - g_i, axis=1))        scores.append(dists[:m].sum())    return updates[int(np.argmin(scores))] def median(updates):    return np.median(updates, axis=0) def trim_mean(updates, r):    sorted_u = np.sort(updates, axis=0)    return sorted_u[r:-r].mean(axis=0) def cos_sim(a, b):    return np.dot(a, b) / (np.linalg.norm(a) * np.linalg.norm(b) + 1e-12) updates = generate_updates(n=8, f=2, seed=42)for name, grad in [    ("FedAvg", fed_avg(updates)),    ("Krum", krum(updates, f=2)),    ("Median", median(updates)),    ("TrimmedMean", trim_mean(updates, r=2)),]:    sim = cos_sim(grad, TRUE_UPDATE)    print(f"{name:12s} 与真实更新的余弦相似度: {sim:.4f}")

1. rng = np.random.default_rng(seed)固定随机种子，保证每次运行可复现，方便不同算法公平对比。
2. noise = rng.normal(0, 0.2, size=TRUE_UPDATE.size)为合法客户端的梯度添加小幅噪声，模拟真实的本地数据差异。
3. flip = -TRUE_UPDATE + rng.normal(0, 0.3, size=TRUE_UPDATE.size)恶意客户端把真实更新方向翻转 180 度并加噪声，对应梯度翻转攻击。
4. updates.mean(axis=0)FedAvg 对全部客户端梯度直接取平均，未做任何防御。
5. dists = np.sort(np.linalg.norm(updates - g_i, axis=1))计算当前梯度到所有其他梯度的欧氏距离并排序。
6. scores.append(dists[:m].sum())取最近的 m 个距离之和作为 Krum 评分。
7. np.median(updates, axis=0)对每个参数维度独立取中位数，实现 Median 聚合。
8. sorted_u[r:-r].mean(axis=0)排序后裁剪首尾各 r 个极端值，再对剩余值取平均。
9. cos_sim(grad, TRUE_UPDATE)用余弦相似度衡量聚合结果与真实更新方向的一致程度，越接近 1 越好。

常见误区

面试题