假设你是一位新上任的教育局长，要推动一项“全国教育均衡计划”：把全国各地学校的教学经验汇总起来，编成一套覆盖全国的“统一教案”。很快你会发现，各省市的学校差距惊人——有的学校学霸云集，有的学校基础薄弱；有的学校理科见长，有的学校文科强势；有的学校师生比高、数据少而精，有的学校人多但质量参差。当你简单地把各校的教学心得平均起来时，得到的“统一教案”谁都教不了：好学校嫌太浅，薄弱校嫌太难。 联邦学习就是这场“全国合编教案”计划：各学校（客户端）在本地用自己的数据训练，只把“教学心得”（模型更新）交给教研中心（服务器）汇总，原始数据不出校门。而“各校学生水平参差不齐”这个现象，在联邦学习中有个专业名字——Non-IID（非独立同分布）。本文将带你认识 Non-IID 有哪些类型、它为什么让联合训练“水土不服”，再给出数据共享、个性化联邦、FedProx 等应对策略，最后分析这些策略的收敛性保障。读完你就能理解：为什么你的联邦模型在某些客户端上“教不会”，以及如何对症下药。

岗位关联

对 AI 从业者而言，理解 Non-IID 是部署联邦学习的第一道门槛，掌握数据共享、个性化联邦、FedProx 等处理方法，能让你在真实数据异构场景中让模型稳定收敛、各端都满意。

目录
  1. 可视化演示
  2. Non-IID 类型面面观
  3. Non-IID 四大危害
  4. 数据共享与迁移
  5. 个性化联邦学习
  6. FedProx 改进算法
  7. 收敛性分析
  8. 工程实践权衡
  9. AI 应用场景
  10. Python 演示
  11. 常见误区
  12. 面试题

可视化演示

展示联邦学习中Non-IID数据分布偏移类型、FedProx近端约束原理及个性化联邦学习分叉聚类策略。

本节配有交互动效（进入视口后自动加载，约 3KB）。

Non-IID分布偏移 特征偏移：各客户端特征分布不同 标签偏移：各类别比例差异显著 P(x,y)≠P\'(x,y) 异构分布导致FedAvg收敛困难

Non-IID 类型面面观

教育部派调研组跑遍全国，发现各校“参差”的样子千奇百怪。有的学校学生基础普遍扎实，考试及格率高达 90%；有的学校刚好相反，及格率不到 10%——这是“标签分布偏斜”。同样是教“浮力”，沿海学校用轮船举例，内陆学校用热气球举例——这是“特征分布偏斜”。有的超级中学几万学生，有的乡村小学总共几十人——这是“数量分布不均”。更麻烦的是，南方学校说的“土豆”和北方学校说的“马铃薯”是同一个东西，模型却可能当成两类——这是“语义概念漂移”。

在联邦学习的术语里，这些“参差”统称为 Non-IID（非独立同分布）：每个客户端的数据分布与其他客户端并不相同。用数学语言写出来，就是下面这个不等式——它宣告“同一套分布假设”在联邦场景下不成立。

四种类型的危害机理各不相同。特征分布偏斜让全局模型学到的“判断标准”对某些端失灵；标签分布偏斜让模型天然偏向样本多的类；数量不均让少数端在聚合中失去话语权；概念漂移最隐蔽——同样的特征向量在不同端指向不同标签，模型根本无法同时满足。看清了这四副“别校面孔”，就不难理解为什么“一刀切”的合编教案会四处碰壁。

Pi(x,y)≠Pj(x,y),∀i≠j\displaystyle P_i(x, y) \neq P_j(x, y), \quad \forall i \neq j
公式解读：任意两个客户端上，数据特征和标签的联合分布都不一样，这就是 Non-IID 的数学本质。
  1. 客户端 i 的联合分布P_i(x, y) 描述第 i 个客户端中特征 x 与标签 y 共同出现的统计规律，相当于这所学校的“生源画像”。
    Pi(x,y)P_i(x, y)
  2. 两个客户端分布不同“不等于”说明第 i 个客户端与第 j 个客户端的“生源画像”存在差异，这正是 Non-IID 的核心。
    ≠Pj(x,y)\neq P_j(x, y)
  3. 任意两两不同i ≠ j 限定这个不等式对任意两个不同的客户端都成立，表示“参差不齐”是常态而非特例。
    ∀i≠j\forall i \neq j

Non-IID 四大危害

试点一年后，各地教研组长开会吐槽，汇总出四大罪状。第一条是模型不收敛：各校把教案往自己方向改，全局版本来回摇摆，损失函数像过山车一样忽上忽下，永远等不来一个稳定版。第二条是精度大幅下降：一份“平均教案”在每所学校都教不好——对好学校太浅、对薄弱校太难，全局准确率远低于在任意单一学校本地训练的水平。第三条是收敛速度变慢：为了照顾各方意见，教研会开了很多轮仍难定稿，通信轮次成倍增加。第四条是公平性受损：大校人数多，在加权平均中话语权巨大，小校的诉求被淹没。

这些危害的根源，藏在 FedAvg（联邦平均）的聚合公式里。FedAvg 本质上就是“按人数比例的加权平均合编教案”：

四大罪状的根源只有一个：合编机制假设各校“同质”，而现实是“参差”。要治病，得先承认病根，然后对症下药。

wt+1=∑k=1Knknwkt+1\displaystyle w^{t+1} = \sum_{k=1}^{K} \frac{n_k}{n} w_k^{t+1}
公式解读：新一版全局模型 = 各校本地教案按学生数占比的加权平均。当各校本地版本差异巨大时，简单平均就会产生“四不像”。
  1. 全局模型新版本w^{t+1} 表示第 t+1 轮教研后产出的“统一教案”参数。
    wt+1w^{t+1}
  2. 按人数加权的求和汇总求和符号把各校“本地教案”按比例叠加起来，人数越多话语权越大，这是 FedAvg 的核心聚合动作。
    ∑k=1Knknwkt+1\sum_{k=1}^{K} \frac{n_k}{n} w_k^{t+1}
  3. 各校本地教案w_k^{t+1} 是第 k 所学校基于本地学生情况优化出的教案版本，它只反映“本校经验”。
    wkt+1w_k^{t+1}

数据共享与迁移

局长想出的第一个办法是建“共享资源库”：让有条件的学校贡献一批典型试卷和讲义，匿名处理后发给所有学校参考。这在联邦学习中叫数据共享策略。具体做法包括全局样本共享——中心服务器收集一小部分有代表性的数据，相当于给全国发一套“标准练习题”，再把它们并入每个客户端的训练集，直接拉近各端分布；数据增强补拙——用旋转、裁剪、对抗扰动等变换扩充数据量少的端，缓解“数量不均”和部分“特征偏移”，但无法创造全新的信息；共享表示学习——先在大规模公开语料上预训练一个“通识底座”，各端再在底座上适配本地风格，这就是迁移学习的思路。

数据共享的效果可以用一个比例来量化：

共享资源库有用，但就像把学生答卷公之于众，隐私代价让人却步。数据共享在医疗、金融等强隐私场景很难落地。于是局长开始思考：能不能不共享数据，而是让每所学校在统一教案上“私人定制”？

α=msharedmtotal\displaystyle \alpha = \frac{m_{\text{shared}}}{m_{\text{total}}}
公式解读：共享比例 α 越大，各端数据分布越接近，但隐私暴露面也越大。
  1. 共享样本量m_shared 是各端愿意交出并匿名化的共享样本总数，好比放进“共享资源库”的典型试卷数量。
    msharedm_{\text{shared}}
  2. 数据总量m_total 是所有客户端本地数据的总量，相当于全国的试题总数。
    mtotalm_{\text{total}}
  3. 共享占比α 表示共享样本占总量的比例，α 越大 Non-IID 越缓解，但隐私风险同步上升。
    α=msharedmtotal\alpha = \frac{m_{\text{shared}}}{m_{\text{total}}}

个性化联邦学习

“统一教案 + 本校补充讲义”的思路，在联邦学习中叫个性化联邦学习（Personalized Federated Learning）。它承认“众口难调”，不再追求一个模型通吃天下，而是让每个客户端在共享知识的基础上长出“本地特色”。最常见的做法是本地微调：全局模型下发后，各端用自己的数据再训练几轮，就像老师拿到统一教案后补充本地例题。更精细的路线包括多任务学习——把每个客户端看作一个相关但不相同的任务，共享底层特征提取器、保留任务专属头部；元学习——学习一个“优秀的初始参数”，让每个端只需少量本地数据即可快速适应；聚类分组——先对客户端的数据分布聚类，相似学校共用一套教案，兼顾共性与个性。

个性化训练的目标可以写成：

个性化让“因材施教”成为现实，但也要注意：λ 太小等于各端完全独立，小客户端数据不足会过拟合，失去联邦学习共享知识的意义。

min⁡w1,…,wK∑k=1Knkn[Lk(wk)+λ2∥wk−wglobal∥2]\displaystyle \min_{w_1,\dots,w_K} \sum_{k=1}^{K} \frac{n_k}{n} \left[ \mathcal{L}_k(w_k) + \frac{\lambda}{2} \| w_k - w_{\text{global}} \|^2 \right]
公式解读：每个客户端在最小化本地损失的同时，被约束不要离全局模型太远，λ 控制“个性”与“共性”的平衡。
  1. 各客户端专属模型w_k 是每个学校在统一教案基础上定制的“本校补充讲义”参数。
    wkw_k
  2. 本地损失函数L_k(w_k) 衡量这份补充讲义在本校学生身上的适用程度，损失越小教得越好。
    Lk(wk)\mathcal{L}_k(w_k)
  3. 全局参照物w_global 是全国统一教案，正则项把每个 w_k 拉向它，避免各端彻底分家。
    wglobalw_{\text{global}}
  4. 平衡系数λ 控制“保留共性”与“允许个性”的平衡，λ 大则各端趋同，λ 小则各端随心定制。
    λ2∥wk−wglobal∥2\frac{\lambda}{2} \| w_k - w_{\text{global}} \|^2

FedProx 改进算法

如果说个性化是“分班教学”，那 FedProx（Federated Proximal） 更像一条教研新规：“每位老师提交心得时，不许离上一版统一教案太远，只能小步修订。”它是 2020 年由 Li 等人提出的 FedAvg 改进算法，专门应对数据异构和系统异构。核心改动是在客户端本地目标函数里加一个“近端项”：

除了近端项，FedProx 还做了两件务实的事：容忍异构迭代——不同客户端可以根据算力执行不同次数的本地更新（不再强制同样轮数），适合手机、传感器等算力不齐的设备；部分参与机制——即使只有部分客户端上线，训练照常进行。近端项还能顺带控制方差：客户端本地模型的漂移被抑制后，聚合时的随机波动随之降低。

FedProx 没有推翻 FedAvg，只是加了一条“别跑太远”的缰绳。它实现简单、收益明显，是工业界应对 Non-IID 的第一选择。

min⁡w[Fk(w)+μ2∥w−wt∥2]\displaystyle \min_w \left[ F_k(w) + \frac{\mu}{2} \| w - w^t \|^2 \right]
公式解读：FedProx 让每个客户端在优化本地损失 F_k(w) 的同时，惩罚与当前全局模型 w^t 偏离太远，避免更新“跑偏”。
  1. 本地损失函数F_k(w) 是第 k 个学校用自己数据计算的损失，衡量“本校教学效果”。
    Fk(w)F_k(w)
  2. 近端正则项μ/2 乘以“与全局模型距离的平方”，一旦本地更新想离上一版教案太远，这一项就会拉紧缰绳。
    μ2∥w−wt∥2\frac{\mu}{2} \| w - w^t \|^2
  3. 近端强度系数μ 控制约束的强弱，μ 越大，本地越不敢“走偏”；μ 越小，行为越接近原始 FedAvg。
    μ\mu

收敛性分析

任何教研改革上马前，局长都想看到一份“效果证明”：这套合编机制最终能稳定吗？各校差距多大时，教案迭代会永远摇摆？这就是收敛性分析要回答的问题。研究者通常会定义一个客户端差异度：

它衡量任意两个客户端在各自本地数据上的最优模型参数之间的最大距离。如果所有学校的学生水平完全一样，ζ = 0；差异越大，ζ 越大。在“客户端差异度有限、损失函数光滑且强凸”的假设下，FedAvg 和 FedProx 的收敛保证可以写成：

收敛性分析给了局长一颗定心丸：只要各端差异不是无穷大，合编机制一定能稳定，只是“天花板”受 ζ 限制。这也解释了为什么 FedProx 有效——它通过近端约束间接抑制了“有效差异度”。

ζ=max⁡i,j∥wi∗−wj∗∥\displaystyle \zeta = \max_{i, j} \| w_i^* - w_j^* \|
E[F(wT)]−F∗≤O(1T)+ζ\displaystyle \mathbb{E}[F(w^T)] - F^* \leq \mathcal{O}\left(\frac{1}{T}\right) + \zeta
公式解读：全局损失距理想最优的差距，由“训练轮数项 + 客户端差异度项”共同上界。轮数再多，也消除不了 ζ 带来的天花板。
  1. 当前与理想的差距E[F(w^T)] - F* 是第 T 版教案距离“完美教案”的期望损失差，越小越好。
    E[F(wT)]−F∗\mathbb{E}[F(w^T)] - F^*
  2. 训练轮数的贡献O(1/T) 表示随着教研轮数 T 增加，这部分差距会逐步缩小并趋近于零。
    O(1T)\mathcal{O}\left(\frac{1}{T}\right)
  3. 客户端差异度项ζ 是一个不随 T 缩小的常数项，Non-IID 越严重它越大，直接抬高误差天花板。
    ζ\zeta

工程实践权衡

最终，局长拿出一份“组合拳方案”：根据各校实际情况，决定哪些学校用共享库、哪些学校搞本地补课、哪些学校参与小组协作。这就是 Non-IID 处理的工程实践——没有银弹，只有权衡。场景选型是第一关：对隐私极度敏感的场景（医院、金融），优先选择个性化联邦 + FedProx，数据共享比例压到最低；对分布偏差可控的推荐场景，可引入小比例匿名共享数据。超参调优是第二关：μ（近端强度）和 λ（个性化强度）都需要实验，通常从 μ = 0.01~0.1 起步做网格搜索，观察验证损失和客户端精度方差。评估指标是第三关：不要只看全局平均精度，要按客户端分组计算逐端精度或宏平均，防止“平均成绩掩盖偏科”。

值得推荐的评估口径是客户端宏平均精度：

教育局长终于明白：Non-IID 没有万灵丹，只有认清各校差异、组合使用数据共享、改进算法、个性化三张牌，才能让“全国合编教案”真正落地。这也是每一位联邦学习算法工程师在真实项目中反复打磨的日常。

Score=1K∑k=1KAcck\displaystyle \text{Score} = \frac{1}{K} \sum_{k=1}^{K} \text{Acc}_k
公式解读：把每个客户端的精度先单独算出来再平均，每个端无论大小权重相等，避免多数派掩盖少数派的失败。
  1. 逐客户端精度Acc_k 是第 k 所学校的模型精度，单独计算才能发现哪些端“教不会”。
    Acck\text{Acc}_k
  2. 宏平均1/K 求和表示把各端精度等权平均，与 FedAvg 的按量加权形成对照，突出公平性视角。
    1K∑k=1K\frac{1}{K} \sum_{k=1}^{K}

AI 应用场景

跨医院医疗影像联邦建模

阶段：模型训练与优化

解决的问题：不同医院的影像设备、患者群体、疾病谱各不相同，直接用 FedAvg 训练肺炎检测模型时，基层医院的敏感度可能只有 0.6。这是因为“教学风格”差异太大，统一教案在基层“水土不服”。

具体案例：某医疗 AI 公司联合 5 家医院训练胸片模型。三甲医院数据优质但分布与基层差异大，基层医院病例少且设备老旧。工程团队改用 FedProx（μ=0.1）做全局训练，再让每家医院在全局模型上做 3 轮本地微调，最终基层医院敏感度从 0.61 提升到 0.85，三甲医院精度几乎不变。这就像统一教案加上各校补充讲义，既保留全国经验，又照顾本地学情。

手机输入法个性化联邦

阶段：部署与个性化适配

解决的问题：手机输入法的候选词预测模型需要学习用户的打字习惯，但不同用户的用词风格差异极大（程序员爱写“bug“，医生爱写”病历“），全局模型对每个人都不够”懂你”。

具体案例：某输入法厂商在千万台手机上部署联邦学习。服务器先训练一个通用语言模型，再为用户生成一个轻量的“个人词汇适配层”（本地微调）。用户数据完全留在手机端，服务器只聚合“教学心得”而非原始输入。这样既保证了个性化输入体验，又守住了隐私红线，这正是个性化联邦思想在真实产品中的落地。

Python 演示

python64 行
import numpy as np  def sigmoid(z):    return 1.0 / (1.0 + np.exp(-np.clip(z, -30, 30)))  def local_update(X, y, w, steps=3, lr=0.1, mu=0.0, w_global=None):    # 本地梯度下降, mu>0 时加入 FedProx 近端项    for _ in range(steps):        h = sigmoid(X @ w)        grad = X.T @ (h - y) / len(y)        if mu > 0 and w_global is not None:            grad += mu * (w - w_global)        w -= lr * grad    return w  def federated_round(clients, w_global, mu):    # 各客户端并行做本地更新, 服务器按 FedAvg 聚合    new_ws = [local_update(X, y, w_global.copy(),                           mu=mu, w_global=w_global)              for X, y in clients]    return np.mean(new_ws, axis=0)  def make_clients(seed=42):    # 构造三个 Non-IID 客户端: 标签偏移 + 特征偏移 + 近乎同分布    rng = np.random.RandomState(seed)     def gen(n, base, delta):        half = n // 2        X = np.vstack([rng.randn(half, 2) + base,                       rng.randn(n - half, 2) + base + delta])        y = np.concatenate([np.zeros(half), np.ones(n - half)])        return X, y     return [gen(200, (0, 0), (3, 3)),            gen(200, (-1, -1), (1, 1)),            gen(200, (-1.5, -1.5), (2, 2))]  def run_fed(clients, rounds=30, mu=0.0):    # 初始化全局模型并循环聚合    w = np.zeros(clients[0][0].shape[1])    losses = []    for _ in range(rounds):        w = federated_round(clients, w, mu)        X_all = np.vstack([c[0] for c in clients])        y_all = np.concatenate([c[1] for c in clients])        h = sigmoid(X_all @ w)        loss = -np.mean(y_all * np.log(h + 1e-12)                        + (1 - y_all) * np.log(1 - h + 1e-12))        losses.append(loss)    return w, losses  if __name__ == "__main__":    clients = make_clients()    w_avg, loss_avg = run_fed(clients, rounds=30, mu=0.0)    w_prox, loss_prox = run_fed(clients, rounds=30, mu=0.5)    print("FedAvg  最终全局损失: %.4f" % loss_avg[-1])    print("FedProx 最终全局损失: %.4f" % loss_prox[-1])    print("两种模型参数差异: %.4f" % np.linalg.norm(w_avg - w_prox))
目的：用 NumPy 从零实现逻辑回归版 FedAvg 与 FedProx，在三个 Non-IID 客户端上对比两种算法的全局损失，直观看到近端项对本地更新的约束作用。
  1. def local_update(X, y, w, steps=3, lr=0.1, mu=0.0, w_global=None)模拟一个学校在本地用自己数据“备课”的过程。
  2. if mu > 0 and w_global is not None: grad += mu * (w - w_global)FedProx 的核心：把“偏离全局模型太远”当成额外损失加入梯度。
  3. grad = X.T @ (h - y) / len(y)逻辑回归的梯度，相当于统计“这次备课哪里教错了”。
  4. return np.mean(new_ws, axis=0)服务器聚合：把所有学校的教案按权重平均成新一版统一教案。
  5. def make_clients(seed=42)构造三个分布各异的客户端，模拟真实世界的数据异构。
  6. run_fed(clients, rounds=30, mu=0.5)跑 30 轮联邦训练，μ 从 0 换成 0.5 即从 FedAvg 切换到 FedProx。

常见误区

误区我把全局模型训练不动归因于客户端数据量不够，觉得只要每端样本多一些，Non-IID 问题就自然消失了。

正解Non-IID 的本质是“分布不一致”而不是“量不足”。一个端有 10 万条全是标签 0 的数据，另一个端有 10 万条全是标签 1 的数据，两者数据量都很大，但模型在聚合时依然会被撕扯。就像两个学校一个全是基础班、一个全是提高班，学生再多，统一教案也不可能同时适合两边。

为何常见：人们在 IID 的深度学习经验里习惯了“数据越多效果越好”，容易忽略“数据来自哪里、分布长什么样”这个更关键的维度。

误区既然 Non-IID 是分布不一样，那把各端数据抽一部分集中共享，问题不就解决了吗？我打算靠大规模数据共享来解决。

正解数据共享确实能缓解分布偏差，但首先它违反联邦学习“数据不出域”的隐私初衷，匿名化也会损失信息；其次真实场景中各端往往不愿意交出数据，共享比例很难做大。合适的定位是“小比例补充”而非“主力手段”，更稳妥的路线是 FedProx 加个性化。

为何常见：数据共享的思路直白、实现简单，容易让人低估隐私合规的代价和工程落地的阻力。

误区我觉得既然每个客户端数据分布不同，那干脆让每个客户端用自己的数据单独训练自己的模型，这就是最彻底的个性化。

正解完全独立训练等于放弃联邦学习，每个端只能用自己那点数据，小客户端极易过拟合。个性化联邦的精髓是“共享底座 + 本地适应”——全局模型提供全国经验，本地微调捕捉本校特色，二者结合才能在数据量小的情况下也取得好效果。

为何常见：从结果看个性化确实意味着“每端一个模型”，但忽略了对共享知识的利用，误解了联邦学习的核心价值。

误区我觉得 μ 越大，约束越强，模型越稳定，所以把 μ 设成 1 甚至 10 应该效果更好。

正解μ 过大会导致本地更新被“焊死”在上一轮全局模型附近，每轮几乎学不到本地知识，收敛极慢，退化成简单的全量平均。μ 的本质是平衡“本地探索”与“全局稳定”，通常从 0.01~0.1 起步做网格搜索，观察验证损失而定。

为何常见：人们容易把“更强的正则”等同于“更好的效果”，忽略了正则过强会压制学习能力。

误区我上线联邦学习后看到全局测试集上的平均准确率有 92%，就认为 Non-IID 问题已经搞定了。

正解全局平均会被数据量大的客户端主导，掩盖少数客户端的糟糕表现。正确做法是按客户端分组计算精度，看各端精度的方差或宏平均。就像一个班平均分 92 分，但可能是几个尖子生拉高的，大量后进生其实不及格。

为何常见：传统机器学习里普遍用全局指标做决策，习惯了以平均数论英雄，缺少“分群体看表现”的公平性视角。

面试题

Q1. 以下哪种情况最能描述联邦学习中的 Non-IID？

单选题 · easy

  • A.各端数据量完全一致
  • B.各端数据分布差异大← 正确答案
  • C.各端数据服从同分布
  • D.各端数据特征完全相同

答案：B。Non-IID 即非独立同分布，核心是各客户端的数据分布 P_i(x,y) 彼此不同，就像各校生源参差不齐。数据量一致、服从同分布、特征相同都恰好是 IID 或理想化情况。

Q2. Non-IID 最直接导致的后果是？

单选题 · easy

  • A.全局模型精度下降← 正确答案
  • B.客户端算力消耗增大
  • C.服务器内存占用升高
  • D.数据加密速度变慢

答案：A。Non-IID 让 FedAvg 的加权平均产生“四不像”模型，全局精度下降甚至不收敛是最典型后果。算力、内存、加密速度与数据分布并无直接因果关系。

Q3. FedProx 相比 FedAvg 增加的关键组件是？

单选题 · mid

  • A.梯度裁剪操作
  • B.近端正则约束项← 正确答案
  • C.数据增强策略
  • D.差分隐私机制

答案：B。FedProx 在客户端本地目标中加入 μ/2||w-w^t||² 近端项，惩罚本地更新偏离全局模型过远，相当于教研新规“不许离上一版教案太远”。梯度裁剪、数据增强、差分隐私是独立手段。

Q4. 以下哪些属于 Non-IID 的表现形式？

多选题 · mid

  • A.标签分布存在偏移← 正确答案
  • B.特征分布存在偏移← 正确答案
  • C.各端数据量差异大← 正确答案
  • D.服务器算力提升

答案：ABC。标签分布偏斜、特征分布偏斜、数量不均、语义概念漂移是 Non-IID 的四种经典类型。服务器算力属于系统异构，不属于数据分布问题。

Q5. FedProx 中近端系数 μ 的作用是？

单选题 · mid

  • A.控制本地更新步长
  • B.惩罚偏离全局模型← 正确答案
  • C.调节通信压缩率
  • D.决定客户端数量

答案：B。μ 是近端正则项的强度系数，μ 越大，本地模型偏离全局模型 w^t 的代价越高。它不直接控制学习率、通信或客户端数量。

Q6. 数据共享策略的主要代价是？

单选题 · hard

  • A.模型精度显著下降
  • B.用户隐私泄露风险← 正确答案
  • C.联邦轮次成倍增加
  • D.全局模型体积增大

答案：B。数据共享把原始样本交给中心再分发，直接违背“数据不出域”的隐私约束，匿名化后还可能被反推。它通常能提升精度而非下降，也不直接影响轮次和模型体积。

Q7. 以下属于个性化联邦策略的有？

多选题 · mid

  • A.客户端本地微调← 正确答案
  • B.多任务学习框架← 正确答案
  • C.元学习快速适应← 正确答案
  • D.全局数据广播

答案：ABC。本地微调、多任务学习、元学习都是让模型在共享底座上适配各端特色的方法。全局数据广播是数据共享而非个性化。

Q8. 客户端差异度与收敛误差的关系是？

单选题 · hard

  • A.差异度越大误差越小
  • B.差异度越大误差上界越高← 正确答案
  • C.差异度与误差完全无关
  • D.差异度仅影响通信量

答案：B。理论收敛上界为 O(1/T)+ζ，ζ 是客户端差异度。ζ 越大，误差天花板越高，即使训练轮数无限多也无法消除。差异度不仅影响通信，更决定精度上限。

Q9. 关于 Non-IID 收敛性的说法，正确的是？

多选题 · extreme

  • A.差异度增大会抬高误差上界← 正确答案
  • B.训练轮数无限时误差必归零
  • C.近端约束可抑制模型偏移← 正确答案
  • D.数据共享能降低差异度← 正确答案

答案：ACD。收敛上界中 ζ 项不随 T 消失，所以轮数无限误差未必归零，B 错。A 正确描述 ζ 的作用。FedProx 近端项通过约束本地更新间接抑制偏移，数据共享则直接降低分布差异，C、D 均正确。

Q10. 以下哪个不属于 Non-IID 的应对策略？

单选题 · easy

  • A.个性化本地微调
  • B.共享小部分数据
  • C.引入近端约束
  • D.提高通信带宽← 正确答案

答案：D。个性化、数据共享、近端约束都是处理 Non-IID 的经典手段。通信带宽只影响传输速度，不改变数据分布不均衡的本质，属于系统优化而非数据异构应对。