假设你要办一场家宴，担心自己做菜水平不稳定，于是决定多请几位厨师来帮忙。一位擅长川菜，一位擅长粤菜，还有一位甜点做得特别好。每道菜让每位厨师都试做一版，最后把几版菜的味道取个平均——结果非常惊喜：单个人发挥失常，平摊到多人头上就没那么明显了。这就是集成学习（Ensemble）的朴素直觉：多个模型投票，能显著压住随机波动。可是，当客人名单越来越长，问题却悄悄出现了。后来请来的厨师，很多只是前面那几位的高仿版，做的菜几乎一模一样；更有甚者，来了一位口味怪异的厨师，往红烧肉里撒糖、往冰淇淋里撒盐，几勺下去，整桌菜的风味全被带偏。你这才意识到：请客不是人多就稳，而是适量、互补、可靠才是关键。这就是集成学习中的一个重要课题——过度集成风险（Over-Ensembling Risk）。

岗位关联

理解过度集成风险，你能在竞赛冲榜和线上部署时精准把握“该不该再加一个模型”，避免分数虚高而线上崩盘的尴尬，这是 AI 工程师从打榜到落地的关键一环。

目录
  1. 可视化演示
  2. 集成原理基础
  3. 收益递减曲线
  4. 噪声模型识别
  5. 集成规模控制
  6. 竞赛实战诊断
  7. 生产部署策略
  8. AI 应用场景
  9. Python 演示
  10. 常见误区
  11. 面试题

可视化演示

本节配有交互动效（进入视口后自动加载，约 3KB）。

集成收益递减曲线 ——模型数超过阈值后方差不降反升 收益区：模型数 风险区：模型数>12，方差反弹上升 收益 = f（多样性） - g（相关性），阈值≈12-15个模型

集成原理基础

家宴开启那天，你先请了三位风格迥异的厨师。川菜师傅今天手一抖多放了把花椒，粤菜师傅把火开大了点，甜点师傅的烤箱温度没调准——单独吃每一道都可能翻车。但把三个版本拼成一桌，大家你补一点我补一点，整体居然稳住了。这正是集成的初心：用众人的平均值对冲个体的随机失误。

在机器学习里，这就是集成学习（Ensemble Learning）。我们把多个模型（厨师）的输出组合起来，让“随机失误”（方差）互相抵消。但组合效果取决于两个因素：各位厨师本身的手艺稳定度（方差），以及他们之间口味的重合度（相关性）。如果所有人用的都是同一本菜谱，那“请十个人”和“请一个人”没有本质区别。

用偏差-方差分解可以看得更清晰。假设我们平均 K 个模型的预测，得到如下误差结构：

所以，请客的第一原则不是“人多”，而是“人不同”。三位手艺平平但风格迥异的厨师，胜过二十位只会复刻同一种菜谱的学徒。理解了这一点，我们就明白了集成收益的真正上限来自多样性，而不是模型数量本身。

Errorens(K)=bias‾2+var‾K+(1−1K)cov‾\mathrm{Error}_{\mathrm{ens}}(K) = \overline{\mathrm{bias}}^2 + \frac{\overline{\mathrm{var}}}{K} + \left(1 - \frac{1}{K}\right)\overline{\mathrm{cov}}
这个公式把集成误差拆成三块：抹不掉的共同口味、能被平均掉的随机发挥、以及永远在场的重复信息。
  1. 整体误差 Error_ens(K)Errorens(K)\mathrm{Error}_{\mathrm{ens}}(K) 表示 K 个模型平均后的整体泛化误差，对应一桌菜最终的综合口感。
  2. 系统性偏向 bias²bias‾2\overline{\mathrm{bias}}^2 是所有厨师共有的口味偏向（比如都偏咸），平均再多人也抹不掉，只能靠换厨师团队解决。
  3. 随机波动 var/Kvar‾K\frac{\overline{\mathrm{var}}}{K} 是每位厨师随机发挥的成分（手抖、火候差），随 K 增大逐步缩小，这是集成收益的主要来源。
  4. 重叠信息 cov 项(1−1K)cov‾\left(1 - \frac{1}{K}\right)\overline{\mathrm{cov}} 是厨师之间共享菜谱的部分，即使 K 趋向无穷大也原地不动，它是过度集成的隐患根源。

收益递减曲线

家宴进行到一半，你发现加人的收益越来越小。请第 4 位厨师时，整桌质量提升了 0.9 分；请第 10 位时，只提升了 0.1 分；请到第 15 位，几乎感觉不到变化。这就是边际收益递减：每一步新增的厨师，其独特贡献都在缩水。

在集成学习中，这个现象可以直接从方差分解里读出来。var/K 这一项在 K 较小时下降得飞快，K 大了之后曲线就平了。更糟的是，真实场景里新加入的模型往往与已有模型来自同一套训练流程、同一组特征，它们的“菜谱”高度重叠，于是整体误差曲线会从“收益递减”进一步滑向“不降反升”。我们用扩展公式来表达：

在实际项目里，这个 U 形曲线是我们做集成决策的地图：左边是“值得加人”，底部是“最优规模”，右边是“过度集成”。厨房再大，重复的菜不增加新味道；当每一位新厨师都在复刻老菜谱，上菜的人数就只是个虚荣的数字。

MSE(K)=bias‾2+var‾K+(1−1K)cov‾(K)+η(K)\mathrm{MSE}(K) = \overline{\mathrm{bias}}^2 + \frac{\overline{\mathrm{var}}}{K} + \left(1 - \frac{1}{K}\right)\overline{\mathrm{cov}}(K) + \eta(K)
当 K 增大时，相关性函数 cov(K) 随重复信息增多而上升，噪声惩罚项 η(K) 把曲线末端抬起来，于是误差曲线变成 U 形。
  1. 相关性函数 cov(K)cov‾(K)\overline{\mathrm{cov}}(K) 表示新来厨师与已有团队的菜谱重叠度，随 K 增大而逐渐增高，它是收益消失的内因。
  2. 噪声惩罚项 η(K)η(K)\eta(K) 是混入的噪声模型带来的固定偏置与波动，一旦出现就使误差开始明显反弹。
  3. 收益耗尽条件var‾K→0\frac{\overline{\mathrm{var}}}{K} \to 0 时，平均化带来的收益趋于零；从这一刻起，cov(K) 与 η(K) 接管曲线，误差掉头向上。

噪声模型识别

怪厨师混进来了。他的味觉系统像坏了的罗盘——糖盐不分、火候全反，单看他做菜，偶尔也能端出一道像样的甜品，但在关键的大菜上他总是一意孤行。更麻烦的是，如果只看所有人的平均口碑，个别极端值会把平均值拉偏，你根本看不出谁是害群之马。

识别噪声模型（Noisy Model）需要更稳健的统计工具。普通的均值（mean）和标准差（std）对离群值非常敏感，而中位数（median）和中位数绝对偏差（MAD）几乎不受极端值影响。对每个模型 i，我们计算它的稳健离群分数：

把怪厨师请出后厨，一桌菜立刻恢复了元气。识别噪声模型不是看平均口碑，而是看谁在最稳健的“中位数标尺”下脱了轨——一个模型只要在关键样本上持续输出极端预测，即使整体分数不低，也必须从投票组隔离出来。

zi=wi−median(w)1.4826×MAD(w)z_i = \frac{w_i - \mathrm{median}(\mathbf{w})}{1.4826 \times \mathrm{MAD}(\mathbf{w})}
当某个模型的 z_i 绝对值大于 3，就相当于它在“最稳健的标尺”下脱了轨，可以将其标记为噪声模型。
  1. 模型得分 w_iwiw_i 是第 i 个厨师在验证集上的贡献指标，比如 OOF 分数、权重或单模型 AUC，它衡量每个人的实际表现。
  2. 稳健中心 median(w)median(w)\mathrm{median}(\mathbf{w}) 用中位数代表团队平均水平，即使有一两个极端值，它也不会被带偏。
  3. 稳健尺度 MAD(w)MAD(w)\mathrm{MAD}(\mathbf{w}) 是绝对偏差的中位数，衡量整体分散程度，同样对离群值免疫。
  4. 高斯校准系数 1.48261.48261.4826 让 MAD 在正态数据下约等于标准差，从而让 z_i 可以和熟悉的“3 倍标准差”规则对标。
  5. 离群判定阈值∣zi∣>3|z_i| > 3 说明该模型的得分显著偏离团队主流，应当重点审查并考虑剔除。

集成规模控制

你终于意识到，厨房有一个黄金容量。请人之前先画一张“人数-口感”曲线，等曲线最低点出现就果断封顶，不再接收新人。这就是集成规模控制：在收益耗尽之前主动踩刹车，而不是等误差反弹后再补救。

控制规模的关键是找到最优模型数量，以及设计早停原则。我们用验证集上的误差作为裁判，记录每一步的边际变化：

在实践中，还可以采用“贡献度加权”来精细化控制：不让所有模型等权投票，而是按验证集贡献动态分配权重，让高贡献模型拿大权重，低贡献模型边缘化。成熟的掌勺人不会被“再加一个厨师”的冲动绑架，他会记住：停手点，就是价值最大化点。

k∗=arg⁡min⁡1≤k≤Kmax⁡MSEval(k),Δk=MSEval(k)−MSEval(k−1)k^* = \arg\min_{1 \le k \le K_{\max}} \mathrm{MSE}_{\mathrm{val}}(k), \qquad \Delta_k = \mathrm{MSE}_{\mathrm{val}}(k) - \mathrm{MSE}_{\mathrm{val}}(k - 1)
最优规模 k* 是验证误差曲线的最低点；当边际变化 Δ_k 连续多轮小于某个阈值 ε，就说明收益已经耗尽，应该停止扩员。
  1. 验证集误差 MSE_val(k)MSEval(k)\mathrm{MSE}_{\mathrm{val}}(k) 是前 k 个模型在试菜桌上的均方误差，它独立于训练过程，是判断集成质量最可信的依据。
  2. 最优规模 k\*k∗k^* 是误差曲线最低点对应的模型数量，也就是厨房的黄金容量。
  3. 边际步长 Δ_kΔk\Delta_k 表示每加入一位新厨师带来的误差变化量，它量化了“这一步值不值”。
  4. 早停条件Δk<ε\Delta_k < \varepsilon 连续多轮出现，说明收益已经耗尽，此时应当停止扩员，而不是被单个模型的微小提升诱惑。

竞赛实战诊断

Kaggle 大赛的最后 72 小时，你的模型榜单像坐过山车。每一次加入新模型，Public LB 都涨一点，但你的本地验证曲线已经悄悄出现平台，第二天甚至抬头。你意识到——这桌菜已经过了最佳人数，继续上菜只是在给试菜桌（验证集）制造幻觉。

竞赛场景有独特的诊断方法：绘制验证集分数的收益曲线，并滚动计算相对增长率。这个指标能帮你区分“还在安全区”和“已进入过度集成区”：

除了收益曲线，还要警惕 CV 与 LB 的背离：如果本地验证分数还在爬，但 Public LB 已经掉头，说明集成正在对验证集“背答案”，遇到了典型的过度集成陷阱。竞赛的终局不是“加到不能加”，而是“减到恰到好处”；把试菜桌的反馈当作唯一信源，才能避开冲榜陷阱。

sk=Scoreval(k)−Scoreval(k−1)Scoreval(k−1)s_k = \frac{\mathrm{Score}_{\mathrm{val}}(k) - \mathrm{Score}_{\mathrm{val}}(k - 1)}{\mathrm{Score}_{\mathrm{val}}(k - 1)}
当 s_k 变为负数，或者连续多步收敛到 0.001 以下，说明模型已经进入平台期甚至反弹区，再堆模型只会增加过拟合验证集的风险。
  1. 验证集分数 Score_val(k)Scoreval(k)\mathrm{Score}_{\mathrm{val}}(k) 是前 k 个模型在试菜桌上的评估指标，如 AUC、log loss 等。
  2. 相对增长率 s_ksks_k 表示每次加人带来的分数相对提升，它消除了量纲影响，让你能公平比较不同阶段的收益。
  3. 停止经验线sk<0s_k < 0 或连续收敛到 0.001，说明已进入平台或反弹区，此时应当停止扩员并检查已有模型池。

生产部署策略

家宴模式升级为中央食堂。你不再只关心口味，还要算工资、排班表、应付晚高峰。每位厨师都有固定工资（推理成本），每次误判都有潜在客诉（风险），集成规模每扩大一档，成本与风险都成比例上升。线上环境与竞赛不同：你必须在美味、成本与稳定性之间做预算平衡。

生产部署需要把“模型数量”翻译成“业务代价”，用成本预算公式来约束规模：

线上团队还要建立三道防线：实时监控推理 P99 延迟与线上指标漂移；保留降级开关——当集成服务超时或出错时，自动回退到轻量单模型；定期做贡献度分析，把冗余模型剪掉。中央食堂的掌勺人懂得留一手：即便昨天最优的 18 人班子，今天也可能因为新食材（数据漂移）失灵，所以必须保留降级通道与回滚预案，让系统在过度集成风险恶化时仍然稳稳运行。

Ctotal(K)=∑i=1Kci+β⋅K⋅σriskC_{\mathrm{total}}(K) = \sum_{i=1}^{K} c_i + \beta \cdot K \cdot \sigma_{\mathrm{risk}}
总成本等于所有模型的推理开销之和，再加上集成输出波动带来的风险惩罚。它提醒我们：每多一个模型，不仅多一份算力账单，还多一份不可控的方差。
  1. 单模型成本 c_icic_i 是每位厨师的工资，即单个模型单次推理的计算、内存与延迟开销，线上环境对它有硬性预算。
  2. 风险惩罚系数 ββ\beta 是线上对一次错误预测的代价权重，比如风控场景下误杀一个客户损失远大于节省一次推理。
  3. 风险波动 σ_riskσrisk\sigma_{\mathrm{risk}} 是集成输出方差的膨胀程度，反映过度集成带来的预测不稳，它是模型数量 K 的函数。

AI 应用场景

Kaggle 竞赛冲榜：最后一夜的止损

阶段：模型集成与调优阶段

解决的问题：决赛圈选手常陷入“无限 stacking”陷阱——每加一个模型，本地验证分微涨，但线上 LB 悄悄掉头。用边际收益曲线和 MAD 体检识别风险，限制规模，在最后一夜保住名次。

具体案例：某 Kaggle 表格竞赛中，选手堆叠 37 个模型，CV 从 0.912 微升到 0.914 看似提升，但 LB 从 0.901 跌到 0.898。复盘收益曲线后发现第 24 个模型起已进入平台期，用 MAD 又揪出 4 个噪声模型，删掉 13 个后 LB 回升至 0.903，终榜获得银牌。

推荐系统线上推理：成本与质量的拔河

阶段：推理服务与部署运维

解决的问题：线上 Ensemble 从 5 个膨胀到 30 个，GPU 成本翻 6 倍，P99 延迟从 30ms 涨到 180ms，而线上 AUC 不再提升。通过贡献度剪枝保留互补性最高的 12 个模型，再引入降级开关与监控指标，性能几乎无损、成本回落 62%。

具体案例：某资讯 App 的点击率预估服务集成了 28 个模型，线上指标进入平台期后推理机超时告警不断。团队用验证集贡献度排序砍掉 16 个冗余模型，P99 恢复 42ms，线上 CTR 持平，GPU 月度账单减少 58%。

金融风控反欺诈：隔离“味觉怪异”的模型

阶段：模型评估与风险管理

解决的问题：风控集成中某个“味觉怪异”的模型对高龄群体输出极端风险分，导致误杀率上升；用 MAD 稳健离群检测把它揪出来后，坏账率微升但误伤率下降 38%，业务投诉大幅减少。

具体案例：某银行信贷审批集成含 15 个模型，其中 1 个只在异常样本上训练的模型拉高了整体拒绝率。剔除后用 12 个模型投票，KS 值从 0.43 微降至 0.42，但客户通过率提升 5 个百分点，每月多放款约 8000 万元，风险指标仍在容忍区间。

Python 演示

python51 行
import numpy as npimport matplotlibmatplotlib.use("Agg")import matplotlib.pyplot as plt N_GOOD = 20N_NOISY = 5  def build_model_pool(n_good=N_GOOD, n_noisy=N_NOISY, n_test=500, seed=42):    """生成模型池：前 n_good 个为正常模型，后面 n_noisy 个为噪声模型"""    rng = np.random.RandomState(seed)    y_true = rng.normal(0, 1, size=n_test)    pool = []    for i in range(n_good):        # 正常厨师：随机波动随序号递减，模拟边际收益递减        sigma = 1.0 / (i + 1)        pool.append(y_true + rng.normal(0, sigma, size=n_test))    for i in range(n_noisy):        # 噪声厨师：带固定偏置且波动很大        pool.append(y_true + rng.normal(2.5, 2.0, size=n_test))    return np.stack(pool), y_true  def ensemble_error(pool, y_true, k):    """对前 k 个模型取平均，并计算均方误差"""    pred = pool[:k].mean(axis=0)    return float(np.mean((pred - y_true) ** 2))  def run():    pool, y_true = build_model_pool()    total = len(pool)    full_errors = [ensemble_error(pool, y_true, k) for k in range(1, total + 1)]    good_errors = [ensemble_error(pool, y_true, k) for k in range(1, N_GOOD + 1)]    opt_k = int(np.argmin(full_errors)) + 1    print("最优模型数量:", opt_k, "最优误差: %.4f" % full_errors[opt_k - 1])    print("全部集成误差: %.4f" % full_errors[-1])    print("过度集成的额外代价: %.4f" % (full_errors[-1] - full_errors[opt_k - 1]))    plt.figure(figsize=(8, 5))    plt.plot(range(1, total + 1), full_errors, marker="o", label="全池集成误差")    plt.plot(range(1, N_GOOD + 1), good_errors, marker="s", label="只用好模型")    plt.axvline(opt_k, color="red", linestyle="--", label="最优规模 k=%d" % opt_k)    plt.xlabel("模型数量")    plt.ylabel("均方误差")    plt.legend()    plt.savefig("over_ensembling_risk.png", dpi=150)  if __name__ == "__main__":    run()
目的：模拟“好厨师 + 噪声厨师”共存的模型池，逐步增加集成规模，观察误差先降后升的 U 形曲线，定量展示过度集成风险。
  1. pool.append(y_true + rng.normal(0, sigma, size=n_test))每个正常模型在真实值附近输出带噪声的预测，sigma 递减模拟边际收益递减。
  2. rng.normal(0, sigma, ...)用高斯噪声模拟厨师“手抖”的随机波动，波动越大代表模型方差越高。
  3. rng.normal(2.5, 2.0, ...)噪声模型带 2.5 的固定偏置和 2.0 的高波动，相当于“往红烧肉里撒糖”的怪厨师。
  4. np.stack(pool)把所有模型预测叠成二维矩阵，行是模型、列是样本，方便后续切片平均。
  5. pool[:k].mean(axis=0)对前 k 个模型的预测取平均，这就是集成投票的核心操作。
  6. np.argmin(full_errors)找到误差曲线最低点的索引，加 1 就是最优模型数量 k\*。
  7. plt.axvline(opt_k, ...)在图上画出黄金容量标记线，直观对比最优规模与“全都要”的差别。

常见误区

误区很多人以为集成就是“多多益善”，只要一直往模型池里加新模型，预测方差就会不断下降，分数自然一路涨上去。打竞赛时经常见到有人动不动就 stacking 五十个模型。

正解方差分解告诉我们，var/K 这一项确实随 K 下降，但 cov 项（模型间的重复信息）不随 K 减少。当新模型与已有模型高度同源、甚至本身就是噪声模型时，方差收缩完全停止，误差转而反弹。就像家宴请来的高仿厨师，只会重复老菜谱，除了占地方毫无贡献。

为何常见：因为集成学习入门时强调“平均能降方差”，这个结论被初学者当成了无条件真理，忽略了它建立在模型相互独立的前提之上。

误区竞赛党最常见的执念：本地验证分从 0.912 涨到 0.914，那必须提交！哪怕提升只有 0.0001，也觉得是真实进步。

正解验证集只是试菜桌，不是最终裁判。当集成规模超过最优值，模型实际上开始记忆验证集的噪声，CV 分数虚高、线上分布一换就崩。正确做法是观察收益曲线的边际变化，进入平台期就停手，而不是追那 0.0001 的虚荣涨幅。

为何常见：因为竞赛和论文中大家都用 CV 分数排名，久而久之把“验证集分数”这个中间指标当成了终极目标，忽略了它与真实分布的差距。

误区有人觉得，只要某个模型在验证集上的 AUC 不太差，它就不会拖累集成。毕竟平均嘛，坏模型的影响会被稀释。

正解噪声模型的危害不在平均分，而在它会在特定子集上输出极端预测，把集成结果整体带偏。比如风控场景中一个模型对高龄群体给出极端高分，其他模型再正常也救不回来。用 MAD 这类稳健统计量做离群检测，才能把它从投票组里揪出来。

为何常见：因为人们习惯用“平均表现”衡量模型价值，忽略了模型在局部样本上的极端行为。一个整体 80 分的厨师，可能在三道招牌菜上全部翻车，这就足以毁掉整桌宴席。

误区决定控制集成规模后，有人直接从模型池里随机挑几个删掉，或者只保留分数最高的前几名，认为这样就能降低风险。

正解剪枝要依据贡献度和相关性综合判断。分数最高的两个模型可能高度同源，删掉一个不影响多样性；而一个分数稍低但风格独特的模型，可能是多样性骨架中不可替代的一环。正确做法是计算每个模型的边际贡献，保留互补性最高的子集。

为何常见：因为“按分数排序”是最直观的直觉，但集成学的核心恰恰是“多样性的价值独立于单模型分数”，用单模型视角做剪枝决策，等于用旧地图找新大陆。

面试题

Q1. 集成学习中，随着模型数量无限增大，泛化误差的典型趋势是？

单选题 · easy

  • A.持续单调下滑
  • B.先降后升反弹← 正确答案
  • C.始终保持不变
  • D.随机波动加剧

答案：B。集成误差由 var/K 的下降和 cov 项的恒定共同决定。K 较小时方差收缩收益主导，误差下降；当新模型引入重复信息和噪声后，误差掉头向上，形成 U 形曲线。就像家宴加人：前几位厨师让菜更稳，后几位高仿厨师反而让味道变怪。

Q2. 增加模型后集成收益几乎消失，最可能的原因是？

单选题 · easy

  • A.模型间相关性过高← 正确答案
  • B.训练数据严重不足
  • C.单个模型偏差过大
  • D.验证集划分不合理

答案：A。方差分解中 cov 项代表模型间共享的重复信息，它不随模型数 K 增加而减少。当新模型只是旧模型的高仿版，相关性过高导致收益趋于零。偏差过大加再多模型也救不回，数据不足和划分问题则属于另一个层面的工程问题。

Q3. 确定最优集成规模，最可靠的做法是？

单选题 · mid

  • A.固定使用一百个模型
  • B.观察训练集损失饱和
  • C.监控验证集边际收益← 正确答案
  • D.模型数量越多越稳妥

答案：C。最优规模是验证集误差曲线的最低点，对应边际收益 Δ_k 从正转负的位置。训练集损失会随模型增多持续下降，无法反映泛化能力；固定数量和“多多益善”都忽略了 U 形曲线的存在。验证集是试菜桌，只有它才知道菜到底好不好吃。

Q4. 以下哪些因素会导致集成误差反弹？

多选题 · mid

  • A.新模型重复旧模型信息← 正确答案
  • B.噪声模型带来了偏置← 正确答案
  • C.推理超时引起服务降级
  • D.模型间相关性偏高← 正确答案

答案：ABD。误差反弹是泛化层面的现象，A（重复信息推高 cov 项）、B（噪声模型的固定偏置）和 D（相关性偏高）都会让方差分解中的后半部分膨胀。推理超时是工程层面代价，它不会改变模型预测的误差曲线，因此不属于泛化误差反弹的成因。

Q5. 识别噪声模型时，比标准差更稳健的统计量是？

单选题 · mid

  • A.均值绝对偏差
  • B.中位数绝对偏差← 正确答案
  • C.样本峰度系数
  • D.样本偏度系数

答案：B。中位数绝对偏差（MAD）以中位数为中心，天然对极端值免疫，再乘以 1.4826 校准后即可对标标准差。均值绝对偏差、峰度和偏度都会受极端值拉扯，识别离群模型的场景下不够稳健——就像用平均口碑判断怪厨师，会被一两个极端表现迷惑。

Q6. 中位数绝对偏差中的 1.4826 系数作用是？

单选题 · hard

  • A.修正为高斯分布标准差← 正确答案
  • B.消除样本数量影响
  • C.压缩极端异常值
  • D.使中位数等于零

答案：A。在高斯分布下，MAD 的期望约为标准差的 0.6745 倍，取倒数得到 1.4826，用它乘以 MAD 后得到的尺度估计与标准差一致。这样我们就能沿用熟悉的“3 倍标准差”规则判断离群点，而不被极端值干扰。它不处理样本量，也不压缩值，只是做尺度对齐。

Q7. 竞赛中判断是否已陷入过度集成的依据有哪些？

多选题 · mid

  • A.验证集误差曲线出现反弹← 正确答案
  • B.CV 分数与 LB 明显背离← 正确答案
  • C.单模型提升幅度快速趋零← 正确答案
  • D.训练速度明显变慢

答案：ABC。验证集误差曲线反弹是过度集成的直接证据；CV 与 LB 背离说明集成在记忆验证集噪声；单模型提升趋零意味着边际收益耗尽。训练速度变慢只是工程资源问题，与泛化性能是否恶化无关，不能作为判断依据。

Q8. 生产环境限制集成规模的首要因素是？

单选题 · easy

  • A.训练时间成本
  • B.推理延迟开销← 正确答案
  • C.特征数量维度
  • D.标注数据规模

答案：B。线上服务每增加一个模型，就要多一次完整的前向推理，直接推高 P99 延迟和 GPU 成本。训练时间只在离线阶段影响效率，特征维度和数据规模则与模型数量没有线性关系，因此推理延迟是生产环境最硬性的约束。

Q9. 线上 Ensemble 需要监控的关键指标包括？

多选题 · hard

  • A.P99 推理延迟← 正确答案
  • B.线上指标与 CV 漂移← 正确答案
  • C.训练集精度变化
  • D.预测方差膨胀← 正确答案

答案：ABD。P99 延迟监控推理资源是否超预算；线上与 CV 的漂移反映分布变化；预测方差膨胀是过度集成风险在线上的直接信号。训练集精度是离线指标，线上服务不关心模型是否记得训练集，只关心它对真实请求的预测是否稳定。

Q10. 方差分解中协方差项 Cov 的工程含义是？

单选题 · extreme

  • A.模型间重复的信息量← 正确答案
  • B.训练数据的采样噪声
  • C.标签标注的错误率
  • D.特征工程的缺失值

答案：A。Cov 项刻画的是多个模型预测之间共享的重叠部分——比如都用同一批特征、同一个预训练底座、同一套调参策略。模型间的“菜谱共享”越多，协方差越大，集成平均能消除的随机波动就越少。数据噪声、标注错误和缺失值属于数据质量问题，与模型间重叠信息无关。