想象你是一位高三学生。备战高考时，你会先用模拟卷练习，发现知识薄弱点后调整复习策略；最后再用另外几套全新的卷子检验真实水平。如果老师把同一套题既当练习又当估分，第二遍全对，成绩自然虚高——因为答案你都记住了。AI 模型也一样：让它自己调超参数（练题）又用它评估性能（估分），结果必然“膨胀”。嵌套交叉验证就是那个严格的双轨考场：内层循环负责调参（做模拟卷），外层循环负责评估（上正式考场），两套数据彻底隔离，谁也别想提前看到答案。

岗位关联

一句话价值：嵌套 CV 是防止模型性能“注水”的防作弊机制，掌握它才能在模型选型、论文报告、上线评估中拿出经得起推敲的可靠数字。

目录
  1. 可视化演示
  2. 嵌套结构认知
  3. 单层CV困境
  4. 嵌套CV流程
  5. 对比普通CV
  6. 应用场景价值
  7. 实施注意事项
  8. AI 应用场景
  9. Python 演示
  10. 常见误区
  11. 面试题

可视化演示

展示TCP滑动窗口机制的数据传输过程，包括窗口大小控制、数据包发送与确认，支持慢启动和拥塞避免模式切换。

本节配有交互动效（进入视口后自动加载，约 3KB）。

慢启动阶段 窗口大小每个RTT翻倍增长 蓝色数据包从发送方传输到接收方 cwnd=1,2,4,8... 点击切换拥塞控制模式

嵌套结构认知

高三的教室里贴着两张考试时间表：一张是每月一次的模拟考，用来暴露薄弱点、调整复习策略；另一张是几个月后的高考，用来给这三年一个最终交代。嵌套交叉验证就是给 AI 模型设计的这张“双考试时间表”。内层循环像模拟考，负责在一部分数据上反复试不同的超参数，找出一组最能打的配置；外层循环像正式高考，把选好的配置放到从未参与过调参的数据上打分，得到真实的泛化误差。两者各管一段，互不通气。

从代码结构看，嵌套 CV 是把“普通的 k 折交叉验证”当作外包壳，在里面再嵌入一层“调参选超参”的循环。外层把完整数据集切成 K 份，每次拿 1 份当测试，剩下的 K-1 份交给内层；内层只在这 K-1 份里继续切分和调参，选出的最佳模型再送回外层在测试份上打分。这样，任何一个超参数组合都没有机会见过外层测试数据，最终得分自然干净。

外层负责回答“这个模型泛化能力到底行不行”，内层负责回答“超参数到底怎么定最合适”。两层职责一分离，整个流程便有了学术论文和工业评估都认可的可信度。

模拟卷练得再多、再熟练，高考卷永远是一套没见过面的新题。嵌套 CV 用结构上的强制隔离，让模型再也没有机会“背下答案”。

CVnested=1K∑k=1KR^(fθk∗,Dktest)\displaystyle CV_{nested} = \frac{1}{K} \sum_{k=1}^{K} \hat{R}\left( f_{\theta_k^{*}}, \mathcal{D}_{k}^{test} \right)
这个公式是说：把数据切 K 份，循环 K 次，每次都取一份当测试集，其余训练；$\theta_k^{*}$ 是第 k 轮由内层调参选出的最优参数，最终性能是 K 次评估分数的平均。
  1. 外层折数 KK 表示把整份数据平均切成多少块，外层一共会循环 K 轮。
    KK
  2. 外层测试集 $\mathcal{D}_k^{test}$第 k 轮被拿出当“正式考卷”的那一份数据，整轮调参过程都不能碰它。
    Dktest\mathcal{D}_{k}^{test}
  3. 内层最优参数 $\theta_k^{*}$第 k 轮外层训练数据交给内层后，内层通过网格搜索等调参方式选出的最优超参数组合。
    θk∗\theta_k^{*}
  4. 求平均 $\frac{1}{K}\sum_{k=1}^{K}$把 K 轮外层评估分数相加再除以 K，得到最终稳定可信的性能估计。
    1K∑k=1K\frac{1}{K} \sum_{k=1}^{K}

单层CV困境

班主任以前用一套卷子既做周测又估高考分：学生做完讲一遍，下个月又考同一套，人人接近满分，家长看得开心，真上考场才发现没那么神。单层交叉验证就是这个“一套卷子两用”的老师：它把数据切几折，每折既当验证折用来调超参数，又拿这份误差当最终评估分数告诉别人“我模型有多厉害”。数据被同一份验证折碰了两次：一次是超参数挑选，一次是性能打分。

调参本质上是在验证误差曲线上挑最低点。模型“看”过每个参数在这份验证折上的表现，自然会产生选择性偏差——超参数选择时隐式地利用了验证折信息，因此验证折上的误差会比真实未知数据的误差更小。这就是著名的乐观偏差，也叫“信息泄漏造成的性能高估”。一层循环看不出毛病，因为得分确实漂亮；一旦换个新数据集，性能立刻现出原形。

更隐蔽的是，如果最终用来挑选 SOTA 模型的标准就是这份带水分的验证分数，那么选出的往往不是真正最好的模型，而是“在验证集上运气最好”的模型。整个模型选型环节都会失真。

一套卷子两用，成绩注水是必然的；想估准水平，就得让“练习卷”和“考试卷”彻底分开。嵌套 CV 的出现，正是为了堵住这个漏洞。

E[R^single]<E[R^nested]≈Rtrue\displaystyle \mathbb{E}\left[ \hat{R}_{single} \right] < \mathbb{E}\left[ \hat{R}_{nested} \right] \approx R_{true}
普通 CV 评估分数的期望会系统性低于真实泛化误差，也就是“虚高”；嵌套 CV 的评估期望才真实逼近模型的泛化能力。
  1. 单层 CV 得分 $\hat{R}_{single}$同一次折数据既参与调参又参与评估得到的性能分，往往被乐观偏差推高。
    R^single\hat{R}_{single}
  2. 真实泛化误差 $R_{true}$模型在全新未知数据上的期望误差，是评估想估但永远无法精确拿到的那把尺子。
    RtrueR_{true}
  3. 嵌套 CV 得分 $\hat{R}_{nested}$调参与评估完全隔离后得到的分，它的期望与真实泛化误差更接近。
    R^nested\hat{R}_{nested}
  4. 期望符号 $\mathbb{E}[\cdot]$表示“在无数次随机划分下平均来看”，说明这种偏差不是偶然波动，而是系统性偏差。
    E[⋅]\mathbb{E}\left[\cdot\right]

嵌套CV流程

现在我们把双轨考场完整走一遍。第一步，先把全班学生打乱分成 5 组，约定每组轮流当“正式考小组”，另外 4 组负责出题和陪练。外层循环开始了：第一次，第 1 组当正式考生，其余 4 组全部进入内层；第二次，第 2 组当正式考生……直到 5 组都轮流当过一次正式考生为止。

第二步是内层调参。当前这一步拿到 4 组陪练数据后，再把它切成 4 小份，做一次普通的 k 折交叉验证来逐个尝试超参数组合：比如 C 取 0.1、1、10，gamma 取 0.01、0.1、1，一共 9 种组合，每一组合都在这 4 小份上轮转训练验证，算出一个平均分。选分数最高的那组超参数作为本轮的最优配置。

第三步是外层评估。最优配置拿到正式考小组数据上训练，再看它在“从未进过内层”的正式考数据上的得分，记下这一轮的评估分数。5 轮外层循环全部结束后，把 5 次外层分数求平均，就是嵌套 CV 给出的最终泛化误差估计。

流程跑完，结果是：模型在 5 轮“陌生考场”上的平均分。它既没在内层模拟中作弊，也没有哪轮考试数据被提前泄露，整条流程严丝合缝。

θk∗=arg⁡min⁡θ∈Θ1L∑l=1LL(fθ,Dk,lval)\displaystyle \theta_k^{*} = \arg\min_{\theta \in \Theta} \frac{1}{L} \sum_{l=1}^{L} \mathcal{L}\left( f_{\theta}, \mathcal{D}_{k,l}^{val} \right)
内层循环的原理：给外层训练数据再切 L 份，对每一组候选超参数都做 L 轮训练-验证，选出平均验证损失最小的那组参数，即为 $\theta_k^{*}$。
  1. 候选超参数空间 $\Theta$所有可能尝试的超参数组合的集合，比如 C 和 gamma 的网格交点。
    Θ\Theta
  2. 第 l 折内层验证集 $\mathcal{D}_{k,l}^{val}$外层第 k 轮的训练数据被内层再次切分后，第 l 份用作内层验证的那份数据。
    Dk,lval\mathcal{D}_{k,l}^{val}
  3. 内层损失 $\mathcal{L}\left(f_{\theta}, \cdot\right)$某个模型在指定超参数下，在验证数据上产生的损失值，用来衡量这组参数好不好。
    L\mathcal{L}
  4. 取最小值 $\arg\min$在所有候选超参数中挑出使平均损失最低的那一组，即策略选择器最终答案。
    arg⁡min⁡θ∈Θ1L∑l=1L\arg\min_{\theta \in \Theta}\frac{1}{L}\sum_{l=1}^{L}

对比普通CV

普通 CV 像是“一套卷子反复用”的单轨评估：数据切成 K 折，每折轮流当验证，调参时的验证折和最终报告分数的折是同一批数据。嵌套 CV 则是“模拟卷 + 正式卷”的双轨评估：外层那 K 折考试卷永远只用来评估，内层调参只在每轮外层训练折里进行。两者结构上就差了整整一层循环。

信息隔离程度也不同。普通 CV 里，验证折的误差被 min 函数“借用”过，等于模型优化目标已经包含了验证折信息；而嵌套 CV 中，外层测试折从调参的第一毫秒起就被封锁，任何超参数组合都没有机会在外层测试折上留下“记忆”。它是真正意义上的“没见过的题”。

结果含义自然不同。普通 CV 报告的分数是“调参过程中的最好成绩”，带乐观偏差，在多人反复用它选模型时会进一步放大；嵌套 CV 报告的分数是“在完全陌生的试卷上的平均表现”，更接近模型上线后的真实水平。两者之间差的不是随机波动，而是系统性偏差。

单轨估分总有虚高风险，双轨考试虽然多花时间和精力，但拿到的每一分都经得起追问：这分是没见过题的正式考成绩，还是背过答案的模拟考成绩？嵌套 CV 永远选前者。

Bias(R^single)>0,Bias(R^nested)≈0\displaystyle Bias\left( \hat{R}_{single} \right) > 0, \quad Bias\left( \hat{R}_{nested} \right) \approx 0
普通 CV 的偏差为正（误差估计偏低、性能虚高），嵌套 CV 虽然有轻微方差增加，但偏差接近零，评估结论更站得住脚。
  1. 偏差 $Bias$评估分数的期望与真实泛化误差之间的系统性差距，反映“估得准不准”而不是“波动大不大”。
    Bias(⋅)Bias\left(\cdot\right)
  2. 普通 CV 偏差大于零普通 CV 的误差估计被乐观偏差压低，等价于性能分数被高估，所以偏差方向顽固为正。
    Bias(R^single)>0Bias\left( \hat{R}_{single} \right) > 0
  3. 嵌套 CV 偏差近似零外层测试折被严格隔离，调参过程无法影响评估分数，因此偏差近似为零。
    Bias(R^nested)≈0Bias\left( \hat{R}_{nested} \right) \approx 0

应用场景价值

学校之所以愿意耗资费力组织高考，是因为家长和学生都需要一个公平可信的“最终水平线”。AI 领域也一样：模型选型比的就是谁能达到更高的泛化水平，而嵌套 CV 就是那条公平的水平线。当你要在 SVM、随机森林、XGBoost 之间选一个上线模型时，普通 CV 的分数线可能被乐观偏差抬高，让你选错；嵌套 CV 的分数线真实可靠，选型决策才不翻车。

学术研究里，论文报告“本文方法准确率 95%”时，审稿人第一句就问：这个数字是嵌套 CV 算出来的吗？因为只有内外层分离的评估方法才被认为是可信的泛化基线。工业实践中，模型要面对线上真实请求，那些被验证集“喂过”的数字在线上会大打折扣，嵌套 CV 才能在投产前给出诚实的预期。

AutoML、神经网络架构搜索等自动建模平台也大量采用嵌套 CV：外部循环评估搜索出的模型，内部循环完成批量超参调优，保证“搜出来的最好模型”不是“验证集上的偶然幸运儿”。

正式考试的存在，让每一分成绩都有了公信力。嵌套 CV 就是 AI 世界的“国家考试院”，保证你选出的模型、写进论文的性能、上线的预期，都有据可依、不掺水分。

m∗=arg⁡min⁡m∈MCVnested(m)\displaystyle m^{*} = \arg\min_{m \in \mathcal{M}} CV^{(m)}_{nested}
从候选模型集合 $\mathcal{M}$ 中，选出嵌套 CV 分数最好的模型 $m^{*}$，因为它的评估分数最能代表真实泛化能力。
  1. 候选模型集合 $\mathcal{M}$包含 SVM、随机森林、XGBoost 等所有待比较模型的集合。
    M\mathcal{M}
  2. 某个模型的嵌套 CV 分数 $CV^{(m)}_{nested}$对模型 m 完整跑一遍嵌套 CV 后得到的外层平均性能，是公平比较的记分牌。
    CVnested(m)CV^{(m)}_{nested}
  3. 取最小/最优 $\arg\min$在所有候选模型里，挑嵌套 CV 分数最好的那个作为最终选型结果。
    arg⁡min⁡m∈M\arg\min_{m \in \mathcal{M}}

实施注意事项

第一笔账是计算开销。嵌套循环意味着调参要跑在外层的每一折中：外层 K 折 × 内层 L 折 × 超参数组合数 × 每个模型训练时间。如果 K=5、L=3、超参数组合有 20 组，模型训练就被放大了约 300 倍。所以实施前要认真评估：数据量够不够大、模型训练够不够快、算力够不够烧。数据大模型贵时，折数要适当调少。

第二笔账是折数选择。外层常用 5 或 10 折，内层常用 3 或 5 折。外层折数越多，评估分越稳定但计算越贵；内层折数越多，调参越充分同样也越贵。两边要互相妥协，常见搭配如外层 5 折、内层 3 折，平衡计算与稳定。

第三笔账最隐蔽：任何预处理步骤都必须在每折内部重新计算。标准化的均值和标准差、PCA 的投影方向、特征选择阈值，都只能由该折的训练数据得出，再应用到同折验证或测试数据。如果先在全量数据上做缩放再切折，就相当于“考试前偷看了全班的平均分”，信息泄漏会再次悄悄溜回流程。

最后别忘了：嵌套 CV 的目的是评估性能，它产出的模型只是临时模型。选定最终超参数后，要用全部数据重新训练一次，再部署线上。

双轨考试不是免费午餐：出模拟卷要花钱，批改要花精力，但为了分数可信，这笔成本必须花。做好预算、选好折数、守住每折内预处理，嵌套 CV 才能既有用又跑得起。

Costtotal=K×(Linner×∣Θ∣+1)×Ctrain\displaystyle Cost_{total} = K \times \left( L_{inner} \times |\Theta| + 1 \right) \times C_{train}
总计算成本约等于外层折数乘以内层折数乘超参数组合数再乘单次训练成本，这个式子帮助你提前预判嵌套 CV 花不花得起。
  1. 外层折数 K外层评估循环的轮次数，乘在最前面，每一轮都要完整跑一遍内层调参。
    KK
  2. 内层折数 L 与参数组合数 |\Theta|内层每轮要对每个候选超参数组合训练 L 次，所以内层总训练量为二者乘积。
    Linner×∣Θ∣L_{inner} \times |\Theta|
  3. 单次训练成本 C_{train}一次完整模型训练要花的时间和机器开销，是一切成本估算的基本单位。
    CtrainC_{train}

AI 应用场景

机器学习平台模型选型

阶段：模型选择与性能评估

解决的问题：传统做法是在同一个验证集上反复调参打分，分数越高越被选中，结果上线后效果严重缩水。嵌套 CV 把每个候选模型的“调参过程”和“正式评估”隔开，让平台在多个模型间做公平选型，不再被注水分数误导。

具体案例：某金融风控平台要在逻辑回归、随机森林、XGBoost 三者间选一个做反欺诈模型。数据团队用嵌套 CV 分别算出三个模型的外层均分，发现 XGBoost 普通 CV 分数最高，但嵌套 CV 分数与随机森林持平且方差更大，最终选择更稳定的随机森林，上线后的真实 AUC 果然符合预期。

学术论文模型评估

阶段：实验设计与结果报告

解决的问题：期刊和会议审稿人质疑“你的数字是不是在测试集上调参调出来的”。嵌套 CV 成为回应质疑的标配武器，它证明整个调参流程全部发生在训练折内部，报告的性能没有使用任何测试集信息。

具体案例：某 NLP 团队在论文中对比新模型与三种基线模型，所有模型都套同一套嵌套 CV 流程，外层 5 折内层 3 折，报告外层平均 F1 和标准差。审稿人要求补充实验时，团队直接给出每折的详细结果，复审顺利通过。

AutoML 自动化超参数搜索

阶段：自动化建模中的模型评价

解决的问题：AutoML 每搜索一个超参数组合就要评估一次好坏，如果评估本身有乐观偏差，搜索算法会被虚假高分带偏。嵌套 CV 给搜索目标一个更真实的奖励信号，最终选出的模型上线表现更稳健。

具体案例：某 AutoML 平台用嵌套 CV 评估贝叶斯优化搜索出的每一组超参数，外层报告真实性能，内层作为搜索的反馈信号，使平台在结构化数据竞赛中连续多轮排名稳定前 10。

Python 演示

python26 行
import numpy as npfrom sklearn.datasets import load_irisfrom sklearn.svm import SVCfrom sklearn.model_selection import KFold, GridSearchCV X, y = load_iris(return_X_y=True) outer_cv = KFold(n_splits=5, shuffle=True, random_state=42)inner_cv = KFold(n_splits=3, shuffle=True, random_state=42) param_grid = {'C': [0.1, 1, 10], 'gamma': [0.01, 0.1, 1]} outer_scores = []for outer_train_idx, outer_test_idx in outer_cv.split(X):    X_outer_train = X[outer_train_idx]    y_outer_train = y[outer_train_idx]    X_outer_test = X[outer_test_idx]    y_outer_test = y[outer_test_idx]     clf = GridSearchCV(SVC(kernel='rbf'), param_grid, cv=inner_cv)    clf.fit(X_outer_train, y_outer_train)     outer_scores.append(clf.score(X_outer_test, y_outer_test)) print("nested CV accuracy: {:.3f} (+/- {:.3f})".format(    np.mean(outer_scores), np.std(outer_scores)))
目的：用 sklearn 在鸢尾花数据上实现完整的嵌套交叉验证，外层 5 折评估、内层 3 折调参，打印无偏的泛化精度。
  1. outer_cv = KFold(n_splits=5, ...)创建外层 5 折划分器，相当于排好 5 轮正式考试的考场顺序。
  2. inner_cv = KFold(n_splits=3, ...)创建内层 3 折划分器，每轮外层训练数据还要再切成 3 份用于调参。
  3. for outer_train_idx, outer_test_idx in outer_cv.split(X):外层循环每轮取出一份完整测试集，其余全部交给内层。
  4. clf = GridSearchCV(SVC(kernel='rbf'), param_grid, cv=inner_cv)构建内层调参器，用内层 CV 帮每个候选参数组合打分。
  5. clf.fit(X_outer_train, y_outer_train)只在外层训练数据上做调参，外层测试数据从头到尾碰都没碰。
  6. outer_scores.append(clf.score(X_outer_test, y_outer_test))调参完成后，用外层测试集对最优模型打分，记录一轮正式考成绩。
  7. np.mean(outer_scores)求平均得到嵌套 CV 的最终泛化精度，比单层 CV 的 best_score_ 更可信。

常见误区

误区我用 GridSearchCV 跑完网格搜索，打印出来的 best_score_ 就是模型真实的泛化性能，可以直接写进报告里。

正解best_score_ 是内层模拟考的最高分，调参过程中它已经被优化器“盯”过，属于带水分的乐观偏差分数。它只能用来对比哪组超参数更好，不能用来向外界报告模型真实能力。最终报告必须用嵌套 CV 外层循环得到的评估分数。

为何常见：工具默认返回的 best_score_ 太容易拿到了，小白容易把它当作“最优超参数下的模型表现”，忽略了该分数来自调参同源数据。

误区反正我外面套一层 KFold 再里面套一层 GridSearchCV 就算嵌套 CV 了，细节无所谓。

正解嵌套的核心是严格隔离，外层测试折不能以任何形式参与内层调参。如果内层调参时不小心用了全量数据做标准化、或在包含外层测试折的数据上进行特征选择，信息泄漏依然存在，嵌套等于白做。

为何常见：平时跑普通 CV 习惯了“全数据预处理再切分”，这种惯性思维在生产代码时很容易把泄漏带进嵌套结构。

误区嵌套 CV 跑完，最后一轮外层用的模型就可以拿去上线了，反正它性能评估最准。

正解嵌套 CV 的产出是性能估计，不是部署模型。每次外层训练模型只是为了评估，评估完成后应当用全部数据以选出的最优超参数重新训练一次，得到的才是正式上线模型。

为何常见：人们习惯“训练完直接保存模型”，嵌套 CV 的训练-评估分离设计让最终模型需要再走一步，初学者容易在这里断链。

误区折数越多，评估越准确，所以我直接外层 10 折、内层 10 折，追求极致精度。

正解外层 10 折 × 内层 10 折会让训练成本膨胀约 100 倍以上，且折数过多时每折训练样本减少，模型性能波动反而增大。实际使用中常用外层 5 折、内层 3 折，计算可行且估计稳定。

为何常见：直觉上“多切几份”总比“少切几份”更精细，但忽略了成本和非线性收益递减。

面试题

Q1. 嵌套交叉验证最核心的设计目的是什么？

单选题 · easy

  • A.减少模型训练时间
  • B.用同一验证集调参评估
  • C.将调参与评估彻底分离← 正确答案
  • D.增加样本数量规模

答案：C。嵌套 CV 的设计初衷就是把“调参选超参”和“评估最终性能”放在两层独立循环里，让评估数据不被调参过程污染。A 说反了，嵌套 CV 只会增加计算量；B 正是它要避免的错误；D 与嵌套 CV 无关。

Q2. 单层普通 CV 同时用于调参和评估时，会产生什么后果？

单选题 · mid

  • A.模型欠拟合更严重
  • B.性能估计产生乐观偏差← 正确答案
  • C.训练数据凭空增加
  • D.模型无法完成收敛

答案：B。调参过程中验证集误差被当作优化目标反复“压榨”，评估同一批数据时误差自然偏低，这就是乐观偏差。A、C、D 都不是调参与评估共用数据带来的直接后果。

Q3. 关于嵌套 CV 的说法，正确的有哪些？

多选题 · mid

  • A.外层负责评估模型性能← 正确答案
  • B.内层负责搜索超参数← 正确答案
  • C.外层测试数据参加内层调参
  • D.内层调参数据来自外层训练折← 正确答案

答案：ABD。嵌套 CV 中，外层每轮拿一份测试数据做评估，内层只在外层训练折里切分并搜索超参数。C 完全颠倒了隔离原则，是绝不能做的信息泄漏行为。

Q4. 下面哪个数字最适合作为模型中报告给用户的泛化性能？

单选题 · mid

  • A.训练集上的准确率
  • B.GridSearchCV 的 best_score_
  • C.嵌套 CV 外层分数的均值← 正确答案
  • D.单次测试集上的准确率

答案：C。嵌套 CV 外层分数是在完全隔离数据上多次评估的平均值，最接近真实泛化误差。A 是训练误差严重虚高；B 带调参乐观偏差；D 单次划分随机性强、不稳定。

Q5. 为什么普通 CV 评估结果会系统性高估性能？

单选题 · hard

  • A.因为训练数据量不足
  • B.因为验证集参与过超参数选择← 正确答案
  • C.因为模型结构过于复杂
  • D.因为评估次数太少

答案：B。超参数选择本质是在验证集误差曲线上取最小值，模型选择过程已经“看过”验证集，因此验证误差被系统性压低。A、C、D 可能影响模型表现或方差，但不会造成这种方向固定的乐观偏差。

Q6. 嵌套 CV 中，内层循环的职责是什么？

单选题 · easy

  • A.评估最终模型性能
  • B.搜索最优超参数组合← 正确答案
  • C.增加数据量
  • D.对外层测试集做归一化

答案：B。内层循环负责在外层训练折内做超参数网格搜索或随机搜索，选出当前训练折下的最优参数。A 是外层职责；C 不现实；D 是数据预处理，不属于内层循环核心定位。

Q7. 实施嵌套 CV 时，哪些操作是正确的？

多选题 · hard

  • A.标准化在每折训练数据上重新计算← 正确答案
  • B.对整个数据集统一做归一化后再切折
  • C.特征选择只在外层训练折内完成← 正确答案
  • D.用外层测试折帮助内层搜索网格

答案：AC。任何涉及全量数据信息的预处理（如统一归一化）都会泄露信息，必须放入每折流程；特征选择也要限制在外层训练折内。B、D 都是泄漏操作。

Q8. 外层 5 折、内层 3 折、候选超参数 10 组，训练成本大约是单次训练的多少倍？

单选题 · mid

  • A.5 倍
  • B.15 倍
  • C.150 倍← 正确答案
  • D.1000 倍

答案：C。外层每折都要完整跑一遍内层调参，内层每组参数要训练 3 次，所以总训练次数约等于 5×3×10=150 次。A、B 只算了部分乘积，D 多算了一个量级。

Q9. 嵌套 CV 适用于哪些场景？

多选题 · extreme

  • A.多模型选型的公平比较← 正确答案
  • B.大数据快速粗筛阶段
  • C.学术论文报告可信基线← 正确答案
  • D.仅用于神经网络模型

答案：AC。嵌套 CV 常用于需要在多个模型间公平选型、或需要对外报告可信性能的场景。B 场景优先要快，嵌套 CV 成本高；D 错误，嵌套 CV 对所有监督模型通用。

Q10. 嵌套 CV 评估完成后的最终部署模型应如何获得？

单选题 · easy

  • A.直接用最后一轮外层模型
  • B.用全部数据重训最优参数← 正确答案
  • C.用验证集模型继续训练
  • D.取所有外层模型的平均

答案：B。嵌套 CV 只提供性能估计，不提供部署模型；确定最优超参数后需要用全部数据重新训练一次得到线上模型。A 只用了部分数据；C 仍包含验证集泄漏；D 模型集成的说法不适用于此流程。