分层K折交叉验证：处理类别不平衡的正确姿势

可视化演示

展示模型训练过程中损失和准确率的变化曲线，支持切换损失视图与准确率视图，调节学习率观察收敛效果。

交叉验证基础

糖果店开业前，你决定把样品分成5袋，让每位评委只尝其中一袋，同时用另外4袋来辅助理解整体口味。这样每位评委都能独立给出评价，你也能从5份评价中拼出完整结论。机器学习里的交叉验证就是这个思路：把数据集分成K份，轮流取其中一份作为验证集，其余K-1份作为训练集。

这种“轮流当评委”的方法叫K折交叉验证。比如把100颗糖果分成5份，第一次用第1份当验证集，其他4份训练模型；第二次用第2份当验证集……重复5次，最终得到5个评估结果。比起只分一次训练集和测试集的“留出法”，K折能更充分地利用数据，尤其适合数据量有限的场景。

最终评估指标是这K次验证结果的平均值。设第 \( i \) 次验证的损失为 \( L_i \)，则整体评估误差为：

K折交叉验证就像请5位评委分别打分再取平均，比只请1位评委（单次留出法）更可靠。但注意，这里的“分袋”方式至关重要——如果某位评委的袋子里少了某种口味，他的评分就会误导整个结论。这正是我们接下来要解决的隐患。

类别不平衡困境

回到糖果店的例子：你新研发的榴莲糖非常精致，但产量很少，只占整批糖果的5%。现在按老办法随手把糖果分成5袋，榴莲糖只有十几颗，完全可能全部落进同一袋。于是另4位评委尝不到榴莲味，纷纷给出差评。你冤枉不冤枉？

机器学习中这叫“类别不平衡问题”。假设一个二分类任务有1000条样本，其中正样本仅100条，负样本900条。如果用普通K折随机划分，出现某一折中正样本为0的概率并不低。当验证集里没有正样本时，模型在这折上只能预测负样本，计算出的准确率看上去很高，但召回率、F1等关键指标却无法真实反映模型对少数类的识别能力。

用比例表示少数类的稀缺程度：

当 \( p \) 很小，比如小于20%时，普通K折的“随机抓糖”式划分会制造出缺失少数类的验证折。这样的评估，就像让没尝过榴莲糖的评委写品鉴报告——结论自然不可信。

分层原理

如何避免评委漏吃榴莲糖？聪明的做法是：先把所有糖果按口味分到不同的大碗里——榴莲糖归榴莲糖，薄荷糖归薄荷糖。然后从每个大碗里按比例抓出相同份数，装进5个小袋。这样每袋的榴莲糖比例都等于整体比例5%。

分层K折的核心思想正是如此：在划分时，先按类别标签把样本分开，再在每个类别内部执行K折划分，最后把每类对应的第1份拼成第1折，第2份拼成第2折……如此得到K折，每一折中各类别比例都与原始数据集大致相同。

数学上，要求每一折 \( D_i \) 中类别 \( c \) 的比例接近总体比例：

分层就是用“先分类、再按比例分”代替“随手抓”，从源头杜绝了某折缺失少数类的风险。就像分糖果时，先数好每袋需要几颗榴莲糖再动手，怎么可能漏掉口味呢？

分层算法步骤

现在你站在糖果操作台前，准备亲手执行分层分袋。第一步，把所有糖果按口味倒进不同的大碗：榴莲碗、薄荷碗、巧克力碗。第二步，每个碗里的糖果自己切成K份：比如5份，尽量均匀。第三步，把所有大碗的第1份合并成第1袋，第2份合并成第2袋……这样每袋都有来自每个碗的糖果。

技术实现上，对类别 \( c \) 的 \( N_c \) 个样本进行K折划分，如果 \( N_c \) 能被 \( K \) 整除，每折正好分到 \( N_c / K \) 个；如果不能整除，则有些折会多一个。第 \( i \) 折中类别 \( c \) 的样本数可表示为：

这个流程在Scikit-Learn的 StratifiedKFold 中已经封装好。你只需要告诉它“标签是什么、折数是多少”，它会自动完成“分碗—切份—合并”三步。这就像超市帮你把混合糖果预先分袋，你直接买走就好。

分层对比

假设你做了两组实验：第一组让5位评委各自随手抓一把糖果品尝，第二组用分层法分袋后再请他们品尝。结果第一组里有人说“没吃到榴莲糖”，评价波动很大；第二组每位评委都尝到了榴莲糖，给出的分数比较集中。显然，第二组的评分更稳定、更可信。

普通K折和分层K折的差别就是“随机抓”和“按比例分”的差别。普通K折每次划分的类别比例都会随机波动，某些折可能出现极端情况；分层K折人为固定了比例，大大降低了这种波动。用统计语言说，分层K折的评估指标方差更小：

普通K折就像抛硬币，正面反面随机出现；分层K折则像提前按比例配好，每次都能等到“标准答案”。当你的数据类别不平衡时，分层带来的稳定性提升会非常明显。

适用场景

并不是所有情况都需要“分层分袋”。如果你店里全是普通薄荷糖，怎么分口味都一样；但如果榴莲糖很少，分层就至关重要。机器学习的场景选择同理：当类别比例严重倾斜、少数类样本稀少时，分层K折是评估的首选方法。

具体来说，二分类中少数类占比很低（如欺诈检测、疾病诊断），或者多分类中某些类别样本很少（如语音指令的稀有指令），或者总体数据量很小需要最大化有效训练样本时，都应该使用分层K折来划分数据。分层还能保证验证集的类别分布与真实场景一致，让评估结果更贴近上线后的表现。

但分层有一个前提条件：每个类别的样本数不能少于折数，否则无法保证每个折都包含该类别。即需要满足：

就像一个碗里只有3颗榴莲糖，硬要分成5袋，必然有袋子分不到。所以，分层之前先数数“碗里的糖够不够”，不够的话要么少分几袋，要么先把糖变多。

注意事项

糖果分袋虽好，也有很多细节要小心。比如，如果你的榴莲糖只有2颗，却设置K=5，再怎么分层也保证不了每袋都有榴莲糖；这时你可能需要减少折数，或者用SMOTE等过采样方法先补充样本，再做分层评估。

另一个常见误区是：分层K折只能用于分类任务。回归任务的标签是连续数值（比如房价、温度），没有一个离散的“类别”可以分层。如果硬要分层，可以把连续标签切成几个区间当作伪分类，但这不是标准做法。此外，不要忘记对测试集也做同样的分层划分——如果测试集本身类别分布和训练集不一致，再好的交叉验证也救不了最终评估。

技术实现上，StratifiedKFold 默认不会打乱数据，你需要设置 shuffle=True 并固定 random_state 保证可复现。而且，分层K折解决的是“评估可靠性”问题，它并不会改变训练集的类别不平衡程度——模型该学不会的少数类依旧学不会，后续仍需要处理类别不平衡本身。

总之，分层K折是评估阶段的“分袋保险”，它让每一次验证都“雨露均沾”。但别指望它一次性解决所有问题：样本不足先补充，回归问题另作他想，测试集也要同步分层。只有这些细节都做到位，你的模型评估才算真正稳妥。

AI 应用场景

Python 演示

from sklearn.datasets import make_classificationfrom sklearn.model_selection import KFold, StratifiedKFoldimport numpy as np X, y = make_classification(    n_samples=200, n_features=4, n_classes=2,    weights=[0.9, 0.1], random_state=42) def show_split(name, train_idx, val_idx):    y_train, y_val = y[train_idx], y[val_idx]    p_train = np.mean(y_train == 1)    p_val = np.mean(y_val == 1)    print(f"{name}: 训练集正样本比例={p_train:.3f}, "          f"验证集正样本比例={p_val:.3f}") print("== 普通 KFold ==")for fold, (train_idx, val_idx) in enumerate(    KFold(n_splits=5, shuffle=True, random_state=0).split(X, y)):    show_split(f"fold {fold+1}", train_idx, val_idx) print("\n== 分层 StratifiedKFold ==")for fold, (train_idx, val_idx) in enumerate(    StratifiedKFold(n_splits=5, shuffle=True, random_state=0).split(X, y)):    show_split(f"fold {fold+1}", train_idx, val_idx)

1. make_classification(weights=[0.9, 0.1])生成90%负样本、10%正样本的不平衡模拟数据。
2. KFold(n_splits=5, shuffle=True, random_state=0).split(X, y)普通K折只按索引划分，不关心标签分布。
3. StratifiedKFold(...).split(X, y)分层K折会根据标签 y 自动保持每折类别比例。
4. np.mean(y_val == 1)计算验证集中正样本占比，用来观察划分是否失衡。
5. for fold, (train_idx, val_idx) in enumerate(...)遍历每一折，取出训练集和验证集的索引。

常见误区

面试题