标签噪声学习：清洗与鲁棒训练

可视化演示

展示噪声转移矩阵估计、Co-teaching双网络互筛选和置信学习标签清洗三种核心方法，切换模式观察不同的标签噪声处理策略。

一、先承认标签会贴错：认识标签噪声

品控经理老周最初不承认流水线会贴错标签。直到学徒学出来的分类结果乱成一团，他抽查才发现问题：标签噪声一直在污染训练数据。机器学习和点心工厂一样，第一步不是急着清洗，而是正视“标签可能出错”这个事实。

在监督学习里，我们通常假设每个样本 x 都对应一个真实类别 y。可实际标注过程中，y 会以一定概率变成另一个值，记作带噪标签 ỹ。来源多种多样：众包平台标注员水平参差、自动标注脚本有 bug、类别边界本身模糊（比如“奶茶”和“奶绿”）。这些错误统称为标签噪声，它们会让模型把“看走眼”学成规律，丧失泛化能力——也就是在没见过的新数据上表现变差。

噪声可以粗分为两类。对称噪声像随机乱贴标签，错误以相同概率均匀翻转到任意其他类别；非对称噪声则集中发生在相似类别之间，比如把“芝麻”标成“豆沙”——都是黑黑圆圆的，容易混淆。后者更贴近真实场景，也更容易被“摸清规律”。

老周把“标签会贴错”写成了工厂安全守则第一条。模型训练也一样：先承认噪声存在，后面的转移矩阵、鲁棒损失、清洗方法才有了用武之地。

二、给错误规律画一张表：噪声转移矩阵

老周盯着出错记录发现，新员工小范不是乱贴——他九成错误都发生在把“芝麻”贴成“豆沙”，而“莲蓉”几乎从不出错。这不是随机事故，而是有规律的坏习惯。把坏习惯画成表格，就能提前修正。

噪声转移矩阵 T 就是这张“坏习惯表”。T_ij 表示真实类别 i 的标签被标成 j 的概率。它是个 K×K 方阵：对角线上的值代表“贴对”的概率，非对角线代表“贴错”的概率。拿到这张表，既能知道哪些类别最容易互相混淆（便于重点排查），也能用来构造校正后的损失函数。

怎么得到这张表？如果有带真实标签的验证集，可以直接统计混淆频率；如果连验证集都不可靠，可以用置信学习在带噪数据上间接估算。工程上还可以利用模型预测与标签的差异来动态估计矩阵，这正是很多鲁棒训练算法的起点。

有了“坏习惯表”，老周就能在小范贴完标签后做一次系统修正。模型同理：用 T 把观测标签的“习惯性错误”反推回去，从而在训练时向正确的方向更新。

三、设计一条不较真的评分规则：鲁棒损失函数

老周发现，与其事后追着修正每个错贴标签，不如换一套评分规则——让整套打分机制不再因为个别错贴而剧烈震荡。就像一张满分 100 的考卷，某道选择题题干印错了，不该让整张卷子分数失真。

深度学习中最常用的交叉熵损失（衡量模型预测与标签差距的指标）对噪声极其敏感：当模型在错标样本上“正确地”预测了错误标签时，交叉熵会给出很大的惩罚，逼着模型疯狂记忆噪声。于是研究者提出“对称损失”：它满足“所有类别的损失加起来是常数”的性质，从而保证标签翻转时期望损失不变。

广义交叉熵（GCE）把交叉熵和平均绝对误差（MAE）统一到一个家族。参数 q 在 0 到 1 之间调节：q 越接近 0，行为越像交叉熵，拟合能力强但抗噪弱；q 越接近 1，行为越像 MAE，抗噪强但拟合能力弱。实际使用中取 q=0.7 左右常能兼顾两者。

老周把评分规则从“错一题扣 10 分”改成“错一题最多扣 5 分”，个别贴错的标签再也掀不起大浪。损失函数设计也是同一道理：不较真，才不会被噪声绑架。

四、请两位复核员：Co-teaching

老周决定上双保险——请两位复核员 A 和 B 坐在流水线两端。A 挑出自己最有把握“标签没贴错”的样品让 B 学习，B 也把自己最有把握的样品交给 A 学习。两人培训方法不同、看问题的角度不同，所以不会同时被同一张错标签带偏。

Co-teaching 的核心直觉是“小损失样本更可能干净”。模型对干净样本学得快、损失低；对噪声样本记忆慢、损失高。每轮训练中，两个网络各自独立计算所有样本的损失，选出损失最小的 R(T)% 样本，作为“可信数据集”送给对方网络训练，而不是训练自己——这是它与简单自训练最本质的区别。

保留率 R(T) 不是固定值，而是随轮次 T 动态变化：训练早期模型对噪声还不敏感，可以保留较多样本；随着训练推进，模型越来越能区分噪声，保留率逐步退火，最终接近 1−ε，其中 ε 是噪声率。两个网络采用不同初始化，确保筛选出的样本具有互补性。

两位复核员虽然单独都会犯错，但“我挑的你训练、你挑的我训练”的互筛机制，让错标签在交叉把关中无处遁形。这就是 Co-teaching 用最简单的方式守住数据质量的故事。

五、让群众投票说话：置信学习

单纯靠一个人判断总有盲区。老周想了个办法：不直接问“哪个标签错了”，而是把所有贴着“豆沙”标签的样品摆一桌让大家投票。如果一堆贴着“豆沙”的样品，绝大多数人吃起来都说像“芝麻”，那这批标签就非常可疑。

置信学习（Confident Learning）把模型当作“品尝者”。先用交叉验证训练模型，得到每个样本的预测概率；然后统计对每个标签类 ỹ，有多少样本模型高置信地认为属于另一个类 y*——这些样本就是潜在的“错贴标签”。相比于直接设阈值砍人，它更讲究“用群体的统计规律来定罪”。

具体做法是构造计数矩阵 C，记录“标注为 ỹ 但模型认为更像 y*”的样本数量。判定阈值取该类所有样本的平均预测置信度。随后对计数矩阵做行归一化，估算出真实噪声样本数量，并据此清洗或修正标签。工业界成熟的 cleanlab 库正是这一思想的工程实现。

不用“一个人说了算”——计数矩阵加平均阈值就像一场匿名投票，把老周一个人发现不了的错标签全揪了出来。清洗完毕，数据集就从“带毒状态”恢复成干净状态。

六、复盘迭代：评估与调优

改完流程，老周每周五开复盘会：这周清洗掉多少标签？有没有误伤无辜？保留率定多少合适？他意识到，清洗不是一锤子买卖，而是一个可以反复迭代的过程。

Co-teaching 的保留率 R(T) 应随训练轮次逐渐退火到 1−ε，其中 ε 是估计的噪声率。噪声率高，最终保留的样本就少；噪声率低，则可以保留更多。迭代式清洗的做法是“训练 → 清洗 → 再训练 → 再清洗”的循环：每一轮模型都更自信，清洗出来的结果也越可靠。

评估清洗效果要同时盯住两个指标：一是召回率，即真实噪声样本被找出多少；二是误清洗率，即干净样本被冤枉多少。尤其要注意：测试集必须保持原始标注分布，绝不能“顺手”在测试集上清洗，否则评估结果失真，掩盖模型在真实噪声环境下的表现。

复盘会上，老周用抽查小样估算误伤率，让整条流水线在“清理噪声”和“保存信息”之间找到平衡。清洗与训练本来就不是两件事，而是一个不断对话的闭环。

AI 应用场景

Python 演示

import numpy as npfrom sklearn.datasets import make_classificationfrom sklearn.linear_model import LogisticRegressionfrom sklearn.model_selection import train_test_splitfrom sklearn.metrics import accuracy_score # 制造标签噪声: 随机翻转部分样本的类别def inject_noise(y, noise_rate=0.2, seed=42):    rng = np.random.RandomState(seed)    y_noisy = y.copy()    n_noise = int(len(y) * noise_rate)    idx = rng.choice(len(y), n_noise, replace=False)    for i in idx:        candidates = [c for c in np.unique(y) if c != y[i]]        y_noisy[i] = rng.choice(candidates)    return y_noisy # 教学版置信学习: 用类别平均置信度做阈值# 只剔除"低置信且模型预测与标签矛盾"的样本def confident_cleaning(X, y_noisy, proba):    clean_mask = np.ones(len(y_noisy), dtype=bool)    preds = proba.argmax(axis=1)    for c in np.unique(y_noisy):        cls_idx = np.where(y_noisy == c)[0]        t = proba[cls_idx, c].mean()   # 置信学习阈值        suspect = cls_idx[(proba[cls_idx, c] < t) & (preds[cls_idx] != c)]        clean_mask[suspect] = False    return clean_mask def main():    X, y = make_classification(n_samples=600, n_features=8,                               n_informative=5, n_classes=2,                               random_state=42)    y_noisy = inject_noise(y, noise_rate=0.2)    Xtr, Xte, ytr, yte, ytr_true, yte_true = train_test_split(        X, y_noisy, y, test_size=0.3, random_state=42)     # 普通模型: 直接用带噪标签训练    model_raw = LogisticRegression(max_iter=500)    model_raw.fit(Xtr, ytr)    acc_raw = accuracy_score(yte_true, model_raw.predict(Xte))     # 上界: 用真实干净标签训练    model_oracle = LogisticRegression(max_iter=500)    model_oracle.fit(Xtr, ytr_true)    acc_oracle = accuracy_score(yte_true, model_oracle.predict(Xte))     # 清洗后训练: 先用模型看置信度, 剔除疑似噪声再重训    model_conf = LogisticRegression(max_iter=500)    model_conf.fit(Xtr, ytr)    proba_tr = model_conf.predict_proba(Xtr)    clean_mask = confident_cleaning(Xtr, ytr, proba_tr)    model_refit = LogisticRegression(max_iter=500)    model_refit.fit(Xtr[clean_mask], ytr[clean_mask])    acc_cleaned = accuracy_score(yte_true, model_refit.predict(Xte))     print(f"普通训练: acc = {acc_raw:.3f}")    print(f"清洗后训练: acc = {acc_cleaned:.3f}")    print(f"干净标签上界: acc = {acc_oracle:.3f}")    print(f"剔除样本占比: {1.0 - clean_mask.mean():.3f}") if __name__ == "__main__":    main()

1. y_noisy = inject_noise(y, noise_rate=0.2)生成带噪标签，模拟真实场景中约 20% 的标注错误。
2. t = proba[cls_idx, c].mean()对每个类别取平均预测置信度作为阈值，对应正文中的 t_ỹ。
3. suspect = cls_idx[(proba[cls_idx, c] < t) & (preds[cls_idx] != c)]只标记“低置信且预测与标签矛盾”的样本为可疑噪声，避免误伤。
4. clean_mask[suspect] = False把可疑样本从训练集中屏蔽，生成清洗后的遮罩。
5. model_refit.fit(Xtr[clean_mask], ytr[clean_mask])用干净子集重新训练模型。
6. print(f"清洗后训练: acc = {acc_cleaned:.3f}")输出清洗后准确率，直观对比清洗带来的收益。

常见误区

面试题