设想一所学校有位“大马虎”老师。他批改作业从不仔细看内容:要么闭着眼睛随手打勾打叉,要么一看见字迹潦草就下意识判错。学生拿回作业本照着订正,越订正越糊涂——因为那些叉号根本不是题目做错了,而是老师批错了。当 AI 模型取代学生去读这些作业时,问题更严重:模型会把老师瞎打的叉当成“标准答案”,学得越多错得越离谱。 标签噪声建模要解决的正是这件事:搞清楚错误标签是“完全随机”产生,还是“与样本本身特征有关”;把老师的误判规律统计成一张“误判习惯表”(噪声转移矩阵);再请一位“教研组长”(T-Revision 方法)把错误标签修正回来。这篇文章,就带你从零读懂这位“马虎老师”,以及如何对付他。

岗位关联

掌握标签噪声建模,意味着你拿到任何脏数据集都能先“诊断”再“治疗”,设计出在真实环境(数据永远不干净)中依然稳健的模型,这是从比赛模型走向工程落地的关键基本功。

目录
  1. 可视化演示
  2. 噪声的来源与定义
  3. 对称噪声建模:闭眼批改的糊涂老师
  4. 实例相关噪声:看人下菜的偏见老师
  5. 转移矩阵估计:统计老师的误判习惯
  6. T-Revision:教研组长的纠偏方案
  7. 抗噪实战策略:给学生的防骗锦囊
  8. AI 应用场景
  9. Python 演示
  10. 常见误区
  11. 面试题

可视化演示

展示三种标签噪声建模方式:对称噪声转移矩阵、实例相关噪声(困难样本更易错标)、T-Revision标签修正策略。切换模式查看不同噪声类型与修正方法。

本节配有交互动效(进入视口后自动加载,约 3KB)。

对称噪声转移矩阵 均匀翻转:每个类别以等概率翻转为其他类 转移矩阵T:对角线1-ρ,非对角线ρ/(K-1) 类别无关:噪声率与具体类别无关 T(i,j)=ρ/(K-1) when i≠j 对称噪声假设所有类别等概率被错标

噪声的来源与定义

学生把作业交上来,到老师批改完发还,中间要经过多少手?课代表可能漏收、小组长可能抄错、老师可能熬夜困倦看走眼。每一个环节都可能把“本来正确的题”变成“卷面上的错号”。

数据集的标签也一样。一张图片从网上下载,经过清洗、筛选,再到标注平台打标签:标注员疲劳走神、众包人员水平参差、不同人对边界模糊的样本理解不一致——标签就会偏离真实类别,形成“标签噪声”。

我们用一个统一的指标量化噪声的严重程度:噪声率,定义为“观测标签与真实标签不一致的概率”。

噪声率告诉我们“污染有多重”,但没告诉我们“污染怎么来的”。同样是 30% 的噪声率,可能是老师闭眼乱批(所有题一视同仁地错),也可能是老师专挑字迹潦草的卷子下手(错误集中在特定样本上)。前者是下一节的“对称噪声”,后者是第三节的“实例相关噪声”——看清二者区别,才能选对修正方法。

ε=P(y~≠y∗)\displaystyle \varepsilon = P(\tilde{y} \neq y^{*})
这里的 $\tilde{y}$(读作 y-tilde)是观测标签,相当于老师批注的判分;$y^{*}$ 是真实标签,相当于学生真正的掌握程度。噪声率就是“马虎老师判错的概率”。
  1. 认识三位主角$\tilde{y}$ 是观测标签(卷面上的勾或叉),$y^{*}$ 是真实标签(题目真正的对错),$P$ 是概率符号。
    y~,y∗,P(⋅)\tilde{y}, \quad y^{*}, \quad P(\cdot)
  2. 描述一次错误$\tilde{y} \neq y^{*}$ 表示“判分与真实不符”,也就是老师批错了一道题。
    y~≠y∗\tilde{y} \neq y^{*}
  3. 把所有错误加起来噪声率 $\varepsilon$ 等于错误事件发生的概率,即全部样本中被判错的占比。
    ε=P(y~≠y∗)\varepsilon = P(\tilde{y} \neq y^{*})

对称噪声建模:闭眼批改的糊涂老师

大马虎老师今天心情烦躁,拿起红笔“唰唰”乱批:每一道题他都靠抛硬币决定勾还是叉,而且对全班每个人都一视同仁。这种“无差别乱判”产生错误的方式,就是对称噪声。

对称噪声的“对称”体现在两方面:第一,每个真实类别的样本被误标的概率相同;第二,被标错时,翻到其他任意类别的概率也都相同。它不偏爱任何样本,也不偏爱任何错误类别。

用数学语言描述,只需要一张“噪声转移矩阵” $T$,其中 $T_{ij}$ 表示“真实类别为 $i$ 的样本被标成 $j$”的概率:

对称噪声虽然看起来“脏”,却是最容易建模的噪声——因为它的错法足够均匀,一张转移矩阵就能完整描述,后续所有修正方法都可以拿它当起点。在现实中,自动标注脚本出错、标注者完全不熟悉任务只能乱猜时,产生的噪声往往就接近对称。

Tij=P(y~=j∣y∗=i)={1−ε,i=jεK−1,i≠j\displaystyle T_{ij} = P(\tilde{y}=j \mid y^{*}=i) =\begin{cases}1 - \varepsilon, & i = j \\\dfrac{\varepsilon}{K-1}, & i \neq j\end{cases}
如果噪声率 $\varepsilon = 0.3$,且有 $K=4$ 个类别,那么一个真实为“猫”的样本有 70% 概率继续标成“猫”,剩下 30% 随机等概率翻到狗、鸟、鱼三种错误标签上,每种 10%。
  1. 条件概率的含义$P(\tilde{y}=j \mid y^{*}=i)$ 读作“已知真实答案是 $i$,老师却批成 $j$ 的概率”。
    P(y~=j∣y∗=i)P(\tilde{y}=j \mid y^{*}=i)
  2. 对角线是“幸免”概率当 $i=j$ 时,标签保持正确,概率为 $1-\varepsilon$,噪声率越高,幸免概率越低。
    Tii=1−εT_{ii} = 1 - \varepsilon
  3. 非对角线是“翻车”概率当 $i \neq j$ 时,标签被翻错,总概率 $\varepsilon$ 被平均分给其余 $K-1$ 个错误类别。
    Tij=εK−1T_{ij} = \frac{\varepsilon}{K-1}

实例相关噪声:看人下菜的偏见老师

另一些老师不一样。大马虎老师其实并不总乱批——他有个毛病:看见字迹潦草的卷子就烦躁,心里先入为主认为“这学生肯定没好好写”,于是判错概率大增;而字迹工整的卷子,哪怕答案不对,他也手下留情。这就是“看人下菜”:误判概率和卷面特征(字迹、排版)直接相关。

数据里也是如此。实例相关噪声的误标概率随样本本身的特征变化:一张“似猫非猫、似狗非狗”的模糊照片,标注员很容易判错;而特征清晰的样本,几乎不会错。换句话说,噪声“盯上”了那些本身就难以分类的样本。

数学上,我们可以用一个依赖特征的概率函数来刻画这种噪声:

与对称噪声相比,实例相关噪声更接近真实标注场景,也更具危险性:它集中攻击决策边界附近的模糊样本,而模型恰恰需要这些样本学习边界。模型反复看到“模糊样本都被标错”,会把噪声当成真实的类别规律去拟合,最终导致过拟合与泛化崩溃。

P(y~i≠yi∗∣xi)=σ(w⊤xi+b)\displaystyle P(\tilde{y}_i \neq y_i^{*} \mid x_i) = \sigma(w^{\top} x_i + b)
对每个样本 $i$,它被误标的概率不再是常数,而是一个由自身特征 $x_i$ 决定的数值。$w$ 和 $b$ 是参数,$\sigma$ 是 Sigmoid 函数,把计算结果压缩到 0~1 之间当概率用。
  1. 按样本编号下标 $i$ 表示“第 $i$ 个样本”,强调每个样本有自己的误标概率,不再全局共享一个 $\varepsilon$。
    y~i,yi∗,xi\tilde{y}_i, \quad y_i^{*}, \quad x_i
  2. Sigmoid 函数$\sigma(z) = 1 / (1 + e^{-z})$,它把任意实数压到 0 和 1 之间,天然适合当概率。
    σ(z)=11+e−z\sigma(z) = \frac{1}{1 + e^{-z}}
  3. 特征打分$w^{\top} x_i + b$ 是对样本特征的线性打分,分数越接近 0,说明样本越模糊,误判概率越大。
    w⊤xi+bw^{\top} x_i + b

转移矩阵估计:统计老师的误判习惯

要对症下药,教研组长决定先摸清大马虎老师的“误判习惯”:真实对的题被批成错的,有多少?真实错的题被批成对的,又有多少?他把这些统计成一张表格——这就是噪声转移矩阵的估计。

怎样估计呢?教研组长抽查了一小部分卷子(干净子集),请出题人亲自核对答案(真实标签已知),然后逐张对照老师的判分。比如抽查的 100 份“真实为 A”的卷子里,有 70 份老师判了 A、20 份判了 B、10 份判了 C,那么转移矩阵的第 A 行就是 [0.7, 0.2, 0.1]。

写成公式,转移矩阵第 $i$ 行第 $j$ 列的估计值为:

这张“误判习惯表”是后续一切修正的基石。但它有一个明显短板:如果抽查的卷子太少,表格里的数字会抖得厉害;更重要的是,直接从全体数据粗算的那份表,和干净子集细算的这份表,往往对不上——到底信谁?这就需要 T-Revision 登场了。

T^ij=∑n∈CI(yn∗=i, y~n=j)∑n∈CI(yn∗=i)\displaystyle \hat{T}_{ij} = \frac{\sum_{n \in \mathcal{C}} \mathbb{I}(y_n^{*}=i,\ \tilde{y}_n=j)}{\sum_{n \in \mathcal{C}} \mathbb{I}(y_n^{*}=i)}
分子统计干净子集中“真实为 $i$ 且被标成 $j$”的样本数,分母统计“真实为 $i$”的样本总数,两者相除得到频率,频率在样本足够多时逼近真实概率。
  1. 划定抽查范围$\mathcal{C}$ 表示干净子集,即真实标签已被人工核实的样本集合。
    C\mathcal{C}
  2. 统计分子(错误组合)$\mathbb{I}(\cdot)$ 是指示函数,条件成立记 1、不成立记 0;求和得到“真实为 $i$ 却标成 $j$”的个数。
    ∑n∈CI(yn∗=i, y~n=j)\sum_{n \in \mathcal{C}} \mathbb{I}(y_n^{*}=i,\ \tilde{y}_n=j)
  3. 统计分母(该类总数)累加“真实为 $i$”的样本数,作为频率的底数。
    ∑n∈CI(yn∗=i)\sum_{n \in \mathcal{C}} \mathbb{I}(y_n^{*}=i)
  4. 相除得概率频率 $\hat{T}_{ij}$ 作为真实误判概率 $T_{ij}$ 的估计,干净样本越多越准。
    T^ij≈Tij\hat{T}_{ij} \approx T_{ij}

T-Revision:教研组长的纠偏方案

教研组长发现问题没那么简单。大马虎老师的坏习惯不是一成不变的:昨天闭眼乱批,今天专挑字迹潦草的卷子。直接统计全量数据得到的“误判习惯表”(初始转移矩阵 $T_{\text{init}}$)有偏差,而干净卷子算出的表虽然有锚点参考,但样本太少也不够稳。

他的方案是:保留初始表的主体,只修正其中“不乖”的部分。把修正后的表写成 $Q = T_{\text{init}} + \Delta T$,其中 $\Delta T$ 是学习出来的修正量;然后用干净子集提供的信息监督这个修正量,让修正后的表能最好地解释观察到的噪声标签。这就是 T-Revision(修订转移矩阵)。

在实现上,T-Revision 常采用分阶段训练:先用干净子集估计一个较可靠的“目标转移矩阵”,再把它和全量数据估计的初始矩阵对比,迭代调整 $\Delta T$;同时强制要求修正后的 $Q$ 每行和为 1、每个元素非负——因为它本质上仍是一张概率表。修正完成后,$Q$ 可以用来翻转可疑标签、校正模型输出概率,甚至指导样本重加权。

min⁡ΔT  ∥(Tinit+ΔT)⊤pmodel−p^noisy∥22+λ∥ΔT∥F2\displaystyle \min_{\Delta T} \; \left\| (T_{\text{init}} + \Delta T)^{\top} p_{\text{model}} - \hat{p}_{\text{noisy}} \right\|_2^2 + \lambda \| \Delta T \|_F^2
第一项要求“修正后的误判表能把模型预测变成噪声标签的样子”——对不上就说明修正量不对;第二项 $\lambda \|\Delta T\|_F^2$ 防止修正量疯狂乱跳,就像纠偏要小步微调,不能推倒重来。
  1. 修正量的诞生$Q = T_{\text{init}} + \Delta T$,初始表加上修正量得到修订后的转移矩阵。
    Q=Tinit+ΔTQ = T_{\text{init}} + \Delta T
  2. 用修订表预判噪声$Q^{\top} p_{\text{model}}$ 表示“如果模型预测是对的,经过老师的误判习惯后,标签应该长什么样”。
    Q⊤pmodelQ^{\top} p_{\text{model}}
  3. 与实际观测对比$\hat{p}_{\text{noisy}}$ 是从数据里实际统计出的噪声标签分布;二者差距越小越好,用二范数平方衡量。
    ∥Q⊤pmodel−p^noisy∥22\left\| Q^{\top} p_{\text{model}} - \hat{p}_{\text{noisy}} \right\|_2^2
  4. 稳定修正过程$\lambda \| \Delta T \|_F^2$ 是正则项,$\lambda$ 控制修正力度,避免 $\Delta T$ 出现离谱的极端值。
    λ∥ΔT∥F2\lambda \| \Delta T \|_F^2

抗噪实战策略:给学生的防骗锦囊

教研组长修正了老师的误判表,但作业本上的错误叉号已经留下了。学生们(模型)该怎么在充满错误判分的卷子里仍学到真本事?答案是“防骗锦囊”式的抗噪训练策略。

第一招,换更“迟钝”的损失函数。普通的交叉熵会把每条标签都当真,而 MAE 等鲁棒损失对异常标签不那么敏感,让模型面对错误叉号时“不那么受伤”。第二招,样本重加权:对明显可疑的样本,给它们的损失乘小权重,让它们对训练的影响变低。第三招,标签清洗:把模型预测与标签不一致的样本挑出来人工复核,或直接用前面学到的转移矩阵修正标签。第四招,课程策略:先只用高置信样本训练,等模型站稳了再逐步引入低置信样本。

如果把重加权写成公式,就是给每个样本的损失乘一个依赖“可疑程度”的权重:

把这四招和前面的方法串起来,就构成一条完整的抗噪流水线:先用噪声类型诊断加上转移矩阵估计摸清“老师脾气”,再用 T-Revision 修正标签,最后用鲁棒损失和重加权保护训练。模型学到的就不再是老师的错误习惯,而是知识本身的规律。

Lrobust=∑i=1Nwi ℓ(f(xi), y~i),wi=exp⁡(−α⋅e^i)\displaystyle \mathcal{L}_{\text{robust}} = \sum_{i=1}^{N} w_i \, \ell\big(f(x_i),\ \tilde{y}_i\big), \qquad w_i = \exp\left(-\alpha \cdot \hat{e}_i\right)
$\hat{e}_i$ 是第 $i$ 个样本的“疑似噪声分数”(例如模型预测与标签不一致的程度),分数越高权重越小。$\alpha$ 控制惩罚力度,像一个“警惕旋钮”:旋得越大,模型对可疑样本越不信任。
  1. 鲁棒损失的骨架$\ell(f(x_i), \tilde{y}_i)$ 是模型 $f$ 在样本 $x_i$ 上与噪声标签 $\tilde{y}_i$ 的损失。
    ℓ(f(xi), y~i)\ell\big(f(x_i),\ \tilde{y}_i\big)
  2. 给损失加权每个样本乘上权重 $w_i$,权重低的样本“说话声音小”,对训练贡献小。
    ∑i=1Nwi ℓ(⋅)\sum_{i=1}^{N} w_i \, \ell(\cdot)
  3. 权重由可疑度决定$w_i = \exp(-\alpha \hat{e}_i)$,样本越可疑($\hat{e}_i$ 越大),权重指数级下降。
    wi=exp⁡(−α⋅e^i)w_i = \exp\left(-\alpha \cdot \hat{e}_i\right)

AI 应用场景

众包标注平台的质量审计

阶段:数据质量评估

解决的问题:众包平台上标注员水平参差,部分标注员为了赶工作量乱标,传统质检靠随机抽检人工复核,成本高、覆盖率低。利用对称噪声建模,可以统计每个标注员的误判习惯表:谁的转移矩阵“非对角项”异常偏高,谁就是疑似乱标的马虎老师,将其任务下调或复核。

具体案例:一家自动驾驶数据服务商的 3D 点云标注项目,通过估计每个标注员的标签转移矩阵,自动识别出 5% 的标注员存在系统性误标,将无效数据从 12% 降到 2%。

医疗影像中的噪声标签修正

阶段:鲁棒模型设计

解决的问题:医疗影像标签依赖医生手动标注,不同医生的诊断意见不一致,尤其边界模糊的病灶影像容易被误标(实例相关噪声),直接用这些标签训练会严重损害模型。用 T-Revision 先估转移矩阵、修正标签,再训练鲁棒分类器。

具体案例:某医院肺结节 CT 筛查项目,发现靠近影像边界(结节较小或灰度异常)的样本误标率高达 35%。使用 T-Revision 修正后,模型在独立测试集上的 AUC 从 0.82 提升到 0.90。

推荐系统隐式反馈去噪

阶段:数据预处理

解决的问题:推荐系统的“点击”数据天然带有噪声:误点、无效点击、因为推荐位显眼而点击并非真感兴趣。隐式反馈噪声符合实例相关噪声的特点——低活跃用户、冷门物品的交互噪声更高。用转移矩阵估计加上标签修正过滤噪声样本,可提升 CTR 预估模型效果。

具体案例:某电商平台的商品推荐场景,对 1 亿条点击日志应用噪声建模,识别出约 8% 的高噪声样本并降低其训练权重,线上 CTR 提升约 3%。

Python 演示

python53 行
import numpy as np  class LabelNoiseSimulator:    def __init__(self, n_samples=300, seed=42):        self.rng = np.random.default_rng(seed)        self.X = self.rng.uniform(-2, 2, size=(n_samples, 2))        self.true_y = (self.X[:, 0] > 0).astype(int)        self.noisy_y = self.true_y.copy()     def add_symmetric_noise(self, noise_rate=0.3):        mask = self.rng.random(self.true_y.shape) < noise_rate        self.noisy_y[mask] = 1 - self.noisy_y[mask]        return self.noisy_y     def add_instance_noise(self, max_rate=0.6):        dist = np.abs(self.X[:, 0])        rates = max_rate * np.exp(-2 * dist)        mask = self.rng.random(self.true_y.shape) < rates        self.noisy_y[mask] = 1 - self.noisy_y[mask]        return self.noisy_y     def estimate_transition_matrix(self, clean_idx):        T = np.zeros((2, 2))        for i in clean_idx:            T[self.true_y[i], self.noisy_y[i]] += 1        return T / T.sum(axis=1, keepdims=True)     def revise_labels(self, T):        prior = np.array([(self.true_y == 0).mean(),                          (self.true_y == 1).mean()])        corrected = self.noisy_y.copy()        for i in range(len(self.noisy_y)):            post = T[:, self.noisy_y[i]] * prior            corrected[i] = int(np.argmax(post))        return corrected  if __name__ == "__main__":    sim = LabelNoiseSimulator(seed=1)    y_sym = sim.add_symmetric_noise(0.3)    print("symmetric acc:", (y_sym == sim.true_y).mean())     sim2 = LabelNoiseSimulator(seed=7)    y_inst = sim2.add_instance_noise()    print("instance acc:", (y_inst == sim2.true_y).mean())     clean_idx = sim2.rng.choice(len(sim2.true_y), 60, replace=False)    T = sim2.estimate_transition_matrix(clean_idx)    print("estimated T:\n", np.round(T, 3))     y_rev = sim2.revise_labels(T)    print("after revision acc:", (y_rev == sim2.true_y).mean())
目的:演示两类标签噪声的生成、用干净子集估计转移矩阵,以及用贝叶斯修正恢复标签的完整流程。
  1. mask = self.rng.random(...) < noise_rate随机选 30% 样本翻转,模拟“对称噪声”的闭眼乱批。
  2. rates = max_rate * np.exp(-2 * dist)越靠近决策边界(dist 越小)误标概率越高,模拟偏见老师的实例相关噪声。
  3. T[self.true_y[i], self.noisy_y[i]] += 1统计干净样本中“真实 i 被判成 j”的次数,填进误判习惯表。
  4. return T / T.sum(axis=1, keepdims=True)每行归一化,让误判表每行概率和为 1,变成合法转移矩阵。
  5. post = T[:, self.noisy_y[i]] * prior贝叶斯公式:用误判规律和类别先验反推该样本更可能的真实标签。

常见误区

误区“数据里有 30% 的标签是错的,那训练出来的模型准确率顶多就是从 90% 掉到 60%,还在可接受范围。”

正解这是对噪声破坏力的严重低估。标签噪声不是简单删掉 30% 正确信息,而是主动给模型喂 30% 的“错误答案”。深度模型容量很大,会死记硬背这些错误标签,把噪声当成类别规律,泛化性能可能断崖式下跌,远不止损失 30%。就像学生照着老师瞎打的叉订正,越订正越错。

为何常见:人们习惯用“信息缺失”类比噪声,但标签噪声是“信息被篡改”,混淆了两者本质。

误区“反正都要估计转移矩阵,就用一个全局噪声率 ε 建模,简单省事。”

正解真实标注场景中大多数噪声是实例相关的:标注员对模糊样本更容易出错。强行用对称噪声建模相当于假设老师对谁都一样乱批,却忽略了“专挑字迹潦草下手”的偏见,导致转移矩阵估计失真、修正效果大打折扣。

为何常见:对称噪声数学形式简单、实现容易,初学者容易“手里拿着锤子,看什么都是钉子”。

误区“训练时损失特别大的样本肯定就是噪声样本,删掉它们模型就干净了。”

正解高损失样本里既有真正的噪声,也有模型尚未学会的“难样本”(边界样本、稀有样本)。粗暴删除会连难样本一起丢掉,削弱模型对边界的学习。更稳妥的做法是用转移矩阵估计可疑程度、T-Revision 修正标签,再对所有样本加权保留。

为何常见:这个误区把“损失大”等同于“标签错”,忽略了损失同时反映模型能力这个事实。

误区“既然已经算出转移矩阵了,就一直用这张表修正标签,不用再更新。”

正解数据分布、标注标准、标注团队都会变。上学期大马虎老师退休了,新老师有完全不同的误判习惯。模型部署后要周期性重新估计转移矩阵,否则修正系统会基于过时的误判表做出错误判断。

为何常见:静态思维——把估计得到的参数当成固定真理,忽视了标注环境本身的动态变化。

面试题

Q1. 对称噪声最核心的特征是什么?

单选题 · easy

  • A.各类别样本被误标的概率相同← 正确答案
  • B.误标概率依赖样本特征
  • C.只影响少数类样本
  • D.噪声率始终为零

答案:A。对称噪声“一视同仁”,任何真实类别被误标的概率都是噪声率 ε,错误类别等概率分配。B 是实例相关噪声的特征;C 与对称性矛盾;D 否定了噪声存在,均错误。

Q2. 噪声转移矩阵的对角线元素表示什么?

单选题 · easy

  • A.样本标签被正确保留的概率← 正确答案
  • B.样本被错误删除的比例
  • C.每个类别的样本数量
  • D.模型训练的迭代次数

答案:A。转移矩阵中 T_ii 表示“真实类别 i 仍被标成 i”的概率,即标签幸免于噪声的概率。B、C、D 与转移矩阵概率定义无关。

Q3. 以下哪项是标签噪声最常见的来源?

单选题 · easy

  • A.标注人员疲劳或水平不足← 正确答案
  • B.GPU 温度过高导致故障
  • C.数据增强过度破坏图像
  • D.模型初始化参数不合理

答案:A。标签噪声发生在“打标签”环节,标注人员的主观因素是最直接来源。B、D 是训练环节问题,C 是数据变换问题,都不属于真实标签被标错。

Q4. 实例相关噪声与对称噪声的关键区别是什么?

单选题 · mid

  • A.误标概率是否随样本特征变化← 正确答案
  • B.是否需要使用损失函数
  • C.是否只出现在二分类中
  • D.是否会影响模型泛化

答案:A。对称噪声用全局噪声率 ε 描述,实例相关噪声用依赖特征的概率函数(如 sigmoid 打分)描述,A 是最本质区别。B 两者训练都需要损失;C 无关;D 两者都会影响泛化。

Q5. 为什么难以直接估计每个样本的实例级噪声概率?

单选题 · mid

  • A.每个样本只有一个观测标签← 正确答案
  • B.样本特征维度过高
  • C.样本总数太少
  • D.转移矩阵一定是奇异矩阵

答案:A。每个样本只会被观察到一个标签,没有重复标注就无法为单个样本统计误标频率,所以只能退而求其次按特征空间或区域估计。B、C 可能是实际问题但不是根本原因,D 说法不成立。

Q6. T-Revision 修正方法的核心思想是什么?

单选题 · mid

  • A.用干净子集估计转移矩阵并迭代修正← 正确答案
  • B.直接删除所有噪声标签样本
  • C.用生成对抗网络合成干净标签
  • D.把分类问题改成回归问题

答案:A。T-Revision 的灵魂是“保留初始表、修正偏差”:用干净子集作锚点,学习修正量 ΔT 来校准初始误判表。B 太粗暴;C、D 与转移矩阵修正无关。

Q7. 修正后的转移矩阵必须满足哪个约束?

单选题 · extreme

  • A.每行元素非负且行和为 1← 正确答案
  • B.每列元素非负且列和为 1
  • C.矩阵对角元素必须为 0
  • D.矩阵所有元素严格小于 1

答案:A。转移矩阵本质是条件概率表:每一行对应“真实类别 i”到各观测类别的概率分布,因此每行非负、和为 1。B 是列归一,不符合条件概率定义;C 排除正确保留概率;D 未提行约束且转移矩阵对角本可达 1。

Q8. 标签噪声对深度学习的典型危害有哪些?

多选题 · mid

  • A.模型过拟合噪声标签← 正确答案
  • B.降低模型泛化能力← 正确答案
  • C.训练时间显著缩短
  • D.无需进行数据清洗

答案:AB。模型容量大,容易死记硬背错误标签导致过拟合,进而损害泛化。C“时间缩短”是臆想;D 恰恰相反,噪声数据更需要清洗。

Q9. 下列哪些属于对抗标签噪声的实践策略?

多选题 · hard

  • A.使用鲁棒损失函数← 正确答案
  • B.对可疑样本降低损失权重← 正确答案
  • C.用转移矩阵修正标签← 正确答案
  • D.一味调大学习率

答案:ABC。鲁棒损失、样本重加权、标签清洗/修正是标准抗噪三板斧。D 调大学习率只会让训练更不稳定,不能对抗噪声。

Q10. 关于实例相关噪声,下列说法正确的有哪些?

多选题 · hard

  • A.误标概率随实例特征变化← 正确答案
  • B.边界模糊样本更容易被误标← 正确答案
  • C.所有样本的噪声率都相同
  • D.用单个参数难以完备描述← 正确答案

答案:ABD。实例相关噪声的特点就是“看特征下菜”,边界样本(特征模糊)误标率高;由于概率随特征变化,单个噪声率 ε 无法刻画它。C 正是对称噪声的特征,故错误。