自训练与自步学习：概念辨析

可视化演示

动态演示自训练与自步学习的核心机制，通过源头/管道/节点/终端四种模式展示关键概念与交互流程。

核心概念引入

回到班主任的比喻。期末考试结束后，班主任发现班里有很多同学的基础题都没做对，于是想了一个办法：让班上最优秀的几位同学把基础题的答案写出来，然后把这些答案发给其他同学背诵。这就是自训练——用已经学得好的模型（优秀同学）去生成“标准答案”（伪标签），让更多数据加入学习。

与此同时，隔壁班老师采用另一种方法：她不去复制答案，而是把全班同学的卷子都收上来，先只认真批改那些写得完整、错误率低的卷子，对于写得很乱的卷子暂时不批改，等同学们通过前几轮练习进步之后，再回头批改这些难卷子。这就是自步学习——不是给所有样本同样的待遇，而是根据样本的“难度”动态分配不同的权重。

从技术角度讲，这两种方法都属于利用“容易先学”的思想，但它们解决问题的维度完全不同。自训练发生在数据层面：它把无标签数据变成有标签数据，相当于扩充了训练集。自步学习发生在优化层面：它修改的是损失函数中每个样本的系数，相当于改变了训练目标。

有了这个直觉后，我们再分别深入两种方法的内部机制。

自训练原理

想象班主任让优秀学生当“教师”，给其他同学批改作业。但这位“教师同学”不是每道题都敢批——只有当他非常确定某道题的答案时，才会把答案写上去；如果他自己也拿不准，宁可空着。这个“非常确定”的标准，就是自训练中的置信度阈值。

在自训练中，我们首先用一个已有的模型（称为教师模型）去预测无标签数据的标签。模型会输出一个置信度分数，比如对某张图片预测为“猫”的概率是 0.95。如果这个概率超过我们设定的阈值（比如 0.8），我们就把“猫”这个预测结果当作伪标签，把这张图片加入训练集。这个过程会反复迭代：每次训练后，模型变得更强，又能对更多无标签数据产生高置信度的预测，于是不断有新的伪标签数据加入。

$$\displaystyle \mathcal{L}_{\text{self-training}} = \frac{1}{N} \sum_{i=1}^{N} \ell\left(f(x_i), y_i\right) + \frac{1}{M} \sum_{j=1}^{M} \ell\left(f(x_j), \hat{y}_j\right) \cdot \mathbb{I}\left[p(\hat{y}_j) > \tau\right]$$

1. 教师模型预测：先用当前模型对无标签样本 $x_j$ 进行预测，得到伪标签 $\hat{y}_j$ 和置信度 $p(\hat{y}_j)$。

$$\{x_j, \hat{y}_j, p(\hat{y}_j)\} \leftarrow f(x_j)$$

2. 阈值筛选：设定阈值 τ，只有置信度大于 τ 的伪标签才被保留。

$$\mathbb{I}\left[p(\hat{y}_j) > \tau\right] \in \{0, 1\}$$

3. 联合训练：把伪标签数据和原始有标签数据混合，共同训练模型。

$$\displaystyle \mathcal{L} = \mathcal{L}_{\text{labeled}} + \mathcal{L}_{\text{pseudo-labeled}}$$

这里的关键在于，自训练永不修改原始数据的标签，它只是在不断创造新的、带有伪标签的数据。就像班主任从不改动同学原有的作业本，只是不断补充新的练习题和参考答案。

自步学习原理

现在回到隔壁班。这位老师不“复制答案”，而是发明了一套复杂的“卷子筛选法”。她发现学生做第一张卷子时，全班平均分只有 60 分，于是把“批改门槛”设得很低——只要卷面分达到 55 分的卷子就认真批改，低于 55 分的先放着。随着同学们水平提高，她把门槛逐步提高到 65 分、75 分……最终所有卷子都被批改完毕。

自步学习的数学含义是把“门槛”定义为难度系数 k。每个样本 $i$ 有一个损失值 $\ell_i$，如果 $\ell_i < k$，说明这个样本“简单”，给它较高的权重（或者说直接让它在当前轮参与训练）；如果 $\ell_i \geq k$，说明这个样本“难”，就把它的权重降为 0，暂时不管它。随着训练进行，k 从 0 逐渐增大，越来越多的样本被纳入训练，最终收敛到完整数据集上的优化。

$$\displaystyle \min_{w, v} \sum_{i=1}^{n} v_i \ell_i + \lambda \Phi(v; k), \quad v_i \in [0,1]$$

其中 $v_i$ 是样本权重，$\ell_i$ 是样本损失。第一项是对加权样本求和，第二项是权重正则项，它控制着训练过程从“只学容易样本”逐步过渡到“学习全部样本”。

1. 定义损失：计算每个样本在当前模型下的损失 $\ell_i$，损失越大的样本越难。

$$\ell_i = \text{Loss}\left(f(x_i), y_i\right)$$

2. 引入权重变量：为每个样本引入权重 $v_i \in [0,1]$，表示该样本对训练的影响程度。

$$v_i \in [0, 1]$$

3. 制定正则项：用正则项 $\Phi(v; k)$ 控制权重分布，参数 k 决定了当前“简单样本”的占比。

$$\Phi(v; k) = - \sum_{i=1}^{n} v_i + k \sum_{i=1}^{n} v_i^2$$

4. 交替优化：先固定模型参数 w 更新权重 v，再固定 v 更新 w，反复迭代。

$$w^* = \min_w \sum_{i=1}^{n} v_i \ell_i (w)$$

自步学习的精髓在于循序渐进。它不改变数据的内容（样本还是那些样本），只改变数据在学习过程中的“出场顺序”和“被重视程度”，就像老师不删改任何一道题，只是决定先批哪些、后批哪些。

关键区别对比

现在我们可以把两种方法放在一张对比表里，就像把两位班主任的做法并排放在一起看。自训练的老师在增加资料：他不断收集新的参考答案（伪标签），题库越来越厚；自步学习的老师在调整策略：她手里的卷子一张没多也一张没少，只是批改的先后顺序和权重在变。

从数学本质来看，自训练的优化目标是：最小化有标签数据损失 + 伪标签数据损失。自步学习的优化目标是：最小化加权后的所有样本损失。一个是新增了求和项，另一个是给每个已有求和项加了系数。

$$\displaystyle \text{Self-Training: } \min_{w} \sum_{i \in L} \ell_i + \sum_{j \in P} \ell_j \qquad \text{Self-Paced: } \min_{w, v} \sum_{i=1}^{n} v_i \ell_i + \lambda \Phi(v)$$

1. 操作对象对比：自训练改变的是“数据集”（加入伪标签样本），自步学习改变的是“权重的集合”。

$$\text{数据集扩充} \quad \text{vs} \quad \text{权重向量 } v$$

2. 训练目标对比：自训练把所有被批准的伪标签样本一视同仁地加入损失；自步学习为每个样本单独设定权重。

$$\sum_{j} \ell_j \quad \text{vs} \quad \sum_{i} v_i \ell_i$$

3. 收敛策略对比：自训练通过多次迭代不断扩大伪标签集；自步学习通过逐步增大难度系数 k 来释放更多样本。

$$\tau \text{ 固定或上升} \quad \text{vs} \quad k \text{ 从0渐增}$$

所以最容易混淆的原因在于：两者都采用“由易到难”的思想，但一个“易”体现在置信度高（模型很有把握），一个“易”体现在损失小（样本本身容易）——前者是模型的主观自信，后者是样本的客观难度。

适用场景分析

我们在实际项目里怎么选？就像两位班主任要根据班级特点选择自己的策略。如果你面对的是一个半监督学习问题——手里有一堆无标签数据和一撮有标签数据，那么自训练是天然的选择，因为它的核心就是利用无标签数据。

但如果你的问题包含大量噪声标签，比如众包标注的图片数据里很多标签是错的，那自步学习会更合适。因为它可以自动识别出“损失异常高”的样本（大概率是噪声），把它们的权重降低，从而减少噪声对模型的干扰。

$$\displaystyle \text{半监督场景: 使用自训练} \qquad \text{噪声/课程场景: 使用自步学习}$$

1. 半监督适配：自训练需要大量无标签数据来生成伪标签，适配半监督学习。

$$\text{labeled small} + \text{unlabeled large} \rightarrow \text{Self-Training}$$

2. 噪声适配：自步学习通过损失大小识别噪声样本，降低其权重，适配噪声数据场景。

$$\ell_{\text{noise}} \text{ 大 } \Rightarrow v_{\text{noise}} \rightarrow 0$$

3. 课程适配：自步学习的由易到难特性与课程学习思想天然契合。

$$k: 0 \rightarrow \infty \text{ 课程难度逐步提升}$$

另外，自步学习也常被用于异常检测任务中——把损失过大的样本视为“异常”或“难例”，不参与主要训练，这在某些图像分类场景下可以有效提升模型泛化能力。

实践技巧总结

当你需要在代码中实现这两种方法时，最重要的一步不是写代码，而是先停下来问自己：我到底想要什么？如果我想“利用无标签数据”，选自训练；如果我想“处理难样本/噪声样本”，选自步学习。（就像班主任先想清楚：我是要加资料，还是要改批改策略？）

在自训练实现中，阈值 τ 的选择非常关键。阈值设得太高，只有很少的无标签数据能被利用；阈值设得太低，会产生大量错误伪标签，反而伤害模型。一个实用的技巧是：先设定一个较高的阈值（如 0.9），然后随着迭代逐步降低阈值，这样初期的伪标签更可靠，后期又能利用更多数据。

$$\displaystyle \tau_t = \tau_{\max} \cdot \exp(-\alpha t)$$

1. 初始高阈值：设置 τ_max 为 0.9 以上，保证初期伪标签质量。

$$\tau_0 = 0.9$$

2. 指数衰减：随迭代轮次 t 增加，阈值按指数衰减，慢慢释放更多伪标签。

$$\tau_t = \tau_{\max} e^{-\alpha t}$$

在自步学习实现中，难度系数 k 的更新同样讲究。k 太大，模型一下子把所有样本都学完，失去了“自步”的意义；k 太小，模型永远只学简单样本，能力得不到提升。通常的做法是 k 按固定步长线性增长，或者根据验证集效果动态调整。

最终的实践经验可以总结为四个字：对症下药。先搞清楚你面对的机器学习问题的关键瓶颈，再决定使用哪种机制。两者并非水火不容，也有研究把自训练生成的伪标签与自步学习的权重分配结合起来使用，但初学者应该先分别掌握每一种的本质，再考虑混合方案。

AI 应用场景

Python 演示

import numpy as np def self_training(X_label, y_label, X_unlabel, model, conf_thresh=0.8, max_iter=5):    """自训练：反复用模型对无标签数据打伪标签并扩充训练集"""    X_train = list(X_label)    y_train = list(y_label)    for _ in range(max_iter):        model.fit(np.array(X_train), np.array(y_train))        proba = model.predict_proba(np.array(X_unlabel))        max_prob = np.max(proba, axis=1)        pseudo_y = np.argmax(proba, axis=1)        high_conf = max_prob > conf_thresh        for x, y in zip(X_unlabel[high_conf], pseudo_y[high_conf]):            X_train.append(x)            y_train.append(y)        X_unlabel = X_unlabel[~high_conf]    return model def self_paced_loss(model, X, y, k):    """自步学习：按损失大小给样本分配权重 v，损失越大权重越低"""    probs = model.predict_proba(X)    sample_loss = -np.log(probs[np.arange(len(y)), y] + 1e-8)    weights = np.where(sample_loss < k, 1.0, 0.0)    return sample_loss, weights def train_with_self_paced(model, X, y, epochs=10, k_max=2.0, k_step=0.1):    """使用自步学习策略训练：难度系数 k 逐步增大"""    k = 0.1    for epoch in range(epochs):        loss, v = self_paced_loss(model, X, y, k)        # 实际训练时在这里用 v 作为样本权重调用模型训练        # 这里展示权重分布和难度系数的变化        print(f"epoch {epoch}: k={k:.2f}, 参与训练样本数={int(np.sum(v))}/{len(y)}")        k = min(k + k_step, k_max)    return k if __name__ == "__main__":    from sklearn.linear_model import LogisticRegression    from sklearn.datasets import make_classification     X, y = make_classification(n_samples=300, n_features=10, random_state=42)    X_label, y_label = X[:100], y[:100]    X_unlabel = X[100:]     clf = LogisticRegression()    clf = self_training(X_label, y_label, X_unlabel, clf, conf_thresh=0.7)    print("自训练完成，模型参数维度:", clf.coef_.shape)     clf2 = LogisticRegression()    clf2.fit(X_label, y_label)    train_with_self_paced(clf2, X_label, y_label, epochs=5)

1. model.fit(np.array(X_train), np.array(y_train))先用当前训练集拟合模型，这相当于让“教师模型”先学习。
2. max_prob = np.max(proba, axis=1)计算每个无标签样本的最高置信度，作为是否打伪标签的依据。
3. pseudo_y = np.argmax(proba, axis=1)取概率最大的类别作为伪标签，也就是“复制答案”。
4. X_train.append(x)把高置信度的无标签样本加入训练集，这正是自训练的本质：扩充数据。
5. sample_loss = -np.log(...)用交叉熵计算每个样本的损失，损失大意味着样本“难”。
6. weights = np.where(sample_loss < k, 1.0, 0.0)损失小于难度系数 k 的样本权重为 1，大于的权重为 0，这是自步学习的核心筛选逻辑。
7. k = min(k + k_step, k_max)难度系数逐步增大，训练由易到难，模拟课程学习过程。

常见误区

面试题