Label Smoothing标签平滑训练技巧

可视化演示

展示标签平滑将硬标签转换为软标签的原理、平滑系数alpha调参效果与模型泛化校准提升，切换模式掌握深度学习训练核心技巧。

硬标签隐患

老掌柜最初教徒弟，方法极其干脆：抓起一块真丝绸缎往桌上一拍，说“看清楚，这就是真丝”；又抓起一块老棉布，说“这是棉布”。徒弟记性不错，可一到铺子里接活就露馅：客人拿一块带云纹的斜纹软缎，他一口咬定“不是真丝”；客人拿一块垂坠感极好的仿真丝涤纶，他又拍胸脯打包票“百分百真丝”。为什么学得越死，错得越离谱？因为老掌柜的教法里没有“不确定”三个字。

在深度学习分类任务中，这种“绝对化教法”对应的就是硬标签（hard label）。我们用 one-hot 编码把每个训练样本表示成一个向量：正确类别处是 1，其余全是 0。比如一个三分类任务里，“猫”的标签就是 [0, 1, 0]，意思是“百分之百是猫，其他任何可能都没有”。模型在交叉熵损失的驱动下，会把正确类别的输出概率一路推向 1，甚至不惜把 logits（softmax 之前的得分）推到极大值，让 softmax 输出彻底饱和。

$$y_{hard} = [0, 1, 0, \dots, 0]$$

1. 类别索引定位：假设第 c 类是正确答案，向量只在第 c 个位置写 1。

$$y_c = 1$$

2. 其余位置置零：其他所有类别的标签值都是 0，模型被明确告知“没有第二种可能”。

$$y_i = 0, \quad i \neq c$$

这种“过度自信”的后果是：当模型真的遇到一个模棱两可的样本——比如一只姿势奇怪的猫——它依然会给出 95% 以上的置信度。老掌柜很快就发现，徒弟的问题不在记性，而在于师傅把话说绝了。模型也一样：硬标签把话说绝了，它便丧失了“心里打鼓”的能力。

软标签魔法

老掌柜换了个教法。他再教徒弟时，不再说“这是真丝”，而是说“这块料子，九分把握是真丝，还有一分可能是别的。”为了说清楚，他甚至会在桌上摊开五块料子，告诉徒弟：“真丝的可能性九成，棉布、麻布、绸缎、化纤各一丁点可能。”徒弟听完反而头脑清醒：原来料子之间存在相似性，不是非此即彼。

标签平滑做的就是这件事。假设分类任务共有 K 个类别，正确类是第 c 类，硬标签本来在 c 处是 1；标签平滑先取一个很小的系数 α（比如 0.1），把正确类的 1 缩小为 1-α，再把抠出来的 α 平均分给全部 K 个类别。于是原来的 [0, 1, 0] 就变成了 [0.02, 0.9, 0.02]（三分类、α=0.1 时）。模型的目标从“非黑即白”变成“九分肯定、一分保留”。

$$y_{soft} = (1 - \alpha) \times y_{hard} + \frac{\alpha}{K}$$

1. 保留主类权重：先把硬标签整体缩放为原来的 (1-α) 倍，正确类置信度被略为削减。

$$(1-\alpha) \times y_{hard}$$

2. 均匀撒下噪音：把 α 平均分成 K 份，每个类别都分到 α/K 的目标值，像撒一层“不确定”的灰尘。

$$\frac{\alpha}{K}$$

3. 合成软标签：两部分相加，就得到了每个类别的软标签，总和依然是 1。

$$y_{soft} = (1-\alpha) \times y_{hard} + \frac{\alpha}{K}$$

注意软标签每个位置都不为零，总和仍为 1——它只是把“全押在一处”的确定性，改成了“分散但仍有主次”的温和判断。老掌柜把这个法子称为“给人留一步台阶”，模型从此不必为了凑出一个绝对的 1 而把 logit 推向无穷大。

平滑系数alpha

老掌柜很快发现，“九分肯定”里的“九分”很有讲究。说十分，徒弟又变回那个武断的愣头青；说七分，徒弟拿不准主意，连真丝和仿真丝都不敢分辨了。试来试去，九分刚刚好。标签平滑里的 α 就扮演着这个“几分肯定”的旋钮，它叫平滑系数。

当 α=0 时，软标签退化为硬标签，相当于老掌柜回到“绝对化教法”；当 α 趋近 1 时，软标签趋近均匀分布 1/K，模型几乎学不到类别差异，相当于老掌柜每个答案都说“都有可能”。实践中最常用的值是 α=0.1，也就是“九分肯定、一分保留”。想要理解 α 为什么不能乱调，可以把标签平滑后的交叉熵损失展开来看：

$$\mathcal{L}_{LS} = (1-\alpha)\mathcal{L}_{CE} - \frac{\alpha}{K} \sum_{i=1}^{K} \log p^{(i)}$$

1. 原始交叉熵加权：第一项是标准的交叉熵损失乘上 (1-α)，保留“学会区分主类”的核心任务。

$$(1-\alpha)\mathcal{L}_{CE}$$

2. 均匀性惩罚项：第二项要求所有类别的输出概率不能过低，把模型预测的概率分布“地板”抬高，防止某个 logit 独大。

$$-\frac{\alpha}{K} \sum_{i=1}^{K} \log p^{(i)}$$

3. 整体损失：两项相加得到平滑后的总损失，α 决定“地板高度”和“主类压力”的权衡。

$$\mathcal{L}_{LS} = (1-\alpha)\mathcal{L}_{CE} - \frac{\alpha}{K}\sum_{i=1}^{K} \log p^{(i)}$$

从展开式可以看出，α 越大，第二项权重越大，模型越不敢轻视任何类别；但这也会让真正重要的类别变得“含混”。所以 α 一般取 0.1，就像老掌柜定下的规矩：遇到再熟的料子，话也只说九分满，剩下的留给经验去补。实际调参时，可以试着在验证集上观察损失和校准误差（模型自信程度与真实正确率的差距）来微调。

泛化能力提升

徒弟带着“九分肯定、一分保留”的规矩重新上手后，变化是实实在在的：他看走眼的次数少了，偶尔遇到完全没见过的进口面料，也敢说“不敢打包票，但大概率是这一类”，而不是信口开河。为什么留一分余地，反而更准了？因为这一分余地逼着徒弟去看料子的纹理、光泽、手感，而不是背下“标准答案”。

在模型侧，标签平滑相当于一种正则化手段。它把正确类的目标从 1 降到了 1-α+α/K，模型不再需要把 logits 推向极端就能逼近目标，因此学到的特征分布更舒展、更鲁棒。这带来的直接收益是降低过拟合：训练集上的损失虽然比硬标签时略大，但验证集上的准确率通常更高。另一个常被忽视的收益是模型校准（calibration）变好——模型的置信度与真实正确率更匹配。数学上，平滑后正确类的目标峰值是：

$$y_{soft}^{(c)} = 1 - \alpha + \frac{\alpha}{K}$$

1. 主类目标下移：正确类的目标不再是 1，而是 1-α 再加上返还的 α/K。

$$y_{soft}^{(c)} = 1 - \alpha + \frac{\alpha}{K}$$

2. 其他类地板不高：每个错误类分到微小的 α/K，既不是 0 也不是平均主义。

$$y_{soft}^{(i)} = \frac{\alpha}{K}, \quad i \neq c$$

3. 峰值必然小于 1：只要 α>0，正确类目标就严格小于 1，模型不必为了“满分”而极端化。

$$1 - \alpha + \frac{\alpha}{K} < 1$$

注意，这里的峰值是训练目标，不是模型输出的硬限制。它相当于老掌柜告诉徒弟：“你不需要一伸手就摸出百分百的把握，摸到九分就该收手了。”模型因此不再把大量精力花在把正确类概率压向 1，而是把精力分散到刻画类别间的细微差别上，泛化能力自然提升。

适用边界

不过，老掌柜也不是什么时候都“留一分”。遇到一位挑剔的老主顾要定制一件只收纯真丝的礼服，他反而会让徒弟把话说死：“这块料子如果不是百分百桑蚕丝，我们分文不取。”因为在这种场景下，模糊的代价太高，而且主顾需要的就是绝对的确定性。标签平滑也有自己的适用边界，不是万金油。

首先，如果训练数据本身标签噪声就很大，标签平滑通常是有益的——因为硬标签强迫模型记住错误答案，平滑则给了模型“反悔”的空间。但如果数据量极小（比如只有几百张图），平滑引入的“不确定”会稀释原本就稀薄的监督信号，反而让模型欠拟合。其次，当类别严重不平衡时，均匀分摊的 α/K 会向头部类别注入更多“虚假目标”，可能加剧尾部类别的学习困难，此时要么调小 α，要么改用类别加权平滑。最后，在知识蒸馏管线里，如果要训练一个教师模型去传授经验，一般不建议对教师使用过强的标签平滑——平滑后的教师像一个说话含糊的师傅，学生从他那里学不到足够犀利的判断力。

至于“什么时候收益最明显”：大规模分类任务（类别多、样本多、训练轮次长）中效果最为稳定，这也是为什么它在 ImageNet 分类、语音识别等任务上成为标配。老掌柜把这条经验浓缩成一句话：“留一分余地，是给运气腾位置；但该下判断的时候，别让余地变成犹豫。”训练你自己的模型时，不妨把 α=0.1 当作默认值，再根据任务和数据量微调。

知识蒸馏关联

老掌柜年纪大了，决定让徒弟出师，自己则带了一批更小的学徒。有趣的是，他教小学徒时不再自己定“九分”的比例，而是让学徒去摸师傅的手感——“真丝和仿真丝，你师傅心里那杆秤，会告诉你怎么掂量。”也就是说，软标签不再是人拍脑袋定的，而是从一个更成熟的老师那里学来的。这正是知识蒸馏（Knowledge Distillation）的思路。

在知识蒸馏中，教师模型先在大数据集上训练，然后用它对新样本做预测；预测时并不直接用 argmax 结果，而是把 softmax 的输出当作软标签教给学生。为了让软标签“更软”，蒸馏引入了一个温度参数 T：T 越大，输出分布越平缓，类别间的相似性信息就越丰富。带温度的 softmax 公式如下：

$$q^{(i)} = \frac{\exp(z_i / T)}{\sum_{j=1}^{K} \exp(z_j / T)}$$

1. logits 按温度缩放：把网络最后一层的得分 z_i 除以温度 T，温度大于 1 时得分差异被压缩。

$$z_i / T$$

2. 软化后的概率：对缩放后的得分做 softmax，得到每个类别的软概率 q(i)。

$$q^{(i)} = \frac{\exp(z_i / T)}{\sum_{j=1}^{K} \exp(z_j / T)}$$

3. 学生以软标签训练：学生模型用教师输出的 q 分布做目标，学的不是标准答案，而是教师的心得。

$$\mathcal{L}_{student} = -\sum_{i=1}^{K} q^{(i)} \log p_{student}^{(i)}$$

标签平滑与知识蒸馏的区别就在这里：前者是“人工设定”的均匀软标签——把 α/K 平均撒给所有类别；后者是“学出来的”软标签——教师模型在训练中自然学到的类别间相似性。标签平滑像是老掌柜凭着经验给的“九一开”，蒸馏则像是小学徒真正去感受师傅那杆秤的分量。两者可以合璧：在大规模分类训练中先加标签平滑提升教师泛化能力，再用蒸馏把教师的经验传授给学生模型。理解这层关系，就能在模型压缩与部署中做出更灵活的设计。

AI 应用场景

Python 演示

import torchimport torch.nn.functional as F  def hard_loss(logits, target):    # 标准交叉熵:只惩罚正确类别    return F.cross_entropy(logits, target)  def smooth_loss(logits, target, num_classes, alpha=0.1):    # 构造软标签:每个类别先分到 alpha/K    soft_target = torch.full_like(logits, alpha / num_classes)    # 在正确类位置替换为 1-alpha+alpha/K    soft_target.scatter_(1, target.unsqueeze(1),                         1 - alpha + alpha / num_classes)    log_probs = F.log_softmax(logits, dim=1)    return -(soft_target * log_probs).sum(dim=1).mean()  num_classes = 5target = torch.tensor([2])# 模拟一个过度自信的样本:类别2得分极高logits = torch.tensor([[10.0, -2.0, 12.0, -1.5, 0.5]]) lh = hard_loss(logits, target)ls = smooth_loss(logits, target, num_classes, 0.1)print("hard loss:", lh.item())print("smooth loss:", ls.item())

1. soft_target = torch.full_like(logits, alpha / num_classes)初始化每个类别的基础目标 α/K，相当于“每人先分一勺”
2. soft_target.scatter_(1, target.unsqueeze(1), ...)在正确类的位置写入 1-α+α/K，完成软标签构造
3. F.cross_entropy(logits, target)标准硬标签损失，只要求正确类的概率接近 1
4. F.log_softmax(logits, dim=1)计算对数概率，用于手工展开交叉熵计算
5. -(soft_target * log_probs).sum(dim=1).mean()软标签与 log 概率逐元素相乘再取负，得到平滑后的交叉熵损失

常见误区

面试题