标签平滑正则化：给“标准答案”留一点余地

可视化演示

动态演示标签平滑正则化方法与实战应用的核心机制，通过入门/进阶/实战/优化四种模式展示关键概念与交互流程。

什么是标签平滑

宠物课堂里，铁面老师举着猫的卡片：“这是什么？”答“猫”得 100 分，答“狗”得 0 分。小朋友为了拿满分，把卡片的颜色饱和度、边角阴影甚至纸上的折痕都背了下来，可老师换一张白猫照片，他反而犹豫了。温柔老师不一样：答对给 95 分，答错也给一两分。小朋友发现“答错不至于全盘皆输”，于是开始认真观察胡须、耳朵、体型这些真正属于“猫”的特征。

深度学习里的“铁面评分”就是 one-hot 硬标签：真实类别记 1，其余类别记 0。模型训练时，交叉熵损失会把它推向“对训练样本 100% 自信”。数据一少、噪声一多，模型就把训练集里的偶然细节当成了规律——这就是过拟合。标签平滑（Label Smoothing）则像温柔老师改评分册：把 one-hot 里那 1 分拿出一点点（通常 10%），平均分给所有类别，让答案从“非 0 即 1”变成“几乎对，但留点余地”。

形式化地看，设共有 K 个类别，真实类别为 y，平滑系数为 ε，新的目标标签写成：

$$\displaystyle q'(i) = (1-\varepsilon)\,\mathbb{1}[i=y] + \frac{\varepsilon}{K}$$

1. 指示函数：$\mathbb{1}[i=y]$ 当 i 恰好是真实类别 y 时等于 1，否则等于 0，它记录了“铁面评分”的满分位置在哪一类。

$$\displaystyle \mathbb{1}[i=y] = \begin{cases} 1, & i=y \\ 0, & i \neq y \end{cases}$$

2. 均匀余量：ε/K 表示把总宽容度 ε 平均分给 K 个类别；类别越多，每个类分到的“小分”越小。

$$\displaystyle \frac{\varepsilon}{K}$$

3. 概率守恒：大分加小分，所有类别的新目标加起来仍然是 1，标签平滑只是“重新分配”，不是“凭空增删”。

$$\displaystyle \sum_{i=1}^{K} q'(i) = (1-\varepsilon)\times 1 + K\times \frac{\varepsilon}{K} = 1$$

温柔老师并没有改变“正确答案是猫”这个事实，只是不再用 100 分逼着小朋友背卡片。标签平滑做的正是这件事：标准答案还在，但模型终于有余力去关注“为什么它是猫”。

数学与原理

温柔老师的评分册不能随手写，背后得有一套完整算式：到底给几分、扣几分、分给谁。要理解标签平滑为什么有效，就得先看清楚它改变了损失函数里的什么。

模型训练时，我们把预测分布 p 和标签分布 q 之间的交叉熵当作“丢分”。硬标签下 q 是 one-hot，损失只关心真实类别的预测概率；一旦 p 在真实类上接近 1，损失就趋近 0，模型觉得自己“完美了”。可这种完美正是危险的开始——它意味着模型可以为训练样本无限地“加戏”。

标签平滑把 q 换成 q'，损失变成“软标签版交叉熵”。换个角度，它等价于两项的加权和：一项继续拉近模型与硬标签的距离，另一项拉近模型与均匀分布的距离。均匀分布代表“绝对不自信”，所以第二项就是对“过度自信”的额外惩罚：

$$\displaystyle \mathcal{L} = -\sum_{i=1}^{K} \left[ (1-\varepsilon)\mathbb{1}[i=y] + \frac{\varepsilon}{K} \right] \log p(i) = (1-\varepsilon)\,H(q,p) + \varepsilon\,H(u,p)$$

1. 软标签交叉熵：把平滑后的 q'(i) 当作 log p(i) 的权重，逐类求和再取负号，它度量“预测分布离温柔老师的评分册有多远”。

$$\displaystyle -\sum_{i=1}^{K} q'(i)\log p(i)$$

2. 硬标签项：$(1-\varepsilon)H(q,p)$ 要求模型尽量靠近原始 one-hot 答案，保留了“要答对”的核心目标。

$$\displaystyle (1-\varepsilon)\left(-\log p(y)\right)$$

3. 均匀分布项：$\varepsilon H(u,p)$ 要求模型别对任何类“押上全部身家”。均匀分布 u(i)=1/K 是“完全没把握”的化身。

$$\displaystyle \varepsilon\sum_{i=1}^{K}\frac{1}{K}\log\frac{1}{p(i)}$$

温柔老师的评分规则，本质上是给“标准答案”和“谦逊态度”各分配了权重。模型每走一步，都要同时讨好这两项——既不能答错，也不能太嚣张。

抑制过拟合原理

为什么“不要太自信”就能防止死记硬背？回到宠物课堂：铁面老师要求 100 分，小朋友只能把卡片上的每个细节（甚至折痕）都背下来；温柔老师只要求 92 分，小朋友背到“差不多够用”就停下，转而总结真正的规律。

模型也一样。硬标签下要让损失趋近 0，正确类别的 logit（输出层分数）必须趋于无穷大，网络于是把训练样本的细节焊死在权重里。标签平滑给损失加了一个“非零地板”——即使预测完全等于目标，损失也大于 0，模型不再需要把 logit 推到无穷大。

数学上，softmax 把 logit 变成概率：

$$\displaystyle p(i) = \frac{\exp(z_i)}{\sum_{j=1}^{K}\exp(z_j)}$$

平滑后的最小损失有一个严格大于零的下界：

$$\displaystyle \mathcal{L}_{\min} = -\sum_{i=1}^{K} q'(i)\log q'(i) > 0$$

1. softmax 转换：z_i 是模型对第 i 类的打分，softmax 把分数变成总和为 1 的概率，分数差得越远，概率越极端。

$$\displaystyle p(i) = \frac{e^{z_i}}{\sum_{j=1}^{K} e^{z_j}}$$

2. 概率守恒：softmax 保证所有类别概率相加等于 1，因此一个类别概率接近 1 时，其他类别必然趋近 0，这是“过分自信”的数学根源。

$$\displaystyle \sum_{i=1}^{K} p(i) = 1$$

3. 非零下界：当预测分布 p 完全等于平滑标签 q' 时损失最小，但 q' 不是 one-hot，它的熵不为零，所以下界严格大于 0。

$$\displaystyle \min_{p}\,\mathcal{L} = \mathcal{L}_{\min} > 0$$

温柔老师的 92 分像一块刹车板，把“冲进细节里出不来的小朋友”稳稳按住。不再追求极端自信，泛化能力反而悄悄变强。

平滑系数选择

温柔老师也不是一味宽容。他试过把答错的“小分”从 1 分调到 10 分，结果小朋友觉得“随便答答也有分”，连猫和狗的耳朵都不看了——宽容度必须刚刚好。

ε 就是那位老师的宽容度。ε=0 等于铁面评分，没有任何平滑；ε=1 等于完全均匀分布，模型学不到类别信息，直接“摆烂”。工程上常用 0.05~0.15，默认从 0.1 起步；标注噪声大的众包数据集可以调到 0.2~0.3，干净的大数据集则用 0.05~0.1。

有一个关键数字叫“正确类目标置信度”，即真实类别在平滑后标签里的分值：

$$\displaystyle c = 1 - \varepsilon + \frac{\varepsilon}{K}$$

1. 置信度公式：把平滑公式中真实类别的两项合并，得到正确类目标分值 c，它决定了模型“最高可以被允许多自信”。

$$\displaystyle c = (1-\varepsilon) + \frac{\varepsilon}{K}$$

2. 大 K 极限：K 趋向无穷大时 ε/K 趋向 0，c 稳定在 1−ε，所以大分类任务的 ε 选择几乎不受类别数影响。

$$\displaystyle \lim_{K\to\infty}\frac{\varepsilon}{K} = 0$$

3. 近似线性关系：c 与 ε 近似线性，每把 ε 调大 0.05，正确类目标就下调约 5 个百分点（K 很大时误差可忽略）。

$$\displaystyle c \approx 1 - \varepsilon$$

1 分的宽容是激励，10 分的宽容是放纵。找到那个“刚好让学生认真观察又不怕答错”的 ε，正是调参的乐趣。

搭配其他正则化

要让小朋友真正认识动物，温柔评分只是其一：老师还会让他蒙上眼睛摸轮廓（对抗意外遮挡），换不同角度、光线、季节的照片（模拟真实变化），并要求回答尽量简洁有逻辑（防止绕晕）。这些是不同维度的训练技巧。

对应到深度学习：dropout 在训练时随机让一部分神经元“失活”，逼网络不依赖个别节点；数据增强对输入做随机变换，扩大数据分布覆盖；权重衰减在损失里加 L2 惩罚，限制参数规模。标签平滑改的是“学习目标”，与它们作用层面正交，可以叠加使用而不冲突。

组合时的总损失可以写成：

$$\displaystyle \mathcal{L}_{total} = \left[ (1-\varepsilon)H(q,p) + \varepsilon H(u,p) \right] + \lambda\sum_{l}\|\mathbf{W}_l\|^2$$

1. 总损失结构：两类损失相加，梯度也同时包含“调整输出分布”和“收缩权重”两个方向的信号。

$$\displaystyle \nabla\mathcal{L}_{total} = \nabla\mathcal{L}_{LS} + \lambda\nabla\sum_{l}\|\mathbf{W}_l\|^2$$

2. L2 惩罚：权重平方和被加入损失，任何绝对值过大的参数都会受罚，防止网络过于复杂。

$$\displaystyle \lambda\sum_{l}\sum_{i,j} W_{l,ij}^2$$

一支教练团队比单打独斗管用：温柔老师管“心态”，闭眼练习管“抗干扰”，换照片管“见多识广”。标签平滑的价值，恰恰在于它跟谁都能搭配。

实战应用经验

温柔老师的评分法搬到不同“班级”，效果如何？宠物课堂的实践表明：方法有效，但也要因地制宜。

图像分类是最经典的试验田。在 ImageNet 这类大规模分类任务上，标签平滑通常带来 0.3~1.5 个百分点的 top-1 精度提升；在标注噪声明显、样本不均衡的业务数据集上，收益往往更大。NLP 领域，BERT 在预训练的掩码语言模型任务中就用了 ε=0.1 的标签平滑；下游小样本微调时，平滑也能有效防止“训练 loss 狂跌、验证集却震荡”的过拟合现象。语音识别面对大词表分类，模型动辄输出几千类的概率分布，极端自信会让误唤醒频发；加入平滑后置信度不再动不动 0.99，配合解码阈值反而更可靠。

评估是否有效，最直接的做法是拿同一模型做对照实验：

$$\displaystyle \Delta = Acc_{LS} - Acc_{baseline}$$

1. 基线成绩：Acc_baseline 是同一模型、同批超参数、仅去掉标签平滑后的验证集准确率。

$$\displaystyle Acc_{baseline} = \frac{\text{正确预测数}}{\text{总样本数}}$$

2. 实验组成绩：Acc_LS 是加上平滑后的对照结果，两者必须在同一验证集上计算才公平。

$$\displaystyle Acc_{LS} = Acc_{baseline} + \Delta$$

3. 差值判断：Δ 的正负号比绝对值更值得关注，它告诉你这个任务是否“吃”这一套。

$$\displaystyle \Delta = Acc_{LS} - Acc_{baseline}$$

在图像、NLP、语音三个“班级”试讲后，温柔老师总结：这套评分法在样本少、噪声大、类别多的地方最能发光，但在“学生已经很会抓细节”的细粒度任务里，可能帮倒忙。

实验调优方法

温柔老师决定正式“教研”：把宽容度依次设为 0.05、0.1、0.15、0.2，在同一个班试讲一学期，期末用同一张卷子（验证集）评分，看哪个配置平均分最高。

这就是网格搜索加消融实验的思路。先固定学习率、批大小、dropout 概率等其他超参数，只让 ε 变化，确保差异能归因到 ε；每组实验都观察训练集与验证集的曲线，确认没有过拟合或欠拟合。最后用验证集选最优 ε，再在测试集上做最终确认。

形式化地写：

$$\displaystyle \varepsilon^{*} = \arg\max_{\varepsilon \in \{0.05, 0.1, 0.15, 0.2\}} Acc_{val}(\varepsilon)$$

1. 候选空间：把 ε 限制在几个经验值上（0.05/0.1/0.15/0.2），而不是随意取小数，减少实验组合数。

$$\displaystyle \varepsilon \in \{0.05,\ 0.1,\ 0.15,\ 0.2\}$$

2. 验证集打分：每个候选训练完成后只在验证集上评估一次，用来排名。

$$\displaystyle Acc_{val}(\varepsilon) = \frac{1}{|V|}\sum_{(x,y)\in V}\mathbb{1}[\hat{y}=y]$$

3. 取最优：argmax 选出使验证集准确率最大的 ε，作为最终部署配置。

$$\displaystyle \varepsilon^{*} = \arg\max_{\varepsilon}\, Acc_{val}(\varepsilon)$$

教育没有万能配方，宽容度要因班而异；调参实验就是老师手里的“试讲记录本”。把 ε 当成一个可以被实验回答的问题，而不是拍脑袋的常数——这是标签平滑落地时最重要的态度。

AI 应用场景

Python 演示

import numpy as np  def softmax(logits):    z = logits - np.max(logits)    e = np.exp(z)    return e / np.sum(e)  def hard_ce_loss(logits, true_idx):    p = softmax(logits)    return -np.log(p[true_idx] + 1e-12)  def label_smoothing_loss(logits, true_idx, eps=0.1, k=5):    p = softmax(logits)    q = np.full(k, eps / k)    q[true_idx] += 1.0 - eps    return -np.sum(q * np.log(p + 1e-12))  if __name__ == "__main__":    k = 5    true_idx = 2    confident = np.array([0.0, 0.0, 10.0, 0.0, 0.0])    p = softmax(confident)    print("模型输出概率:", np.round(p, 4))    print("硬标签损失:   %.4f" % hard_ce_loss(confident, true_idx))    print("平滑标签损失: %.4f"          % label_smoothing_loss(confident, true_idx, 0.1, k))    print()    for eps in (0.0, 0.05, 0.1, 0.2, 0.5):        q = np.full(k, eps / k)        q[true_idx] += 1.0 - eps        print("eps=%.2f -> 正确类目标 q(y)=%.4f" % (eps, q[true_idx]))

1. z = logits - np.max(logits)减去最大值再取指数，数值更稳，softmax 结果不变
2. e = np.exp(z)对每个 logit 取指数，分数越高指数越大
3. p = softmax(logits)把分数变成总和为 1 的概率分布
4. -np.log(p[true_idx] + 1e-12)硬标签损失只看真实类概率，概率越接近 1 损失越接近 0
5. q = np.full(k, eps / k)先给所有类别均分“小分”，实现温柔老师的底线分
6. q[true_idx] += 1.0 - eps真实类别再加“大分”，但不再是满分 1
7. -np.sum(q * np.log(p + 1e-12))平滑损失对每个类别都做“目标 vs 预测”的对账
8. confident = np.array([0.0, 0.0, 10.0, 0.0, 0.0])模拟一个已经过于自信的模型输出
9. for eps in (0.0, 0.05, 0.1, 0.2, 0.5)扫描宽容度，看正确类目标被压到多少

常见误区

面试题