交叉熵与softmax：分类输出的标配

可视化演示

1. 分类建模：一切从原始分数开始

想象夜市里有七个摊位，评委团要对每家小吃打分。打出的分数完全凭第一直觉：可能给 8 分，也可能给 -3 分（“这个味道我实在接受不了”）。这些分数能直接拿来排“群众喜爱榜”吗？不能。首先，负分没法参与“占比”计算；其次，分数高低只是相对概念，没有人规定满分是多少。神经网络做分类时，最后一层输出的 logits 就扮演着这批“原始分”的角色——它们是对每个候选类别的“证据打分”，数值越大的类别，模型越倾向于选它。

在分类网络里，模型并不直接宣布“答案是猫”，而是先给每个候选类别写一个证据分数 $z_i$，所有分数拼成一个向量 $z=(z_1, \dots, z_K)$，其中 $K$ 是类别总数。这个向量就叫 logits。为了让“证据”能被损失函数使用，网络还需要一个“规则”把它变成概率——这就是下一节要讲的 softmax。而训练时我们手里还有一张“标准答案”牌，通常用 one-hot 编码表示：真实类别的位置为 1，其余位置为 0。它代表一个“真实的概率分布”：真实类概率为 1，其余为 0。

模型输出的 logits 是任意实数，而我们要拿一个概率分布 $q$ 去和真实分布 $y$ 对齐。因此，分类头的工作可以拆成两件事：先把 logits 归一化成概率，再拿概率去算损失。这两件事分别由 softmax 和交叉熵完成，而“归一化需求”正是连接两者的桥梁。

夜市管理方拿到“原始分”和“标准答案”后，下一步要做的，就是把原始分变成一张像模像样的榜单——这正是 softmax 的舞台。

2. softmax 原理：把分数变成榜单

举办方公布了转化规则：先把每个“原始分” $z_i$ 代入指数函数 $e^{z_i}$。这条规则的妙处在于，$e$ 的任何次方都大于 0，哪怕原始分是 -100，指数后也只是一个非常小的正数，于是负分问题凭空消失。接着把所有指数加起来作为“总权重”，每个摊位的指数除以总权重，就得到它在这张榜单上的“得票率”。指数还会悄悄放大分数差距：60 分和 50 分只差 10，但 $e^{6}$ 和 $e^{5}$ 的比值约等于 2.72，差距被放大成将近三倍——这让“强者更强”的榜单气质一目了然。

把这条规则写成数学公式，就是 softmax。它有两个关键性质：输出的每个分量都在 0 和 1 之间；所有分量之和为 1。所以 $q$ 是一个合法的概率分布，可以直接作为“预测榜单”使用。而且它处处可导，这是反向传播能够运作的前提。

单独看 softmax 的导数，会得到 $q_i(\delta_{ij} - q_j)$ 这种形式。它本身也能用，但数值上比较啰嗦；当它和交叉熵配成一对时，会得到一个像“魔法”一样简单的梯度——我们留到第 4 节再揭晓。

榜单有了，而且是一张“总和 100%”的漂亮榜单。但榜单准不准，还需要一把尺子来量——交叉熵就是这把尺子。

3. 交叉熵定义：给差距打分

顾客心里其实也有一份“真实榜单”，它可能和评委榜单不一样。组委会需要量化“离谱程度”：如果顾客心中最爱的那家店，评委榜单只给了 0.1 的得票率，组委会会觉得“太意外、太离谱”，于是记下很高的离谱分 $-\log(0.1) \approx 2.3$；如果榜单给了 0.9，就记 $-\log(0.9) \approx 0.1$。这个 $-\log$ 就是“惊讶度”：概率越低的事件，一旦发生越让人惊讶。

把“惊讶度”按真实概率加权平均，就得到交叉熵 $H(p,q)$。在单标签分类任务里，$p$ 是 one-hot 分布，只有真实类那一项是 1，其余都是 0，所以加权平均退化成只需要看真实类的惊讶度：$L = -\log q_c$。这意味着，模型在真实类上给出的概率越低，损失就越大。

交叉熵和 KL 散度关系密切：$D_{KL}(p \| q) = H(p,q) - H(p)$，其中 $H(p)$ 是真实分布的熵，在 one-hot 情况下恰好等于 0。因此，最小化交叉熵就等价于最小化 KL 散度，也就是让预测分布 $q$ 去逼近真实分布 $p$。这正是分类任务“标配”交叉熵的根本原因——它是“分布拟合”这件事的直接度量。

尺子已经准备好。但有趣的是，当尺子遇到 softmax 榜单时，会发生奇妙的化学反应，让梯度简单到让人怀疑人生。

4. 两者关系：黄金搭档的梯度

每个摊主都想快速知道“下一步该加火还是撤火”。组委会规定摊主只许用“我的得票率减去顾客真实票数”来当调整信号：这个数为负，说明真实票没给满，要加火；这个数为正，说明虚火过旺，要撤火。对真实类 $c$ 来说，$q_c < 1$，所以 $q_c - 1 < 0$，梯度为负，梯度下降后 $z_c$ 反而上升；对非真实类 $i$ 来说，$q_i - 0 > 0$，梯度为正，梯度下降后 $z_i$ 被压低。正负号天然指示了“谁该升、谁该降”。

这个“调整信号”并不是拍脑袋想出来的，而是把交叉熵损失 $L = -\log q_c$ 对每个 logit $z_i$ 做链式求导得到的。整个过程分两类路径：真实类路径和非真实类路径。即使 $y_i = 0$，非真实类的梯度也不是 0，因为它的 logits 会通过 softmax 的分母影响 $q_c$。

推导结果异常简洁：梯度等于预测分布减去真实分布。真实类的梯度 $q_c - 1$ 为负，非真实类的梯度 $q_i$ 为正。模型预测“过头”的类别被压低，预测不足的真实类被抬升。这就是为什么 softmax 配交叉熵成为分类网络标配——反向传播只需要一次减法。

这份“加火撤火”指令单，就是整个配对最大的价值：在设计分类网络时，你不需要手写复杂的 Jacobian 矩阵，$p-y$ 一行搞定。

5. 数值稳定：先减最高分

评委如果打了 1000 分，直接按 $e^{1000}$ 算，计算器直接显示“无穷大”。分母无穷大、分子也无穷大，最后变成“无穷大除以无穷大”，榜单直接崩溃。但细心的人发现：分数集体减去同一个数后，相对关系一点不变。1000 分和 990 分，同时减去 1000 变成 0 和 -10，$e^0=1$、$e^{-10}$ 很小，计算稳稳当当。

softmax 恰好有这种“平移不变性”：给所有 logits 同时加减同一个常数，输出完全不变。所以实现时先算 $m = \max(z)$，然后对 $z_i - m$ 求指数。最大的指数是 $e^0=1$，其余都落在 $(0,1]$，绝不会溢出。

更彻底的做法是直接在对数空间计算，得到 log_softmax，再组装交叉熵损失。这样 $q_i$ 不会先被算成一个极小的数再取对数，也就避免了 $\log(0)$ 的尴尬。训练框架里的 CrossEntropyLoss 大多内部就是这样实现的：先做 log_softmax，再做负对数似然。

稳定版本让训练过程不会因为一个“超高分”而炸掉，这也是工业框架里普遍采用的标准写法。夜市榜单因此无论分数多夸张，都能安全出炉。

6. 温度参数：榜单软硬可调

同一批原始分，举办方可以调节榜单的“情绪”：把分数先除以温度 $T$ 再做 softmax。$T$ 越大，分数被压缩得越狠，榜单越“冷静”，各摊位得票率趋近均匀；$T$ 越小，分数差距被放大，榜单越“沸腾”，第一名几乎通吃。就像同一场比赛，可以在“友谊第一”的轻松氛围里评分，也可以在“一票定胜负”的紧张氛围里评分。

温度 $T$ 是一个正数，公式是 $\operatorname{softmax}(z/T)$。$T=1$ 是标准 softmax；$T>1$ 让分布平滑；$T<1$ 让分布尖锐。这个“额外旋钮”在知识蒸馏里至关重要：教师模型用高温输出软标签，把“猫比桌子更像狗”这类类间相似关系传递给学生，学生模型学到的不再是一个生硬的 one-hot 答案，而是一张信息量更丰富的“柔软榜单”。

部署阶段，温度也被用来校准置信度。如果模型对背景噪声也给出 0.99 的概率，可以用 $T>1$ 让输出更平滑，减少“过度自信”。注意训练和推理可以使用不同温度，二者目的不同：训练时的高温是为了知识迁移，推理时的温度是为了控制输出形态。

夜市既能出“冷静榜”服务大众口味，也能出“沸腾榜”制造话题——同一个原始分，温度一变，榜单性格完全不同。

AI 应用场景

Python 演示

import numpy as np  def softmax(logits, temperature=1.0):    """数值稳定的 softmax，temperature 用于缩放 logits"""    z = np.asarray(logits, dtype=np.float64) / temperature    z = z - np.max(z)          # 减去最大值，防止 exp 溢出    e = np.exp(z)    return e / e.sum()  def cross_entropy_loss(logits, label, temperature=1.0):    """交叉熵损失，label 是整数类别索引"""    z = np.asarray(logits, dtype=np.float64) / temperature    z = z - np.max(z)          # 数值稳定偏移    log_probs = z - np.log(np.exp(z).sum())    loss = -log_probs[label]    return loss  def grad_softmax_cross_entropy(logits, label, temperature=1.0):    """softmax + 交叉熵 的梯度 = p - y（one-hot）"""    p = softmax(logits, temperature)    y = np.zeros_like(p)    y[label] = 1.0    return (p - y) / temperature  # 温度会缩放梯度  def main():    np.random.seed(42)    logits = np.array([2.0, 0.5, -1.0, 4.0, 1.2])    label = 3     p = softmax(logits)    loss = cross_entropy_loss(logits, label)    g = grad_softmax_cross_entropy(logits, label)     print("logits:", logits)    print("softmax:", np.round(p, 4), "sum=", round(p.sum(), 4))    print("loss:", round(loss, 4))    print("grad:", np.round(g, 4))    print("手工验证 p-y:", np.round(p - np.eye(len(p))[label], 4))     for T in [0.5, 1.0, 3.0]:        pT = softmax(logits, T)        print(f"T={T}: p = {np.round(pT, 4)}, 峰值={pT.max():.4f}")  if __name__ == "__main__":    main()

1. z = np.asarray(logits, dtype=np.float64) / temperature把输入转成浮点并除以温度，温度是 softmax 的“情绪旋钮”。
2. z = z - np.max(z)集体减去最大值，防止后面 exp 溢出到无穷大。
3. e = np.exp(z)取指数，把任意实数变成正权重。
4. return e / e.sum()除以总权重，得到和为 1 的概率分布。
5. log_probs = z - np.log(np.exp(z).sum())直接在对数空间算 log_softmax，绕开“先算概率再取 log”的数值陷阱。
6. loss = -log_probs[label]one-hot 下交叉熵退化为负对数似然，只取真实类那一项。
7. y[label] = 1.0构造 one-hot 标签，只有真实类位置为 1。
8. return (p - y) / temperature这就是黄金搭档的梯度公式：预测分布减真实分布，除以温度是因为损失里也用 T 缩放。

常见误区

面试题