信息熵：衡量不确定性的标尺

可视化演示

香农熵量化随机变量的平均不确定性，公式推导、极值性质、联合条件熵与压缩应用全流程。

自信息：一件小事的“惊讶值”

《猜数字》节目有一个特别环节：主持人在宣布答案前会先“友情剧透”——他说“注意哦，这个数字是7”。如果观众猜的数字五花八门，7 只是平平无奇的一个选项，这句话毫无波澜；但如果规则是“最不可能出现的数字胜出”，而 7 恰好是全场投票最少的一个，全场就会爆发出惊呼。你感受到的“惊讶值”，就是香农定义自信息的灵感来源。

香农把“事件 x 发生带来的信息量”写成公式 $I(x) = -\log_2 P(x)$。它的直觉是：概率越大，越不稀奇，信息量越小；概率越小，越意外，信息量越大。为什么偏偏用对数？因为“独立事件同时发生”的信息量应该相加，而概率要相乘——$P(AB)=P(A)P(B)$，取对数恰好把乘法变成加法，保证可加性。

$$\displaystyle I(x) = -\log_2 P(x)$$

1. 对数压缩：变量 $x$ 取值为 $P(x)$，$\log_2$ 把乘法映射为加法，让多个独立事件的信息量可以累加

2. 负号处理：因为 $0 \le P(x) \le 1$，$\log_2 P(x)$ 恒为负，加负号保证信息量非负

3. 底数意义：底数为 $2$ 表示信息量按“一个是/否问题”来计量，单位叫比特（bit），$\log_2 8 = 3$ 意为需要 3 个是非问题

4. 概率关系：当 $P(x) = 1$ 时 $I(x) = 0$，必然事件毫无信息；$P(x)$ 越小，$I(x)$ 越大

回到节目里：主持人如果公平地随机想数字，每个数字“惊讶值”一样大；如果主持人总爱想同一个数字，当他说出那个数字时你只会想“果然如此”，信息量趋近于零。自信息就是这样一个“单次答案的惊讶计分器”。

信息熵公式：把惊讶值取平均

你连玩十轮《猜数字》，只记录“单次惊讶值”还不够——这轮数字刁钻让你惊讶、下轮平淡无奇，你真正关心的是：平均每轮我要被惊讶多少次？或者说，平均我准备多少个是非问题才能赢下游戏？香农用期望回答了这个问题：把每个可能结果按概率加权，求平均信息量，这就是信息熵 $H(X)$。

它不再关心“某个具体答案”，而是关心“整局游戏的平均难度”。熵越大，说明每次开奖的不确定性越大，你需要准备的问题越多；熵越小，说明局势几乎已定，随便猜也八九不离十。

$$\displaystyle H(X) = -\sum_{i=1}^{n} P(x_i) \log_2 P(x_i)$$

1. 求和符号：对随机变量 $X$ 的所有取值 $x_1, x_2, \dots, x_n$ 逐一累加

2. 单点贡献：$P(x_i) \log_2 P(x_i)$ 是第 $i$ 个结果“概率与惊讶值之积”，即加权惊讶值

3. 负号外提：负号放在求和号外，令每一项累加后必然非负

4. 结果含义：$H(X)$ 就是“平均惊讶程度”，单位比特，等于你平均需要问的是非问题个数

主持人随机想 1~8 这 8 个数时，每个 $P(x_i)=\tfrac18$，套入公式得 $H(X)=\log_2 8 = 3$ 比特——这正是“平均要问 3 个是非问题”的数学化表达。熵不是某个答案的惊讶值，而是整局游戏的“平均难度评级”。

熵的性质：均匀时最“混乱”

节目组为了提高收视率，决定试验不同的“抽数规则”：规则 A 是完全随机，规则 B 是 90% 概率出 1 号数字。你会直观地感到规则 A 更难猜。熵的性质恰好刻画了这种直觉，其中最重要的一条是：均匀分布熵最大。当所有可能结果等概率时，你手中的线索最少，平均问题数达到上限 $\log_2 N$。

$$\displaystyle 0 \le H(X) \le \log_2 N$$

1. 非负性：由定义式每一项贡献非负，所以 $H(X) \ge 0$，等号在某个结果概率为 1 时取到

2. 最大熵：$H(X) \le \log_2 N$ 给出熵的硬顶，$N$ 是可能取值的个数

3. 等号条件：当且仅当所有 $P(x_i)=\frac{1}{N}$ 时熵达到最大值 $\log_2 N$

4. 独立可加：若 $X$、$Y$ 相互独立，则 $H(X,Y) = H(X) + H(Y)$，不确定性直接相加

这就像猜数字时，如果主持人“偏好”某个数字，你会按概率优先猜热门数字，问题数下降；而完全随机的 8 个数，谁也没有优先权，平均问题数达到峰值 3 比特。熵的“最大”并不代表“最坏”，它只是描述“最不确定”的状态——概率全部摊平，信息也就最分散。

联合熵：两个数字一起猜

节目升级了：两位主持人各想一个数字，你要同时猜中两个才算赢。这时候不确定性来自“两个变量的联合”，于是有了联合熵 $H(X,Y)$。它把二维联合分布的整体不确定性加总，回答“同时锁定两个数字平均要问几个问题”。

$$\displaystyle H(X, Y) = -\sum_{i=1}^{n}\sum_{j=1}^{m} P(x_i, y_j) \log_2 P(x_i, y_j)$$

1. 二维求和：对 $X$ 的 $n$ 个取值与 $Y$ 的 $m$ 个取值做双重遍历，共 $n \times m$ 个联合概率

2. 联合概率：$P(x_i, y_j)$ 是“$X$ 取 $x_i$ 且 $Y$ 取 $y_j$”同时发生的概率

3. 对数乘积：$\log_2 P(x_i, y_j)$ 衡量这一对组合共同带来的惊讶值

4. 整体期望：对所有联合事件按概率加权求和，得到两变量总体的平均不确定度

如果两位主持人各自独立选数，那么 $H(X,Y)=H(X)+H(Y)$，8 选 1 加 8 选 1 就是 6 比特；如果他们暗中商量、总选同一个数字，联合熵反而变小，因为你只需猜中一次，另一个自动跟上。联合熵把“一起猜两个数”的难度完整量化了。

条件熵：知道了线索之后

假设主持人决定给你一条免费线索：“我想到的数字是个偶数。”你立刻明白：候选从 8 个缩到 4 个。这条线索减少的不确定性，正是条件熵要衡量的对象——$H(X|Y)$ 表示“已知 $Y$ 的取值后，$X$ 还剩多少不确定性”。

$$\displaystyle H(X \mid Y) = -\sum_{i=1}^{n}\sum_{j=1}^{m} P(x_i, y_j) \log_2 P(x_i \mid y_j)$$

1. 条件概率：$P(x_i \mid y_j)$ 表示已知 $Y=y_j$ 时 $X=x_i$ 的条件概率

2. 联合加权：外层乘 $P(x_i, y_j)$，把“$Y$ 出现 $y_j$ 且 $X$ 取 $x_i$”的联合概率作为权重

3. 内层惊讶：$\log_2 P(x_i \mid y_j)$ 是在线索已知后的剩余惊讶值

4. 关系纽带：$H(X \mid Y) = H(X,Y) - H(Y)$，条件熵等于联合熵减去已知部分的熵

还有一个重要的“熵减定理”：$H(X \mid Y) \le H(X)$。额外信息只会减少或保持不确定性，绝不会让事情更乱。就像“是偶数”这条线索把你的平均问题数从 3 降到 2；如果线索是“我想到的是 1”，条件熵直接归零——你已经不需要再问任何问题。

实际应用：决策树与数据压缩

你在电视台上赢了一大笔奖金，节目策划悄悄记下了你的策略：你总是先问“哪个问题能把候选数砍得最狠”。这正是决策树的建树逻辑！在真实数据里，我们不知道哪个特征最有区分度，就用信息增益来度量“按特征 A 划分后，不确定性被消灭了多少”。

$$\displaystyle \text{Gain}(D, A) = H(D) - H(D \mid A)$$

1. 划分前熵：$H(D)$ 是数据集 $D$ 标签的经验熵，代表划分前的不确定性

2. 划分后熵：$H(D \mid A)$ 是按特征 $A$ 分组后各子组标签熵的加权平均

3. 差值意义：$\text{Gain}(D, A)$ 越大，说明 $A$ 消灭的不确定性越多、越适合做根节点

4. 递归执行：每层都选信息增益最大的特征，树就一步步把数据“猜”得更准

同样的思想也躺在压缩软件里：香农信源编码定理告诉我们，任何无损压缩的平均码长都不可能低于熵值 $H(X)$——这就是压缩率的理论天花板。均匀分布的 8 个数字必须用 3 位二进制码，而高度偏斜的分布你可以给高频数字分配短码、低频数字分配长码，平均码长轻松小于 3 位。熵，是信息压缩的“最小成本线”。

交叉熵：模型学习的指路标

节目最后，你决定训练一个“猜数字 AI”。你的策略是：先统计主持人过去 100 轮的真实偏好 $p$，然后让模型输出一个预测分布 $q$。模型猜得越像真实偏好，你赢得越轻松。怎么衡量“像不像”？答案是交叉熵。

$$\displaystyle H(p, q) = -\sum_{x} p(x) \log_2 q(x)$$

1. 真实分布：$p(x)$ 是真实的概率分布，作为外层的加权权重

2. 预测分布：$\log_2 q(x)$ 对预测概率取对数，体现“我用 $q$ 脑补这个世界时的惊讶值”

3. 混合相乘：$p(x) \log_2 q(x)$ 把“真实权重”与“预测惊讶值”相乘再求和

4. 不对称性：$H(p, q) \ne H(q, p)$，因为求权重的分布和求惊讶值的分布角色不同，交换位置结果不同

交叉熵天然是分类模型的损失函数：训练时真实标签 $p$ 是确定的，模型输出 $q$，交叉熵越小说明 $q$ 越贴近 $p$。若真实类别概率为 1、其余为 0，交叉熵正好退化为“正确类别的预测概率取负对数”——模型若给正确类别打了低分，惊讶值飙高，损失就大。AI 顺着交叉熵这位“严厉裁判”不断修正自己的预测，直到 $q$ 几乎复刻 $p$ 的偏好，比赛便胜券在握。

AI 应用场景

Python 演示

import mathfrom collections import Counter, defaultdict  def entropy(labels):    """计算经验熵（单位：比特）"""    total = len(labels)    h = 0.0    for count in Counter(labels).values():        p = count / total        h -= p * math.log2(p)    return h  def conditional_entropy(dataset, feature_idx):    """H(标签 | 特征)：按特征取值分组后加权平均"""    groups = defaultdict(list)    for sample in dataset:        groups[sample[feature_idx]].append(sample)    total = len(dataset)    h = 0.0    for group in groups.values():        weight = len(group) / total        h += weight * entropy([s[-1] for s in group])    return h  def info_gain(dataset, feature_idx):    """信息增益 = 总熵 - 条件熵"""    total_h = entropy([s[-1] for s in dataset])    return total_h - conditional_entropy(dataset, feature_idx)  def cross_entropy(p, q):    """交叉熵 H(p,q)，p 为真实分布，q 为预测分布"""    return -sum(pi * math.log2(qi) for pi, qi in zip(p, q) if pi > 0 and qi > 0)  if __name__ == "__main__":    # 例1：均匀 vs 偏斜样本的熵对比    fair = entropy([0, 1, 1, 0, 1, 0, 0, 1])    biased = entropy([0, 0, 0, 0, 0, 0, 0, 1])    print("公平样本熵:", round(fair, 3), "比特")    print("偏斜样本熵:", round(biased, 3), "比特")     # 例2：小数据集的天气特征信息增益    dataset = [        ["sunny", "play"], ["sunny", "no"], ["sunny", "play"],        ["rainy", "play"], ["rainy", "play"], ["rainy", "no"],        ["overcast", "play"], ["overcast", "play"], ["overcast", "play"]    ]    print("天气特征信息增益:", round(info_gain(dataset, 0), 3), "比特")     # 例3：交叉熵评估预测分布的好坏    p = [0.5, 0.25, 0.25]    q_good = [0.45, 0.30, 0.25]    q_bad = [0.9, 0.05, 0.05]    print("好预测交叉熵:", round(cross_entropy(p, q_good), 3))    print("差预测交叉熵:", round(cross_entropy(p, q_bad), 3))

1. def entropy(labels):接收一串标签，统计各类占比后按公式累加 $-\sum p \log_2 p$，是全部计算的地基
2. groups[dataset[i][feature_idx]].append(...)按特征取值把样本分桶，模拟决策树“按特征划分”的动作
3. h += weight * entropy(...)子组熵按样本占比加权求和，得到划分后的剩余熵 $H(D \mid A)$
4. cross_entropy(p, q)用真实概率作为权重、预测概率作为惊讶值源头，体现两个分布的不对称互动

常见误区

面试题