相对熵与互信息：衡量分布差异

可视化演示

动态演示相对熵与互信息的核心机制，通过全局/局部/动态/静态四种模式展示关键概念与交互流程。

信息熵基础

牛台长出了第一道题：“今天到底什么天，我不许你偷看窗外，只许问'是或不是'，要用最少的平均提问次数确定答案。” 小陈随口说：“晴、云、雨三种，最多两个问题总能问完。” 老关却拨了拨算盘：“按一年的天气记录来算，平均只需要 1.485 个问题——因为一半的日子是晴天，第一个问题问'是不是晴'，一半时候一问就中。” 这就是直觉的第一次跳跃：不确定性不是“最多问几次”，而是“平均最少问几次”。

这个“平均最少提问次数”就是信息熵 H(X)。熵度量一个随机变量内在的不确定性：分布越分散越难猜，熵越大；如果一年到头只有晴天，概率为 1，熵就是 0，一个问题都不用问。熵的单位是比特（bit），一个比特就是一次“是/不是”的回答，也等价于一位二进制码。

把猜谜过程翻译成公式：每种天气 x 出现的概率是 P(x)，“见到 x 时的惊讶程度”是 $-\log_2 P(x)$——概率越小越惊讶，携带的信息量越大；再用概率加权平均，就得到熵。小陈的乐观分布 Q 因为太集中（晴天 0.7），熵只有 1.157 比特，比真实 P 的 1.485 比特更低——这说明小陈的“世界”太确定了，而这份确定是错的。

$$H(X) = -\sum_{x \in \mathcal{X}} P(x) \log_2 P(x) = \sum_{x \in \mathcal{X}} P(x) \log_2 \frac{1}{P(x)}$$

1. 随机变量与取值空间：X 表示“今天的天气”，$\mathcal{X}$ 是所有可能天气组成的集合，即晴、云、雨。

$$X \in \mathcal{X}, \quad \mathcal{X} = \{\text{晴, 云, 雨}\}$$

2. 概率质量函数：P(x) 是每种天气在长期记录中出现的真实比例，所有概率之和为 1。

$$P(x) = \Pr(X = x), \quad \sum_{x} P(x) = 1$$

3. 单事件的信息量：$\log_2 \frac{1}{P(x)}$ 表示“看到 x 时收到的比特数”：越罕见的事件越惊讶、信息量越大；概率为 1 的事件信息量为 0。

$$\log_2 \frac{1}{P(x)} = -\log_2 P(x)$$

4. 负号与加权求和：对所有可能天气按概率加权求平均，得到“平均惊讶程度”，即熵。

$$H(X) = \sum_{x} P(x) \log_2 \frac{1}{P(x)}$$

熵就是牛台长第一道题的“标准答案”。老关把这 1.485 比特记进账本，转头对小陈说：“你的乐观手册呢？按它过日子，我来算算一年要冤枉多少比特。”

相对熵KL散度

台长第二道题来了：“小陈，从今天起你负责写《年度天气编码手册》：给晴、云、雨分配最短的二进制码字，码长按你觉得的概率来定。” 小陈按 Q 分配：晴天概率高，就给短码。可真实天气偏偏按 P 发生——老关拿着小陈的手册去编码真实记录，每发生一天，都比理想手册平均多支付 0.133 比特，一年 365 天，多写出去约 48 个比特，这就是“错估”的代价。

这笔多付的钱，就是 KL 散度，也叫相对熵。“相对”二字很传神：它不是绝对量，而是相对于真实分布 P 而言，用 Q 去做近似时平均多出的成本。P 是真账本，Q 是错账本，KL 算的是“拿错账本记真账，平均每笔多付多少”。这个值衡量的正是两个分布的差异大小。

公式写作 $D_{KL}(P \parallel Q) = \sum_x P(x) \log_2 \frac{P(x)}{Q(x)}$。把对数拆开，$-\sum_x P(x)\log_2 Q(x)$ 是交叉熵，再减去 $H(P)$，剩下的就是纯粹的“冤枉钱”。代入数字：$D_{KL}(P \parallel Q)=0.133$ 比特，反过来 $D_{KL}(Q \parallel P)$ 约为 0.123 比特——KL 是不对称的，像“用我的秤称你的苹果”和“用你的秤称我的苹果”，误差通常不同。吉布斯不等式还保证 KL 恒非负，只有 P = Q 时才等于 0。

$$D_{KL}(P \parallel Q) = \sum_{x} P(x) \log_2 \frac{P(x)}{Q(x)} \ge 0, \qquad D_{KL}(P \parallel Q) = 0 \iff P = Q$$

1. 两个分布同台：P 是真实分布（老关的记录），Q 是错估分布（小陈的直觉），两者必须定义在同一组天气上才有比较意义。

$$P(x), \quad Q(x), \quad x \in \mathcal{X}$$

2. 比值与对数：$\log_2 \frac{P(x)}{Q(x)}$ 度量“该天气在真实世界比在小陈世界更常见还是更罕见”，单位是比特。

$$\log_2 \frac{P(x)}{Q(x)} = \log_2 \frac{1}{Q(x)} - \log_2 \frac{1}{P(x)}$$

3. 按真实概率加权：用 P(x) 当权重求和，等价于“在真实数据上逐条累计冤枉钱”。

$$\sum_{x} P(x) \log_2 \frac{P(x)}{Q(x)}$$

4. 非负性：吉布斯不等式指出，对任意两个分布，加权和恒不小于 0，这是信息论最核心的不等式之一。

$$D_{KL}(P \parallel Q) \ge 0$$

5. 等号条件与不对称：只有两个分布完全相同时 KL 才为 0；交换前后顺序结果通常不同，所以不能说“KL 是距离”。

$$D_{KL}(P \parallel Q) = 0 \iff P = Q; \qquad D_{KL}(P \parallel Q) \ne D_{KL}(Q \parallel P)$$

小陈看着那 48 个多出来的比特，有点不好意思：“原来乐观不是免费的，每一笔'把雨报成晴'的账面，最后都要由真实世界买单。” 老关叮嘱道：“记住这个方向——KL 一开口，先问清楚到底以谁为准。”

交叉熵

台长追问成本明细。老关把两行账并成一页：用正确手册本来就要付 1.485 比特，这是天气本身的熵；用错手册额外多付 0.133 比特，这是 KL；两项相加得 1.618 比特——这就是交叉熵 H(P,Q)。小陈恍然大悟：“所以交叉熵是总账单，KL 是冤枉钱，熵是本来就要付的基础开销。”

交叉熵的定义式为 $H(P,Q) = -\sum_x P(x)\log_2 Q(x)$：以真实分布 P 为权重，对“用 Q 的码本编码每个符号所需的码长”求平均。机器学习分类任务天天和它打交道：模型输出的是预测分布 Q，真实标签的独热分布是 P，损失函数里写的 cross_entropy 就是这一项。

为什么训练时只用交叉熵、不显式算 KL？因为把对数拆开：$H(P,Q) = H(P) + D_{KL}(P \parallel Q)$，其中 $H(P)$ 只由真实标签决定，在当前训练集上是常数。最小化交叉熵和最小化 KL 完全等价。顺着这个式子还能看出：当模型完美预测时 Q = P，交叉熵退化为熵，损失取到最小值；模型越离谱，它在真实标签上给出的概率越低，交叉熵就越大。

$$H(P, Q) = -\sum_{x} P(x) \log_2 Q(x) = H(P) + D_{KL}(P \parallel Q)$$

1. 以 P 为权重的对数期望：把 $-\log_2 Q(x)$ 看成“按 Q 码本编码 x 的码长”，再用真实频率 P(x) 加权平均。

$$H(P,Q) = -\sum_{x} P(x) \log_2 Q(x)$$

2. 对数拆项：把 $-\log_2 Q(x)$ 拆成“正确码长 + 额外码长”两部分。

$$-\log_2 Q(x) = -\log_2 P(x) + \log_2 \frac{P(x)}{Q(x)}$$

3. 期望的线性性：对拆出的两项分别求加权和，第一项正是熵 H(P)，第二项正是 KL。

$$H(P,Q) = H(P) + D_{KL}(P \parallel Q)$$

4. 最小化视角：训练中 H(P) 固定不动，优化器只需不断压低 D_KL。

$$\min_Q H(P,Q) \iff \min_Q D_{KL}(P \parallel Q)$$

小陈盯着“总账单 = 基础开销 + 冤枉钱”的等式，终于理解台长为什么让他天天盯交叉熵：那不是惩罚他对晴天的偏爱，而是在提醒他——基础开销改不了，但冤枉钱可以努力降到零。

联合与条件熵

台长把题目升级成双人版：“今天和明天连着报，平均要花多少比特？” 老关搬出两年的连续记录：先算“今天 + 明天”的联合分布，得到联合熵 H(X,Y)；又问：“先告诉你今天的天气，再让你猜明天，平均还剩多少不确定？” 答案是条件熵 H(X|Y)。

联合熵描述两个变量放在一起时的整体不确定性，对应“把两天的天气拼成一条短讯一起编码”的平均码长。条件熵则描述“已知其中一个变量后，另一个变量还剩下的平均不确定度”。“已知”相当于免费提供情报，所以剩下的不确定度只会减少或持平，不会增加。

条件熵的公式用联合概率加权：$H(X \mid Y) = -\sum_x \sum_y P(x,y) \log_2 P(x \mid y)$。它和联合熵通过链式法则连在一起：$H(X,Y) = H(X) + H(Y \mid X)$——“两天的总谜题 = 今天的谜题 + 知道今天后明天的剩余谜题”。这也是老关的编码手册先报今天、再报“基于今天的明天”的原因：逐层拆账比把所有二日组合都编成独立码字更省。离散情形下还有不等式 $H(X \mid Y) \le H(X)$：信息只会帮忙，不会添乱。

$$H(X,Y) = H(X) + H(Y \mid X), \qquad H(X \mid Y) = H(X, Y) - H(Y)$$

1. 联合熵：对所有 (x, y) 组合按联合概率加权，衡量两天的组合不确定性。

$$H(X,Y) = -\sum_{x \in \mathcal{X}} \sum_{y \in \mathcal{Y}} P(x,y) \log_2 P(x,y)$$

2. 条件概率：已知今天天气为 y 时，明天为 x 的条件概率由联合概率归一化得到。

$$P(x \mid y) = \frac{P(x,y)}{P(y)}, \qquad P(y) = \sum_{x} P(x,y)$$

3. 条件熵：对条件概率取负对数，再用联合概率对所有组合加权，得到“剩余平均不确定度”。

$$H(X \mid Y) = -\sum_{x} \sum_{y} P(x,y) \log_2 P(x \mid y)$$

4. 链式法则：把条件熵公式展开，与联合熵公式逐项对应，得到分解式。

$$H(X,Y) = H(X) + H(Y \mid X) = H(Y) + H(X \mid Y)$$

小陈终于明白老关那本手册为什么分上下两册：上册写“今天”，下册写“在今天的条件下明天”。这种“先报一部分、再报余下部分”的思路，就是链式法则在日常编码里的影子。

互信息

台长抛出第三道题：“既然你知道今天的天气，猜明天时，平均省下了多少个问题？” 老关说：“原本猜明天要 H（明天） 个问题；知道今天后只剩 H（明天|今天） 个问题。省下的 H（明天） − H（明天|今天） 就是今天的天气里关于明天的'共享情报'——称为互信息 I(X;Y)。”

互信息衡量两个随机变量之间共享的信息量：一个变量透露了多少关于另一个变量的消息。它可以用 KL 散度一句话定义：$I(X;Y) = D_{KL}(P(x,y) \parallel P(x)P(y))$——把真实的联合分布与“假设两者完全独立”的乘积分布作对比，差距越大，说明两者越不独立、共享信息越多。

互信息有几种等价写法。KL 视角最优雅，减法视角最直观：$I(X;Y) = H(X) - H(X \mid Y)$，即“不确定性减少了多少”；对称式 $I(X;Y) = H(X) + H(Y) - H(X,Y)$ 说明它正是两块拼图重叠的部分。性质上：互信息恒非负；X 与 Y 独立时等于 0；任意函数变换下不增（数据处理不等式）。更重要的是，互信息捕捉任意非线性依赖，而皮尔逊相关系数只能看到线性关系——两个变量可以相关系数为 0，互信息却很大。

$$I(X;Y) = \sum_{x} \sum_{y} P(x,y) \log_2 \frac{P(x,y)}{P(x)P(y)} = H(X) - H(X \mid Y) = H(X) + H(Y) - H(X,Y)$$

1. KL 视角：把联合分布与边缘乘积分布代入 KL 定义式，得到互信息的第一种形式。

$$I(X;Y) = D_{KL}(P(x,y) \parallel P(x)P(y))$$

2. 条件熵视角：把 log 项里的联合概率换成条件概率与边缘概率之积，化简后得到“不确定性减少量”。

$$I(X;Y) = \sum_{x}\sum_{y} P(x,y) \log_2 \frac{P(x \mid y)}{P(x)} = H(X) - H(X \mid Y)$$

3. 对称式：利用链式法则 $H(X,Y) = H(X) + H(Y \mid X)$ 替换条件熵，得到含两边熵的对称形式。

$$I(X;Y) = H(X) + H(Y) - H(X,Y)$$

4. 独立情形：若两天天气独立，$P(x,y)=P(x)P(y)$，log 内为 1，互信息为 0。

$$\log_2 \frac{P(x,y)}{P(x)P(y)} = 0 \Rightarrow I(X;Y) = 0$$

小陈感叹：“原来'今天的云'和'明天的雨'之间的默契，能算成比特。” 老关点头：“信息论说穿了就是两件事：算冤枉钱，数共享情报。KL 是前者，互信息是后者。”

实际应用

牛台长终于放两人去 AI 一线实习。小陈盯着变分自编码器的训练曲线发愁，老关走过来说：“别慌，你手里已经有两把尺子——KL 用来对齐分布，互信息用来挑情报。”

现实中很多模型的骨架都建立在“分布对齐”上。变分推断里，真实后验 $p(z \mid x)$ 算不动，就找一个好算的 $q_\phi(z \mid x)$ 去近似；近似得好不好，用 KL 衡量。把对数似然改写成证据下界 ELBO，形式是“重建项 − KL 项”，最大化 ELBO 就是在最小化这个 KL，让近似后验既贴近数据、又不偏离先验太远。

特征选择是互信息最直接的主场：对每个特征 $x_j$ 计算它与标签 y 的互信息，按情报量排序取前 N 个，能在保留关键信息的同时砍掉无关维度，而且不依赖线性假设。知识蒸馏则把 KL 用在模型压缩上：让学生模型的软输出分布对齐老师模型的软输出分布，用 $D_{KL}(p_{\text{teacher}} \parallel p_{\text{student}})$ 当损失；温度越高，分布越“软”，暗知识搬运得越完整。

$$\mathcal{L}_{\text{ELBO}} = \mathbb{E}_{q_\phi(z \mid x)}\big[\log p_\theta(x \mid z)\big] - D_{KL}\big(q_\phi(z \mid x) \parallel p(z)\big)$$

1. 证据下界：对数似然 $\log p_\theta(x)$ 恒不小于等式右侧，右侧即为 ELBO；最大化 ELBO 就是在近似地最大化似然。

$$\log p_\theta(x) \ge \mathbb{E}_{q_\phi(z \mid x)}[\log p_\theta(x \mid z)] - D_{KL}(q_\phi(z \mid x) \parallel p(z))$$

2. 重建项与 KL 项：第一项让模型把 z 还原成 x 的能力更强，第二项把 $q_\phi$ 拉向先验 $p(z)$。

$$\mathbb{E}_{q_\phi}[\log p_\theta(x \mid z)], \qquad D_{KL}(q_\phi(z \mid x) \parallel p(z))$$

3. 特征选择排序：逐个特征与标签计算互信息，选贡献大的。

$$I(x_j; y), \quad j = 1, 2, \dots, d$$

4. 蒸馏损失：师生两个分布之间的 KL 作为“对齐学费”，越小说明学生越像老师。

$$\mathcal{L}_{\text{distill}} = D_{KL}(p_{\text{teacher}} \parallel p_{\text{student}})$$

实习结束时，小陈在笔记上写下三行字：“ELBO 用 KL 踩刹车，特征选择用互信息找路标，蒸馏用 KL 交学费。” 老关看了直笑：“信息论不是公式比赛，是教你怎么用最少的比特把真实世界描述清楚——这一点，你出师了。”

AI 应用场景

Python 演示

import math def entropy(p):    """计算离散分布 p 的熵(比特)"""    return -sum(pi * math.log2(pi) for pi in p if pi > 0) def kl_divergence(p, q):    """计算 KL(P||Q), 单位比特"""    return sum(pi * math.log2(pi / qi) for pi, qi in zip(p, q) if pi > 0 and qi > 0) def cross_entropy(p, q):    """计算交叉熵 H(P,Q), 单位比特"""    return -sum(pi * math.log2(qi) for pi, qi in zip(p, q) if pi > 0 and qi > 0) def mutual_information(joint, px, py):    """由联合分布和边缘分布计算互信息 I(X;Y)"""    mi = 0.0    for i in range(len(px)):        for j in range(len(py)):            if joint[i][j] > 0:                mi += joint[i][j] * math.log2(joint[i][j] / (px[i] * py[j]))    return mi def main():    # 真实天气分布 P 与预报员错估分布 Q    P = [0.5, 0.3, 0.2]    Q = [0.7, 0.2, 0.1]    print("H(P)      = %.4f 比特" % entropy(P))    print("H(Q)      = %.4f 比特" % entropy(Q))    print("KL(P||Q)  = %.4f 比特" % kl_divergence(P, Q))    print("KL(Q||P)  = %.4f 比特" % kl_divergence(Q, P))    print("H(P,Q)    = %.4f 比特" % cross_entropy(P, Q))    print("校验 H+KL = %.4f 比特" % (entropy(P) + kl_divergence(P, Q)))    # 今天(X)与明天(Y)的联合分布, 行和为 P(X), 列和为 P(Y)    joint = [[0.40, 0.08, 0.06],             [0.10, 0.18, 0.05],             [0.04, 0.05, 0.04]]    px = [sum(row) for row in joint]    py = [sum(joint[i][j] for i in range(3)) for j in range(3)]    joint_flat = [joint[i][j] for i in range(3) for j in range(3)]    print("P(X)      = %s" % px)    print("P(Y)      = %s" % py)    print("I(X;Y)    = %.4f 比特" % mutual_information(joint, px, py))    print("校验 H+HY-HXY = %.4f 比特" % (entropy(px) + entropy(py) - entropy(joint_flat))) if __name__ == "__main__":    main()

1. return -sum(pi * math.log2(pi) for pi in p if pi > 0)跳过零概率项，避免 log2(0) 报错，逐个累加负熵贡献
2. if pi > 0 and qi > 0KL 只在 P、Q 同时为正的取值上累积，分母为 0 的点不贡献
3. print("KL(P||Q) = %.4f 比特" % kl_divergence(P, Q))输出约 0.133 比特的“多付成本”
4. print("校验 H+KL = %.4f 比特" % (entropy(P) + kl_divergence(P, Q)))验证“交叉熵 = 熵 + KL”恒等式
5. joint = [[0.40, 0.08, 0.06], ...]手写一个合法的联合分布矩阵，全部格子求和恰为 1
6. px = [sum(row) for row in joint]对行求和得到边缘分布 P(X)
7. py = [sum(joint[i][j] for i in range(3)) for j in range(3)]对列求和得到边缘分布 P(Y)
8. mi += joint[i][j] * math.log2(joint[i][j] / (px[i] * py[j]))逐格累加“联合 vs 独立乘积”的 KL，即互信息
9. if __name__ == "__main__":保证脚本既能独立运行也能被 import 后复用

常见误区

面试题