互信息与信息增益

可视化演示

展示系统处理流水线、实时性能指标曲线及多方案对比分析，包含数据流转、吞吐延迟监控与方案评估。

互信息的定义：三种等价算法

小美最怕一种情况：小杰在心里想好了动物，却只给出“它存在”这种废话提示。这种提示不消除任何不确定性——听完和没听一样。反之，如果小杰说“它全身毛茸茸而且有四条腿”，小美脑子里立刻浮现猫狗之类的小动物。提示的价值，恰恰在于它消除了多少“可能性”。

信息论给“可能性”起了一个名字：信息熵 H(X)，它衡量随机变量 X 的不确定程度。小杰心里的动物就是 X，小美的把握可以用熵来量化。提示 Y 出现后，条件熵 H(X|Y) 描述“知道了提示后还剩多少不确定”。两者一减，H(X) − H(X|Y)，就是这个提示真正带来的信息量，我们叫它互信息 I(X;Y)。

互信息有三种等价的表达方式。第一种是定义式，从联合分布 p(x,y) 与边缘分布 p(x)、p(y) 的比值出发，统计“两个变量联合出现”比“各自独立出现”多出多少信息：

第二种表达是熵差式，它直接从“不确定性减少”的角度看问题：

三种方式就像用尺子、绳子和脚步去量同一段路，结果必然一致。对小美来说，这个数值就是“默契值”：她选的问题和她想猜的答案之间，到底共享了多少信息。接下来我们把这个默契值拆开，看看它由哪些原材料组成。

联合熵与条件熵：游戏的两个基础参数

如果小杰不只想一个动物，而是想“动物+颜色+地点”三个词，小美要猜的联合事件 H(X,Y) 的复杂度就一下子变大了。联合熵 H(X,Y) 就是“几个变量合在一起时的不确定性总量”，公式与单变量熵类似，只是把求和扩展到所有组合：

条件熵则是“已经知道其中一个变量后，另一个还剩多少不确定”：

由这两个量可以推出链式法则：H(X,Y) = H(X) + H(Y|X)，意思是“联合不确定性 = 先猜 X 的不确定性 + 已知 X 后猜 Y 的不确定性”。小美每次都先问最有把握的问题，正是这个公式在生活中的体现：先消除大头，剩下的部分就越少。

维恩图关系：信息重叠地带

把 H(X) 和 H(Y) 画成两个圆，圆的面积就是各自的不确定程度。如果两个圆几乎不重叠，说明小杰的提示和小美的答案各说各话；如果圆大面积交叠，说明提示和答案高度相关。那个交叠区域，就是互信息 I(X;Y)。这个几何直觉可以浓缩成一个漂亮的面积公式：

从这个公式立刻能看出两个极端情形。如果 X 与 Y 独立，联合熵等于各自熵之和，重叠面积为 0——小美的提示对她的猜测毫无帮助。如果 X 与 Y 完全确定彼此，例如 X 的答案能由 Y 的提示百分之百推出，那么互信息就等于 H(X)，一个圆完全包含在另一个圆里。大多数机器学习场景都处于两者之间：特征与标签有部分重叠，重叠越大，特征越值得用。

基本性质：默契的两条铁律

小美和小杰玩得多了，总结出两条“默契守恒定律”。第一条：好的提示永远不会让你更糊涂。就算小杰给了一个完全无关的提示，小美最多是“白听”，信息量是零，绝不可能变成负数。这就是互信息的非负性：I(X;Y) ≥ 0。第二条：默契是相互的。小美能从小杰的提示里猜中多少心思，和小杰能从小美的反应里猜出她想到了什么，信息量完全一样。这就是对称性。

另一个容易记住的特例是自信息：如果拿 X 和它自己算互信息，等于它自己的熵：

决策树ID3：猜词冠军的提问策略

小美玩多了发现一个规律：不是每个问题都值得先问。“它会飞吗？”和“它有毛吗？”往往比“它名字里有三个字吗？”更有效率。决策树的 ID3 算法把这条经验变成了硬规则：每一层分裂时，选择信息增益最大的特征。信息增益衡量的是“用这个特征划分后，数据混乱度下降了多少”：

更妙的是，这个 Gain(D,A) 本质上就是特征 A 与标签 D 的经验互信息 I(A;D)——只是名字换成了“信息增益”。ID3 算法做的事情，就是不断问：“在所有还没用过的特征里，哪一个与标签的互信息最大？”然后选它作为分裂节点，递归进行下去。小美如果按这个策略玩游戏，她几乎总能用最少的提问次数猜中答案。

特征选择实战：问题库的瘦身术

真实的机器学习项目里，特征往往有成百上千个：用户的年龄、消费金额、点击次数、注册时长……就像小美面前放着一本几百页的“候选问题手册”，但游戏只允许她问 3 个问题。怎么选？答案很简单：选与答案互信息最大的 3 个。这就是特征选择的核心理念——用互信息给每个特征与标签之间的“默契程度”打分：

互信息打分与相关系数最大的不同是：它不假设任何线性关系。哪怕特征与标签的关系是“U 形”“波浪形”甚至“分段阶跃”，互信息都能捕捉到。这也是为什么在特征工程里，它常常被当作“第一轮海选”的标准：先按互信息筛掉一批明显无关的特征，再用更精细的方法做第二轮加工。小美面对那本几百页的问题手册，也是这样先划掉所有与动物无关的问题，再从中挑最优。

信息瓶颈：暗号要短，更要准

小美和小杰玩的是“限时版”：她只能写一个很短的暗号传给小杰，暗号不能太长。这就引出了机器学习里一个经典思想——信息瓶颈。设 X 是原始信息，Y 是目标答案，T 是我们要设计的“暗号”（压缩后的特征表示）。我们希望暗号 T 尽量简短，但又不能短到失去对答案的提示力。这个平衡可以写成：

信息瓶颈方法在深度学习中非常实用：模型的中间层向量就是那个“暗号”，信息瓶颈正则化迫使中间层丢弃与任务无关的噪声，只保留与标签最相关的信息，从而提升泛化能力。小美的暗号也一样——它不需要写完整描述动物的小作文，只需要“毛茸茸、四条腿、会汪汪叫”这几个字，就已经把答案锁死了。

AI 应用场景

Python 演示

import mathfrom collections import Counter def entropy(labels):    total = len(labels)    if total == 0:        return 0.0    probs = [c / total for c in Counter(labels).values()]    return -sum(p * math.log2(p) for p in probs if p > 0) def conditional_entropy(feature, labels):    total = len(labels)    pairs = list(zip(feature, labels))    result = 0.0    for val in set(feature):        sub = [l for v, l in pairs if v == val]        weight = len(sub) / total        result += weight * entropy(sub)    return result def mutual_info(feature, labels):    return entropy(labels) - conditional_entropy(feature, labels) def info_gain(dataset, feature_idx, label_idx):    feature = [row[feature_idx] for row in dataset]    labels = [row[label_idx] for row in dataset]    return mutual_info(feature, labels) if __name__ == "__main__":    # 猜动物数据集: 有毛? 会飞? 水生? 标签=动物名    dataset = [        ["毛", "不会飞", "陆生", "猫"],        ["毛", "不会飞", "陆生", "狗"],        ["无毛", "会飞", "陆生", "鸟"],        ["无毛", "会飞", "陆生", "鸟"],        ["无毛", "不会飞", "水生", "鱼"],        ["无毛", "不会飞", "水生", "虾"],        ["毛", "不会飞", "陆生", "猫"],        ["无毛", "会飞", "陆生", "鸟"],    ]    feature_names = ["有毛?", "会飞?", "水生?"]    label_idx = len(dataset[0]) - 1    for idx, name in enumerate(feature_names):        gain = info_gain(dataset, idx, label_idx)        print("特征 %s 的信息增益 = %.3f" % (name, gain))

1. def entropy(labels):定义熵函数：输入标签列表，输出信息熵，衡量“有多乱”。
2. probs = [c / total for c in Counter(labels).values()]统计每个类别的占比，作为概率估计。
3. return -sum(p * math.log2(p) for p in probs if p > 0)按熵公式加权求和，得到混乱度。
4. def conditional_entropy(feature, labels):条件熵：按特征取值分组后再算各组的熵。
5. sub = [l for v, l in pairs if v == val]把特征值为 val 的所有样本标签取出来。
6. weight = len(sub) / total该组样本在整体中的占比，作为加权权重。
7. result += weight * entropy(sub)每个组的熵乘以权重再累加，得到条件熵。
8. def mutual_info(feature, labels):互信息 = 标签熵 − 条件熵，一行完成核心计算。
9. if __name__ == "__main__":可执行入口，保证脚本能直接运行并输出各特征增益。

常见误区

面试题