熵率：信息源平均每秒吐出的“新”信息量

可视化演示

展示系统处理流水线、实时性能指标曲线及多方案对比分析，包含数据流转、吞吐延迟监控与方案评估。

熵率定义

单看一个包袱的“没想到”程度，就像只看演员全场最炸的那一声，完全反映不了整场演出的信息量。真正有意义的是把演出当成一条时间线——第一句、第二句、第三句……源源不断——然后问：平均每一句带来了多少新信息？

把这场演出翻译成数学语言，就是随机过程：一串按时间排列的随机变量 \(X_1, X_2, \ldots, X_n\)。先看前 n 句话联合起来的总意外量，也就是联合熵 \(H(X_1,\ldots,X_n)\)；把它除以 n，得到平均每句话的意外量；再把演出无限延长，让平均值稳定下来。这个极限就是熵率，单位是“比特/符号”。

把这个数字报给“观众委员会”，他们就知道：如果某晚的熵率明显偏低，说明演员在吃老本；如果一路走高，说明这场演出句句炸场。熵率正是这样一把尺子，度量一个信息源持续输出的平均新鲜度。

极限存在定理

剧场里有个老观众，从第一句话开始做笔记。他会发现，随着笔记越来越厚，自己对演员下一句的预判也越准——这就是“条件熵递减”的生活直觉。

数学上，已知过去的条件下，下一句的意外程度写作条件熵 \(H(X_n \mid X_1,\ldots,X_{n-1})\)。信息论有一条链式法则，把总联合熵拆成一串条件熵之和：\(H(X_1,\ldots,X_n)=\sum_{i=1}^{n}H(X_i\mid X_1^{i-1})\)。因为条件越多熵越少，这一串条件熵单调不增；又因为熵永远非负，所以极限必然存在。

老观众的“预判力”会无限接近一个天花板——这个天花板就是熵率。天花板高，说明演员的创造力稳定输出，历史笔记也无法完全预测他；天花板低，则说明套路已被摸透，继续追更的新鲜感所剩无几。

马尔可夫熵率

并不是所有演员都依赖整场笔记。很多演员的包袱结构是“上一句决定下一句”——只要知道刚说的那句，就能大致判断接下来的路数。这就是马尔可夫链的说话方式。

马尔可夫链把随机过程的状态看成演员的“段子抽屉”：当前在抽屉 i，下一句跳去抽屉 j 的概率写在状态转移矩阵 \(P_{ij}\) 里。要算整场演出的熵率，不能只盯着一个抽屉，还要知道演员长期停留在各个抽屉的比例——平稳分布 \(\mu_i\)。平稳分布告诉我们在无限长的演出里，各款段子被翻牌的概率是多少。

所以马尔可夫链的熵率，就是“把每个抽屉打开一看，各自装满惊喜，再按翻牌比例加权平均”。抽屉开得越勤，它的口味对整场演出影响就越大。

平稳过程熵率

演出进行到后半场，演员的风格完全稳定：段子的分布不再随时间改变，这就是平稳过程。观众会发现，第 100 句和第 1000 句的“台词口味”没有本质差别。

平稳过程有一个重要性质：熵率不需要再算“长期平均”，可以直接取条件熵的极限。因为过去的信息会逐步暴露，条件熵 \(H(X_n\mid X_{n-1},\ldots,X_1)\) 单调下降趋于同一极限；历史再长，也不会让预测力突变。也就是说，平稳过程中“每符号平均信息量”和“基于无限历史的单步新信息量”是同一个数。

平稳过程像一位“风格定型”的演员：老观众只要听一阵子，就能把他的下一句锁定在某个稳定的意外值。这个稳定值既说明了演员的可预测程度，也决定了我们对他后续表演还能抱有多大期待。

压缩极限应用

如果把整场演出录下来存成文件，我们总希望能压到最小。熵率说：别白费劲了，平均每个符号低于这个比特数，你就再也无损压不动了。

把可能出现的 n 长文本集合记为 \(\mathcal{C}_n\)，无损编码要区分这些文本，至少需要 \(\log_2 |\mathcal{C}_n|\) 比特；摊到 n 个符号上，每符号平均需要的比特数在 n 无穷大时恰好收敛到熵率。这就是无损压缩的理论下界。

Lempel-Ziv 这类“通用压缩”算法不预先知道概率分布，只用滑动窗口和字典匹配就能渐近逼近熵率，gzip、zstd 都是这个家族的代表。压缩器就像一个自动记录“演员套路”的场记员：套路越固定，场记越省纸，而熵率恰好告诉你这个“省纸上限”是多少。

语言模型困惑度

要让机器预测演员的下一句话，就得给机器的“脑内剧本”打分。机器预测得越准，平均每次“猜错”的意外就越小——这个平均意外的指数化度量，就是困惑度。

给定语言模型 \(P(w_i\mid w_1^{i-1})\)，可以把语言看成随机过程，用真实文本计算它的平均对数概率，也就是交叉熵估计。把交叉熵取 2 的幂，就得到困惑度：

困惑度与熵率是一枚硬币的两面：模型越了解语言的统计规律，熵率越低，PPL 也越小。给两个语言模型打分时，PPL 低的那个通常更懂语言的“接话套路”，这比只看损失函数曲线直观得多。

AI 应用场景

Python 演示

# -*- coding: utf-8 -*-"""熵率计算:从马尔可夫链到文本 n-gram 的经验熵率"""import math  def stationary_dist(trans, tol=1e-12):    """迭代求平稳分布: pi = pi * P"""    n = len(trans)    pi = [1.0 / n] * n    for _ in range(10000):        nxt = [sum(pi[i] * trans[i][j] for i in range(n)) for j in range(n)]        diff = max(abs(nxt[i] - pi[i]) for i in range(n))        pi = nxt        if diff < tol:            break    return pi  def markov_entropy_rate(trans):    """按公式 sum_i pi_i * H(P_i行) 计算马尔可夫链熵率"""    pi = stationary_dist(trans)    rate = 0.0    for i in range(len(trans)):        for j in range(len(trans)):            p = trans[i][j]            if p > 0:                rate -= pi[i] * p * math.log2(p)    return rate  def empirical_entropy_rate(text, order=1):    """用 k 阶马尔可夫近似估算文本熵率, 条件熵按出现次数加权"""    table = {}    for i in range(len(text) - order):        ctx = text[i:i + order]        nxt = text[i + order]        if ctx not in table:            table[ctx] = {}        table[ctx][nxt] = table[ctx].get(nxt, 0) + 1     total_h = 0.0    total_n = 0    for ctx, children in table.items():        s = sum(children.values())        for cnt in children.values():            p = cnt / s            total_h -= p * math.log2(p)        total_n += s    return total_h / total_n  if __name__ == "__main__":    P = [        [0.9, 0.1],        [0.3, 0.7],    ]    print("两状态马尔可夫链熵率 = %.4f bit/符号" % markov_entropy_rate(P))     s = "奇变偶不变, 符号看象限. 奇变偶不变, 符号看象限. 奇变偶不变, 符号看象限."    for k in (1, 2, 3):        print("k=%d 阶文本经验熵率 = %.4f bit/字符" % (k, empirical_entropy_rate(s, k)))

1. def stationary_dist(trans, tol=1e-12):定义平稳分布迭代求解器，是马尔可夫熵率计算的前置步骤
2. nxt = [sum(pi[i] * trans[i][j] for i in range(n)) for j in range(n)]一次矩阵-向量乘法，相当于让分布沿转移矩阵演化一步
3. rate -= pi[i] * p * math.log2(p)对应公式中 \(\sum_i \mu_i \sum_j -P_{ij}\log P_{ij}\) 的累加
4. table[ctx][nxt] = table[ctx].get(nxt, 0) + 1统计每个上下文后接字符的出现频次，构建文本的 n-gram 转移表
5. total_h -= p * math.log2(p)计算某个上下文下的条件熵，按出现次数累计
6. return total_h / total_n用总出现次数归一化，得到经验条件熵，即文本的近似熵率

常见误区

面试题