想象你是一位园丁。过去你管理一排花盆，每个花盆都边界分明，你可以数清楚“这一盆浇了三瓢、那一盆浇了五瓢”——这是离散的世界，一切都能一格一格地点数。现在你被调去打理一片没有格子的草坪，用的是喷灌器。水洒出去，落在连续的表面上，形成一条平滑的“湿润度曲线”：有些位置湿，有些位置干，但你永远数不出“第几滴水落在第几厘米处”。香农熵能度量“花盆世界里有多少种可能”，可它数不了连续的草坪。于是信息论需要一把新尺子——微分熵。它把“数格子”换成“称曲线”，用概率密度函数描述每个位置的湿润程度，并问：这条曲线摊得越开、形状越没主见，水分分布就越不确定，熵就越大。沿着这把尺子，我们还会发现：同方差下正态分布最“散漫”（最大熵）、高斯信道容量由信噪比的对数决定、独立成分分析靠“负熵”揪出隐藏的独立信号。

岗位关联

对 AI 从业者而言，微分熵是连续世界不确定性的“度量衡”：设计最大熵模型、估算信道容量、做盲源分离，都离不开这把尺子，它是信息论工程思维的核心工具之一。

目录
  1. 可视化演示
  2. 熵的连续化挑战
  3. 微分熵定义
  4. 负熵问题辨析
  5. 正态最大熵性
  6. 最大熵推断
  7. 高斯信道容量
  8. 独立成分分析
  9. AI 应用场景
  10. Python 演示
  11. 常见误区
  12. 面试题

可视化演示

展示系统处理流水线、实时性能指标曲线及多方案对比分析，包含数据流转、吞吐延迟监控与方案评估。

本节配有交互动效（进入视口后自动加载，约 3KB）。

系统可视化 处理流程：输入→处理→模型→输出 性能监控：实时指标 P=L×T

熵的连续化挑战

给一排行花盆浇水，你只需数清“这盆泼了几瓢”：花盆是有穷个格子，每种浇法是一个离散事件。香农为此发明了熵，用来回答“我到底有多拿不准下一次浇到哪盆”。可当你面对一片没有格子的大草坪，喷灌器的水雾落在每寸泥土上，可能的落点无穷多个，数不过来、也列不成一张有限清单——原本“数格子”的尺子卡壳了。

要让熵走进连续世界，得先换一个描述对象：不再问“每个盆的概率”，而改问“每厘米草坪的湿润密度”，也就是概率密度函数 f(x)。概率是“某一盆被浇到的机会”，密度是“某个位置附近单位长度上聚集的水量”。f(x) 越大，表示该处越湿；曲线下的总面积永远是 1，代表“总水量就是一壶”。

于是离散熵的公式给出了连续化的蓝图：把“按结果求和”改成“按位置积分”，把“概率”换成“密度”，就得到微分熵的雏形。

回到草坪：花盆的“逐一清点”退场，连续草坪要求我们把“求和”升级为“积分”，把“概率”升级为“密度”。这是从数格子到称曲线的第一步，也是微分熵诞生的直接动机。

H(X)=−∑x∈Xp(x)log⁡p(x)H(X) = -\sum_{x \in \mathcal{X}} p(x)\log p(x)
离散熵是“平均惊奇度”：每个结果越罕见，它带来的惊奇越大，熵把所有结果的惊奇按概率加权平均。
  1. 取值集合 \mathcal{X}离散变量的全部可能结果，比如骰子的六个面，它划定了求和的范围。
    X\mathcal{X}
  2. 概率 p(x)每个结果发生的可能性，总和为 1，在公式里充当权重。
    p(x)≥0,∑x∈Xp(x)=1p(x)\geq 0,\quad \sum_{x\in\mathcal{X}}p(x)=1
  3. 惊奇量 -\log p(x)概率越小、负对数越大，代表事件越出人意料。
    −log⁡p(x)-\log p(x)
  4. 加权求和 \sum_x p(x)(\cdot)用概率作权重，把所有结果的惊奇量平均起来。
    ∑x∈Xp(x)(−log⁡p(x))\sum_{x\in\mathcal{X}} p(x)\big(-\log p(x)\big)

微分熵定义

草坪喷灌时，你关心的不再是“哪一格湿”，而是湿润度曲线 f(x) 的形态。如果一片草叶位置的密度是 0.8，说明那里的单位长度聚集了大量水珠；如果另一处是 0.05，说明那里基本干爽。曲线的“胖瘦”就是水分摊开的程度——而这正是连续世界里“不确定性”的模样。

微分熵的定义非常直白：把湿润度曲线各点的密度值取负对数，再沿整条曲线加权求和（积分）。它度量的是：给定一条密度曲线，水分整体上被摊得有多开、多均匀。

与离散熵对比，微分熵有一个微妙之处：离散熵数的是“有限个格子的概率分配”，微分熵称的是“连续无限个位置的密度形状”；前者总不小于 0，后者却可能为负——这正是下一节要揭开的悬念。草坪的湿润曲线可以挤成一根尖刺，如果把“摊开程度”量成负数，并不代表水消失了，只说明它过于集中。

h(X)=−∫−∞+∞f(x)log⁡f(x) dxh(X) = -\int_{-\infty}^{+\infty} f(x)\log f(x)\,dx
微分熵是“连续分布的摊开程度”：曲线越宽越扁，熵越大；曲线越尖越窄，熵越小。它不再是离散熵那种“绝对信息量”。
  1. 概率密度 f(x)连续变量在每个位置附近的“单位长度概率质量”，相当于草坪上每米的湿润度。
    f(x)≥0,∫−∞+∞f(x) dx=1f(x)\geq 0,\quad \int_{-\infty}^{+\infty} f(x)\,dx=1
  2. 局部分摊量 -\log f(x)密度越大越是“理所当然”，负对数贡献越小；密度越小越是“意外”，贡献越大。
    −log⁡f(x)-\log f(x)
  3. 积分求和 \int dx把无穷多个位置上的局部贡献用积分累加，替代离散中的有限求和。
    ∫−∞+∞f(x)(−log⁡f(x)) dx\int_{-\infty}^{+\infty} f(x)\big(-\log f(x)\big)\,dx
  4. 对数底决定单位底取 2 时单位为比特，底取自然常数 e 时单位为奈特。
    log⁡2 vs ln⁡\log_2 \ \text{vs} \ \ln

负熵问题辨析

把喷灌器阀门拧到最小，水几乎只落在一个点上，湿润曲线变成一根极细的尖刺。这时你对“水会落在哪”几乎毫无悬念——不确定性极低。计算微分熵会发现它可能是负数：曲线太尖、密度超过 1，负对数变负，积分结果自然为负。离散熵永远非负，因为概率永远不超过 1；而密度是“单位长度上的概率质量”，完全可以大于 1。

这说明微分熵不是“绝对的不确定性大小”，而是一种依赖坐标尺度的“相对摊开程度”。尺子换了单位，数值就平移：若把长度单位放大一倍，密度跟着缩半，熵会差一个常数。跨不同量纲比较两个微分熵，就像用英寸和厘米量同一块草坪，数字不同但信息量一样。

真正坐标不变的量是相对熵（KL 散度）：它直接比较两条湿润曲线的“差异”，而不是各自与坐标原点的关系。

尖刺和宽丘的比较告诉我们：微分熵的数值会随坐标伸缩而变，真正稳定的是分布之间的相对关系。因此工程上更常使用负熵（相对高斯参照的差异），它把“摊开程度”固定在一个不随尺度漂移的坐标系里。

D(f∥g)=∫−∞+∞f(x)log⁡f(x)g(x) dx≥0D(f\parallel g)=\int_{-\infty}^{+\infty} f(x)\log\frac{f(x)}{g(x)}\,dx \geq 0
相对熵衡量“把分布 f 当作 g 看”时多花了多少惊奇；它恒非负，仅在两条曲线完全重合时为零。
  1. 密度比值 f/g同一位置两条曲线的“相对浓淡”，比值越接近 1 说明两处越相似。
    f(x)g(x)\frac{f(x)}{g(x)}
  2. 对数偏向 \log(f/g)比值映射成可正可负的差异信号，大于 1 记正、小于 1 记负。
    log⁡f(x)g(x)\log\frac{f(x)}{g(x)}
  3. f 加权积分以 f 为权重对所有位置求和，表示“从 f 的视角看 g 的偏离”。
    ∫−∞+∞f(x)log⁡f(x)g(x) dx\int_{-\infty}^{+\infty} f(x)\log\frac{f(x)}{g(x)}\,dx
  4. 吉布斯不等式该积分恒非负，当且仅当 f=g 时取零。
    D(f∥g)≥0,D(f∥g)=0⇔f=gD(f\parallel g)\geq 0,\quad D(f\parallel g)=0 \Leftrightarrow f=g

正态最大熵性

某天你只被告知两条信息：喷灌器的总水量固定，水雾在草坪上摊开的范围（方差）也固定。除此之外，你对湿润曲线一无所知。那么最“诚实”的猜测是什么形状？答案是钟形。因为钟形对每个具体位置的湿润度都“不做多余承诺”——它允许水分以最均匀、最不偏袒的方式铺在给定范围内。

数学上，这是在“概率归一”和“方差固定”两个约束下求微分熵的最大值，属于变分问题。用拉格朗日乘子法可解出：最优密度必然具有指数二次型的形式，也就是高斯曲线。正态分布因此被称为“固定方差下的熵之王”。

把高斯密度代回微分熵公式，就得到著名的闭式解：

回想草坪：给定了“总水量”和“湿润范围”，钟形是最不偏不倚的选择。这个结论直接支撑了最大熵推断——面对部分信息，我们应当挑选熵最大、即最“没主见”的分布，而不是偷偷加戏。

h(N(μ,σ2))=12log⁡(2πeσ2)h(\mathcal{N}(\mu,\sigma^2)) = \frac{1}{2}\log(2\pi e\sigma^2)
高斯的微分熵只由方差决定，与均值无关；方差越大，钟形越扁，熵越大。
  1. 高斯密度代入把正态密度 f(x) 作为被积函数代入微分熵定义，注意方差在分母、指数在 e 上。
    f(x)=12πσ2exp⁡ ⁣(−(x−μ)22σ2)f(x)=\frac{1}{\sqrt{2\pi\sigma^2}}\exp\!\left(-\frac{(x-\mu)^2}{2\sigma^2}\right)
  2. 对数拆项-\log f(x) 被拆成“常数项 + 二次项”两块，方便逐项积分。
    −log⁡f(x)=12log⁡(2πσ2)+(x−μ)22σ2-\log f(x)=\frac{1}{2}\log(2\pi\sigma^2)+\frac{(x-\mu)^2}{2\sigma^2}
  3. 逐项积分常数项乘以总概率仍是自身，二次项的期望恰好等于方差 σ²，除以 2σ² 后贡献 1/2。
    ∫−∞+∞(x−μ)22σ2f(x) dx=12\int_{-\infty}^{+\infty}\frac{(x-\mu)^2}{2\sigma^2}f(x)\,dx=\frac{1}{2}
  4. 合并化简两项相加，并利用 \log e=1 把 1/2 吸收进对数。
    12log⁡(2πσ2)+12=12log⁡(2πeσ2)\frac{1}{2}\log(2\pi\sigma^2)+\frac{1}{2}=\frac{1}{2}\log(2\pi e\sigma^2)

最大熵推断

假设你只记得昨天浇水后测得两个数：平均湿润位置和湿润范围的平方，其余细节全忘了。今天想预测湿润曲线，你该怎么猜？最大熵给出了一个朴素而深刻的原则：在所有满足已知约束的曲线里，选微分熵最大的那条。因为熵越大，曲线对未知细节的假设越少，越不会编造数据。

实现上，这是带约束的优化问题：把“概率归一”和“给定矩约束”写成等式，用拉格朗日乘子把它们并入目标函数，再对密度逐点求导。解出的最优密度自动落进指数族——若约束是均值与方差，就得到高斯；若约束只是非负均值，就得到指数分布。配分函数 Z 负责把密度归一化。

从草坪的角度看，最大熵推断就是“忘记细节时，选一条最平坦、最不武断的湿润曲线”。这条原则在现代机器学习里无处不在：最大熵分类器、条件随机场甚至深度模型的先验设计，本质都是“用约束换分布，不编造信息”。

f⋆(x)=1Zexp⁡(λ1x+λ2x2)f^{\star}(x)=\frac{1}{Z}\exp\big(\lambda_1 x+\lambda_2 x^2\big)
最大熵解是指数族分布：指数里的系数由已知约束反解，Z 是保证积分等于 1 的归一化常数。
  1. 拉格朗日函数把最大化目标与两条约束（归一、给定矩）组合成一个整体泛函。
    L=−∫flog⁡f dx+λ0(∫f dx−1)+λ1(∫x f dx−μ)+λ2(∫x2f dx−σ2)L=-\int f\log f\,dx+\lambda_0\Big(\int f\,dx-1\Big)+\lambda_1\Big(\int x\,f\,dx-\mu\Big)+\lambda_2\Big(\int x^2 f\,dx-\sigma^2\Big)
  2. 变分求驻点对每个位置上的 f(x) 求导并令其为零，得到“对数等于线性组合”的条件。
    ∂L∂f(x)=0⇒log⁡f(x)=λ0−1+λ1x+λ2x2\frac{\partial L}{\partial f(x)}=0 \Rightarrow \log f(x)=\lambda_0-1+\lambda_1 x+\lambda_2 x^2
  3. 系数对齐约束λ₁、λ₂ 由均值与方差反解，二次项系数取负即得高斯核。
    λ2=−12σ2,λ1=μσ2\lambda_2=-\frac{1}{2\sigma^2},\quad \lambda_1=\frac{\mu}{\sigma^2}
  4. 配分函数归一Z 对指数形式积分，保证总概率为 1。
    Z=∫−∞+∞exp⁡(λ1x+λ2x2) dx=2πσ2Z=\int_{-\infty}^{+\infty}\exp(\lambda_1 x+\lambda_2 x^2)\,dx=\sqrt{2\pi\sigma^2}

高斯信道容量

把话筒当作喷灌器，信号是一股有压强的水流，信道的噪声则是随机飘落的毛毛雨。接收端看到的水量 = 信号水压 + 雨量，记作 Y = X + N。噪声给传输带来了多少“捣乱”？信息论用互信息回答：输出 Y 的微分熵减去噪声 N 的微分熵，剩下的就是信号真正携带的信息。

噪声 N 服从高斯分布，其熵为 ½log(2πeσ²)。接收端 Y 的功率上限是 P + σ²，因此它的熵最多等于同方差高斯的熵；当输入 X 也取高斯时恰好达到这个上界。两个熵一减，就得到每符号能传递的最大比特数。

这个公式像是给“水压与毛毛雨的较量”标了价：想增加容量，要么加大信号功率，要么压低噪声，但收益都是对数式的、越来越吃力。理解了它，也就理解了为什么 5G、光纤这类系统的速率预算都绕不开香农极限。

C=12log⁡2 ⁣(1+Pσ2)bits / channel useC = \frac{1}{2}\log_2\!\Big(1+\frac{P}{\sigma^2}\Big)\quad\text{bits / channel use}
高斯信道容量只由信噪比 P/σ² 决定：信号功率翻几倍，容量只按对数增长，这就是“信道编码的香农极限”。
  1. 噪声熵固定高斯噪声的微分熵只由方差 σ² 决定，与均值无关。
    h(N)=12log⁡(2πe σ2)h(N)=\frac{1}{2}\log(2\pi e\,\sigma^2)
  2. 输出熵上界Y 的功率 ≤ P+σ²，由正态最大熵性，其熵不超过同方差高斯的熵。
    h(Y)≤12log⁡ ⁣(2πe (P+σ2))h(Y)\leq\frac{1}{2}\log\!\big(2\pi e\,(P+\sigma^2)\big)
  3. 互信息相减容量等于最大化 I(X;Y)=h(Y)-h(N)，上下界相减后对数合并。
    I(X;Y)=h(Y)−h(N)≤12log⁡ ⁣(1+Pσ2)I(X;Y)=h(Y)-h(N)\leq\frac{1}{2}\log\!\Big(1+\frac{P}{\sigma^2}\Big)
  4. 等号可达与单位换算X 取高斯时等号成立；底取 2 就把奈特换成比特。
    max⁡E[X2]≤PI(X;Y)=12log⁡2 ⁣(1+Pσ2)\max_{E[X^2]\leq P}I(X;Y)=\frac{1}{2}\log_2\!\Big(1+\frac{P}{\sigma^2}\Big)

独立成分分析

鸡尾酒会上两个人同时讲话，两支麦克风各录到两份混合声。怎么“盲”地拆回各自的声音？一个关键线索藏在微分熵里：人声、乐声的分布通常比钟形更“尖峭”，离高斯很远。而中心极限定理说：许多独立信号叠加后趋向高斯。所以反过来，分离出的信号越“非高斯”，就越可能是独立的原始声源。

如何度量“非高斯程度”？直接用微分熵：与某个同方差的正态参照物比，实际分布少掉的熵就是负熵。正态分布的微分熵在同方差下最大，所以负熵恒非负，而且越非高斯越大。这个量坐标不变，是 ICA 最可靠的判断依据。

回到喷灌器：湿润曲线越“老实”（靠近钟形），负熵越小；越“怪”（尖峰、偏斜、双峰），负熵越大。ICA 就是不断旋转混合信号，让分离结果负熵最大——顺藤摸瓜，把藏在混合录音里的独立源一个个揪出来。

J(x)=h(xgauss)−h(x)≥0J(x) = h(x_{\text{gauss}}) - h(x) \geq 0
负熵是“与钟形参照的熵差”：正态分布负熵为 0，分布越尖或越偏，负熵越大。
  1. 构造同方差参照x_gauss 是与 x 有相同均值、方差的钟形变量，作为“最不突出的基准”。
    xgauss∼N(μx,σx2)x_{\text{gauss}}\sim\mathcal{N}(\mu_x,\sigma_x^2)
  2. 熵差定义负熵 = 参照钟形的微分熵减去实际分布的微分熵。
    J(x)=h(xgauss)−h(x)J(x)=h(x_{\text{gauss}})-h(x)
  3. 非负性来源正态在固定方差下熵最大，所以差值不可能为负。
    J(x)≥0J(x)\geq 0
  4. 取零判据当且仅当 x 本身就是正态时，负熵等于 0。
    J(x)=0⇔f(x) 是正态密度J(x)=0 \Leftrightarrow f(x)\ \text{是正态密度}

AI 应用场景

最大熵模型在文本分类与序列标注

阶段：模型设计与特征工程

解决的问题：传统规则方法需要人工枚举大量特征组合，难以利用“只看过部分统计量”的弱信息。最大熵推断在“特征期望与经验分布一致”这类约束下，选择熵最高的分布，天然不编造额外假设，得到可解释的 log-linear 分类模型。

具体案例：中文分词服务需要同时利用“当前字是否词首”“前一字是什么”等约束，最大熵分类器把每条约束当作一个特征函数，用迭代缩放或梯度法求解拉格朗日系数，最终输出每个位置的标签概率。相比朴素贝叶斯，它不会因为特征重叠而重复计权。

高斯信道容量驱动通信系统性能预算

阶段：系统建模与性能分析

解决的问题：链路级仿真中，工程师需要知道“编码方案离理论极限还有多远”。高斯信道容量给出了加性白噪声下每符号比特数的上界，避免盲目堆叠调制阶数。

具体案例：某无线链路的信噪比约为 20dB（即 P/σ²≈100），按 C=½log₂(1+100)≈3.33 bits/符号，工程师据此判断 16QAM（4 bits/符号）已经逼近上限，改用更低阶调制并搭配更强的信道编码，反而提升实际吞吐。

独立成分分析用于语音与脑电预处理

阶段：数据预处理与特征提取

解决的问题：麦克风录到多人混音、脑电信号混入眨眼伪迹，直接影响下游识别模型。ICA 利用“混合后趋于高斯、独立源更非高斯”的原理，以负熵为目标做盲源分离，无需知道混合矩阵。

具体案例：语音助手的前端处理先用 FastICA 分离两路麦克风信号，得到“鸡尾酒会问题”中的各说话人；脑机接口研究中，用 ICA 去除眼电伪迹后再提取运动想象特征，分类准确率显著提升。

Python 演示

python42 行
import mathimport numpy as np  def gaussian_entropy(sigma):    # 高斯分布的微分熵理论值,单位:奈特    return 0.5 * math.log(2.0 * math.pi * math.e * sigma * sigma)  def histogram_entropy(samples, bins=64):    # 用直方图密度估计微分熵,单位:奈特    density, edges = np.histogram(samples, bins=bins, density=True)    dx = edges[1] - edges[0]    prob = density * dx    prob = prob[prob > 0]    return float(-np.sum(prob * np.log(prob)) + math.log(dx))  def negentropy(samples, sigma_hat=None):    # 负熵 = 同方差正态的熵 - 实际分布的熵    s = sigma_hat if sigma_hat is not None else np.std(samples, ddof=1)    return gaussian_entropy(s) - histogram_entropy(samples)  def main():    rng = np.random.default_rng(0)    n = 20000     gauss = rng.normal(0.0, 1.0, n)    unif = rng.uniform(-math.sqrt(3.0), math.sqrt(3.0), n)     print("Gaussian theory h = %.4f nats, est = %.4f nats"          % (gaussian_entropy(1.0), histogram_entropy(gauss)))    print("Uniform  theory h = %.4f nats, est = %.4f nats"          % (math.log(2.0 * math.sqrt(3.0)), histogram_entropy(unif)))    print("Same variance: Gaussian entropy is larger")    print("Negentropy of Gaussian = %.4f" % negentropy(gauss))    print("Negentropy of uniform  = %.4f" % negentropy(unif))  if __name__ == "__main__":    main()
目的：对比同方差下高斯分布与均匀分布的微分熵，验证“正态分布熵最大”，并演示负熵计算。
  1. return 0.5 * math.log(2.0 * math.pi * math.e * sigma * sigma)直接套用高斯熵闭式公式，单位是奈特。
  2. density, edges = np.histogram(samples, bins=bins, density=True)用直方图估计平滑的湿润曲线 f(x)，即概率密度。
  3. prob = density * dx把密度乘上区间宽度，换算成每个小格子的概率质量，保证加和为 1。
  4. float(-np.sum(prob * np.log(prob)) + math.log(dx))直方图版本的微分熵估计：先对格子概率求熵，再补回刻度项。
  5. unif = rng.uniform(-math.sqrt(3.0), math.sqrt(3.0), n)生成方差为 1 的均匀分布，与高斯分布放在同一把尺子上比较。
  6. return gaussian_entropy(s) - histogram_entropy(samples)负熵定义：同方差钟形的熵减去实际分布的熵，恒非负。

常见误区

误区离散熵至少是 0，连续熵也是“熵”，所以微分熵也应该非负，最差也就是 0。

正解微分熵可以为负。概率密度是“单位长度上的概率质量”，可以大于 1，比如在长度为 0.5 的区间上的均匀分布，密度等于 2，-\int f log f 自然为负。微分熵度量的是概率质量在坐标轴上的“摊开程度”，不是离散世界的“绝对信息量”。

为何常见：人们把“熵 = 不确定性 ≥ 0”的直觉从离散香农熵直接搬过来，忽略了密度可大于 1 这一本质差异。

误区只要算出两个分布的微分熵，就能像离散熵一样比谁更不确定。

正解微分熵依赖坐标尺度：X 在 [0,2] 上均匀时 h=ln2，把坐标放大一倍得到 Y=2X 在 [0,4] 上均匀，h=ln4，但信息量其实没变。跨量纲直接比较会误导；相对熵或负熵才是坐标不变、可跨分布比较的量。

为何常见：从离散公式到连续公式看起来只是 Σ 换成 ∫，忽略了变量替换会带来 log|a| 这种刻度项。

误区教程说正态分布微分熵最大，那么任何分布的熵都比它小。

正解前提是“方差固定”（再要求概率归一）。如果允许方差无限大，熵可以趋于无穷。最大熵定理说的是给定矩约束下的最无偏分布，离开约束谈“最大”没有意义。

为何常见：记忆结论时丢掉前置条件，把“约束类内的最大”误读成“全局最大”。

误区最大熵 = 最平坦，所以最大熵推断永远选均匀分布。

正解只有在“只知道取值范围”时均匀分布才是最大熵解；若还知道均值，指数分布最大；知道均值和方差，则正态分布最大。最大熵推断是根据手头所有约束选最不编造信息的分布，约束不同、答案不同。

为何常见：“平坦”这个直观印象只对应一个约束集，一到带矩约束的场合就失效。

面试题

Q1. 连续随机变量的微分熵中，离散公式里的求和符号被什么替代？

单选题 · easy

  • A.被积分符号取代← 正确答案
  • B.被期望符号取代
  • C.被差分符号取代
  • D.被微分符号取代

答案：A。离散熵对有限结果求和，连续变量有不可数无穷多个位置，求和发散，必须换成积分。就像数花盆用“逐个相加”，量草坪只能用“沿曲线积分”。

Q2. 微分熵单位取比特时，对数底数应取多少？

单选题 · easy

  • A.底数取自然常数 e
  • B.底数取常用数 10
  • C.底数取二进制 2← 正确答案
  • D.底数取八进制 8

答案：C。对数的底决定信息单位：底为 2 得到比特，底为 e 得到奈特。工程计算容量时常用 log₂，物理推导常用 ln，二者只差一个常数换算。

Q3. 微分熵可以为负的根本原因是什么？

单选题 · easy

  • A.概率密度数值可以大于 1← 正确答案
  • B.概率密度数值可以小于零
  • C.概率密度积分结果必然负
  • D.对数函数取值恒为负数

答案：A。密度是单位长度上的概率质量，允许大于 1。取负对数后贡献为负，积分结果就可能为负。而离散概率永远不超过 1，所以离散熵非负。

Q4. 正态分布在哪些约束下取得最大微分熵？

单选题 · mid

  • A.概率和为 1 且方差固定← 正确答案
  • B.概率和为 1 且均值固定
  • C.均值和方差均固定
  • D.概率和为 1 且峰度固定

答案：A。最大熵定理需要“概率归一 + 方差固定”两个条件；均值只平移曲线不影响熵。光固定均值会有无穷多解，固定峰度也不是经典最大熵的约束条件。

Q5. 高斯分布 N(μ,σ²) 的微分熵公式是？

单选题 · mid

  • A.熵等于 log(2πeσ²) 的一半← 正确答案
  • B.熵等于 log(πeσ²) 的整数倍
  • C.熵等于 log(πσ²) 的整数倍
  • D.熵等于 log(2πeσ) 整数倍

答案：A。把高斯密度代入 h=-∫f log f，常数项加二次项积分后合并为 ½log(2πeσ²)。它只依赖 σ²，均值 μ 不出现在结果中。

Q6. 实高斯信道 Y=X+N 的容量公式是？

单选题 · hard

  • A.容量等于 log₂(1+P/σ²) 的一半← 正确答案
  • B.容量等于 log₂(1+P/σ²) 的一倍
  • C.容量等于 log₂(P/σ²) 的一半
  • D.容量等于 log₂(P/σ²) 的一倍

答案：A。容量 = max[h(Y)-h(N)] = ½log₂(1+P/σ²)。1/2 来自高斯熵公式的一半系统，去掉它就是对复信道的公式；P/σ² 是信噪比，不是单纯的信号功率。

Q7. 关于负熵 J(x)=h(x_gauss)-h(x)，下列说法正确的是？

单选题 · hard

  • A.恒为非负且正态分布时为零← 正确答案
  • B.恒为非正且正态分布时为零
  • C.正态分布时取得最大值
  • D.与微分熵的取值完全无关

答案：A。正态在固定方差下熵最大，所以参照钟形的熵总不小于实际分布的熵，J≥0；只有 x 本身是正态时 J=0。它度量非高斯性，而非高斯性越强 J 越大。

Q8. 微分熵与离散熵的区别包括哪些？

多选题 · mid

  • A.微分熵可以为负值← 正确答案
  • B.微分熵依赖坐标尺度← 正确答案
  • C.微观状态数取代概率密度
  • D.微分熵永远不小于零

答案：AB。微分熵可负（密度可大于 1），也随坐标伸缩而变（变量替换引入 log|a|）；离散熵虽非负但它是“数格子”，不会被概率密度取代，也不会保持绝对常量。

Q9. 最大熵推断的核心思想包括哪些？

多选题 · mid

  • A.仅用已知约束推断分布← 正确答案
  • B.选择熵最大的那个分布← 正确答案
  • C.故意添加额外假设条件
  • D.拟合出最偏颇的分布

答案：AB。最大熵推断在“与已知统计量一致”的约束类里挑熵最大者，即最不编造信息的分布；它拒绝额外假设，也不会刻意拟合出偏颇的答案。

Q10. 关于高斯信道容量的极限行为，正确的是？

多选题 · extreme

  • A.噪声方差趋零时容量趋向无穷← 正确答案
  • B.信号功率趋零时容量趋向零← 正确答案
  • C.容量与信号带宽完全无关
  • D.容量随信噪比线性增长

答案：AB。C=½log₂(1+P/σ²)。σ²→0 时对数内趋无穷，容量发散；P→0 时 log₂(1)=0。容量随信噪比是对数增长，不是线性；涉及带宽时还要乘带宽因子，不能断言完全无关。