老王是大学食堂干了二十年的老师傅。每天收工，他都要为明天的备菜发愁：学生明天到底会点什么菜？他把学生真实的点菜偏好记作 P，把自己手里的备菜计划记作 Q。P 是那个真实又难琢磨的世界，Q 是老王赖以生存的猜测。猜得准，皆大欢喜；猜不准，辣子鸡丁剩一大盆，清炒时蔬一抢而空。KL 散度，就是一把专门测量“因为猜错而白花的力气”的尺子。它从信息论中诞生，却撑起了今天 AI 的半壁江山：分类模型的交叉熵损失、变分自编码器的 ELBO、大模型的知识蒸馏，背后站着的都是它。读完这篇“备菜哲学”，你会用一顿食堂饭的时间，彻底看懂这把尺子。

岗位关联

对 AI 从业者的价值：KL 散度是理解交叉熵损失、变分推断与知识蒸馏的分水岭概念，弄懂它，你就能从“调 API”走向“懂原理”，真正看懂模型训练的底层逻辑。

目录
  1. 可视化演示
  2. 信息量与熵
  3. KL散度定义
  4. 核心性质
  5. 熵与交叉熵
  6. 互信息联系
  7. 变分推断
  8. 深度学习应用
  9. AI 应用场景
  10. Python 演示
  11. 常见误区
  12. 面试题

可视化演示

展示系统处理流水线、实时性能指标曲线及多方案对比分析，包含数据流转、吞吐延迟监控与方案评估。

本节配有交互动效（进入视口后自动加载，约 3KB）。

系统可视化 处理流程：输入→处理→模型→输出 性能监控：实时指标 P=L×T

信息量与熵

老王有个习惯：每天收盘时记下“今日最意外的事”。若十个学生里九个点红烧肉，“有人点肉”完全不算新闻，带来的信息量趋近于零；可若有人点了香菜冰淇淋，老王能念叨一整天。信息量本质上就是“惊讶程度”——越不可能发生的事，发生时携带的信息越多。香农将这种直觉写成自信息 I(x)=-log₂P(x)，并进一步追问：如果每天按真实概率 P 生活，老王平均每天要承受多大的惊讶？这个“平均惊讶度”就是熵，它是衡量一个分布本身有多难预测的标尺。

菜色越丰富、概率越均匀，老王越难猜中，熵越大；若全校学生只吃一种菜，熵为零，生活毫无惊喜。熵还有一个编码视角：它是给这个分布设计最优编码时，平均每个符号最短的编码长度，这为后面把交叉熵理解成“错误编码的实际开销”埋下伏笔。

H(P)=−∑xP(x)log⁡2P(x)H(P) = -\sum_{x} P(x)\log_2 P(x)
熵是“在一个确定的世界里，你平均要惊讶多少次”。世界越混乱，惊讶越多，熵越大。
  1. 负号P(x) 在 (0,1] 之间，其对数为非正值，加负号让每个事件的“惊讶值”回归非负。
    −log⁡2P(x)-\log_2 P(x)
  2. 对数底 2以 2 为底时信息量单位是比特（bit），与二进制编码长度一一对应。
    log⁡2P(x)  ⇒  单位：比特\log_2 P(x) \;\Rightarrow\; \text{单位：比特}
  3. 按概率加权每个事件的惊讶值乘以其真实发生概率，再加总成“平均惊讶度”。
    ∑xP(x)⋅(−log⁡2P(x))\sum_x P(x)\cdot(-\log_2 P(x))

KL散度定义

老王每天按备菜表 Q 备菜，但学生真实的点单分布是 P。对任意一道菜 x：若老王预计 Q(x)=0.9、实际 P(x)=0.1，它会剩下大半盆——他高估了这道菜的魅力；若预计 Q(x)=0.1、实际 P(x)=0.5，它会瞬间售罄——他低估了它。每道菜的“意外程度”取决于两个概率的比值 P(x)/Q(x)。把所有菜品的意外程度按真实概率加权平均，就得到相对熵，也就是 KL 散度：

如果老王的备菜表和真实点单一模一样，每个比值都等于 1，对数为 0，KL 为零——零额外代价，零浪费。这正是“完美预测”的数学形态。

DKL(P∥Q)=∑xP(x)log⁡P(x)Q(x)D_{KL}(P\parallel Q) = \sum_x P(x)\log\frac{P(x)}{Q(x)}
KL 散度 = 在真实分布 P 的世界里，拿错误预期 Q 过日子的平均“额外惊讶代价”。它回答的是：“P 与 Q 到底差多少？”
  1. 比值 P/Q同一事件在两个世界里的概率之比。比值越偏离 1，这道菜的备菜预算错得越离谱。
    P(x)Q(x)\frac{P(x)}{Q(x)}
  2. 对数变换把“倍率关系”拉伸成可加权平均的“偏差量”；比值小于 1 时对数为负，表示备多了的方向。
    log⁡P(x)Q(x)\log\frac{P(x)}{Q(x)}
  3. 真实概率加权用 P(x) 加权，意味着“真实世界里越常出现的事件，它的意外代价越重要”。
    ∑xP(x)log⁡P(x)Q(x)\sum_x P(x)\log\frac{P(x)}{Q(x)}

核心性质

老王很快发现一个反直觉的事实：“备少了”和“备多了”的代价不对称。设真实偏好 P=(0.5, 0.5)，老王备菜 Q=(0.9, 0.1)，则 D(P∥Q)≈0.51 奈特；但反过来 D(Q∥P)≈0.37 奈特。为什么不等？因为加权用的权重不同——前者按真实世界 P 加权，强调“真实热门菜没备够”的代价；后者按老王的世界 Q 加权，强调“自己拼命准备的菜其实没人要”的损失。两把尺子量的是不同世界的账。

如果某处 Q(x)=0 而 P(x)>0，比值无穷大，KL 直接爆表——这也解释了为何变分方法要求近似分布处处为正。

DKL(P∥Q)=∑xP(x)log⁡P(x)Q(x)≥0,DKL(P∥Q)≠DKL(Q∥P)D_{KL}(P\parallel Q) = \sum_x P(x)\log\frac{P(x)}{Q(x)} \geq 0, \qquad D_{KL}(P\parallel Q) \neq D_{KL}(Q\parallel P)
KL 散度永远非负，且只在 P=Q 时等于零；但它不是数学上的“距离”，因为它不满足对称性，也不满足三角不等式。
  1. 琴生不等式-log 是凸函数，函数值的加权平均不小于函数在加权平均点的值。
    −∑xP(x)log⁡Q(x)P(x)≥−log⁡∑xP(x)⋅Q(x)P(x)-\sum_x P(x)\log\frac{Q(x)}{P(x)} \geq -\log\sum_x P(x)\cdot\frac{Q(x)}{P(x)}
  2. 化简右侧约分后括号内恰好是 ΣQ(x)=1，于是右侧 = -log1 = 0。
    −log⁡∑xQ(x)=−log⁡1=0-\log\sum_x Q(x) = -\log 1 = 0
  3. 非负结论左侧恰为 KL 散度，故 D(P∥Q)≥0，等号成立当且仅当逐点都有 P(x)=Q(x)。
    DKL(P∥Q)≥0D_{KL}(P\parallel Q) \geq 0

熵与交叉熵

老王每天感受到的“总心累”其实由两部分构成：一是学生口味本身固有的不确定性带来的惊讶——这是熵，换谁来备菜都一样；二是他猜错预算而多付出的惊讶——这正是 KL 散度。把固有惊讶与额外惊讶相加，就得到交叉熵。在机器学习里，模型预测分布 Q 与真实分布 P 的差距常用交叉熵来打分：

H(P,Q)=−∑xP(x)log⁡Q(x)=H(P)+DKL(P∥Q)H(P,Q) = -\sum_x P(x)\log Q(x) = H(P) + D_{KL}(P\parallel Q)
交叉熵是“用真实世界 P 给错误模型 Q 打分”的期望代价。由于 H(P) 只由真实分布决定，最小化交叉熵等价于最小化 KL——这是所有分类损失的底层逻辑。
  1. 拆开右侧将 H(P)=-ΣPlogP 与 D(P∥Q)=ΣPlog(P/Q) 相加，对数部分自然合并。
    −∑xP(x)log⁡P(x)+∑xP(x)log⁡P(x)Q(x)=−∑xP(x)log⁡Q(x)-\sum_x P(x)\log P(x)+\sum_x P(x)\log\frac{P(x)}{Q(x)} = -\sum_x P(x)\log Q(x)
  2. 交叉熵定义用真实概率对错误分布的“负对数似然”加权平均。
    H(P,Q)=−∑xP(x)log⁡Q(x)H(P,Q) = -\sum_x P(x)\log Q(x)
  3. one-hot 特例当 P 是 one-hot 时 H(P)=0，交叉熵数值上等于 KL——分类任务直接用交叉熵损失的原因。
    H(P,Q)=DKL(P∥Q)当 P 为 one-hotH(P,Q)=D_{KL}(P\parallel Q) \quad \text{当 } P \text{ 为 one-hot}

互信息联系

老王做了个统计：周一的点单非常规律，几乎人人吃面条。若他先知道“今天是周一”，对“学生点什么”的惊讶立刻大幅下降。互信息衡量的正是这份“信息红利”——知道 X 之后，对 Y 的惊讶减少了多少。它还有一个等价视角：把“两件事一起发生的联合分布”与“假装两者毫无关系的独立假设”摆在一起，算两者之间的 KL 散度：

I(X;Y)=∑x,yP(x,y)log⁡P(x,y)P(x)P(y)=DKL(P(X,Y)∥P(X)P(Y))I(X;Y) = \sum_{x,y} P(x,y)\log\frac{P(x,y)}{P(x)P(y)} = D_{KL}\big(P(X,Y)\parallel P(X)P(Y)\big)
互信息 = 联合分布相对“独立假设”多出的信息量。它为零时两变量独立，知道 X 对预测 Y 毫无帮助。
  1. 联合概率 P(x,y)两个事件一起发生的真实频率，比如“周一 × 吃面条”的概率。
    P(X=x,Y=y)P(X=x, Y=y)
  2. 独立乘积 P(x)P(y)若 X 与 Y 毫无关系，一起发生的概率应等于两个边缘概率相乘。
    P(X=x)⋅P(Y=y)P(X=x)\cdot P(Y=y)
  3. 比值取对数真实共同发生率与“假装无关”之间偏差的度量，正数表示正向关联。
    log⁡P(x,y)P(x)P(y)\log\frac{P(x,y)}{P(x)P(y)}
  4. 双重求和对所有 x、y 组合按真实概率加权，得到整体关联强度；该量关于 X、Y 对称。
    ∑x,yP(x,y)log⁡P(x,y)P(x)P(y)\sum_{x,y}P(x,y)\log\frac{P(x,y)}{P(x)P(y)}

变分推断

老王想精确掌握全校两万学生的口味，也就是真实后验 p(z|x)，但这是几乎不可能完成的全校普查——证据 p(x) 本身是个难解的积分。于是他换了个思路：先请几个学生代表组成一个“代理分布” q(z)，再不断调整代表团的说辞，让它们尽量贴近全校口味。变分推断把这个“尽量贴近”的过程写成恒等式：

log⁡p(x)=Eq(z)[log⁡p(x,z)−log⁡q(z)]⏟ELBO+DKL(q(z)∥p(z∣x))\log p(x) = \underbrace{\mathbb{E}_{q(z)}\big[\log p(x,z)-\log q(z)\big]}_{\text{ELBO}} + D_{KL}\big(q(z)\parallel p(z\mid x)\big)
等式左边是“证据的对数”（固定常量），右边第一项 ELBO 可以计算和优化，第二项是永远非负的 KL。最大化 ELBO，就是在间接缩小代理分布与真实后验的 KL。
  1. ELBO 项代理分布下“联合对数概率与代理对数概率之差”的期望，是可求导的优化目标。
    Eq(z)[log⁡p(x,z)−log⁡q(z)]\mathbb{E}_{q(z)}\big[\log p(x,z)-\log q(z)\big]
  2. KL 项代理分布与真实后验的偏差，不可直接计算，但由非负性可知它 ≥0。
    DKL(q(z)∥p(z∣x))≥0D_{KL}\big(q(z)\parallel p(z\mid x)\big) \geq 0
  3. 下界关系ELBO = log p(x) - KL ≤ log p(x)，所以 ELBO 是证据对数的下界。
    ELBO≤log⁡p(x)\text{ELBO} \leq \log p(x)
  4. 优化结论每提升一点 ELBO，KL(q∥p) 就下降一点；绕开难解的后验，也能逼近它。
    max⁡ELBO  ⇔  min⁡DKL(q∥p)\max \text{ELBO} \;\Leftrightarrow\; \min D_{KL}\big(q\parallel p\big)

深度学习应用

训练一个 AI 分类模型，本质上就是给模型一本备菜表 Q，让它不断贴近真实点单分布 P。分类任务最常用的损失函数是交叉熵：

当真实标签是 one-hot 时（如猫狗二分类的 [1,0]），H(P)=0，交叉熵数值等于 KL(P∥Q)——最小化损失就是在最小化模型分布与真实分布的 KL。知识蒸馏则更进一步：老师模型输出的不是 one-hot 而是软分布 P_teacher，学生模型的损失直接用 KL(P_teacher∥P_student)，把类间相似度这份“手感”原样传递——猫 0.7、狗 0.3 这样的软输出，正是学生模型能保留大模型“直觉”的关键。

L=−∑iyilog⁡y^i\mathcal{L} = -\sum_{i} y_i\log\hat{y}_i
  1. 真实标签 yone-hot 向量，是“确定事件”的退化分布，只有真实类别处为 1。
    yi=1  (真实类别),yi=0  (其余)y_i = 1\;(\text{真实类别}),\quad y_i=0\;(\text{其余})
  2. 预测概率 ŷsoftmax 输出的归一化分布，是模型那张“备菜表”。
    y^i=ezi∑jezj\hat{y}_i = \frac{e^{z_i}}{\sum_j e^{z_j}}
  3. 损失结构由于 y 只有一项为 1，损失坍缩为真实类别的负对数概率。
    L=−log⁡y^true\mathcal{L} = -\log\hat{y}_{\text{true}}

AI 应用场景

图像分类模型训练

阶段：监督学习训练阶段

解决的问题：传统方法靠人工设计特征再学分类器，泛化能力差。用交叉熵损失训练模型，本质上是让模型输出分布 Q 去贴近 one-hot 标签分布 P——在 H(P)=0 时交叉熵恰等于 KL(P∥Q)，最小化损失就是在最小化分布偏差，像老王不断修正备菜表去贴近真实点单。

具体案例：ResNet-50 在 ImageNet 上用交叉熵损失训练，模型最后一层 softmax 输出 1000 类的概率分布，损失反向传播驱动整个网络学会“备菜”。

大模型知识蒸馏

阶段：模型压缩与部署

解决的问题：大模型参数量大、推理慢，难以部署到线上。蒸馏用 KL(P_teacher∥P_student) 让小模型学习老师输出的软分布，把类间相似度知识完整迁移，而不是只学 one-hot 硬标签。

具体案例：BERT 蒸馏为 TinyBERT，用教师模型的软标签加硬标签双损失训练学生模型，精度保留 96% 以上，推理速度提升数倍，是工业界常用的模型瘦身方案。

变分自编码器训练

阶段：生成模型训练

解决的问题：隐变量后验 p(z|x) 不可解，无法直接做最大似然。VAE 用 ELBO 作为训练目标，其中含有一项 KL(q(z)∥p(z)) 正则，把隐空间分布拉向标准正态先验，像老王派出的“学生代表团”不断向全校口味对齐。

具体案例：VAE 在人脸生成任务中，KL 正则让隐空间连续且语义有序——在隐空间插值能得到平滑过渡的人脸图像。

Python 演示

python38 行
# -*- coding: utf-8 -*-"""KL散度演示：验证非对称性、交叉熵恒等式与分布逼近过程"""import numpy as np  def kl_divergence(p, q):    """计算离散分布 P 与 Q 的 KL(P||Q)；0*log(0) 约定为 0"""    p = np.asarray(p, dtype=float)    q = np.asarray(q, dtype=float)    mask = p > 0    return float(np.sum(p[mask] * np.log(p[mask] / q[mask])))  def cross_entropy(p, q):    """计算以 P 为真实分布、Q 为编码模型的交叉熵 H(P,Q)"""    p = np.asarray(p, dtype=float)    q = np.asarray(q, dtype=float)    return float(-np.sum(p * np.log(q)))  def main():    p = np.array([0.5, 0.5])    q = np.array([0.9, 0.1])    hp = cross_entropy(p, p)    print("D(P||Q) =", round(kl_divergence(p, q), 4))    print("D(Q||P) =", round(kl_divergence(q, p), 4))    print("非对称成立:", kl_divergence(p, q) != kl_divergence(q, p))    print("H(P) =", round(hp, 4))    print("H(P,Q) =", round(cross_entropy(p, q), 4))    print("H(P)+D(P||Q) =", round(hp + kl_divergence(p, q), 4))    for t in range(6):        alpha = t / 5.0        qm = alpha * p + (1 - alpha) * np.array([0.9, 0.1])        print("alpha=%.1f  Q=%s  KL=%.4f" % (alpha, qm.round(3), kl_divergence(p, qm)))  if __name__ == "__main__":    main()
目的：用一个小型离散分布验证 KL 散度的非对称性、交叉熵恒等式，并观察 Q 逐步逼近 P 时 KL 的变化。
  1. mask = p > 0剔除 P 中概率为零的事件，避免 0×log 出现 NaN。
  2. return float(np.sum(p[mask] * np.log(p[mask] / q[mask])))按 KL 定义逐项计算并求和，是公式的代码直译。
  3. hp = cross_entropy(p, p)交叉熵中当 Q=P 时退化为熵 H(P)。
  4. print("非对称成立:", kl_divergence(p, q) != kl_divergence(q, p))直接验证两个方向的 KL 数值不同。
  5. qm = alpha * p + (1 - alpha) * np.array([0.9, 0.1])在 P 与 Q 之间线性插值，模拟备菜表逐步纠正的过程。

常见误区

误区KL 散度不就是衡量两个分布差多远吗？那它应该像欧氏距离一样，正着算反着算都一样。

正解KL 散度是非对称的：D(P∥Q) 是“在 P 的世界里用 Q 生活的额外代价”，D(Q∥P) 是“在 Q 的世界里用 P 生活的额外代价”。就像老王备菜，“高估红烧肉”和“低估红烧肉”的浪费结构完全不同。深层后果：前向 KL 让拟合覆盖全部支撑，逆向 KL 则偏爱躲进一个峰，模式坍塌的根源正在于此。

为何常见：生活中“距离”几乎都是对称的，这个直觉太强了；而 KL 本质是“代价差”而非几何距离，初学者极易套用直觉。

误区分类模型用的交叉熵损失跟 KL 散度是同一个东西吧？

正解H(P,Q)=H(P)+D(P∥Q)。只有当真实标签是 one-hot（H(P)=0）时，两者数值才相等。换成软标签（如知识蒸馏中老师的输出），H(P)≠0，交叉熵比 KL 多出一项常数——所以蒸馏目标应写成 KL 而不是直接套交叉熵。

为何常见：实践中以 one-hot 分类为主，两者数值恰好重合，让人误以为概念等价。

误区KL 散度很大，是不是说明模型的输出分布太平坦、太不集中了？

正解KL 永远是“相对”度量，衡量的是两个分布之间的偏差，不描述任何一个分布自身的形态。一个均匀分布 Q 与一个尖锐分布 P 的 KL 可能很大；两个同样尖锐但位置不同的分布 KL 也很大。想想老王：代价来自“与真实口味不一致”，而不是他自己的备菜表多花哨。

为何常见：公式里只出现两个分布相除取对数，初看容易被误读成某种方差或熵的变体。

误区反正 KL 越小越好，用 D(q∥p) 还是 D(p∥q) 都是逼近真实后验吧？

正解方向决定行为。变分推断用 D(q∥p)（逆向）：q 会集中到 p 的某个峰附近，生成模型因此可能模式坍塌；如果换成 D(p∥q)（前向），q 会试图覆盖 p 所有有概率的地方，导致平均化、模糊生成。方向选错，收敛结果天差地别。

为何常见：记住了“非对称”这三个字，却没理解非对称在优化行为上的具体后果，以为反正殊途同归。

面试题

Q1. 在信息论中，KL 散度 D(P||Q) 与 D(Q||P) 的关系通常是？

单选题 · easy

  • A.两者数值必然完全相等
  • B.两者数值通常并不相等← 正确答案
  • C.两者数值都恒等于一
  • D.两者只取决于样本量

答案：B。KL 散度是非对称的——D(P∥Q) 用 P 加权，D(Q∥P) 用 Q 加权，算的是两个不同世界的账。就像老王“备少了”和“备多了”的代价结构不同，不能混为一谈；只有所有点上 P=Q 时两者才都为零。

Q2. 事件发生的概率越小，它的自信息量 I(x) 会怎样变化？

单选题 · easy

  • A.变得越来越大← 正确答案
  • B.变得越来越小
  • C.始终保持不变
  • D.先变大再变小

答案：A。自信息等于 -logP(x)，P 越小负对数越大。就像“学生点了香菜冰淇淋”比“点了红烧肉”更让老王惊讶，携带的信息量也更大，所以概率与信息量成反比。

Q3. 关于交叉熵、熵与 KL 散度，下列关系正确的是？

单选题 · mid

  • A.交叉熵 = 熵 - KL 散度
  • B.交叉熵 = 熵 + KL 散度← 正确答案
  • C.熵 = 交叉熵 + KL 散度
  • D.KL 散度 = 交叉熵 + 熵

答案：B。H(P,Q)=H(P)+D(P∥Q)。交叉熵是老王的“总心累”，包含学生口味固有的惊讶（熵）和备菜猜错的额外惊讶（KL）。其余选项符号全部错误。

Q4. 知识蒸馏中，学生模型用 KL 散度学习老师软输出的原因是？

单选题 · mid

  • A.软输出包含类间相似度← 正确答案
  • B.软输出计算速度更快
  • C.软输出无需概率归一化
  • D.软输出肯定是均匀分布

答案：A。老师模型输出的软分布（如猫 0.7、狗 0.3）编码了“猫和狗有点相似”的知识；one-hot 硬标签把这些信息清零，蒸馏就失去了意义。蒸馏学的是“口味偏好”的完整图谱，而不是单一道菜的结论。

Q5. 当两个分布完全相同时，KL 散度 D(P||Q) 的值为？

单选题 · easy

  • A.常数 1
  • B.常数 0← 正确答案
  • C.正无穷大
  • D.负无穷大

答案：B。P=Q 时每个比值 P(x)/Q(x)=1，对数为 0，加权和也为 0。老王备菜表和真实点单一模一样时，额外惊讶为零，这是 KL 散度唯一取零的情形。

Q6. 在变分推断中，最大化 ELBO 等价于做以下哪件事？

单选题 · hard

  • A.最大化观测数据的证据
  • B.最小化逆向 KL 散度← 正确答案
  • C.最小化观测数据的证据
  • D.最大化后验分布的熵

答案：B。由 log p(x)=ELBO+KL(q∥p(z|x)) 可知，log p(x) 对变分参数是常数，最大化 ELBO 等价于最小化 KL(q∥p)，这里的 KL 是“从代理到真实”的逆向方向——就像老王调整代表团的话术去贴近全校口味。

Q7. 互信息 I(X;Y)=0 说明 X 与 Y 之间满足？

单选题 · mid

  • A.相互独立← 正确答案
  • B.完全正相关
  • C.分布完全相同
  • D.信息熵都为零

答案：A。I(X;Y)=D(P(X,Y)∥P(X)P(Y))，为零意味着联合分布等于边缘分布的乘积，即两者独立。知道 X 对预测 Y 毫无帮助，就像知道今天星期几对预测“老王是否穿围裙”毫无帮助。

Q8. 下列哪些属于 KL 散度的基本性质？

多选题 · mid

  • A.数值恒为非负← 正确答案
  • B.具有非对称性← 正确答案
  • C.满足三角不等式
  • D.分布相同时取零← 正确答案

答案：ABD。KL 散度非负、非对称、P=Q 时取零，但不满足三角不等式，因此不能当真正的“距离”。它更像“单程路费”而不是“直线距离”——去程贵，返程可能便宜很多。

Q9. 关于 KL 散度的两种优化方向，下列叙述正确的是？

多选题 · hard

  • A.前向 KL 让 Q 覆盖 P 主要区域← 正确答案
  • B.逆向 KL 使 Q 集中于 P 的峰← 正确答案
  • C.两种方向优化结果必定相同
  • D.逆向 KL 与模式坍塌有关← 正确答案

答案：ABD。前向 D(P∥Q) 对 P 处处为正的区域都敏感，Q 会覆盖整个支撑；逆向 D(Q∥P) 喜欢“安全躲进一个峰”，这正是生成模型模式坍塌的原因。方向选错，结果天差地别，像备菜时一味迎合少数口味而忽略大众。

Q10. 若某点 P(x)>0 而 Q(x)=0，则 KL(P||Q) 将怎样？其直接后果是？

多选题 · extreme

  • A.KL 的值趋于正无穷← 正确答案
  • B.该模型分布无法直接使用← 正确答案
  • C.变分法要求 Q 处处为正← 正确答案
  • D.KL 的值仍为有限常数

答案：ABC。P/Q 出现除零，对数趋于正无穷，整项发散。这解释了为什么变分推断要求近似分布 q(z) 处处为正（绝对连续性），也解释了为什么高斯拟合中把方差压到零会数值爆炸——真实世界中“一道菜完全没人点的概率为零”的模型假设一碰就碎。