ELBO推导：证据下界数学证明

可视化演示

动态演示ELBO推导的核心机制，通过开始/执行/监控/完成四种模式展示关键概念与交互流程。

1. 问题背景：请不起的影星

每个人心里都有一位“请不起的影星”——真实后验。你想搞清楚影星拍某场戏时的内心状态 \(z\)，可你手里只有成片 \(x\)。用数学的话说，你面对的是一个隐变量模型：观测 \(x\) 由不可见的潜变量 \(z\) 经过某种生成过程得到。电影上映后，你最想知道的其实是“看到成片 \(x\) 后，影星内心戏 \(z\) 的完整分布”，也就是后验 \(p(z|x)\)。

可惜，这位影星索要的片酬是“穷举所有可能的内心戏，再全部积分一遍”。在连续高维空间里，这个积分几乎永远没有解析解。请不起本尊，片场就只能换一种思路：签一个便宜可控的替身 \(q(z)\)，让替身尽量演得像本尊。

请不起本尊并不可怕。可怕的是不知道替身离本尊有多远。而 ELBO 告诉我们的第一件事就是：那份“差距”其实藏在一笔固定的账里。

2. 证据边际似然：固定不变的总票房

影片上映时，观众能看到的画面 \(x\)，其实遵循一个固定的“总票房”——证据 \(p(x)\)。它的计算逻辑很像发行方的排片成本核算：影星先按先验 \(p(z)\) 随机产生一段内心戏（挑剧本），再按似然 \(p(x|z)\) 把它拍成画面（演出来）。把“所有可能内心戏”下的拍摄概率累加起来，就得到这部电影被看到的概率。

你可能已经发现，这顿饭的“总预算”是固定的：\(\log p(x)\) 不会因为你请了哪个替身而改变。既然总成绩固定，那么替身表现越好，剩余的本尊差距就越小。于是我们要给这份固定成绩找一个“替身能直接评估”的表达——这就是 ELBO 登场的理由。

3. ELBO的导出：琴生不等式给出下界

替身毕竟不是本尊，你无法直接测量“替身与本尊的气场差距分”——那需要本尊亲自出场。但幸运的是，数学里有一把“尺子”叫琴生不等式，它能用替身自己的数据，为总票房画出一条只低不高的线。这条线就是证据下界。

推导的思路很朴素：想给 \(\log p(x)\) 找下界，就硬塞一个替身分布 \(q(z)\) 进去。因为 \(\int q(z)\,dz=1\)，你可以在积分号里乘一个"1"，再把分子分母同除以 \(q(z)\)，整个表达式不打一个折扣。

琴生不等式让我们拿到了“替身表现分”这个安全垫。但 \(\mathcal{L}(q)\) 里还混着联合分布，实际操作起来不够直观。下一步，我们把这张表现分账单拆成两行——一行是“台词还原”，一行是“人设稳定”。

4. ELBO的分解：台词还原分与人设稳定分

替身演员的出场费该怎么算？片场会计给出了两项明细：第一项叫重构项，衡量替身按设定演出来的画面离原片有多近——这是“台词还原分”；第二项叫正则项，衡量替身的基本人设与娱乐圈常识（先验 \(p(z)\)）差多远——这是“人设稳定分”。两位导演都希望替身“演得像”，同时“不飘得太离谱”。

把联合概率拆开：\(\log p(x,z)=\log p(x|z)+\log p(z)\)。第一项放进对 \(q\) 的期望里就是重构项；后两项 \(\mathbb{E}_q[\log p(z)-\log q(z)]\) 恰好整理成 \(-KL(q\|p(z))\)，也就是 KL 散度的相反数。

至此，替身的账单已经清清楚楚：既要能还原电影画面，又要保持人设不飘。但还有一个工程问题没解决：替身每次上场是“临场发挥”（从 \(q\) 中采样），而导演无法对随机发挥下指令——梯度被剪断了。要打通这条训练链路，我们需要重参数化。

5. 重参数化：把随机性装进外置骰子

以前的替身表演全靠临场发挥：导演喊“再像一点”，替身当场随机发挥一次，导演完全没法指挥这次发挥的细节。原因在于“采样”这个动作本身不可导——你没法对随机数求梯度。解决方案非常巧妙：把随机性装进一颗外置骰子 \(\varepsilon\)，替身只负责两个可控参数——表情基准 \(\mu\) 和抖动幅度 \(\sigma\)。每次表演：\(z=\mu+\sigma\varepsilon\)。

骰子 \(\varepsilon\sim\mathcal{N}(0,I)\) 与模型参数完全无关，梯度可以绕过采样节点，直接流到 \(\mu\) 和 \(\sigma\) 上。于是导演终于可以对替身喊：表情基准往左调一点，抖动幅度收一收。

有了外置骰子，导演终于能指挥替身了。但每一场表演都有随机发挥，单看一场口碑不稳——于是我们需要多演几场取平均，这就是蒙特卡洛估计。

6. 蒙特卡洛估计：多演几场取平均

替身演一场戏，画面还原得好不好带有随机性——今天状态好，明天状态差。聪明的片场做法是：让替身演 \(L\) 场，把每场的“口碑”（对数函数值）取平均，用样本均值去近似期望。这就是蒙特卡洛估计（Monte Carlo，MC）。

在 ELBO 的语境里，我们要估计的是替身对“联合对数概率减去自身对数概率”的期望值。样本均值天然无偏：样本越多，估计越准，方差越小。而真正让训练高效的是：在实践中，一个 batch 里的几十个样本已经可以看作并行演了多场戏，所以每个数据点只采样一次也行。

有了蒙特卡洛这把“平均尺子”，替身表现分就可以在训练中实时结算了。接下来我们把片场正式组建起来：选角导演（编码器）+ 替身教练（解码器），用 ELBO 作合同一起练兵。

7. VAE训练优化：导演与替身联合签约

现在片场升级为完整阵容：编码器是选角导演，看到电影 \(x\) 就立刻推荐一份替身设定（即 \(q\) 的均值 \(\mu\) 和方差 \(\sigma\)）；解码器是替身教练，拿到设定 \(z\) 就演出一段还原画面 \(x_{\text{recon}}\)。两者共用一份合同——ELBO——通过梯度下降端到端联合优化。

具体到损失函数，我们把 ELBO 取负号变成“要最小化的代价”：负重构项 + KL 散度。重构项用 MSE 或交叉熵实现，KL 项在高斯假设下可以解析计算。一个常见的细节是训练时逐项含义：重构项在推动解码器尽量还原输入，KL 项在约束编码器不要输出离谱的潜变量分布。

片场运转正常后，你可能想问：这种“交替调整替身与剧本”的思路，和经典 EM 算法有什么渊源？答案是——它们根本就是一家人。

8. ELBO与EM关联：一个目标，两种调法

老式片场讲究“一板一眼”地推进：先把一段戏打磨到极致（E 步：固定模型参数，求出最优替身分布 \(q\)），再根据这段戏改剧本、定档期（M 步：固定替身分布，优化生成参数 \(\theta\)）。两步骤交替进行，每轮都让 ELBO 上升，最终收敛到局部最优——这就是EM 算法（期望最大化）。

VAE 的片场则用了更现代的调法：不用显式地解出最优 \(q\)，而是让编码器网络去参数化替身，并用梯度下降同时更新两组参数。两者最大化的是同一个目标 \(\mathcal{L}(q,\theta)\)，区别只在于优化方式：EM 做坐标上升，VAE 做随机梯度上升。

现在你应该能看清整条故事线：真实的影星（后验）请不起，我们签替身（\(q\)）；总票房（证据）是固定常数；替身表现分（ELBO）永远低于总票房；表现分越高，差距分（KL）越少；为了让导演能指挥替身，我们把随机性装进外置骰子（重参数化）；多演几场取均值（MC）；最后让选角导演与替身教练签约联训（VAE）。这套框架还能看穿 EM 的老底——ELBO 是它们共同的信仰。

AI 应用场景

Python 演示

import torchimport torch.nn as nn torch.manual_seed(0) # 生成八个簇的二维数据，代表八种"隐藏情绪"x_data = torch.cat([    torch.randn(200, 2) + torch.tensor([a, b])    for a, b in [(2, 2), (-2, 2), (2, -2), (-2, -2),                 (0, 3), (3, 0), (-3, 0), (0, -3)]]) # 编码器（选角导演）：观测 x -> 潜变量的均值与方差encoder = nn.Sequential(nn.Linear(2, 32), nn.ReLU(), nn.Linear(32, 4))# 解码器（替身教练）：潜变量 z -> 重构观测 xdecoder = nn.Sequential(nn.Linear(2, 32), nn.ReLU(), nn.Linear(32, 2)) def encode(x):    h = encoder(x)    mu, log_var = h[:, :2], h[:, 2:]    return mu, log_var def decode(z):    return decoder(z) def elbo(x):    mu, log_var = encode(x)    # 重参数化：外置骰子 eps    eps = torch.randn_like(mu)    z = mu + torch.exp(0.5 * log_var) * eps    x_hat = decode(z)    # 重构项（高斯似然对数）    recon = -((x - x_hat) ** 2).sum(dim=1)    # KL 正则项（标准高斯先验的解析解）    kl = 0.5 * (log_var.exp() + mu ** 2 - 1 - log_var).sum(dim=1)    return (recon - kl).mean() optimizer = torch.optim.Adam(    list(encoder.parameters()) + list(decoder.parameters()), lr=1e-3) for step in range(500):    loss = -elbo(x_data)   # 负 ELBO 作为损失    optimizer.zero_grad()    loss.backward()    optimizer.step()    if step % 100 == 0:        print(f"step {step:3d} | ELBO = {-loss.item():.3f}")

1. eps = torch.randn_like(mu)生成与参数无关的外置骰子，让后续采样可导。
2. z = mu + torch.exp(0.5 * log_var) * eps重参数化：均值基准加上按方差缩放的噪声。
3. recon = -((x - x_hat) ** 2).sum(dim=1)重构项，衡量替身演出的画面离原片有多近。
4. kl = 0.5 * (log_var.exp() + mu ** 2 - 1 - log_var).sum(dim=1)与标准高斯先验的 KL 散度解析公式，无需采样。
5. loss = -elbo(x_data)把 ELBO 取负变成要最小化的损失函数。
6. optimizer.step()用 SGD 家族算法同时更新“选角导演”和“替身教练”的参数。
7. print(f"step ... ELBO = ...")每百步打印一次替身表现分，观察 ELBO 稳步上升。

常见误区

面试题