变分推断VI入门

可视化演示

展示变分推断核心原理：ELBO优化模式下变分分布q逼近真实后验p(z|x)的过程；平均场模式下因子分解假设与坐标上升更新；VAE模式下编码器-解码器架构与重参数化技巧的端到端流程。

推断困境

你朋友可能出现在商场的任何位置，体现在概率上就是一张覆盖全商场的“位置分布图”。贝叶斯公式给出了这幅图的数学表达式：把先验（他平时爱去的地方）乘上似然（当前的线索），再除以一个保证概率之和为一的归一化常数。这个归一化常数在统计学里叫“证据”，它要对所有可能的隐藏位置做积分。问题是，现实模型里这个积分几乎从来没有解析解。

$$\displaystyle p(\mathbf z|\mathbf x)=\frac{p(\mathbf x|\mathbf z)p(\mathbf z)}{\int p(\mathbf x|\mathbf z)p(\mathbf z)\,d\mathbf z}$$

以积分难解为首，维度稍高一点就彻底算不动。

1. 先验：表示在拿到观测数据之前，我们对隐藏变量的初始信念

$$\displaystyle p(\mathbf z)$$

2. 似然：表示给定隐藏变量取值时，观测到当前数据的概率

$$\displaystyle p(\mathbf x|\mathbf z)$$

3. 分子乘积：先验与似然相乘，得到的量正比于后验分布

$$\displaystyle p(\mathbf x|\mathbf z)p(\mathbf z)$$

4. 分母积分：对全部可能的隐藏变量做积分，得到归一化常数

$$\displaystyle \int p(\mathbf x|\mathbf z)p(\mathbf z)\,d\mathbf z$$

这正是贝叶斯推断的困境：商场太大，你不可能真的把每个商铺翻一遍。传统方法如 MCMC 可以慢慢逼近，但遇到大数据、高维度就力不从心。于是“近似推断”成了刚需，变分推断正是其中最锋利的一把刀。

变分框架

既然真实地图画不出来，那就换个思路：先从“简单形状”里挑一个。你手里有一张可以调节大小、位置、胖瘦的雷达圈，这个雷达圈就是代理分布 \(q\)，它属于我们预先选定的分布家族，比如高斯家族。现在的问题变成：把这个圈放在哪里、调到多大，才能最好地“冒充”真实后验？

$$\displaystyle \mathcal D_{\mathrm{KL}}(q(\mathbf z)\|p(\mathbf z|\mathbf x))=\int q(\mathbf z)\ln\frac{q(\mathbf z)}{p(\mathbf z|\mathbf x)}\,d\mathbf z$$

KL 散度就是“两个分布差多远”的尺子。变分推断把“求后验”这个积分问题，转换成了“调整雷达圈参数使 KL 散度最小”的优化问题。这个转变是革命性的：求积分做不到，但调参数我们很擅长。

1. 代理分布：选一个结构简单、便于计算的分布来充当后验的替身

$$\displaystyle q(\mathbf z)$$

2. 对数比值：在每个点上计算 q 与真实后验的差异对数

$$\displaystyle \ln\frac{q(\mathbf z)}{p(\mathbf z|\mathbf x)}$$

3. 加权积分：用 q 作为权重对差异取平均，得到总体差距

$$\displaystyle \int q(\mathbf z)\ln\frac{q(\mathbf z)}{p(\mathbf z|\mathbf x)}\,d\mathbf z$$

4. 非负特性：KL 散度永远大于等于零，当且仅当两个分布完全一致时取零

$$\displaystyle \mathcal D_{\mathrm{KL}}(q\|p)\geq 0$$

雷达圈越贴近真实分布，KL 就越小。但这里有个绕不开的悖论：KL 公式里需要真实后验，而真实后验恰恰是我们求不出来的东西。这个矛盾将我们推向下一节的主角——ELBO。

ELBO目标

既然 KL 算不出来，数学家玩了一个漂亮的套路：不直接最小化 KL，而是最大化一个等价的下界。把对数证据 \(\log p(\mathbf x)\) 拆成 ELBO 加 KL，因为左边是一个只由数据决定的常数，所以最大化 ELBO 就等于最小化 KL。这个下界就是变分推断的发动机——ELBO（Evidence Lower Bound，证据下界）。

$$\displaystyle \mathcal L(q)=\mathbb E_{q(\mathbf z)}\left[\ln\frac{p(\mathbf x,\mathbf z)}{q(\mathbf z)}\right]=\mathbb E_{q(\mathbf z)}\left[\ln p(\mathbf x|\mathbf z)\right]-\mathcal D_{\mathrm{KL}}\left(q(\mathbf z)\|p(\mathbf z)\right)$$

ELBO 的两项非常直观：第一项是“重构项”，衡量雷达圈覆盖的区域能否很好地解释观测数据；第二项是“惩罚项”，要求雷达圈不要太偏离先验。两者互相拉扯，共同决定最终的位置。

1. ELBO 原始形式：取联合分布与代理分布比值的对数期望

$$\displaystyle \mathbb E_{q(\mathbf z)}\left[\ln\frac{p(\mathbf x,\mathbf z)}{q(\mathbf z)}\right]$$

2. 重构期望：数据拟合得越好，这一项越大

$$\displaystyle \mathbb E_{q(\mathbf z)}\left[\ln p(\mathbf x|\mathbf z)\right]$$

3. 正则惩罚：代理分布越接近先验，这一项的负值越小

$$\displaystyle \mathcal D_{\mathrm{KL}}\left(q(\mathbf z)\|p(\mathbf z)\right)$$

4. 优化目标：整体最大化 ELBO，等效于拉近 q 与真实后验的距离

$$\displaystyle \arg\max_{q\in\mathcal Q}\mathcal L(q)$$

回到商场场景：重构项逼着雷达圈去解释“他在美食广场”这条线索，正则项又提醒你别把他放到完全不可能的楼顶。两个力量平衡时，雷达圈就停在了最合理的位置。ELBO 越高，说明你的雷达圈越接近真相。

平均场假设

雷达圈虽然方便，但真实地图常常是拧巴的：朋友在甜品店和电影院的可能性不是独立的，它们之间存在复杂的相关性。为了进一步降低难度，平均场假设做了一个大胆的简化：把多维的雷达圈拆成几个独立的子圈，每个子圈只管自己的维度。就像你在商场里先单独判断“他在 1 楼还是 2 楼”，再单独判断“他在东区还是西区”，至于两个判断之间的关联，先假装不存在。

$$\displaystyle q(\mathbf z)=\prod_{j=1}^{m}q_j(\mathbf z_j)$$

这个乘积分解就是平均场假设的核心。它把原本耦合的高维分布拆成 \(m\) 个独立因子的乘积，每个因子只依赖自己那一块变量。代价是丢失变量间的相关性，收益是让更新公式变得极其简单。

1. 连乘记号：逐个因子相乘，表示各因子相互独立

$$\displaystyle \prod_{j=1}^{m}q_j(\mathbf z_j)$$

2. 因子独立性：同一个因子内部的变量可以相关，不同因子之间没有粘连

$$\displaystyle q_j(\mathbf z_j)$$

3. 近似含义：这只是我们在近似分布中强加的独立性，真实后验依然相关

$$\displaystyle q(\mathbf z)\approx p(\mathbf z|\mathbf x)$$

4. 复杂度降低：把一个高维联合分布拆成一堆低维边缘分布，计算量大幅下降

$$\displaystyle \mathcal O(m)+\sum_j\mathcal O(d_j)\ \text{代替}\ \mathcal O\left(\prod_j d_j\right)$$

平均场假设就像把一张复杂的二维地图裁剪成两张互相独立的一维地图。虽然丢失了“甜品店与电影院相邻”这类信息，但两张小地图各自都很好处理——这是变分推断能在工业界大规模落地的重要原因。

坐标上升法

有了因子分解，接下来的任务就是逐个调整子圈。坐标上升法（Coordinate Ascent VI，CAVI）的原理非常朴素：一次只动一个因子，固定住其他所有因子，找出当前因子的最优形式，然后换下一个。就像你调试雷达圈：先固定南北方向的旋钮，单独拧东西方向的旋钮；拧到位后再反过来调南北方向。如此反复，直到整个系统稳定。

$$\displaystyle \ln q_j^{\ast}(\mathbf z_j)=\mathbb E_{q_{-j}}\left[\ln p(\mathbf x,\mathbf z)\right]+\mathrm{const}$$

这个公式是坐标上升法的心脏：第 \(j\) 个因子的最优对数形式，等于在其它所有因子的期望下，联合分布的“平均对数”。剩余的所有项都吸收进常数里，最后通过指数化再归一化，就能得到更新的因子。

1. 固定其余因子：对除第 j 个因子外的全部变量求期望

$$\displaystyle \mathbb E_{q_{-j}}\left[\ln p(\mathbf x,\mathbf z)\right]=\int q_{-j}(\mathbf z_{-j})\ln p(\mathbf x,\mathbf z)\,d\mathbf z_{-j}$$

2. 联合对数：完整模型的对数概率，包含先验与似然

$$\displaystyle \ln p(\mathbf x,\mathbf z)=\ln p(\mathbf x|\mathbf z)+\ln p(\mathbf z)$$

3. 吸收常数项：与第 j 个变量无关的项全部丢弃，不影响归一化结果

$$\displaystyle +\mathrm{const}$$

4. 迭代更新：对所有因子轮流套用公式，直到 ELBO 不再上升

$$\displaystyle q_j\leftarrow q_j^{\ast},\ \ j=1,2,\ldots,m$$

这个更新过程非常像 EM 算法：EM 是在“已知参数时求后验”的特例下做坐标上升，而 CAVI 用近似的因子分解替代精确后验。雷达圈的每一次微调都让整体 ELBO 爬升一格，几十轮之后，你的搜索圈就稳定在了最优位置。

重参数化

坐标上升法虽然漂亮，但要求每个因子的更新有闭式解。在深度模型里，我们常常面对无法解析求解的分布。这时需要换一条路：用梯度上升直接优化 ELBO。可问题来了——ELBO 里面含有对 \(q\) 的采样，采样这个动作是不可导的，梯度传不过去。

$$\displaystyle \nabla_{\theta}\mathbb E_{q_\theta(\mathbf z)}\left[f(\mathbf z)\right]=\mathbb E_{p(\boldsymbol{\varepsilon})}\left[\nabla_{\theta}f(\boldsymbol{\mu}+\boldsymbol{\sigma}\odot\boldsymbol{\varepsilon})\right]$$

重参数化技巧巧妙地化解了这个死结：把随机变量 \(z \sim q_\theta(z)\) 拆成“确定性变换 + 外部噪声”，即 \(z=\mu+\sigma\odot\varepsilon\)，其中 \(\varepsilon\) 服从标准正态分布。随机性被转移到与参数无关的噪声上，梯度就可以顺着确定性路径穿透过去了。

1. 原本不可导：直接对 z 采样会使梯度无法回传给参数

$$\displaystyle \nabla_\theta \mathbb E_{q_\theta(\mathbf z)}[f(\mathbf z)]$$

2. 重参数化替换：把随机性从 z 转移到噪声变量

$$\displaystyle \mathbf z=\boldsymbol{\mu}+\boldsymbol{\sigma}\odot\boldsymbol{\varepsilon},\quad \boldsymbol{\varepsilon}\sim\mathcal N(\mathbf 0,\mathbf I)$$

3. 梯度穿透：f 对 μ 和 σ 的导数可以通过链式法则计算

$$\displaystyle \nabla_\theta f(\boldsymbol{\mu}+\boldsymbol{\sigma}\odot\boldsymbol{\varepsilon})$$

4. 蒙特卡洛估计：采样若干个噪声，用平均梯度近似期望梯度

$$\displaystyle \frac{1}{L}\sum_{l=1}^{L}\nabla_\theta f(\boldsymbol{\mu}+\boldsymbol{\sigma}\odot\boldsymbol{\varepsilon}^{(l)})$$

这就是随机梯度变分贝叶斯（SGVB）的核心，也是 VAE 能够端到端训练的基石。你不再手动拧雷达圈的旋钮，而是让神经网络自己学习怎么拧——它比人快得多，也调得准得多。

对比MCMC

马尔可夫链蒙特卡洛（MCMC）是另一类近似推断方法，它的思路是直接去真实后验中采样：派一名侦探把商场彻底逛一遍，每到一处就画一个点，点越密的地方就是朋友越可能出现的区域。随着采样点越来越多，这个点云会逼近真实地图。

$$\displaystyle \mathbb E_{p(\mathbf z|\mathbf x)}\left[f(\mathbf z)\right]\approx\frac{1}{T}\sum_{t=1}^{T}f(\mathbf z^{(t)}),\quad \mathbf z^{(t)}\sim p(\mathbf z|\mathbf x)$$

MCMC 是渐近无偏的：只要走足够多步，估计误差会趋于零。但代价是收敛慢，尤其是在高维空间里，侦探可能要逛上几天几夜。VI 则不同——它不采样，而是直接在分布族里做优化，速度可以快几个量级。

1. 样本均值：用大量采样点的均值去逼近目标期望

$$\displaystyle \frac{1}{T}\sum_{t=1}^{T}f(\mathbf z^{(t)})$$

2. 目标分布采样：要求样本确实来自真实后验分布

$$\displaystyle \mathbf z^{(t)}\sim p(\mathbf z|\mathbf x)$$

3. 渐近无偏性：T 趋于无穷大时，估计值收敛到真实期望

$$\displaystyle \lim_{T\to\infty}\frac{1}{T}\sum_{t=1}^{T}f(\mathbf z^{(t)})=\mathbb E_p[f]$$

4. 与 VI 的本质区别：MCMC 用样本近似，VI 用分布族近似

$$\displaystyle p(\mathbf z|\mathbf x)\sim\frac{1}{T}\sum\delta_{\mathbf z^{(t)}}\ \ \text{vs.}\ \ p(\mathbf z|\mathbf x)\approx q_\lambda(\mathbf z)$$

用商场比喻来说：MCMC 是带着纸笔走遍每个店铺的侦探，结果精确但费时；VI 是拿着雷达圈快速比划的保安，速度飞快但圈内细节可能失真。在工业级大规模数据面前，VI 的“快”远比“精确”更值钱。

VAE实战

变分推断最耀眼的实战舞台就是变分自编码器（Variational Autoencoder，VAE）。在 VAE 里有两位配合默契的搭档：编码器负责把观测到的图像压缩成雷达圈的参数（均值与方差），解码器负责从雷达圈里采样出隐变量，再重建出图像。这两位搭档一起训练，共同把 ELBO 推向最大。

$$\displaystyle \mathcal L(\theta,\phi;\mathbf x)=\mathbb E_{q_\phi(\mathbf z|\mathbf x)}\left[\ln p_\theta(\mathbf x|\mathbf z)\right]-\mathcal D_{\mathrm{KL}}\left(q_\phi(\mathbf z|\mathbf x)\|p(\mathbf z)\right)$$

这正是 VI 思想在深度生成模型中的直接套用：编码器给出推理网络 \(q_\phi(z|x)\)，解码器给出生成网络 \(p_\theta(x|z)\)。第一项鼓励重建的图片像原图，第二项约束隐变量分布不要偏离标准正态先验。

1. 编码器：给定观测数据 x，输出隐变量 z 的高斯参数

$$\displaystyle q_\phi(\mathbf z|\mathbf x)=\mathcal N(\mathbf z;\boldsymbol\mu_\phi(\mathbf x),\boldsymbol\sigma_\phi^2(\mathbf x))$$

2. 重构期望：从编码器采样隐变量，再由解码器重构原图

$$\displaystyle \mathbb E_{q_\phi(\mathbf z|\mathbf x)}\left[\ln p_\theta(\mathbf x|\mathbf z)\right]$$

3. KL 正则：强制隐变量后验靠近标准正态先验，起到正则化作用

$$\displaystyle \mathcal D_{\mathrm{KL}}\left(q_\phi(\mathbf z|\mathbf x)\|p(\mathbf z)\right)$$

4. 训练流程：用重参数化采样计算梯度，端到端更新编码器与解码器

$$\displaystyle \mathbf z=\boldsymbol\mu_\phi(\mathbf x)+\boldsymbol\sigma_\phi(\mathbf x)\odot\boldsymbol\varepsilon,\quad \boldsymbol\varepsilon\sim\mathcal N(\mathbf 0,\mathbf I)$$

训练完成后，VAE 就是一台强大的“生成机器”：随便从标准正态分布中抽取一个隐变量，解码器就能画出一张新的人脸、一幅数字或一段音乐。雷达圈不再只是找朋友的工具，而是变成了创造新世界的画笔。

AI 应用场景

Python 演示

import numpy as np  def cavi_sum_model(y_data, sigma=1.0, iters=30):    """平均场坐标上升法：y_i = z1 + z2 + noise, 用 q(z1)q(z2) 逼近后验"""    n = len(y_data)    ybar = np.mean(y_data)    # 初始化为不同的均值，便于观察交替更新    m1, m2 = -1.0, 1.0    var = 1.0 / (1.0 + n / (sigma ** 2))    for _ in range(iters):        m1 = var * (n * ybar / (sigma ** 2) - n * m2 / (sigma ** 2))        m2 = var * (n * ybar / (sigma ** 2) - n * m1 / (sigma ** 2))    return (m1, var), (m2, var)  if __name__ == "__main__":    y = np.array([2.8, 3.4])    (m1, v1), (m2, v2) = cavi_sum_model(y)    print("q(z1) 均值: %.3f, 方差: %.3f" % (m1, v1))    print("q(z2) 均值: %.3f, 方差: %.3f" % (m2, v2))

1. var = 1.0 / (1.0 + n / (sigma ** 2))— 先验精度加上数据精度后取倒数，得到后验方差；这是高斯模型下的闭式解。
2. m1 = var * (n * ybar / (sigma ** 2) - n * m2 / (sigma ** 2))— 更新 q1 时把 q2 的均值当作常数扣除，体现“固定其他因子”的坐标上升思想。
3. m2 = var * (n * ybar / (sigma ** 2) - n * m1 / (sigma ** 2))— 紧接着更新 q2，使用刚更新的 m1，形成交替迭代。
4. y = np.array([2.8, 3.4])— 两个观测值，代表两条互相印证的线索。
5. cavi_sum_model(y)— 返回两个因子的均值与方差，收敛后两者趋于一致，因为模型对 z1 和 z2 具有对称性。

常见误区

面试题