标准化流：可逆变换的生成模型

可视化演示

展示标准化流从简单分布Z~N(0,1)经可逆变换f1→f2→fK逐步映射为复杂分布p(X)的过程，含Jacobian行列式修正和双射(Biject)可逆性。

分布变换思想

面塑师傅从不从零开始捏一只锦鲤。他先揉出一团“标准面团”——光滑、圆润、每一处的质地都一模一样。接下来的每一道工序，擀、捏、卷、压，都在改变面团的形状，而且严格可逆：往左擀半寸，就能往右擀回半寸。做完整个造型后，客人说“还原”，他倒着走一遍流程，面团又回到标准的球形。这个“从标准到复杂、随时可还原”的过程，就是标准化流最核心的思想。

在生成模型里，真实数据分布就像那只锦鲤——人脸、语音、分子结构，复杂得无法直接写出概率密度函数。标准化流的思路是：先从一个简单分布出发，这个分布通常是标准高斯分布（也就是我们的“标准面团”），然后通过一个由多层可逆函数复合而成的变换 f，把简单分布逐步塑造成复杂分布。因为每一层都可逆，整个映射也可逆：既能从简单分布流到复杂分布，也能从复杂分布流回简单分布。

更具体地说，假设潜变量 z 服从标准高斯，变换 f 由 K 层可逆函数复合而成：令 z₀ = z，然后依次计算 z_k = f_k(z_{k-1})，最终输出 x = z_K。每一层 f_k 的参数由神经网络给出，所以整个变换是一个深度模型。训练时，我们最大化观测数据在模型分布下的对数似然；采样时，只需从标准高斯抽一个点，逐层正向传播，就得到一个新样本。

面塑师傅敢承诺“可还原”，是因为每道工序都有明确的逆操作；标准化流之所以能精确计算概率，也是因为每层变换都可逆——概率的“账”，才能一笔一笔算得清清楚楚。这就是“标准化”三个字的含义：不管造型多复杂，账总能算清。

变量替换公式

面塑师傅有一本引以为傲的“芝麻账本”。他在标准面团里混入上千粒芝麻，每一粒芝麻都代表一个样本点。当他擀面时，芝麻跟着面团流动：被擀薄的区域，芝麻粒变得稀疏；被捏紧的部位，芝麻粒挤作一团。如果客人问“这个造型某个角落的面有多厚”，光看原来面团的密度是不够的——必须乘上一个“拉扯比例”。这个“拉扯比例”，在数学上就由变量替换公式来精确描述。

若 x = f(z) 是一个可逆变换，z 的概率密度为 p_Z(z)，那么 x 的概率密度不能直接等于 p_Z(x)，因为变换会改变局部体积，概率质量被“摊薄”或“堆厚”。正确的公式如下：

为了数值稳定和计算方便，实际训练时使用的是它的对数形式：log p_X(x) = log p_Z(f⁻¹(x)) + log|det J|。加法的好处是可以用梯度上升直接优化，而且多层变换的对数行列式可以逐层相加——师傅的账本上，每一道工序记一笔拉扯倍数，最后汇总，清晰明了。

雅可比行列式

擀面杖每次下压，面塑师傅心里都在默算：“这一下，左边那团面被拉长了 1.3 倍，右上角那团被压成了 0.8 倍。”这一个个“局部放大倍数”，在数学里就是雅可比行列式（Jacobian determinant）。变换是全局非线性的，但在任意一点附近都可以用它的导数矩阵——雅可比矩阵——来近似描述局部的伸缩行为。

雅可比矩阵 J 的第 i 行第 j 列元素是 ∂(f_k)_i / ∂(z_{k-1})_j，表示第 j 个输入方向动一点，第 i 个输出被带动多少。它的行列式 det J 就是局部体积伸缩因子：det J > 1 表示区域被拉伸、密度变稀；det J < 1 表示区域被压缩、密度变稠；det J = 0 表示映射发生了坍缩，这在可逆变换中绝不允许发生——因为可逆映射必须处处满秩。当有多层变换叠加时，总伸缩因子是各层行列式的乘积，取对数后变成求和：

其中 $\mathbf{J}_k = \partial \mathbf{z}_k / \partial \mathbf{z}_{k-1}$ 是第 k 层变换的雅可比矩阵。

有人会问：计算一个 D×D 矩阵的行列式不是要 O(D³) 吗？这就引出了流模型设计的关键技巧——把每层的雅可比矩阵设计成三角矩阵。三角矩阵的行列式等于对角线元素乘积，计算复杂度降到 O(D)。面塑师傅的账本之所以能飞快算完，正是因为他每道工序只用“直上直下”的简单手法，从不做需要复杂计算的“扭曲交叉”。

可逆变换设计

面塑师傅的工具箱里没有神秘道具，就是擀面杖、捏刀、卷轴和转盘——每样工具都有对应的“逆操作”。标准化流里的每一层也是精心设计的基本招式，最常见的是三种：仿射耦合层、1×1 卷积和特征置换。仿射耦合层来自 RealNVP，它的做法是：把输入 x 分成前后两段，前段原封不动“穿过去”，后段则根据前段计算出的缩放因子 s 和平移量 t 做仿射变换：

由于前段被原样保留，逆变换也很简单：先从输出 y 里取出 y_{1:d}，它就是 x_{1:d}，再据此算出 s 和 t，最后对后段做反向仿射：

不过如果每一层都让前段直通，深层网络里前段信息永远不被加工，模型的表达能力会受限。所以流模型一般还会在耦合层之间穿插特征置换——把维度的顺序打乱，让原本“当前段”的维度在下一层变成“被改造段”。Glow 更进一步，引入可学习的 1×1 可逆卷积，相当于用数据驱动的方式学习最优的置换和通道混合，同时它的对数行列式也容易计算。师傅的每道工序都不花哨，但简单招式的深层堆叠，最终塑造出极其复杂的造型——这正是深度学习的精髓。

正向逆向流程

面塑有两种工作方式：一种是客人拿来一张参考图，师傅照着图一步步塑形，每道工序都知道手该往哪儿使劲——这叫正向塑形；另一种是客人指着成品说“再给我来一只一模一样的”，师傅直接翻模、快速复制——这叫逆向还原。标准化流同样有两条方向相反的路，而且共用同一套可逆网络。

先说正向（从 z 到 x）。在训练阶段，我们手里只有真实数据 x，要做的是把它逆变换回潜变量 z，然后在标准高斯分布下打分。把变量替换公式写成带参数 θ 的形式，训练目标就是最大化真实数据的期望对数似然：

训练完成后，逆向流程（从 z 到 x）就是生成采样：从标准正态分布抽一个随机点，逐层正向调用 f_θ，立刻得到一个符合数据分布的新样本。因为网络本身可逆，逆向采样与正向训练共用同一套代码，只是调用方向相反。面塑师傅照图塑形时心里有把尺子（似然），快速翻模时用的是同一个模具（可逆网络）——一个模型两种用法，这正是标准化流最优雅的地方。

流模型家族

不同的面塑流派各有绝活。北派 RealNVP 的招法是“分层擀卷”——仿射耦合层加上特征置换，动作朴实但耐力持久；南派 Glow 的招法多了“旋转台”——1×1 可逆卷积，捏花更精细，还练就了多尺度架构的硬功夫。它们共同组成了标准化流家族的主要谱系。

RealNVP（2016）首次把仿射耦合层堆叠成深度流模型，通过交替置换保证各个维度都能被充分改造。Glow（2018）在此基础上引入可学习的 1×1 卷积来替代固定置换，并采用多尺度结构逐层“分流”信息，在 256×256 的人脸生成上取得了惊艳效果，还支持在潜空间里做语义属性编辑。两者都保留了标准化流的立身之本：精确的似然计算。

把流模型和另外两大生成模型对比，差异一目了然。GAN 擅长生成高真实度的图像，但训练不稳定，而且没有显式密度，无法给一个数据点打出“概率分”；VAE 有显式的变分下界，但似然是近似的，生成图像常常偏模糊。标准化流则两头兼顾：似然精确、训练稳定、采样速度快，代价是深层的可逆变换计算量偏大。在后来的扩散模型崛起之前，流模型是“精确似然 + 高质量生成”这个组合里最均衡的选择。

流派虽有别，但都遵循同一套“面团哲学”：可逆、可算账、能还原。师傅祖传的规矩，正是标准化流的立身之本——不管面塑的造型多复杂，只要每道工序都能逆向还原，芝麻账本就永远算得清。

AI 应用场景

Python 演示

import torchimport torch.nn as nnimport math torch.manual_seed(0) def target_log_prob(x):    logp1 = -0.5 * ((x - 2.0) / 0.6) ** 2 - math.log(0.6) - 0.5 * math.log(2 * math.pi)    logp2 = -0.5 * ((x + 2.0) / 0.6) ** 2 - math.log(0.6) - 0.5 * math.log(2 * math.pi)    return torch.logsumexp(torch.stack([logp1, logp2], dim=-1), dim=-1) - math.log(2) class AffineFlow(nn.Module):    def __init__(self):        super().__init__()        self.s = nn.Parameter(torch.zeros(1))        self.t = nn.Parameter(torch.zeros(1))     def forward(self, x):        self._logdet = self.s.expand(x.shape[0])        return x * torch.exp(self.s) + self.t     def inverse(self, y):        return (y - self.t) * torch.exp(-self.s) model = nn.Sequential(*[AffineFlow() for _ in range(6)])opt = torch.optim.Adam(model.parameters(), lr=0.05) for step in range(1500):    z = torch.randn(512)    x = z    logdets = 0.0    for layer in model:        x = layer(x)        logdets = logdets + layer._logdet    log_pz = -0.5 * z ** 2 - 0.5 * math.log(2 * math.pi)    loss = -(target_log_prob(x) + log_pz - logdets).mean()    opt.zero_grad()    loss.backward()    opt.step()    if step % 500 == 0:        print('step %d, loss %.4f' % (step, loss.item())) z = torch.randn(2000)samples = zfor layer in reversed(model):    samples = layer.inverse(samples)print('采样均值 %.3f, 标准差 %.3f' % (samples.mean().item(), samples.std().item()))

1. def target_log_prob(x)定义目标数据分布的对数密度：一个双峰高斯混合，相当于面塑师傅要塑的“锦鲤图样”。
2. class AffineFlow(nn.Module)每一层就是一个可逆仿射变换：y = x·exp(s) + t。
3. self._logdet = self.s.expand(x.shape[0])记录本层伸缩因子，供训练时计算对数似然。
4. def inverse(self, y): return (y - self.t) * torch.exp(-self.s)逆变换实现，采样时把高斯点“还原”成数据点。
5. x = layer(x); logdets = logdets + layer._logdet正向流过所有层，同时累加每层的对数行列式。
6. loss = -(target_log_prob(x) + log_pz - logdets).mean()训练目标：让变换后的 x 落在目标分布高密度区，同时考虑概率守恒的伸缩补偿。
7. for layer in reversed(model): samples = layer.inverse(samples)逆向流程：从标准高斯采样，逐层逆变换生成符合目标分布的新样本。

常见误区

面试题