DDPM：去噪扩散概率模型

可视化演示

1. 生成模型概述：AI画师的成长之路

试想你是画廊老板，想训练一位 AI 画师量产新画。传统思路有两条：一条是请一位毒舌评论家（判别器）不断挑刺，画师在被骂中改进画技——这是 GAN 的路线；另一条更有意思：让画师先学会一项本领——把一幅画“变没”，再倒着“变回来”，学会这套“复原魔法”，自然就会画画了——这就是 DDPM 的路线。听起来绕远路，但恰恰是这条弯道实现了超车。

生成模型的任务，就是从训练数据中学习真实分布，再从这个分布中采样出新样本。你画廊里的每一幅真迹，都是分布中的一个“点”；生成模型要画出那些“没被看过的新点”。评估一幅 AI 画作好不好，一看质量（清晰度、FID 指标），二看多样性（是否只画某一类风格）。主流方法分为显式密度建模（如 VAE）和隐式建模（如 GAN），而扩散模型走的是第三条路：把“学习画画”转化为“学习还原”。

从数学上看，生成模型的核心目标是让模型分布 \(p_\theta(x)\) 最大程度接近真实分布 \(p_{\text{data}}(x)\)，经典做法是最大似然：

\[

\theta^* = \arg\max_\theta \mathbb{E}_{x \sim p_{\text{data}}(x)} \left[ \log p_\theta(x) \right]

\]

1. \(p_{\text{data}}(x)\)：真实画作的分布——画廊里所有大师作品的“风格集合”。

$$p_{\text{data}}(x)$$

2. \(p_\theta(x)\)：AI 画师学到的分布——由参数 \(\theta\) 决定的模型概率函数。

$$p_\theta(x)$$

3. \(\mathbb{E}_{x \sim p_{\text{data}}(x)}[\cdot]\)：把画廊里的真画一张张取出来，对括号里的值求平均。

$$\mathbb{E}_{x \sim p_{\text{data}}(x)}[\cdot]$$

4. \(\arg\max_\theta\)：找到让平均分最高的那组参数 \(\theta\)，也就是让模型给真画打的分最高。

$$\arg\max_\theta$$

所以 DDPM 的路径不是“临摹”而是“复原”——当净水师学会了把墨汁从水里吸走，他自然比任何人都懂清水应该是什么样子。

2. 前向扩散：从清水到墨汁

现在，请把一张画想象成一杯清水。DDPM 的第一步，是亲手把水弄脏：拿起一支毛笔，蘸上墨汁，一滴滴往里滴。每滴一次，水就混沌一分。滴到第 100 步，画已经面目模糊；滴到第 1000 步，整杯水变成均匀的黑色——再没有任何画的痕迹。关键点在于：这个过程不需要学习，因为规则是你自己定的——滴多少墨、什么时候滴，全部提前写在“调墨表” \(\beta_t\) 里。

从数学上看，前向扩散是在数据上逐步叠加高斯噪声，形成一个马尔可夫链——每一步的状态只由当前状态决定，像多米诺骨牌那样一推到底，不需要回头看更早的步骤。每一步的条件转移分布写作：

\[

q(x_t \mid x_{t-1}) = \mathcal{N}\left(x_t;\ \sqrt{1-\beta_t}\, x_{t-1},\ \beta_t I\right)

\]

1. \(x_t\)：第 \(t\) 步的图像状态——被滴了 \(t\) 滴墨汁的水。

$$x_t$$

2. \(q(x_t \mid x_{t-1})\)：从第 \(t-1\) 步到第 \(t\) 步的条件转移分布，表示“已知上一步，下一步会怎样”。

$$q(x_t \mid x_{t-1})$$

3. \(\sqrt{1-\beta_t}\, x_{t-1}\)：上一步影像按比例衰减，确保整杯水不因累积而膨胀。

$$\sqrt{1-\beta_t}\, x_{t-1}$$

4. \(\beta_t I\)：新滴入的墨汁方差，\(\beta_t\) 控制这一步的浑浊程度，\(I\) 表示每个像素维度都是独立加噪。

$$\beta_t I$$

更妙的是，利用重参数化技巧，我们可以从 \(x_0\) 一步到位得到任意时刻的带噪图像，不必真的滴 \(t\) 次墨：

\[

x_t = \sqrt{\bar{\alpha}_t}\, x_0 + \sqrt{1-\bar{\alpha}_t}\, \varepsilon,\quad \varepsilon \sim \mathcal{N}(0, I)

\]

1. \(\bar{\alpha}_t\)：前 \(t\) 个 \((1-\beta_s)\) 的连乘，记录了“墨汁从未被抽走”的累计残留。

$$\bar{\alpha}_t=\prod_{s=1}^t(1-\beta_s)$$

2. \(\sqrt{\bar{\alpha}_t}\, x_0\)：原始画作衰减后的主体——水还保留下来的清澈部分。

$$\sqrt{\bar{\alpha}_t}\, x_0$$

3. \(\sqrt{1-\bar{\alpha}_t}\)：累计浑浊程度——从第 1 步到第 \(t\) 步总共注入的墨量。

$$\sqrt{1-\bar{\alpha}_t}$$

4. \(\varepsilon\)：标准高斯噪声，代表每滴墨的随机形状。

$$\varepsilon \sim \mathcal{N}(0, I)$$

在 DDPM 中，\(\beta_t\) 采用线性调度，从 \(10^{-4}\) 逐步升至 \(0.02\)，总共 \(T=1000\) 步。为什么先少后多？就像滴墨时先轻轻试探、再放手去染，早期的微小噪声让图像平滑退化，后期的强噪声则保证最终完全变成纯黑——每一步都在为净水师铺设“可逆”的线索。

3. 反向去噪：净水师的一步一印

净水师面对一杯纯黑的水，他不会变魔术把水瞬间变清。他深谙一个朴素道理：水是怎么一步步变黑的，就该怎么一步步变清。上次滴了多少墨，这次就精准吸出多少墨。每一步只让水清澈一点点，但走完一千步，清水就能重现。DDPM 的反向过程，就是训练这样一位“净水师”。

反向过程的数学形式同样被建模为高斯条件分布，不过这次的方向反过来了：给定当前较浑浊的 \(x_t\)，预测上一步较清澈的 \(x_{t-1}\)：

\[

p_\theta(x_{t-1} \mid x_t) = \mathcal{N}\left(x_{t-1};\ \mu_\theta(x_t, t),\ \sigma_t^2 I\right)

\]

1. \(p_\theta(x_{t-1} \mid x_t)\)：净水师从浑浊的 \(x_t\) 倒推澄清的 \(x_{t-1}\) 的条件分布。

$$p_\theta(x_{t-1} \mid x_t)$$

2. \(\mu_\theta(x_t, t)\)：条件高斯分布的均值——净水师判断“这一步最可能的清澈状态”。

$$\mu_\theta(x_t, t)$$

3. \(\sigma_t^2 I\)：方差项，表示每一步保留的随机性，让每次生成的作品不重样。

$$\sigma_t^2 I$$

关键问题是：\(\mu_\theta\) 怎么算？论文的推导给出一个极优雅的结论——我们只需要让网络学会预测噪声。具体采样时，执行如下更新：

\[

x_{t-1} = \frac{1}{\sqrt{\alpha_t}}\left(x_t - \frac{\beta_t}{\sqrt{1-\bar{\alpha}_t}}\,\varepsilon_\theta(x_t, t)\right) + \sigma_t z,\quad z \sim \mathcal{N}(0, I)

\]

1. \(\varepsilon_\theta(x_t, t)\)：U-Net 预测出的噪声——净水师目测“这杯水里还有多少墨”。

$$\varepsilon_\theta(x_t, t)$$

2. \(\frac{\beta_t}{\sqrt{1-\bar{\alpha}_t}}\varepsilon_\theta\)：从当前状态中扣减本次应除去的墨量，让水面下降一档。

$$\frac{\beta_t}{\sqrt{1-\bar{\alpha}_t}}\varepsilon_\theta$$

3. \(\frac{1}{\sqrt{\alpha_t}}\)：幅度补偿——扣掉墨之后，把剩余信号缩放回正常大小。

$$\frac{1}{\sqrt{\alpha_t}}$$

4. \(\sigma_t z\)：补入少量随机噪声，保证生成不是机械复读，而是有创造力的“每杯都不同”。

$$\sigma_t z,\quad z \sim \mathcal{N}(0, I)$$

采样时，我们从纯噪声 \(x_T \sim \mathcal{N}(0, I)\) 出发，让净水师连续工作 \(T\) 次（通常 1000 步），最后得到 \(x_0\)——一幅从未存在过的新画作。整个“澄清之旅”就是 DDPM 的生成过程。

4. U-Net：墨迹之眼

为什么净水师能精准吸墨？因为他有一双“墨迹之眼”——不仅能看清整杯水黑不黑，还能看清每一团墨在什么位置、浓度如何。在 DDPM 中，这双眼睛就是 U-Net，它是噪声预测网络 \(\varepsilon_\theta(x_t, t)\) 的骨干架构。它接收两个输入：当前带噪图像 \(x_t\) 和扩散时刻 \(t\)，输出与输入同等尺寸的噪声图。

U-Net 的结构分为三部分：编码器（下采样路径） 逐步把图像缩小、通道加深，像画家退后几步看整体构图，提取“哪里有大片墨迹”的语义信息；解码器（上采样路径） 逐步把特征图放大、通道减少，像画家凑近画布描绘细节，恢复每个像素级位置的墨量；跳跃连接 把编码器每层的浅层特征直接拼接到解码器对应层，像把笔记直接递给正在恢复细节的手，避免下采样时丢失的高频纹理（如发丝、水纹）在还原时找不回来。

除了图像本身，U-Net 还必须知道“现在滴到第几滴墨”——因为第 50 步和第 500 步，去除策略完全不同。做法是把时刻 \(t\) 通过正弦位置编码嵌入到网络中间。好比净水师知道“现在水已经黑了一半，下手要轻还是重”。

有了这双“墨迹之眼”，净水师才能指哪打哪：第 100 步时主要清理粗大墨块，第 900 步时打磨最细微的色差。正是 U-Net 强大的多尺度建模能力，让 DDPM 在图像细节还原上远远超过普通全连接网络。

5. 损失函数：练功评分尺

净水师怎么知道自己吸得准不准？很简单——每一滴墨都是当初他亲眼看着滴进去的，所以“水里实际有多少墨”是已知的。练功时，师傅递给他一杯带噪的水，问他：“你猜这里面墨的量是多少？”他说出一个值，师傅再对照真实的墨量打分。这个“评分尺”就是均方误差（MSE）——预测墨量和真实墨量之间的平方距离。

从变分下界（VLB）出发，DDPM 的原始推导包含多个 KL 散度项，但作者发现，在忽略权重系数后，训练目标可以惊人地简化成一个纯粹噪声回归的损失：

\[

L_{\text{simple}} = \mathbb{E}_{t,\ x_0,\ \varepsilon}\left[\left\| \varepsilon - \varepsilon_\theta(x_t, t) \right\|^2\right]

\]

1. \(t \sim \text{Uniform}(1, T)\)：均匀随机抽一个扩散时刻，保证每个阶段的“含墨浓度”都练到。

$$t \sim \text{Uniform}(1, T)$$

2. \(\varepsilon\)：这次加噪实际使用的墨量——训练时的真实标签。

$$\varepsilon \sim \mathcal{N}(0, I)$$

3. \(\varepsilon_\theta(x_t, t)\)：净水师目测估计的墨量——U-Net 的预测输出。

$$\varepsilon_\theta(x_t, t)$$

4. \(\left\|\varepsilon - \varepsilon_\theta(x_t, t)\right\|^2\)：预测墨量与真实墨量的平方误差，越准分越高。

$$\left\| \varepsilon - \varepsilon_\theta(x_t, t) \right\|^2$$

这个损失函数与 KL 散度的联系在于：变分下界可以拆解为若干“高斯分布间的 KL 散度”，而两个高斯之间的 KL 散度恰好化简为均值差的平方形式——所以训练网络预测噪声，本质上就是在最小化每一步条件分布的 KL 散度。

正因为评分尺如此简单稳定，DDPM 的训练没有 GAN 那种“生成器与判别器互相博弈”的紧张气氛，而是像一位安静的学徒做练习：拿一份噪声、猜一份噪声、算一个误差、更新一次梯度。不吵架、不崩溃，稳稳收敛。

6. 双雄对决：DDPM与GAN

画廊同时请了两位画师。“造假大师”GAN 天资聪颖：他旁边站着一位毒舌评论家，每次画完都被骂，骂一次改一次。这位大师学得很快，几小时就能画出以假乱真的作品，而且只要一笔就能完成创作——也就是单步生成。但他有个毛病：一旦发现某种题材最容易骗过评论家，他就只画那种题材。这被称为模式崩塌。

“净水师”DDPM 则完全不同：他没有评论家，只有一张“墨量评分尺”。他学得慢——每次训练都要随机滴一千种不同浓度的墨来练手——但练成之后，他不会偷懒只画一种风格，而是老老实实地覆盖整片数据分布。因为他的训练目标（预测噪声）与数据分布天然挂钩，理论上他不会忘掉任何一类画风。

两者的关键差异可以用一张对比表贯穿：训练稳定性上，GAN 要玩“猫鼠游戏”，容易训练振荡；DDPM 回归固定噪声目标，稳定省心。生成质量上，DDPM 在 FID 等指标上一度反超 GAN，尤其是高分辨率图像上的纹理细节更自然。模式崩塌风险上，GAN 的高风险正是 DDPM 的优势——扩散过程迫使模型学会整个“从黑水到清水”的完整路径，很难只走捷径。采样速度上则是 GAN 的天下：GAN 一次前向即可出图，DDPM 需要上千步迭代，慢了几个数量级。

正因如此，后来的研究者开发了 DDIM、DPM-Solver 等加速采样方法，把千步压缩到几十步；Stable Diffusion 又把扩散过程搬到隐空间，让“净水师”跑得更轻更快。如今，DDPM 家族已经接过 GAN 的接力棒，成为 AIGC 时代的核心引擎。

AI 应用场景

Python 演示

import torchimport torch.nn as nn torch.manual_seed(42) # 1. 训练数据：两个高斯簇，模拟"画廊里的两类画作"n = 1024c1 = torch.randn(n, 2) * 0.8 + torch.tensor([3.0, 3.0])c2 = torch.randn(n, 2) * 0.8 + torch.tensor([-3.0, -3.0])data = torch.cat([c1, c2]) # 2. 扩散参数：T 步线性噪声调度T = 100beta = torch.linspace(0.0001, 0.02, T)alpha = 1 - betaalpha_bar = torch.cumprod(alpha, dim=0) def forward_diffuse(x0, t):    # 前向扩散：重参数化直接算 t 步后的带噪样本    ab = alpha_bar[t].unsqueeze(1)    noise = torch.randn_like(x0)    xt = torch.sqrt(ab) * x0 + torch.sqrt(1 - ab) * noise    return xt, noise # 3. 噪声预测网络：DDPM 中 U-Net 的极简替代（MLP + 时间嵌入）class NoiseNet(nn.Module):    def __init__(self):        super().__init__()        self.net = nn.Sequential(            nn.Linear(3, 64), nn.ReLU(),            nn.Linear(64, 64), nn.ReLU(),            nn.Linear(64, 2)        )     def forward(self, xt, t):        t_emb = t.float().unsqueeze(1) / T        return self.net(torch.cat([xt, t_emb], dim=1)) model = NoiseNet()opt = torch.optim.Adam(model.parameters(), lr=1e-3)loss_fn = nn.MSELoss() # 4. 训练循环：预测噪声 vs 真实噪声for epoch in range(300):    t = torch.randint(0, T, (n,))    xt, noise = forward_diffuse(data, t)    pred = model(xt, t)    loss = loss_fn(pred, noise)    opt.zero_grad()    loss.backward()    opt.step()    if epoch % 60 == 0:        print(f"epoch {epoch:3d}: loss = {loss.item():.4f}") # 5. 反向采样：从纯噪声逐步去噪生成新样本def sample(n_samples=8):    x = torch.randn(n_samples, 2)    for t in range(T - 1, -1, -1):        t_tensor = torch.full((n_samples,), t, dtype=torch.long)        pred_noise = model(x, t_tensor)        a = alpha[t].item()        b = beta[t].item()        ab = alpha_bar[t].item()        x = (x - b / torch.sqrt(1 - ab) * pred_noise) / torch.sqrt(a)        if t > 0:            x += torch.sqrt(b) * torch.randn_like(x)    return x samples = sample(8)print("生成样本坐标（应接近 ±3 附近）：")print(samples.detach().numpy().round(2))

1. beta = torch.linspace(0.0001, 0.02, T)定义“调墨表”：从 0.0001 线性增长到 0.02，控制每步滴墨量。
2. xt = torch.sqrt(ab) * x0 + torch.sqrt(1 - ab) * noise前向重参数化，一步算出任意时刻的带噪样本。
3. loss = loss_fn(pred, noise)简化损失：预测噪声与真实噪声的均方误差，这就是净水师的“评分尺”。
4. x = (x - b / torch.sqrt(1 - ab) * pred_noise) / torch.sqrt(a)反向去噪更新：扣减预测墨量并缩放。
5. if t > 0: x += torch.sqrt(b) * torch.randn_like(x)每步补入随机项，保证生成样本的多样性。

常见误区

面试题