DDIM：扩散模型采样加速

可视化演示

展示系统处理流水线、实时性能指标曲线及多方案对比分析，包含数据流转、吞吐延迟监控与方案评估。

DDPM 千步困境

老驴友 DDPM 下山时有个规矩：只许踩“马尔可夫石阶”。啥叫马尔可夫？就是下一步只由当前这一步决定，不管之前从哪儿来，也不管山脚在哪儿。所以 DDPM 每走一步都要先站稳、再眯着眼睛看脚下的路，然后吹来一阵山风（随机噪声）把他晃一下。他只能把 1000 级台阶一级一级踩完，不敢跳，也不能抄近路。

在数学上，DDPM 的每一步反向去噪可以写成：

所以 DDPM 生成一张图，至少要跑 1000 次神经网络前向计算。服务器再快，也架不住每个用户都“一步一个脚印”。

非马尔可夫采样

新向导 DDIM 说：“我不用守住‘只依赖上一步’的规矩。”他手里有整座山的地形图，知道第 100 级和第 800 级之间并没有隐秘的悬崖，只要方向对，就能大步跨过去。这种“不强制每一步只接上一步”的构造，就叫非马尔可夫采样。

DDIM 的跳步更新公式长这样：

其中 \(s < t\) 是任意更靠近山脚的时刻。这公式的意思是：我不需要从 \(t\) 走到 \(t-1\) 再走到 \(t-2\)，可以直接从 \(t\) 一路跳到 \(s\)。

训练目标一致

这里有个反直觉的彩蛋：DDIM 换了采样路径，却没换“爬山地图”——训练用的目标函数和 DDPM 完全相同。对模型来说，它只是在学习“给你一张带噪图，你猜刚才吹的是什么风”，至于向导之后怎么跳台阶，模型管不着。

DDPM 和 DDIM 共享的简化训练损失是：

确定性生成

老驴友每走一步都要重新抛硬币决定往哪歪；DDIM 把 \(\sigma_t\) 设为 0 之后，就等于把整条下山路线画成了一条固定的钢索滑道。同一个初始噪声点，每次滑下去都落在同一个终点。这就是“确定性生成”。

当 \(\sigma_t=0\) 时，DDIM 更新退化为：

正因为这种确定性质，DDIM 常被用来做图像反演：把真实图片沿着确定性路径“倒着滑回山顶”，再在原位微调后重滑下来，就可以做局部编辑。

10-50 倍加速

加速的账其实很简单：每走一步都要调用一次神经网络，那总时间约等于走多少步。DDPM 走 1000 步，DDIM 只走 20～100 步，速度自然拉开 10～50 倍。

理想加速比可以写成：

当然，步数越少，单步“跨越”越大，质量损失也随之变大。工程上通常选 20～50 步作为质量与速度的甜点区间。

Stable Diffusion 应用

Stable Diffusion 没有直接在像素山上走，而是先把 512×512 的图片压缩成 64×64 的潜空间地图，再在潜空间里完成扩散和去噪。这样每步计算量更小，配合 DDIM 的 20～50 步，能在一两秒内生成一张图。

潜空间生成流程可以记为：

工程取舍

真实产品里，我们不能只看“能多快”，还要看“好不好看”。AI 工程师在部署时通常要一起调三个旋钮：采样步数、引导强度 CFG、是否用确定性模式。步数过高，延迟变大；步数过低，图像崩塌；CFG 权重过高，色彩会过饱和。

一个简单的延迟模型是：

AI 应用场景

Python 演示

import torchimport torch.nn as nnimport matplotlibmatplotlib.use("Agg")import matplotlib.pyplot as plt torch.manual_seed(0)T = 1000 class Net(nn.Module):    def __init__(self):        super().__init__()        self.mlp = nn.Sequential(            nn.Linear(3, 128), nn.Tanh(),            nn.Linear(128, 128), nn.Tanh(),            nn.Linear(128, 2)        )     def forward(self, x, t):        return self.mlp(torch.cat([x / 4, t.float().view(-1, 1) / T], 1)) net = Net()opt = torch.optim.Adam(net.parameters(), 1e-3) def data(n):    c = torch.randint(0, 2, (n, 1))    return torch.cat([        torch.normal(-2 + 4 * c, 0.6),        torch.normal(0, 0.6, (n, 1))    ], 1) for i in range(3000):    x0 = data(256)    t = torch.randint(1, T, (256,))    a = torch.sqrt(1 - t.float() / T).view(-1, 1)    b = torch.sqrt(t.float() / T).view(-1, 1)    eps = torch.randn_like(x0)    loss = ((net(a * x0 + b * eps, t) - eps) ** 2).mean()    opt.zero_grad()    loss.backward()    opt.step() @torch.no_grad()def sample(S, start=None):    if start is None:        start = torch.randn(1, 2)    x = start.clone()    ts = torch.linspace(T - 1, 1, S + 1).long()    for i in range(S):        t0 = ts[i].item()        t1 = ts[i + 1].item()        e = net(x, torch.tensor([t0]))        a0 = torch.sqrt(torch.tensor(1 - t0 / T))        b0 = torch.sqrt(torch.tensor(t0 / T))        x0_hat = (x - b0 * e) / a0        a1 = torch.sqrt(torch.tensor(1 - t1 / T))        b1 = torch.sqrt(torch.tensor(t1 / T))        x = a1 * x0_hat + b1 * e    return start, x z = torch.randn(1, 2)_, y1 = sample(20, z)_, y2 = sample(20, z)print("deterministic diff:", float((y1 - y2).abs().max())) pts = torch.cat([sample(30)[1] for _ in range(2000)])plt.scatter(pts[:, 0].numpy(), pts[:, 1].numpy(), s=2, alpha=0.3)plt.savefig("ddim_2d.png")

1. data(n)采样双簇高斯分布，模拟“山脚美景”的二维点云。
2. a = torch.sqrt(1 - t.float() / T)计算信号保留比例，对应公式里的 \(\sqrt{\bar{\alpha}_t}\)。
3. b = torch.sqrt(t.float() / T)计算噪声比例，对应公式里的 \(\sqrt{1-\bar{\alpha}_t}\)。
4. loss = ((net(a * x0 + b * eps, t) - eps) ** 2).mean()用共享去噪损失训练模型，DDIM 与 DDPM 共用同一套权重。
5. ts = torch.linspace(T - 1, 1, S + 1).long()构造非马尔可夫子序列，只保留 20～30 个采样时刻。
6. x0_hat = (x - b0 * e) / a0从当前带噪样本估计“干净终点”，对应 \(\hat{x}_0\)。
7. x = a1 * x0_hat + b1 * e确定性 DDIM 跳步更新，没有新注入随机噪声。
8. print("deterministic diff:", float((y1 - y2).abs().max()))打印相同初始噪声下的最大差异，理论上等于 0。

常见误区

面试题