Score Distillation Sampling：从2D扩散到3D生成

可视化演示

展示Score Distillation Sampling的核心流程：3D表示渲染为2D图像后送入扩散模型，梯度反传更新3D参数。切换模式查看SDS梯度计算和DreamFusion优化循环。

需求起源：为什么 AI 造 3D 比画 2D 难

阿石想雕一只橘猫，但他手里只有一张杜老师写的字条：“胖橘猫，蜷成一团。”问题来了：他从来没见过真正的 3D 猫，也买不起昂贵的全套猫咪石膏像。其实整个 AI 行业也面临同样尴尬——互联网上有海量 2D 图片，却很少有成体系的、带标注的三维模型数据。3D 数据的采集要靠激光扫描、手工建模，价格贵得离谱，所以直接训练一个“文本到 3D”的模型，就像指望没有图册的学徒凭空刻出传世名作。

既然 3D 数据稀缺，而 2D 扩散模型已经在几亿张图片上练得炉火纯青，聪明的工程师们想到了“借力”：2D 生成模型不会直接造 3D，但它会评价一张图片“像不像”。而 3D 模型可以被“渲染”成 2D 图片——渲染就是架一台虚拟相机，从任意角度给立体物体拍照片。于是问题变成：我们能不能让 3D 表示不停地渲染出 2D 照片，再让 2D 大师点评，从而把大师的审美蒸馏进 3D 参数里？

这个思路的第一步，是把“拍照片”这件事写成可微的数学函数。一个 3D 表示由参数 $\theta$ 描述（比如神经网络的权重），相机位姿记为 $c$，渲染出的照片记为 $x$：

$$x = g(\theta, c)$$

1. 3D 参数 $\theta$：它描述了雕塑的当前形状。在 NeRF 中，$\theta$ 是一个神经网络的权重，网络的输入是三维坐标，输出是颜色和密度。

$$\theta$$

2. 相机位姿 $c$：它决定了相机的位置和朝向。同一个雕塑，从正面拍和从侧面拍，得到的照片完全不同。

$$c$$

3. 渲染函数 $g$：它的任务是“拍照片”，把不可见的 3D 参数变成一张可见的 2D 图像。可微意味着我们可以计算出“相机图像上的每个像素，随着 $\theta$ 的变化会如何移动”。

$$g(\theta, c)$$

4. 渲染照片 $x$：它是一张普通的 2D 图，可以被送到任何 2D 模型里做判断。

$$x$$

后来阿石想明白了一个道理：他不需要直接学会“立体雕刻”，他只需要让每次拍出来的照片都对得上杜老师心里的“橘猫”。照片对了，雕塑自然就对了一点点。这个朴素的直觉，正是 SDS 一切的起点。

扩散模型：阅图无数的大师如何工作

杜老师为什么能隔着墨迹看出原画？年轻时他做过一个古怪的练习：先画一张完好的画，然后往上泼一层墨，再让自己猜“我泼的是什么墨、原画是什么”。这个练习反复做了上亿次，他闭着眼都能从一团糟的墨迹里还原出画面轮廓。扩散模型的训练，就是这套“泼墨—猜墨—还原”的训练。

扩散模型包含两个过程：前向过程是给图片逐步加噪，把清晰的 $z_0$ 变成近似纯噪声的 $z_t$；反向过程则训练一个神经网络 $\epsilon_\phi$，它的任务是在给定加噪图片 $z_t$、噪声强度 $t$ 和文本条件 $y$ 时，预测出当初加进去的噪声。这里的 $\phi$ 是扩散模型的网络权重。训练目标非常直白——把预测噪声和真实噪声的距离压到最小：

$$\mathcal{L}_{\mathrm{DM}} = \mathbb{E}_{z_0,\,\epsilon,\,t}\Big[\, \big\|\,\epsilon - \epsilon_\phi\big(z_t;\, y, t\big)\big\|_2^2 \,\Big]$$

1. 真实图片 $z_0$：这是训练集中一张完好的图片，相当于杜老师练习时先画好的原画。

$$z_0$$

2. 随机噪声 $\epsilon$：这是被泼上去的“墨迹”，通常来自标准正态分布，它和原画没有任何关系。

$$\epsilon \sim \mathcal{N}(0, I)$$

3. 加噪图片 $z_t$：原画和墨迹按一定比例混合后的结果。$t$ 越大，墨迹越多，画面越模糊。

$$z_t = \sqrt{\bar{\alpha}_t}\, z_0 + \sqrt{1-\bar{\alpha}_t}\, \epsilon$$

4. 老师的预测 $\epsilon_\phi(z_t; y, t)$：老师看着被墨迹盖住的图，结合文字命题 $y$（比如“橘猫”），猜出墨迹的轮廓。

$$\hat{\epsilon} = \epsilon_\phi(z_t; y, t)$$

5. 误差最小化：如果老师猜的墨迹和真实墨迹一致，说明他完全看透了画面；误差越小，老师越可靠。

$$\big\|\epsilon - \hat{\epsilon}\big\|_2^2 \to \min$$

阿石听到这里兴奋地拍桌子：“所以杜老师其实有个神经网络分身！我只要把照片发给他，他就能说出照片里哪些墨迹不对劲——那不对的地方，不就是我该修的地方吗？”没错，下一个问题，就是怎么把老师的这句评语，变成雕塑上的每一刀。

SDS 原理：把老师的点评蒸馏给雕塑

这天阿石捧着刚捏出的土疙瘩，转着圈给它拍了很多照片。杜老师检验时戴上一副“时光眼镜”：他把阿石的照片随手撒上一层随机墨迹，再看这幅被污染的画，说出“这里应该是猫耳朵、那里应该有尾巴”。阿石发现，老师的评语其实是一个“噪声偏差”：如果我的照片已经是完美的猫，老师猜的墨迹就该和真实墨迹一模一样；如果照片拍歪了，老师的猜测就会明显跑偏，跑偏的方向恰好指出“照片哪儿不对”。

把这句话翻译成算法，就是 Score Distillation Sampling。设当前 3D 参数为 $\theta$，渲染出的照片为 $x$，给 $x$ 按扩散过程加噪得到 $z_t$。老师 $\hat{\epsilon}_\phi(z_t; y, t)$ 预测噪声，我们实际撒的噪声是 $\epsilon$，两者的差 $(\hat{\epsilon}_\phi - \epsilon)$ 就是“修改意见”。把它乘以渲染函数的导数 $\frac{\partial x}{\partial \theta}$，就能知道“为了消除这个偏差，3D 参数该怎么动”。于是 SDS 的梯度写作：

$$\nabla_\theta \mathcal{L}_{\mathrm{SDS}} = \mathbb{E}_{t,\,\epsilon}\Big[\, w(t)\,\big(\,\hat{\epsilon}_\phi(z_t;\, y, t) - \epsilon\,\big)\,\frac{\partial x}{\partial \theta}\, \Big]$$

1. 渲染出照片 $x$：从当前 3D 参数 $\theta$ 出发，用可微渲染器生成一张照片。这是阿石递给老师看的作品。

$$x = g(\theta, c)$$

2. 加噪得到 $z_t$：给照片撒上强度为 $t$ 的随机墨迹 $\epsilon$，形成“被污染的画”。

$$z_t = \sqrt{\bar{\alpha}_t}\, x + \sqrt{1-\bar{\alpha}_t}\, \epsilon$$

3. 老师预测噪声 $\hat{\epsilon}_\phi$：扩散模型看图说话，预测“墨迹是什么样”。注意它同时受到文本条件 $y$ 的引导。

$$\hat{\epsilon} = \epsilon_\phi(z_t;\, y, t)$$

4. 噪声残差 $(\hat{\epsilon} - \epsilon)$：老师猜的墨迹与我们实际撒的墨迹之差。差为 0 说明照片完全符合老师的预期；非零则指示修正方向。

$$\hat{\epsilon}_\phi(z_t;\, y, t) - \epsilon$$

5. 加权回传：$w(t)$ 按噪声强度给各步打分，$\frac{\partial x}{\partial \theta}$ 把像素层面的意见翻译成 3D 参数的调整量。

$$w(t)\,\big(\hat{\epsilon}_\phi - \epsilon\big)\,\frac{\partial x}{\partial \theta}$$

阿石恍然大悟：原来每次“老师点评”都是一次小型修行——拍照、撒墨、听评语、修雕塑。只要这个循环跑得足够多，土疙瘩就会在老师的骂声中慢慢长出猫耳朵来。

梯度解析：拆开那张修改意见单

阿石盯着老师的评语单发现了蹊跷：老师从不说“耳朵往左 3 毫米”，只写“你这张照片里墨迹撒得不对”。这不精确的评语为什么能当修改意见？因为扩散模型的预测里天然藏着“图片更像不像”的信息——学过扩散模型的人都知道，它的网络输出和数据的对数概率梯度（也就是 score function）只差一个缩放系数。SDS 的巧妙之处，就是把这个梯度关系直接借来用：

$$\nabla_{z_t} \log p(z_t \mid y) \approx -\frac{1}{\sqrt{1-\bar{\alpha}_t}}\,\big(\,\hat{\epsilon}_\phi(z_t;\,y,t) - \epsilon\,\big)$$

1. 分数函数 $\nabla_{z_t} \log p(z_t \mid y)$：这是数据的对数概率梯度，它指向“更像文本描述”的方向，是各种生成方法梦寐以求的指南针。

$$\nabla_{z_t} \log p(z_t \mid y)$$

2. 噪声残差 $\hat{\epsilon}_\phi - \epsilon$：老师猜的墨迹和真实墨迹的差，它恰好是概率分数的带噪估计。翻译成人话：“这张图和老师心里的图，差在哪儿。”

$$\hat{\epsilon}_\phi(z_t;\, y, t) - \epsilon$$

3. 系数 $-\frac{1}{\sqrt{1-\bar{\alpha}_t}}$：把噪声尺度还原成图像梯度尺度。负号表示我们要朝着减少差异的方向走，而不是增加差异。

$$-\frac{1}{\sqrt{1-\bar{\alpha}_t}}$$

4. 近似与省略：SDS 真正使用时省略了 U-Net 对 $z_t$ 的雅可比矩阵，直接把残差当作对渲染图的梯度。这样省去了反传整个去噪网络的开销，但代价是梯度变得“有偏”。

$$w(t)\,\big(\hat{\epsilon}_\phi(z_t;\, y, t) - \epsilon\big)\,\frac{\partial x}{\partial \theta}$$

打个比方：老师本该写下“每笔颜色变化会怎样影响我的判断”，那是一张巨大的偏导数表；但他说“算了，你就按这句话的大方向改吧”。SDS 把复杂的雅可比矩阵省略掉，速度飞快，但方向也因此带上了一点误差——这正是后来很多改进工作想修补的缝隙。

DreamFusion：阿石的数字雕刻车间

阿石攒齐了整套装备：一块永远不会用完的“数字黏土”，叫 NeRF（神经辐射场）；一台可以瞬移的相机，叫可微渲染器；还有一位毒舌的 2D 老师，叫 Imagen。DreamFusion 这个名字听起来浪漫，其实干的就是把这三样东西用 SDS 串成流水线的活儿。

DreamFusion 是 2022 年 Google 提出的文本生成 3D 代表作，它把 SDS 应用到一个从零初始化的 NeRF 上。每一步迭代都很简单：随机采样一个相机位姿，让 NeRF 渲染出该视角下的照片；给照片加噪后送到预训练的 2D 扩散模型里，让它基于文本提示给出噪声预测；再用 SDS 梯度更新 NeRF 的权重。整个过程不训练任何新的 3D 扩散模型，NeRF 是唯一在更新参数的学生。NeRF 本身怎么渲染照片呢？它沿每条视线采样很多三维点，累加每个点的颜色与不透明度：

$$C(\mathbf{r}) = \sum_{i=1}^{N} T_i\, \big(1 - e^{-\sigma_i \delta_i}\big)\, \mathbf{c}_i$$

1. 视线 $\mathbf{r}$：从相机出发穿过一个像素的光线。每个像素对应一条视线，因此一条光线决定一个像素的颜色。

$$\mathbf{r}$$

2. 采样点颜色 $\mathbf{c}_i$：第 $i$ 个三维点的颜色值。它由 NeRF 网络根据该点坐标计算出来。

$$\mathbf{c}_i$$

3. 不透明度 $\sigma_i$ 与间距 $\delta_i$：$\sigma_i$ 表示这块“彩色玻璃”有多厚实，$\delta_i$ 表示相邻采样点之间的距离；两者相乘决定这层玻璃遮住了多少光。

$$\sigma_i \delta_i$$

4. 透射率 $T_i$：前面所有层玻璃累计透过的光线比例。前面的层越厚实，后面的层对照片的贡献就越小。

$$T_i = \exp\Big(-\sum_{j<i} \sigma_j \delta_j\Big)$$

5. 累加求和：把所有层颜色乘以各自的遮挡权重加起来，就得到像素最终颜色。

$$C(\mathbf{r}) = \sum_{i=1}^{N} T_i\, (1 - e^{-\sigma_i \delta_i})\, \mathbf{c}_i$$

阿石的车间终于运转起来了：相机咔嗒一响，照片出炉；老师瞄一眼，给出评语；黏土按照评语默默变形。几百上千步之后，一坨像素毛坯就被打磨成一只可以 360 度旋转的橘猫。整个流程里没有一行“3D 雕刻公式”，全靠 2D 老师在背后遥控。

引导参数：让老师的口味更挑剔

杜老师点评时有两种状态。平时他放松地看：“这画面大致合理就行。”可一旦阿石强调“我就要橘猫”，杜老师立刻戴起老花镜，挑刺般地寻找橘猫的每一个特征，连墨迹都往橘猫的方向猜。扩散模型中也存在这两种状态：有条件预测 $\epsilon_\phi(z_t; y, t)$ 和无条件预测 $\epsilon_\phi(z_t; \emptyset, t)$。要让老师更“较真”，就把两个预测的差放大 $s$ 倍再加回去：

$$\hat{\epsilon}_\phi(z_t;\, y, t) = \epsilon_\phi(z_t;\, \emptyset, t) + s\,\big(\,\epsilon_\phi(z_t;\, y, t) - \epsilon_\phi(z_t;\, \emptyset, t)\, \big)$$

1. 无条件预测 $\epsilon_\phi(z_t; \emptyset, t)$：老师不看命题，仅凭一般审美猜墨迹。相当于随口说“这画大概是棵树吧”。

$$\epsilon_\phi(z_t;\, \emptyset, t)$$

2. 条件预测 $\epsilon_\phi(z_t; y, t)$：老师牢记“这是橘猫”，一切猜测都向猫的特征倾斜。

$$\epsilon_\phi(z_t;\, y, t)$$

3. 二者之差：命题带来的“偏见方向”。它代表了“橘猫”这个文本到底希望图片往哪里走。

$$\epsilon_\phi(z_t;\, y, t) - \epsilon_\phi(z_t;\, \emptyset, t)$$

4. 缩放 $s$ 倍并合成：把偏见方向放大 $s$ 倍后，叠加到无条件预测上。$s$ 越大，老师的评语越激进，雕塑越贴文本。

$$s\,\big(\epsilon_\phi(z_t;\, y, t) - \epsilon_\phi(z_t;\, \emptyset, t)\big)$$

阿石后来发现，把 $s$ 调得太大也有副作用：杜老师满脑子都是“橘猫”，恨不得把背景的桌子也挑成猫毛色。结果雕塑虽然形体像猫，整体颜色却浓艳得扎眼——这就是“SDS 过饱和”现象的由来。挑剔是好事，但太挑剔会让老师失真。

局限与展望：老师看走眼时怎么办

杜老师再厉害，终究是看 2D 照片的，他的立体感来自想象力，而不是真实的 3D 经验。于是阿石雕出来的猫经常闹笑话：从正面看是猫脸，转到背后再看，居然还是一张猫脸！更有甚者，雕塑的正面长出一个大鼻子，背面又长出一个——这种现象被称为 Janus 问题，就像罗马神话里那个两面神。同时，2D 老师习惯在小尺寸模糊图上打分，导致雕塑放大后细节糊成一团。

SDS 的另一个问题是“有偏”。前面说过它省略了 U-Net 的雅可比矩阵，省了计算，却也丢了精细的曲率信息，所以许多改进工作试图让老师“懂事一点”，最常见的思路是给扩散模型也装上立体视觉——把相机位姿 $v$ 作为额外条件输入老师网络，让它在点评时明确知道“我正在从侧面看”：

$$\nabla_\theta \mathcal{L}_{\mathrm{MV}} = \mathbb{E}_{t,\,\epsilon,\,v}\Big[\, w(t)\,\big(\,\epsilon_\phi(z_t;\, y, v, t) - \epsilon\,\big)\,\frac{\partial x}{\partial \theta}\, \Big]$$

1. 视角条件 $v$：明确告诉老师“当前照片的相机朝向”，让点评与视角绑定，而不是对所有方向都给出同一套意见。

$$v$$

2. 条件噪声预测 $\epsilon_\phi(z_t; y, v, t)$：老师带着“我从侧面看”的意识去猜墨迹，从而避免把侧面也猜成正面。

$$\epsilon_\phi(z_t;\, y, v, t)$$

3. 残差与回传：与 SDS 一样，用噪声残差 $\times$ 渲染导数把意见传回 3D 参数，但这次残差里包含了视角相关的修正。

$$\big(\epsilon_\phi(z_t;\, y, v, t) - \epsilon\big)\,\frac{\partial x}{\partial \theta}$$

4. 期望符号：表示训练时不仅要随机撒噪声，还要随机切换视角，让每个角度都被老师监督到。

$$\mathbb{E}_{t,\,\epsilon,\,v}$$

阿石终于明白：师父虽然只会看平面图，但可以让师父戴着 VR 眼镜批作业。SDS 打开了“用 2D 先验生成 3D”的大门，而后续的 MVDream、DDS、ProlificDreamer 等工作，都在为这位 2D 老师装配越来越好的立体感知能力。

AI 应用场景

Python 演示

import numpy as np T = 100  # 扩散时间步数VIEWS = ('front', 'back')LR = 0.06 # 老师在 16 像素照片上的"理想轮廓"：一座微笑山丘t_axis = np.linspace(-2.0, 2.0, 16)target = np.clip(1.0 - (t_axis - 0.4) ** 2, 0.0, 1.0)  def render(theta, view):    """把 8 个控制点的雕塑插值成 16 像素的照片"""    x = np.interp(np.linspace(0, 7, 16), np.arange(8), theta)    return x if view == 'front' else x[::-1]  def d_render(view):    """渲染器对 theta 的雅可比矩阵 (16 x 8)"""    J = np.zeros((16, 8))    pts = np.linspace(0, 7, 16)    for i, p in enumerate(pts):        low = int(np.floor(p))        high = min(low + 1, 7)        frac = p - low        J[i, low] = 1.0 - frac        J[i, high] = frac    return J if view == 'front' else J[::-1, :]  def sds_update(theta):    """单步 SDS: 拍照 -> 加噪 -> 老师点评 -> 回传梯度"""    view = VIEWS[np.random.randint(2)]    x = render(theta, view)    eps = np.random.randn(16)    t = np.random.randint(10, 80)    alpha_bar = 1.0 - t / T  # 简化的噪声计划    z_t = np.sqrt(alpha_bar) * x + np.sqrt(1.0 - alpha_bar) * eps    clean = target if view == 'front' else target[::-1]    eps_hat = (z_t - np.sqrt(alpha_bar) * clean) / np.sqrt(1.0 - alpha_bar)    grad = (eps_hat - eps) @ d_render(view)  # SDS 梯度    theta -= LR * grad    return theta, float(np.mean((eps_hat - eps) ** 2))  def main():    theta = np.zeros(8)    for step in range(500):        theta, opinion = sds_update(theta)        if step % 50 == 0:            print("step %3d | 老师意见能量 %.4f | 雕塑前端 %.3f" % (step, opinion, render(theta, 'front')[0]))    print("最终控制点:", np.round(theta, 3))  if __name__ == "__main__":    main()

1. x = np.interp(np.linspace(0, 7, 16), np.arange(8), theta)把稀疏的 8 个控制点插值成 16 像素的“渲染照片”。
2. z_t = np.sqrt(alpha_bar) * x + np.sqrt(1.0 - alpha_bar) * eps给照片撒墨迹（扩散加噪），alpha_bar 越大墨迹越轻。
3. eps_hat = (z_t - np.sqrt(alpha_bar) * clean) / np.sqrt(1.0 - alpha_bar)模拟预训练扩散老师：根据当前脏图反推理想干净轮廓并预测噪声。
4. grad = (eps_hat - eps) @ d_render(view)核心 SDS 梯度：噪声残差作为修改方向，通过渲染雅可比回传到控制点。
5. theta -= LR * grad按梯度更新 3D 参数，相当于阿石照着评语修一刀。
6. view = VIEWS[np.random.randint(2)]每个 step 随机换一个视角拍照，让每个角度都被老师监督。

常见误区

面试题