深入SD三大组件：UNet、VAE与文本编码器

可视化演示

动态演示深入SD三大组件的核心机制，通过采集/分析/决策/反馈四种模式展示关键概念与交互流程。

整体流水线

让我们先在画室门口看一张“工作日历”。清晨，翻译官把客户的话写成工程单；档案员把参考照片压缩成小卡片；雕塑家接过小卡片和工程单一头扎进地下室，傍晚，档案员把完工的小雕像放大成巨幅油画，挂进展厅。Stable Diffusion 一次完整的生成，走的正是这条流水线：文本编码器产出条件向量，UNet 在潜在空间反复去噪，VAE 负责在像素图与潜在表示之间编解码。

“潜在空间”这个词听起来玄乎，其实就是档案员手里的“小卡片世界”。一张 1024×1024 的彩色图片，在像素空间里有三百多万个数，而 VAE 把它压成 64×64×4 左右的紧凑表示，数据量只有原来的几十分之一。UNet 在这个小世界里工作，计算负担小、迭代速度快，这正是 SD 能在一台消费级显卡上跑起来的关键。

要让雕塑家学会“从噪声中还原成品”，画室先做了反向练习：把一张真图反复加噪，直到完全变成雪花点——这叫正向扩散；然后让雕塑家从雪花点一步步还原，这叫反向去噪。训练时模型看的是“从清晰到模糊”的录像，生成时它播放的是“从模糊到清晰”的倒放。二者互为镜像，用的是同一套参数。

回到流水线本身，你会发现训练和生成都在“小卡片”上进行，只有最后一步才回到像素世界。翻译官、档案员、雕塑家三位大师各守一摊，谁也别想越界——这正是 SD 架构优雅的地方。

文本编码器

客户的需求往往是含糊的：“来点王座、猫、油画风。”可雕塑家需要的是精确的指令。翻译官的职责，就是把这句人话翻译成一张结构化的“工程单”——一个长长的数字向量，我们叫它条件向量。工程单不是简单查字典，SD 用的是 OpenAI 的 CLIP 模型中的文本分支：它在一亿多张图文对上训练过，知道“王座”长什么样、“油画风”是什么质感，所以产出的向量带着浓厚的语义。

CLIP 的文本分支本身是一个 Transformer。它先把提示词拆成一个个词元（token），每个词元查表得到一个初始嵌入向量，然后经过多层自注意力交互，让“猫”这个词不断吸收“王冠”“王座”带来的上下文信息。最后取序列的隐藏状态，投影成一个固定维度的向量，通常 SD 1.x 用的是 768 维。这 768 个数不是给人看的，而是给 UNet 看的“暗号”。

条件向量怎么发挥作用？UNet 的交叉注意力层会把图片特征当作“查询”，把条件向量当作“键和值”：每个图像位置都去条件向量里检索“自己该长成什么样子”。所以提示词里出现“蓝色眼睛”，交叉注意力就会在眼睛区域增强蓝色响应——这就是语义引导的实质。

翻译官的工作看似简单，却决定了生成内容的天花板。工程单写得越准确，雕塑家雕出来的东西就越接近客户的心愿——这也是为什么提示词工程、CLIP Skip 参数会成为社区热议话题。

VAE组件

档案员是画室里的“尺寸魔术师”。客户要的是三米乘三米的巨幅油画，可地下室的搬运通道只有公文包那么宽。档案员的办法是：把巨幅油画拍成一张小照片，叠好塞进公文包；等工作完成再冲洗放大回原尺寸。VAE 的编码器就是拍照压缩的过程，解码器就是冲洗放大的过程。

为什么叫“变分自编码器”？因为它不光做压缩，还顺便学了“概率”：编码器不再输出一个确定的潜在点，而是输出一个分布（均值 $\mu$ 和方差 $\sigma$），再从这个分布里采样。这样潜在空间就是连续的、平滑的——你随便挑一个潜在点，解码器都能还原成一幅合理图像，而不是只会背答案。

训练 VAE 时有两个目标相互拉扯。第一是重建损失：把图片编码再解码，要尽量跟原图一致，相当于档案员放大后的照片必须清晰不糊；第二是KL 正则：编码出的分布要尽量接近标准高斯分布，防止潜在空间变成一堆互不相连的孤岛，方便日后 UNet 在里面自由穿行。

档案员的质量直接决定了最终图片的锐度、色彩与细节。倘若小卡片本身的“笔迹”粗糙，雕塑家再努力，放大出来的油画也会满是噪点——这也是为什么社区会流传“换一个更好的 VAE 文件，出图立刻变清晰”的经验。

UNet主干

雕塑家是画室里最辛苦的人，他的工作台叫 UNet。为什么要叫 U？因为它的结构像个字母 U：先从左侧一路下采样，把“小卡片”继续压缩成更小的特征图，像雕塑家先眯起眼看整体轮廓；然后从底部折返，一路上采样把特征图放大回原尺寸，像凑近去精修五官细节。U 型最妙的设计是跳连（skip connection）：下采样时每一层的特征直接抄近道接到上采样的对应层，让细节不因压缩而丢失。

UNet 内部堆叠着两类核心积木。第一类是 ResNet 残差块：输出等于输入加上一个变换，即 $h_{\text{out}} = h_{\text{in}} + \mathcal{F}(\cdot)$。这相当于雕塑家每凿一刀都保留上一刀的位置记忆，避免越雕越偏。第二类是注意力层：空间自注意力让像素彼此商量“谁是背景、谁是主体”，交叉注意力则让每个像素向条件向量征询“该长成什么”。

雕塑家还需要知道“现在雕到第几步了”。这就是时间步嵌入（time embedding）：把当前时刻 $t$ 编码成一个向量，随时告诉网络“现在噪声还很多，大刀阔斧地改；还是已经接近成品，只能微调”。时间步嵌入和条件向量一起，作为额外的输入注入每一个残差块。

雕塑家之所以稳，全靠这套“U 型打底 + 残差保底 + 注意力定向 + 时间步调速”的组合拳。理解了 UNet 的骨架，再去看 Stable Diffusion 的源码结构，你会发现每一层都在你的预期之中。

去噪采样

雕塑家技艺的核心，是“知道下一刀该去掉什么”。在扩散模型里，这就叫噪声预测：UNet 的输入是当前带噪的潜在表示 $z_t$，输出是它认为的噪声 $\epsilon_\theta(z_t, t, c)$。注意——它输出的不是图片，而是“杂质”本身。就像雕塑家看到的不是“雕像还缺什么”，而是“哪块石头是多余的”。

有了噪声估计，就能列出去噪公式：把当前带噪卡片往回拽一步。想象你在雪地里踩出一串脚印，每一步都混进了风雪，去掉噪声就是把脚印从雪里“抠”出来——而且每抠一步，还要重新踩实一下地面（加一点随机噪声），防止路径走歪。这个过程从 $t=T$（完全随机）一路循环到 $t=0$（接近干净），通常要迭代 20～50 步。

公式右边的强度控制体现在两个地方：一是采样步数，步数越多每步走得越稳，但收益递减；二是引导系数 $w$，它决定“工程单”的影响力，这在下一节展开。实际使用中，DDIM、DPM++ 等采样器正是通过改写这个公式来减少步数、提升质量。

雕塑家就这样一凿、一停、一回头，几十轮下来，大理石里的王座与猫便浮出水面。采样公式看似简单，却是整个 SD 生成质量最敏感的旋钮之一。

组件协作

最后，我们把三位大师的协作场面完整回放一遍：翻译官紧盯着客户的话，写出一份 768 维的工程单；档案员把小卡片递进地下室；雕塑家抱着大理石，边看工程单边下刀。条件注入发生在 UNet 的每一层——交叉注意力让每个像素都能“读到”工程单上的语义，残差块里也直接拼接条件向量和时间步编码，保证信号一路畅通。整条流水线全部在潜在空间流转，直到最后一刻，档案员才把潜在表示解码成像素图。

如果客户反复强调“一定要有王冠”，怎么办？画室有个“强调旋钮”，叫 CFG 引导（Classifier-Free Guidance）。做法很巧妙：同时算出“有工程单”和“没有工程单”的噪声预测，两者之差就是工程单的净影响力，把这个差值放大 $w$ 倍再加回去。$w$ 越大，生成结果越贴提示词，但太大会过饱和甚至变形——就像客户越催，雕塑家越用力，反而把王冠雕碎了。

实战中，这套协作体系还有更多花活：负向提示词就是给 $w$ 一个“反向拉扯”，告诉雕塑家“千万别雕成模糊的”;采样器负责决定公式里每步怎么走。读懂了三组件如何协作，你调任何参数都能预判后果，而不是盲盒式炼丹。

AI 应用场景

Python 演示

# -*- coding: utf-8 -*-"""迷你Stable Diffusion三组件演示：TextEncoder把提示词变成条件向量；VAE做图像/潜在空间的压缩与重建；UNet-like去噪器在潜在空间逐步去噪。"""import numpy as np rng = np.random.default_rng(42)  def text_encoder(prompt, vocab, dim=16):    vec = np.zeros(dim)    for word in prompt.lower().split():        if word in vocab:            vec[vocab[word] % dim] += 1.0    norm = np.linalg.norm(vec)    return vec / norm if norm > 0 else vec  def vae_encode(img):    return img.reshape(4, 8, 4, 2, 4, 2).mean(axis=(1, 3, 5))  def vae_decode(z):    return np.kron(z, np.ones((4, 4)))  def unet_denoise(z, t, cond, total_steps):    alpha = t / total_steps    smooth = (z[:-1, :] + z[1:, :] + z[:, :-1] + z[:, 1:]) / 4.0    target = np.outer(cond[:8], cond[:8])    return z - 0.3 * (z - smooth) - 0.5 * alpha * (z - target)  def make_shape():    img = np.zeros((32, 32))    img[8:24, 8:24] = 1.0    y, x = np.mgrid[0:32, 0:32]    img[(x - 16) ** 2 + (y - 16) ** 2 < 49] = 0.0    img[(x - 16) ** 2 + (y - 16) ** 2 < 16] = 1.0    return img  def main():    vocab = {"cat": 0, "king": 1, "square": 2, "ring": 3}    cond = text_encoder("cat king square ring", vocab)    img = make_shape()    latent = vae_encode(img)    noise = rng.normal(0, 0.45, latent.shape)    z = latent + noise  # 正向扩散：加入噪声    for t in range(20, 0, -1):  # 反向采样：逐步去噪        z = unet_denoise(z, t, cond, 20)    out = vae_decode(z)    err = float(np.abs(out - img).mean())    print("条件向量:", np.round(cond, 2))    print("去噪重建平均误差:", round(err, 4))    print("原始均值=%.2f 重建均值=%.2f" % (img.mean(), out.mean()))  if __name__ == "__main__":    main()

1. vec[vocab[word] % dim] += 1.0把关键词散列叠加进固定维度向量，模拟文本编码器产出条件向量。
2. img.reshape(4, 8, 4, 2, 4, 2).mean(axis=(1, 3, 5))平均池化把 32×32 压成 8×8，模拟 VAE 编码器的压缩。
3. np.kron(z, np.ones((4, 4)))每个潜在像素扩展成 4×4 块，模拟 VAE 解码器还原像素图。
4. smooth = (z[:-1, :] + z[1:, :] + z[:, :-1] + z[:, 1:]) / 4.0用四邻域平滑近似“预测噪声”，相当于简化版 UNet 判断哪里不平整。
5. target = np.outer(cond[:8], cond[:8])条件向量构造目标模板，让去噪方向受提示词引导。
6. for t in range(20, 0, -1):反向采样循环，从 t=20 到 t=1 共 20 步迭代去噪。
7. z = unet_denoise(z, t, cond, 20)每一步用当前时刻的强度系数去噪，模拟时间步控制在采样中的作用。

常见误区

面试题