文生图完整流程拆解

$$\displaystyle \text{Prompt} = \text{主体} \oplus \text{风格} \oplus \text{光影细节} \oplus \text{质量词} \ominus \text{负面词}$$

$$\displaystyle M = \{ \text{CLIP}, \text{UNet}, \text{VAE} \}$$

$$\displaystyle \hat{\epsilon} = \epsilon_u + s \cdot (\epsilon_c - \epsilon_u)$$$$ > 引导系数 s 越大，模型越严格按照提示词执行，但太大也会导致颜色过饱和、细节崩坏——就像主厨太用力讨好顾客，把菜炒焦了。 #### 逐字解析 1. **无条件预测**：不参考提示词时模型"自由发挥"预测的噪声，相当于没人点菜时厨师随手做的菜。   $$\epsilon_u$$2. **条件预测**：参考提示词后模型预测的噪声，是"照着菜单做"的结果。   $$\epsilon_c$$3. **方向偏差**：两者相减得到"听从菜单"的方向，表示提示词对生成的影响力度。   $$\epsilon_c - \epsilon_u$$4. **引导强度**：用 s 放大这个偏差再加回自由预测，s 越大，画面越贴提示词。   $$s \cdot (\epsilon_c - \epsilon_u)$$ 火候是一门平衡的艺术。步数太少菜不熟，太多菜太烂；引导系数太高画面发腻，太低提示词形同虚设。理解了这些旋钮的物理含义，你就不再是盲目乱调，而是带着目的去"尝菜"。 ### 采样生成：主厨的一勺一勺来 真正的烹饪开始了。主厨端出的不是一块成型的牛排，而是一锅"毛坯食材"——在潜空间里，这锅毛坯就是一张纯噪声图，什么内容都没有。它的任务，是通过几十次"去噪"，把藏在噪声里的画面一点点显影出来，像暗房里的照片逐渐浮现轮廓。 这个过程叫采样：从初始噪声出发，UNet 每轮预测出"应该刮掉多少噪"，然后按公式更新潜变量，循环往复。每一步都让画面清晰一点：先出大轮廓，再出细节纹理。步数越多，轮廓到细节的过渡越精细，但超过一定步数后收益递减。

 > 这是反向去噪的"核心菜谱"：从当前带噪的半成品里刮掉预测出的噪声，再做一次缩放，最后加一点随机扰动，就得到了更清晰的一步。 #### 逐字解析 1. **当前潜变量**：z_t 表示第 t 步时潜空间里的半成品，它带着噪声，是上一轮去噪留下的状态。   $$z_t$$2. **噪声预测项**：括号里的部分表示本次要"刮掉"的噪声，UNet 负责预测它藏在哪。   $$\frac{1-\alpha_t}{\sqrt{1-\bar{\alpha}_t}} \epsilon_\theta$$3. **缩放系数**：去掉预测噪声后，整体除以根号 alpha_t 做一次收缩，保证每步方差稳定。   $$\frac{1}{\sqrt{\alpha_t}}$$4. **随机扰动项**：最后加上一个小随机噪声 sigma_t xi，让采样保留随机性，画面不至于死板。   $$\sigma_t \xi$$ 一勺一勺地调味，一锅毛坯食材渐渐有了形状。这个过程是在潜空间里完成的——画布只有 64×64，比最终图片小得多，所以计算量可控。采样器选择（如 Euler、DPM++）则像是不同的翻锅手法，味道见仁见智。 ### VAE 解码：把半成品装盘上桌 主厨辛辛苦苦在厨房后台（潜空间）炒好的菜，顾客是看不见的——那只是一堆压缩过的半成品数据。要让菜真正端上桌，需要装盘师把半成品"展开"成完整的像素图。这位装盘师就是 VAE 解码器。 为什么要在潜空间里做菜？因为 512×512 的彩色图有近 80 万个像素，直接算太慢。VAE 编码器先把图压缩成 64×64 的潜变量，只有原来的 1/64 大小，主厨在这个小画布上快速迭代；最后再由解码器把成品还原成高清像素图。

 > VAE 让生成过程在 8 倍压缩的小画布上进行：编码器负责压缩、解码器负责还原。压缩率越高，计算越快，但还原质量也越考验解码器的功力。 #### 逐字解析 1. **编码器**：把像素图 x 压缩成潜变量 z_0，相当于把整道菜收进小小的保鲜盒。   $$z_0 = \mathcal{E}(x)$$2. **解码器**：把去噪完成的潜变量 z_0 还原为像素图 x_hat，相当于开盒装盘。   $$\hat{x} = \mathcal{D}(z_0)$$3. **压缩倍率**：512 的边长压缩为 64，每边缩小 8 倍，面积缩小 8×8=64 倍。   $$64 = \frac{512}{8}$$ 装盘师的水平直接决定上桌颜值。底模和 VAE 不匹配时，还原出来的图就会发灰、偏色——就像装盘师手抖把酱汁打翻了。所以很多进阶玩家会单独下载精调过的 VAE 模型，让"装盘"更漂亮。 ### 后处理优化：摆盘与点缀 菜端上桌了，但离"完美出片"还差最后一步：摆盘与点缀。直接生成的图分辨率往往有限，细节也可能有小瑕疵。后处理阶段就像在盘边画几笔酱汁、撒上香料碎，让整道菜更上镜。 最常用的后处理手段三种：高清放大（超分模型把图放大 2 倍甚至 4 倍，补出更多细节）、局部重绘（用蒙版框住不满意的部位重新生成）、批量流程（把固定模板套用到大量图上，自动化产出）。其中高清放大是最基础的"摆盘"动作。

$$\displaystyle \sigma(x) = \sqrt{\frac{1}{n}\sum_{i=1}^{n} (x_i - \mu)^2}$$

# -*- coding: utf-8 -*-# 文生图完整流程迷你模拟: 用 16x16 灰度图演示 提示词 -> 加噪 -> 去噪 -> 出图import numpy as np  class TextToImagePipeline:    """在内存中模拟 Stable Diffusion 文生图主干流程"""     def __init__(self, size=16, seed=42):        self.size = size        self._rng = np.random.default_rng(seed)        self._vector = np.zeros(6)        self._target = np.zeros((size, size))     def encode_prompt(self, words):        """文本编码器: 把提示词映射为 6 维语义向量"""        vocab = ['山', '水', '日', '月', '林', '雪']        for w in words:            if w in vocab:                self._vector[vocab.index(w)] += 1.0        self._vector /= max(self._vector.sum(), 1e-6)        return self._vector     def decode_vector_to_image(self):        """语义向量 -> 目标灰度图 (真实场景由训练好的底模决定)"""        v = self._vector        for i in range(self.size):            for j in range(self.size):                base = (i + j) / (self.size * 2)                self._target[i, j] = base * (0.4 + 0.6 * v[i % len(v)])        return self._target     def add_noise(self, img, t):        """前向加噪: 原图与高斯噪声按 alpha 混合"""        alpha = 1.0 - 0.9 * t        noise = self._rng.normal(0, 1, img.shape)        return np.sqrt(alpha) * img + np.sqrt(1 - alpha) * noise     def denoise_step(self, z_t, t, guidance):        """反向去噪一步: 去掉噪声并朝语义目标修正 (模拟 UNet + CFG)"""        alpha = 1.0 - 0.9 * t        est = z_t / np.sqrt(alpha)        grad = self._target - est        return est + guidance * grad * (1 - alpha)     def generate(self, prompt_words, steps=30, guidance=2.0, seed=0):        """完整流程: 编码 -> 纯噪声起步 -> 逐步去噪 -> 输出画面"""        self._rng = np.random.default_rng(seed)        self._vector = np.zeros(6)        self.encode_prompt(prompt_words)        self.decode_vector_to_image()        z_t = self.add_noise(np.zeros((self.size, self.size)), 1.0)        for i in range(steps):            t = 1.0 - i / steps            z_t = np.clip(self.denoise_step(z_t, t, guidance), 0, 1)        return z_t  if __name__ == '__main__':    pipe = TextToImagePipeline(size=16)    img = pipe.generate(['山', '日', '雪'], steps=25, guidance=1.5)    np.set_printoptions(precision=2, suppress=True)    print('= 最终画面 (16x16) =')    print(img)