CFG无分类引导：扩散模型核心方法

可视化演示

展示Classifier-Free Guidance公式推导、条件丢弃训练策略与引导尺度权衡，切换模式理解扩散模型核心引导技术的数学原理与工程实践。

背景与动机

画家把第一幅自由创作挂上墙，客户只看了一眼：“我要的是戴帽子的猫。” 画家很委屈：“我画的确实是猫啊。” 他没错，但也没用——作品和客户需求之间没有任何保证，全凭运气。自由发挥时，画家脑子里装着所有猫的样子，随机挑一个画，这就是无条件生成的本质：模型学到了整个数据分布，却不知道此刻该把画笔落在哪个点上。

扩散模型与此完全同构。它的生成过程是从一团纯噪声出发，逐步去噪成一张图；而无条件模型只掌握数据的整体分布——所有图像的“平均气质”。你给它任何提示词，它都在分布里随便挑一个区域落笔，画面与文本的对齐全靠巧合。训练时虽然会把文本条件注入网络，但条件信号在每步去噪中只是“轻微耳语”，模型经常听岔：明明输入“猫”，却画出狗。

于是工业界与学术界都在思考同一个问题：如何把条件信号“推”得更用力，让模型坚定地朝用户想要的方向走。这个“推一把”的动作，就是引导（guidance）的本质，也是 CFG 要解决的核心矛盾。

艺术总监的结论也很直接：光会画不够，还要能“按需求坚定地画”。那么问题来了——用什么方式推，才推得准、推得起？

分类器引导

第一版方案很朴素：请一位“评审专家”站在画架旁。画家每擦一笔，评审就喊：“再往左一点，那里更像猫的轮廓。” 画家的画笔因此被硬生生拽向需求。这位评审，就是分类器（classifier）。在数学上，这个拽法来自贝叶斯分解：把“在满足条件 c 的前提下看到带噪画面”的后验得分，拆成“无条件得分”加上“分类器给出的条件得分”。

$$\displaystyle \nabla_{z_t} \log p(z_t \mid c) = \nabla_{z_t} \log p(z_t) + \nabla_{z_t} \log p(c \mid z_t)$$

1. 条件后验得分：我们要在“画面 z_t 满足客户条件 c”的后验分布上采样，取对数后对 z_t 求梯度，就能得到把画面推向需求的最优方向。

$$\displaystyle \nabla_{z_t} \log p(z_t \mid c)$$

2. 贝叶斯分解：贝叶斯公式把条件后验拆成先验乘以似然，取对数后乘法变加法，与 z_t 无关的常数项在求导时会消失。

$$\displaystyle \log p(z_t \mid c) = \log p(z_t) + \log p(c \mid z_t) - \log p(c)$$

3. 无条件得分：第一项是模型中本来就存在的无条件得分，相当于画家自由发挥时的直觉笔触。

$$\displaystyle \nabla_{z_t} \log p(z_t)$$

4. 分类器梯度：第二项来自额外训练的分类器，它像评审专家的手指，指出“往哪个方向擦，画面更像客户要的东西”。

$$\displaystyle \nabla_{z_t} \log p(c \mid z_t)$$

但这位评审的毛病太多：它得先在一个“充满噪声的画面上”学会分辨内容，而噪声越大它越看不清，给的方向经常是错的，甚至退化成对抗性的乱指。训练它还要额外花一份算力，维护成本极高。艺术总监算了笔账，觉得不划算，决心换一种“不用评审”的办法。

核心公式推导

艺术总监的灵感来自一个被忽略的细节：画家自己其实知道需求是什么——只要他盯着需求单，他就能画出对照版。为什么非要请外人来评判？干脆让画家同时交两版草稿：一版完全不看需求、凭直觉画（自由版），一版紧盯需求、拼命对齐（对照版）。两版草稿之间的差异，就是需求“推”着画笔的方向。

这个洞察对应到数学上，就是“隐式替代”：条件模型在训练中已经学会了条件分布的信息，它本身就编码了 p(c|z_t)，不需要再用一个显式分类器去逼近。于是 CFG 用同一个模型在两种输入下的输出之差，替换了分类器梯度。推理时的引导公式如下：

$$\displaystyle \tilde{\varepsilon}_\theta(z_t, c) = \varepsilon_\theta(z_t, \varnothing) + w \cdot \left[ \varepsilon_\theta(z_t, c) - \varepsilon_\theta(z_t, \varnothing) \right]$$

1. 条件预测：模型同时看到带噪画面与条件文本，预测当前噪声，相当于画家盯着需求单画的“对照版”。

$$\displaystyle \varepsilon_\theta(z_t, c)$$

2. 无条件预测：模型只看带噪画面、不看任何条件，预测当前噪声，相当于画家被收走需求单的“自由版”。

$$\displaystyle \varepsilon_\theta(z_t, \varnothing)$$

3. 需求方向：两版预测之差正是“客户需求”给画面带来的方向增量，等价于一种隐式的条件得分，CFG 的核心创新就在这一步。

$$\displaystyle \varepsilon_\theta(z_t, c) - \varepsilon_\theta(z_t, \varnothing)$$

4. 放大并叠加：引导尺度 w 把需求方向放大 w 倍，再叠加回自由版基线上，得到最终更强的引导预测。

$$\displaystyle \tilde{\varepsilon}_\theta(z_t, c) = \varepsilon_\theta(z_t, \varnothing) + w \cdot \left[ \varepsilon_\theta(z_t, c) - \varepsilon_\theta(z_t, \varnothing) \right]$$

1. 噪声与得分的关系：扩散模型中噪声预测与得分函数只差一个与时间有关的已知系数，因此两者可以互相换算，方向完全一致。

$$\displaystyle s_\theta(z_t) = -\frac{\varepsilon_\theta(z_t)}{\sqrt{1-\bar{\alpha}_t}}$$

2. 对称形式：把两个噪声预测都换成得分函数，就得到同样结构的 CFG 得分表达式，便于理论分析与后续推导。

$$\displaystyle \tilde{s}_\theta(z_t, c) = s_\theta(z_t, \varnothing) + w \cdot \left[ s_\theta(z_t, c) - s_\theta(z_t, \varnothing) \right]$$

画家从此不再需要评审：自己画两版、自己对比、自己用力。CFG 的名字里带着“免分类器”，正是因为它把这个外部依赖整个删掉了。

训练策略

但新问题出现了：画家“自由画”和“照需求画”是两种技能。如果训练时永远只给他需求单，他从来不知道“不看需求”时手该怎么动；可推理时我们又真的需要那版自由草稿。艺术总监的安排很巧妙：训练时随机收走需求单——有些回合给需求，有些回合把需求擦掉，让他凭直觉画。

对应到实现上，就是在训练中以一定概率 p 把条件 c 替换成空条件 ∅（空字符串、空白 token 或零向量），其余时候正常输入条件。这样同一个模型、同一套权重，同时学会了两种能力：看到条件就对齐，看不到条件就回到数据分布本身。目标函数写成：

$$\displaystyle \mathcal{L}(\theta) = \mathbb{E}_{t, z_0, \varepsilon, c}\left[\left\| \varepsilon - \varepsilon_\theta(z_t, c_\dagger) \right\|^2\right], \quad c_\dagger = \begin{cases} c, & \text{概率 } 1-p \\ \varnothing, & \text{概率 } p \end{cases}$$

1. 训练期望：对随机时刻 t、真实噪声 ε、干净图像与条件 c 取平均，把海量练习回合全部纳入损失。

$$\displaystyle \mathbb{E}_{t, z_0, \varepsilon, c}\left[\cdot\right]$$

2. 标准答案：训练时我们已经知道加进画面的真实噪声 ε，它是去噪任务的“标准答案”。

$$\displaystyle \varepsilon$$

3. 预测误差：模型预测噪声与真实噪声的平方距离越小，说明画家对画面当前状态的理解越准。

$$\displaystyle \left\|\varepsilon - \varepsilon_\theta(z_t, c_\dagger)\right\|^2$$

4. 随机条件开关：以概率 p 将条件替换成空条件 ∅，以概率 1−p 保留真实条件——这就是“随机收走需求单”的数学写法。

$$\displaystyle c_\dagger = \begin{cases} c, & \text{概率 } 1-p \\ \varnothing, & \text{概率 } p \end{cases}$$

实践中，丢弃率 p 的经验值是 10%~20%：太低则模型对空条件不敏感，太高则条件生成能力退化。训练时只需在 batch 内随机选一部分样本做无条件处理，几乎不增加额外成本。训练完成，画家闭上眼也能画，睁着眼也能画——所谓“无条件模型”从来不是另一个模型，而是同一个画家被收走需求单时的状态。

引导尺度权衡

艺术总监手里有个扩音器，旋钮上写着 w。开太小声，画家听不清需求，画得自由散漫；开太大声，画家被吼到只会机械复读需求模板，画面僵硬、颜色刺眼。找到那个“刚好能听清又不被吓到”的音量，就是引导尺度选择的艺术。

从分布视角看，CFG 的放大行为等价于把“条件似然”取 w 次方：w 越大，只有足够像需求的画面位置才保留下来，其他位置被急剧压制。这相当于把客户需求从“建议”提升为“命令”：

$$\displaystyle p_w(z_t \mid c) \propto p(z_t) \cdot p(c \mid z_t)^{w}$$

1. 自由发挥基线：p(z_t) 代表画面本身在自然数据分布中的概率，对应不看需求的自由版草稿。

$$\displaystyle p(z_t)$$

2. 条件似然放大：把“像不像客户需求”的似然取 w 次方，w 越大，只有足够符合需求的画面位置才保留权重。

$$\displaystyle p(c \mid z_t)^{w}$$

3. 比例符号：∝ 表示只关心相对大小，归一化常数由分母自动吸收，不影响采样时“往哪走”的方向。

$$\displaystyle p_w(z_t \mid c) \propto p(z_t) \cdot p(c \mid z_t)^{w}$$

实际效果可以总结为一对矛盾：w 越大，提示词匹配度越高（画面更“贴题”），但样本多样性越低（所有图长得越来越像，分布缩成一个尖峰）；w 超过某个上限后还会出现过曝、伪影、纹理僵化。Stable Diffusion 的默认值是 7.5，通用推荐区间在 5~8，具体甜点取决于模型与采样器。好的艺术总监，永远在“听指挥”与“留灵气”之间找平衡。

实际应用

画室里最抢手的画家，是那个“每单都能稳定交付客户需求”的人。CFG 正是让 AIGC 产品稳定交付的定海神针——现在的文生图模型，几乎都靠它让画面“听人话”。

Stable Diffusion 系列（SD 1.x、SD 2.x、SDXL）在采样器内部默认执行 CFG：每一步同时做一次条件前向和一次无条件前向，再用引导公式合成最终方向。Imagen 等模型同样采用 CFG 控制提示词对齐。用户界面里的"CFG Scale"滑杆，调的就是公式中的 w。

CFG 还催生了一个非常实用的衍生技巧：负面提示词（negative prompt）。想要“没有水印、没有模糊”，就把这些不想要的内容当作一个负向条件，在公式里朝它的反方向推——相当于再交一版“反向需求”草稿，把画面从坏方向推开。采样器（DDIM、DPMSolver++、Euler）则负责在引导后的得分场上走得更快更稳，两者配合，才得到既清晰又听话的画面。

从产品到开源生态，CFG 已经成为“条件生成”的标准基础设施。艺术家和工程师调的不是玄学，而是那个“两版草稿之差”的放大倍数——理解这一点，就理解了整个扩散模型可控生成的地基。

局限与进阶

再好的方法也有代价。画家每画一步都要交两版草稿，工作量翻倍——CFG 推理时每步需要两次前向传播，计算成本大约翻倍，这在低延迟在线服务里是一笔扎眼的开销；w 调得过大还会“过冲”，出现伪影。

于是研究界开始思考：能不能让画家“闭着眼也画出两版结合的效果”？答案是知识蒸馏。训练一个学生网络，直接以老师（CFG）的引导输出为目标，让学生用一次前向就复现“两版草稿对比”后的成品：

$$\displaystyle \mathcal{L}_{\text{distill}}(\phi) = \mathbb{E}_{t, z_0, \varepsilon, c}\left[\left\| \varepsilon_\phi(z_t, c) - \tilde{\varepsilon}_\theta(z_t, c) \right\|^2\right]$$

1. 学生模型：ε_φ 是一个单次前向的学生网络，目标是学会老师的引导行为，而不是重新学一遍两版对比。

$$\displaystyle \varepsilon_\phi(z_t, c)$$

2. 老师输出：带波浪号的 ε_θ 是 CFG 老师做两次前向得到的引导预测，作为教学范本。

$$\displaystyle \tilde{\varepsilon}_\theta(z_t, c)$$

3. 模仿差距：最小化学生与老师在带噪画面上的预测差距，蒸馏完成后学生一步就“自带引导”，推理成本直接减半。

$$\displaystyle \left\| \varepsilon_\phi(z_t, c) - \tilde{\varepsilon}_\theta(z_t, c) \right\|^2$$

由此诞生了 guidance distillation、SD-Turbo、LCM 等一系列加速方案，让高质量文生图跑进实时交互。研究界还在探索自适应引导尺度——不同内容、不同去噪阶段使用不同的 w。也许未来的画家闭着眼也能画出客户要的画，但理解“两版草稿之差”这个原理，依然是这一切的地基。

AI 应用场景

Python 演示

import numpy as np rng = np.random.default_rng(42)MU = {0: np.array([-2.0, 2.0]), 1: np.array([2.0, -2.0])}DATA = {c: rng.normal(MU[c], 0.8, size=(400, 2)) for c in (0, 1)} def fit(data):    m = data.mean(axis=0)    cov = (data - m).T @ (data - m) / len(data)    return m, cov M_ALL, C_ALL = fit(np.vstack([DATA[0], DATA[1]]))M_TAR, C_TAR = fit(DATA[1])  # 目标条件:类别1 def alpha_bar(t):    return np.cos(t * np.pi / 2) ** 2 def score(x, t, m, cov):    ab = alpha_bar(t)    target_cov = ab * cov + (1 - ab) * np.eye(2)    return -np.linalg.solve(target_cov, x - np.sqrt(ab) * m) def sample_cfg(w, steps=60, seed=0):    rng = np.random.default_rng(seed)    x = rng.normal(size=2)    for i in range(steps):        t = 1.0 - (i + 0.5) / steps        s_all = score(x, t, M_ALL, C_ALL)        s_tar = score(x, t, M_TAR, C_TAR)        s_cfg = s_all + w * (s_tar - s_all)        x = x + s_cfg * 0.15 + rng.normal(size=2) * (0.35 * (1 - t) + 0.03)    return x if __name__ == "__main__":    for w in (0.0, 1.0, 4.0):        out = np.array([sample_cfg(w, seed=s) for s in range(80)])        aligned = (np.linalg.norm(out - M_TAR, axis=1) < np.linalg.norm(out - MU[0], axis=1)).mean()        dist = np.linalg.norm(out - M_TAR, axis=1).mean()        spread = out.std(axis=0).mean()        print(f"w={w:<4} 目标簇占比={aligned:.2f} 距目标中心={dist:.2f} 离散度={spread:.2f}")

1. DATA = {c: rng.normal(MU[c], 0.8, size=(400, 2)) for c in (0, 1)}生成两个类别簇：类别 0 与类别 1，类别 1 充当“客户需求”。
2. def fit(data):用最大似然拟合每个类的高斯均值与协方差，作为得分函数的基础。
3. def alpha_bar(t):余弦噪声调度，控制“当前时刻画面还剩多少原始信息”。
4. def score(x, t, m, cov):返回某时刻边缘分布的得分，即“朝数据高密度区走”的方向。
5. s_cfg = s_all + w * (s_tar - s_all)CFG 核心一行：无条件得分加上放大后的条件方向差。
6. x = x + s_cfg * 0.15 + rng.normal(size=2) * (0.35 * (1 - t) + 0.03)沿得分迈一步并注入退火噪声，模拟随机采样过程。
7. aligned = (np.linalg.norm(out - M_TAR, axis=1) < np.linalg.norm(out - MU[0], axis=1)).mean()统计落在目标簇附近的样本占比，衡量“听指挥”程度。
8. spread = out.std(axis=0).mean()用标准差衡量样本多样性，引导越强通常离散度越小。

常见误区

面试题