Classifier-Free Guidance：扩散模型引导

可视化演示

可视化展示Classifier-Free Guidance核心原理：条件与无条件预测组合、引导强度参数控制、CFG与Classifier Guidance对比，交互切换理解扩散模型引导技术。

双路信号：条件与无条件生成

录音时，调音师会先在干路上录一版原始声音，再把信号分出一条湿路送去效果器。两条路共享同一个输入源，却输出不同的音色。扩散模型的训练也这样安排：同一个神经网络被要求同时会两件事——看见标签“柴犬”时预测带柴犬特征的噪声方向（条件生成），看见一个空白标记 \(\varnothing\) 时预测普通的噪声方向（无条件生成）。

这两个能力不是分两个模型训练的，而是在一次训练中靠“随机翻转”得到的：每次迭代，以概率 \(p\) 把条件 \(y\) 换成空标记 \(\varnothing\)。于是网络被迫学会在没有条件时也能给出合理预测。这就像录制时偶尔拔掉效果器的输入线，逼着干路也录到及格线以上，将来混音才有素材可用。

训练目标仍是标准的去噪损失，只是输入的条件有时是 \(y\)、有时是 \(\varnothing\)：

这样训练完的模型就像一台上好干湿两路的调音台，随时可以单独输出“干净版”和“效果版”，供混音时选择。

分数蒸馏：两路波形

干信号和湿信号不是凭空产生的，它们来自同一条音频的两种“形态”。在概率世界里，这两种形态被称为“得分”——概率密度上升的方向。无条件得分 \(\nabla_{\mathbf{x}}\log p(\mathbf{x})\) 是干路的波形；条件得分 \(\nabla_{\mathbf{x}}\log p(\mathbf{x}\mid\mathbf{y})\) 是湿路的波形。

贝叶斯公式告诉我们两路信号的关系：湿路 = 干路 + 条件修正项。条件修正项 \(\nabla_{\mathbf{x}}\log p(\mathbf{y}\mid\mathbf{x})\) 衡量“当前样本有多像标签 \(y\) 所描述的内容”，并把采样方向朝更符合标签的地方推：

在扩散模型里，得分函数和模型预测的噪声方向只差一个已知的系数。简单说，预测噪声 \(\varepsilon_\theta\) 近似等于“负得分”。所以训练出的 \(\varepsilon_\theta(\mathbf{z}_t, \mathbf{y})\) 和 \(\varepsilon_\theta(\mathbf{z}_t, \varnothing)\) 就是两条得分路径的可学习替身。调音台里，干湿两路的“声学差异”来自效果器；在 CFG 中，条件与无条件输出的差，正是全部条件信息的浓缩。

旋钮的核心公式

调音台上最常用的操作就是拧干湿旋钮。假设干路输出是 \(a\)，湿路输出是 \(b\)，旋钮刻度为 \(s\)，那么输出 \(= a + s \times (b - a)\)。当 \(s=0\) 时纯干；\(s=1\) 时是标准的“干湿参考值”；\(s>1\) 时效果被放大，声音更有侵略性，这就是“外推”——超出了干湿两点直接连线的范围。

CFG 把同样的旋钮装到了扩散模型的每次去噪预测上。采样时我们对每一步同时跑两次网络：一次给条件 \(y\)，一次给空标记 \(\varnothing\)，然后按下式混合：

有人把 \(s\) 调到很大，得到边缘发亮、色彩过艳的“拔丝”图像；这和录音师把混响拧到产生尖锐回声，是同一手感。锚点永远是无条件预测，条件只负责提供偏移量，因此即使 \(s\) 很大，也不会彻底破坏底子。

引导强度：旋钮的刻度感

调音台最怕两种调法：干到底声音干瘪没氛围；湿过头声音过载破音。图像生成也一样，CFG 的引导强度需要按任务选择。当 \(s=0\)，生成完全由无条件分支主导，结果多样但常常不遵循提示词；当 \(s=1\)，条件作用刚好到位，但通常不够“黏”；文生图实践中 \(s\) 往往取 2~7。再往上拧，图像会出现典型的过饱和、边缘发光、纹理像油画厚涂一样的伪影。

从数学上看，\(s\) 控制的是每一步反向扩散中“条件偏移”的力度。预测噪声变了，下一步重建的潜变量 \(\mathbf{z}_{t-1}\) 也随之改变：

一个成熟的调音师靠监听判断旋钮位置；一个成熟的生成模型工程师靠验证集指标和用户反馈来调 \(s\)。动捕师、插画师偏好的 \(s\) 通常更低，产品渲染图更高——旋钮的“甜点区”永远是任务相关的。

外接与内置：对比分类器引导

CFG 出现之前，扩散模型获得条件引导靠的是“外接效果器”——额外训练一个分类器，判断当前噪声图属于哪一类，然后沿着“让分类器更确信”的方向推一把。这个方向就是分类器梯度。其更新公式为：

外接设备的坏处很明显：要单独训练分类器；噪声图上的分类器可能给出不稳定甚至被对抗扰动左右的梯度；每一步还要额外做一次反向传播。CFG 把“推一把”的方向替换为模型自身条件输出与无条件输出的差——两个前向、无额外模型、无需反向传播。这就是它后来成为主流的原因。效果器从外接变成内置，声音干净了、接线简单了，这是音频设备史上的一大步，也是引导技术史上的一大步。

训练与技巧：接对效果器的线

内置效果器不是天生的——调音台出厂前，要把干路信号录好，还要把湿路的插入点接对位置。对 CFG 而言，最关键的一步是训练阶段的条件丢弃：以概率 \(p\)（通常 10%~20%）把条件 \(y\) 替换为 \(\varnothing\)。\(p\) 太小，无条件分支没学好，外推时锚点不稳；\(p\) 太大，条件分支变弱，生成就不够听话。论文里常用 \(p=0.1\sim0.2\)，Imagen 则用较小的 5%。

CFG 还可以与“负向提示”（negative prompt）结合：把不想要的文本（比如“模糊、水印”）作为反向条件，让采样方向主动远离它。这相当于在调音台上再接一个“反向效果器”，专门压制某些频率。

CFG 推理时要跑两次前向，成本翻倍。研究者们加了一招“引导蒸馏”：用固定 \(s\) 的教师模型输出被引导过的噪声，让学生模型一步到位模仿：

接好线、调好电平，调音台才能稳定工作；选对丢弃概率、配好蒸馏目标，CFG 才能稳定输出高质量图像。

应用与局限：实战中的表现

今天几乎所有主流文生图产品——Stable Diffusion、Midjourney 的底层、Imagen、DALL·E 2/3——都在采样时使用 CFG。工程师把它做成一个叫 “CFG Scale“ 的滑块，用户无需懂公式，像调音师拧旋钮一样就能控制”听话程度”。默认值通常设在 7 附近，动漫风格任务常降到 5~6 保留多样性，产品渲染图则调到 8~10 增强文字遵循度。

在图像编辑（局部重绘、参考图引导）和视频生成（Sora、Runway 等）中，CFG 及其变体同样承担“语义对齐”的职责。编辑时局部区域的提示词融合强度由 CFG 类机制控制，视频扩散则用 CFG 让每一帧都牢牢粘住文本描述，避免画面叙事跑偏。

但内置旋钮也有脾气：\(s\) 过大导致过饱和、伪影，还伴随“多样性坍缩”——所有图片都像同一种声音的拷贝；无条件分支要额外跑一次前向，推理成本接近翻倍。此外，CFG 本质上是在放大条件置信区间，对提示词本身的歧义也会放大，用户堆砌过长提示词时反而更容易出现“四不像”。调音台的旋钮从来没有绝对正确的刻度，只有“适合当前项目”的刻度。CFG 的强处，是把这个旋钮交到了每个使用者的手里。

AI 应用场景

Python 演示

import numpy as npimport matplotlib.pyplot as plt  def gauss(x, mu, sigma):    """高斯概率密度函数"""    return np.exp(-0.5 * ((x - mu) / sigma) ** 2) / (sigma * np.sqrt(2.0 * np.pi))  def score_uncond(x):    """无条件得分：双峰混合高斯的对数密度梯度"""    mus = np.array([-3.0, 3.0])    sigmas = np.array([1.0, 1.0])    weights = np.array([0.5, 0.5])    density = sum(w * gauss(x, m, s) for w, m, s in zip(weights, mus, sigmas))    grad = sum(w * gauss(x, m, s) * (-(x - m) / s ** 2)               for w, m, s in zip(weights, mus, sigmas))    return grad / density  def score_cond(x):    """条件得分：把样本拉向右侧峰（模拟标签 y=1）"""    return -(x - 3.0) / 0.5 ** 2  def cfg_score(x, s):    """CFG 组合得分：无条件得分 + s * (条件偏移)"""    return score_uncond(x) + s * (score_cond(x) - score_uncond(x))  def langevin_sample(score_fn, n_steps=2000, step_size=0.01, seed=0):    """Langevin 采样：沿得分方向迭代逼近目标分布"""    rng = np.random.default_rng(seed)    x = rng.normal(0.0, 3.0, 300)    for _ in range(n_steps):        x = x + step_size * score_fn(x) + np.sqrt(2.0 * step_size) * rng.normal(0.0, 1.0, x.size)    return x  if __name__ == "__main__":    for s in (0.0, 1.0, 3.0):        samples = langevin_sample(lambda x: cfg_score(x, s))        plt.hist(samples, bins=40, density=True, alpha=0.5, label=f"CFG s={s}")    plt.legend()    plt.title("Classifier-Free Guidance 在一维玩具分布上的效果")    plt.savefig("cfg_demo.png", dpi=120)    print("已保存采样分布图 cfg_demo.png")

1. grad = sum(w * gauss(x, m, s) * (-(x - m) / s ** 2) ...)解析计算密度梯度，这就是“干路信号”的走势。
2. return grad / density对数密度梯度 = 密度梯度 ÷ 密度，数学上就是得分函数。
3. return -(x - 3.0) / 0.5 ** 2条件得分给出一条明确的“向右峰靠拢”的湿路方向。
4. return score_uncond(x) + s * (score_cond(x) - score_uncond(x))一行实现 CFG 核心公式，干路加外推偏移。
5. x + step_size * score_fn(x) + sqrt(...) * noiseLangevin 迭代，等价于扩散模型每一步去噪采样。
6. plt.hist(samples, ...)把不同 \(s\) 下采样点的分布画在一起，直观看到引导强度如何改变最终分布。

常见误区

面试题