WGAN：用Wasserstein距离解决GAN训练不稳

可视化演示

演示FIFO与LRU页面置换算法的工作机制：当内存帧满时，按照不同策略选择淘汰页面，追踪缺页率和命中率变化。

1. GAN训练困境：为什么总是崩盘

想象你同时扮演两个角色：一个是造假画的学徒（生成器），一个是鉴定画作的师傅（判别器）。学徒想尽办法画出足以乱真的画，师傅想尽办法识破一切赝品。两人天天对练，水平都该提升——但现实是，这场对练经常崩盘：学徒忽然不知道学什么了，或者干脆只画同一种风格的画去应付师傅。这就是GAN训练中著名的“训练不稳定”和“模式崩塌”。

在技术世界里，这场师徒博弈被写成了一个数学游戏：师傅的目标是最大化“识破”的成功率，学徒则是最小化“被识破”的丢脸程度。两者轮流更新，理论上应该达到一个双方都满意的平衡点。但实际训练时，只要师傅太聪明，学徒拿到的反馈就会坏掉——梯度消失，学习信号中断；师傅太弱，学徒又缺乏提升压力。平衡极难拿捏。

原始GAN把这个博弈直接写成了最小最大目标函数。师傅太强导致学徒崩溃，是梯度性质决定的，不是调参不努力。

这场师徒对练的矛盾根源，其实是师傅手里那把“量尺”有问题——它测不出“哪里像、哪里不像”，只能笼统地说“像或不像”。下一节我们就来看这把有问题的尺子。

2. JS散度局限：两堆土不重叠就失灵

回到工地。师傅评判两堆沙子是否相似的方式，是看“它们重叠了多少”。听起来合理？但如果学徒把沙子堆到了一个完全不同的角落，两堆土在空间上根本不接触，师傅就懵了：“我完全看不出它们有任何交集，只能给个固定差评。”更糟的是，不管学徒把土推近十米还是推远十米，只要两堆土还没碰到，师傅的差评分数就完全一样——学徒得不到任何“改进方向”。

这个打分方式在数学上对应JS散度。当真实分布和生成分布的支撑集互不相交时，JS散度等于常数 $\log 2$，它关于生成器参数的梯度恒为0。训练信号彻底中断。

在GAN训练初期，生成分布通常与真实分布几乎没有重叠——高维空间里随机初始化的网络输出，几乎不可能恰好落在真实图像流形附近。这时判别器能轻松区分真假，反向传播给生成器的梯度却趋近于零。这就是“训练刚开始就卡死”的根本原因。

师傅的尺子在“够不着”的地方完全失灵，学徒只能原地打转。要根治这个问题，需要换一把“距离再远也能读数”的新尺子——Wasserstein距离。

3. Wasserstein距离：推土机师傅的测量哲学

换一位专业的土方测量师。他不问“两堆土重叠了多少”，而是问：“把这一堆土推到另一堆土的位置，总共要付出多少搬运成本？”即使两堆土相隔50米，他也能报出准确数字：50米。推土机推近了5米，读数变成45米。每一小步推进都有反馈，司机永远有方向。

在数学上，这个“搬土成本”就是Wasserstein距离，学名“推土机距离”（Earth Mover's Distance）。它定义为：在所有可能的“搬土计划”（联合分布）中，寻找搬运成本最小的那个计划，这个最小成本就是两个分布的距离。

Wasserstein距离有两个关键优势：第一，分布完全不重叠时，它仍然是一个有限且连续的值——不会像JS散度那样饱和成常数；第二，它反映的是“搬多远、搬多少”的真实工作量，而不是只判断“是否重叠”。因此，用它做损失函数，生成器永远能获得有方向的梯度。不过，直接按定义搜索所有联合分布是不可行的，实践中通过Kantorovich对偶形式转化为一个更容易求解的“最大期望差”问题。

测量师给了司机会说话的尺子。接下来的问题很自然：怎么得到这把尺子？WGAN的答案是——让一个神经网络充当测量员。

4. WGAN架构：判别器变身Critic

怎么得到那把能量距离的“尺子”？答案是让原来的鉴定师傅转型成测量员。师傅不再给出“像/不像”的百分制概率，而是直接报出距离读数：“目前差28米。”为了读数准确，我们专门安排一组测量员（Critic）反复校准尺子，读得越准越好，然后推土机司机根据这个读数调整方向。

WGAN把判别器（Discriminator）替换成评分器（Critic）。最关键的一处改动是：Critic的输出层去掉了Sigmoid激活函数。Sigmoid会把输出压缩到0到1之间，强制网络表达“概率”；去掉它之后，Critic可以输出任意实数，直接作为两个分布差距的估计。损失函数也相应变为：真实样本的Critic评分期望减去生成样本的评分期望。

为了让Critic报出的差距真正等于Wasserstein距离，必须限制Critic函数的平滑程度——它要满足1-Lipschitz条件（输出变化不能快于输入变化）。这正是下一节权重裁剪和梯度惩罚要解决的问题。另外，WGAN的训练策略也和原始GAN不同：Critic要训练到接近收敛时再更新生成器，因为距离估计得越准，生成器得到的梯度越可靠；而在原始GAN里，判别器不能太强，否则生成器梯度会消失。

测量员有了，但“尺子刻度规约”怎么落实？WGAN的第一版方案简单粗暴：给测量员每一步加上限。

5. 权重裁剪：给测量员硬性限步

为了让Critic生成的函数满足1-Lipschitz条件，第一版WGAN选择了最直接的办法：立规矩。测量员每次挪动位置，步长不能超过1米。不管前面有多远，每步最多走固定的长度；一旦走到最大步长，就停下来不许再走。

落实到神经网络里，这个规矩叫做权重裁剪（Weight Clipping）：每次更新完参数后，把所有权重 $w$ 硬性裁剪到区间 $[-c, c]$ 内。裁剪值 $c$ 是一个超参数，它限制了Critic权重的大小，也就限制了函数变化的最大速率，从而近似满足Lipschitz约束。

这个实现只需要一行代码，但隐患很快暴露：裁剪值 $c$ 极难调。设得太小，网络容量被锁死，学不会复杂的分布；设得太大，约束形同虚设，Critic退化成任意极端函数。更麻烦的是，权重裁剪会把大量参数推向区间的两端——权重集中在 $\pm c$ 边界附近，导致梯度要么爆炸要么消失。许多实验表明，权重裁剪版的WGAN虽然比原始GAN稳定，但对超参数仍然敏感。

硬性限步虽然简单，但总让测量员“卡在边界上，走路趔趄”。更好的办法不是限制步子，而是给测量员装一个温柔的速度提醒器。

6. 梯度惩罚：让测量员走得既稳又准

新方案WGAN-GP不再硬性限制测量员的每一步长度，而是在他脚下装了一个“速度报警器”：一旦某一步迈得太大，超出标准步速，就立刻发出警告（惩罚）；当每一步的步速都接近标准速度时，报警器保持安静。这样，测量员既能灵活走位，又不会因为步子太大而失去精度。

对应到数学上，WGAN-GP对Critic输出关于输入的梯度范数施加惩罚：希望梯度范数接近1，偏离1就惩罚。1-Lipschitz条件要求梯度范数不超过1，而“接近1”是更宽松也更平滑的约束。注意，惩罚点不是只放在真实样本或生成样本上，而是放在两者连线上的随机插值点——这些点相当于“搬土途中”的位置，最值得我们盯着步速。

梯度惩罚项加上原有的Wasserstein损失，就构成了完整的目标函数。实验表明，WGAN-GP训练非常稳定，几乎不出现模式崩塌，生成质量也明显提升。如今，当我们说"WGAN"时，通常指的就是WGAN-GP这套方案。

测量员现在既有自由度又有精度保证，推土机司机终于能听着清晰、稳定的读数，一步一个脚印地把土推到目标位置。回看整个故事：GAN训练不稳定的根因是JS散度这把“只会看重叠”的尺子，WGAN换上了Wasserstein距离这把“能量距离”的尺子，权重裁剪是第一代实现，梯度惩罚让约束更平滑——这就是WGAN从“训练难”走向“训练好”的完整旅程。

AI 应用场景

Python 演示

import torchimport torch.nn as nn  class Generator(nn.Module):    def __init__(self):        super().__init__()        self.net = nn.Sequential(nn.Linear(8, 32), nn.ReLU(), nn.Linear(32, 2))     def forward(self, z):        return self.net(z)  class Critic(nn.Module):    def __init__(self):        super().__init__()        self.net = nn.Sequential(nn.Linear(2, 32), nn.ReLU(), nn.Linear(32, 1))     def forward(self, x):        return self.net(x)  def real_samples(n):    # 真实分布：圆环上的点，加一点噪声    angles = torch.rand(n) * 6.283    return torch.stack([torch.cos(angles), torch.sin(angles)], dim=1) + 0.1 * torch.randn(n, 2)  def gradient_penalty(critic, real, fake):    alpha = torch.rand(real.size(0), 1)    interp = alpha * real + (1 - alpha) * fake    interp.requires_grad_(True)    out = critic(interp)    grad = torch.autograd.grad(out, interp, grad_outputs=torch.ones_like(out), create_graph=True)[0]    return ((grad.norm(2, dim=1) - 1) ** 2).mean()  def train_wgan_gp(steps=2000, lamb=10, n_critic=5):    G = Generator()    C = Critic()    opt_g = torch.optim.Adam(G.parameters(), lr=1e-3, betas=(0.5, 0.9))    opt_c = torch.optim.Adam(C.parameters(), lr=1e-3, betas=(0.5, 0.9))    for i in range(steps):        for _ in range(n_critic):            real = real_samples(64)            z = torch.randn(64, 8)            fake = G(z)            loss_c = -(C(real).mean() - C(fake).mean()) + lamb * gradient_penalty(C, real, fake.detach())            opt_c.zero_grad()            loss_c.backward()            opt_c.step()        z = torch.randn(64, 8)        fake = G(z)        loss_g = -C(fake).mean()        opt_g.zero_grad()        loss_g.backward()        opt_g.step()        if i % 500 == 0:            print(f"step {i}: critic loss {loss_c.item():.3f}, gen loss {loss_g.item():.3f}")  if __name__ == "__main__":    train_wgan_gp()

1. class Critic(nn.Module)评分器输出一个实数，替代传统判别器的真假概率输出
2. real_samples(n)从圆环采样真实样本，对应短文里的“目标土堆”
3. def gradient_penalty(...)在真实样本和生成样本的连线上采样插值点，检查途中的步速
4. torch.autograd.grad(out, interp, grad_outputs=torch.ones_like(out), create_graph=True)[0]计算 Critic 输出对插值点的梯度向量
5. return ((grad.norm(2, dim=1) - 1) ** 2).mean()梯度范数偏离 1 越多，惩罚越大
6. loss_c = -(C(real).mean() - C(fake).mean()) + lamb * gradient_penalty(...)Critic 总损失：最大化距离估计，同时约束步速
7. loss_g = -C(fake).mean()生成器让 Critic 对假样本打分尽量高，即把假土堆往真土堆方向推
8. for _ in range(n_critic):Critic 多训练几步，确保距离估计足够准确再更新生成器

常见误区

面试题