【学习】对抗训练-WGAN

Wasserstein GAN（WGAN）详解：从优化目标到 Lipschitz 约束

在原始 GAN 中，由于使用了 JS 散度，训练过程常常出现 梯度消失 或 模式崩溃（mode collapse）。为了解决这些问题，Wasserstein GAN（WGAN）应运而生，它用更稳定、更有意义的分布距离 —— Wasserstein 距离 来替代 JS 散度。

---

一、Wasserstein 距离是啥？

Wasserstein-1 距离（又叫地球移动者距离，Earth Mover’s Distance）定义为：

$$W(P_r,P_g)=\underset{\gamma \in \Pi (P_r,P_g)}{\inf }{\mathbb{E}}_{(x,y)\sim \gamma }[\Vert x-y\Vert ]$$

• 直观解释：把一个堆土（$P_g$）变成另一个堆土（$P_r$）所需要“最小的工作量”；
• 优点：即使 $P_r$ 与 $P_g$ 的支持集没有重叠，Wasserstein 距离依然是有意义的（不像 JS 或 KL）。

---

二、WGAN 的目标函数形式

根据 Kantorovich-Rubinstein 对偶形式，WGAN 把距离 $W(P_r,P_g)$ 转化为如下形式进行优化：

$$\underset{f\in \mathcal{F}}{\max }{\mathbb{E}}_{x\sim P_r}[f(x)]-{\mathbb{E}}_{x\sim P_g}[f(x)]$$

其中 $\mathcal{F}$ 是所有 1-Lipschitz 连续函数的集合。

在实际训练中，WGAN 把判别器 $D$ 称为 critic（判别器不再输出概率，而是任意实数），优化目标变为：

$$\underset{G}{\min }\underset{D\in \text{Lip-1}}{\max }{\mathbb{E}}_{x\sim P_r}[D(x)]-{\mathbb{E}}_{z\sim P_z}[D(G(z))]$$

---

三、为什么要 1-Lipschitz 约束？

因为只有在 $D$ 属于 1-Lipschitz 函数的前提下，才能保证：

$${\mathbb{E}}_{x\sim P_r}[D(x)]-{\mathbb{E}}_{x\sim P_g}[D(x)]=W(P_r,P_g)$$

什么是 Lipschitz 连续？

一个函数 $f$ 满足：

$$|f(x)-f(y)|\le K\cdot \Vert x-y\Vert$$

则称它是 $K$-Lipschitz 连续函数。特别地，当 $K=1$ 时，就是我们 WGAN 所要求的 1-Lipschitz 函数。

---

四、WGAN 如何实现 Lipschitz 约束？

WGAN 提出了几种做法：

1. WGAN with weight clipping（原始 WGAN）

将判别器的参数强制约束在某一范围内，如 $[-0.01,0.01]$，即：

for p in D.parameters():
    p.data.clamp_(-0.01, 0.01)

但这种方法会限制模型表达能力，容易导致训练不稳定。

2. WGAN-GP（Gradient Penalty）

改进做法，引入梯度惩罚项：

$${\mathbb{E}}_{\hat{x}\sim P_{\hat{x}}}\left[{\left(\Vert {\nabla }_{\hat{x}}D(\hat{x}){\Vert }_2-1\right)}^2\right]$$

其中 $\hat{x}$ 是在真实数据和生成数据之间插值得到的。

最终优化目标：

$${\mathbb{E}}_{x\sim P_r}[D(x)]-{\mathbb{E}}_{x\sim P_g}[D(G(z))]+\lambda \cdot \text{GP}$$

WGAN-GP 是目前最广泛使用的 WGAN 版本。

---

五、WGAN 的优势

原始 GAN	WGAN
使用 JS 散度，训练易不稳定	使用 Wasserstein 距离，更稳定
判别器输出为概率值	判别器输出为实数
可能梯度消失	保持梯度非零，更容易训练
Mode collapse 严重	缓解 mode collapse

---

六、总结

WGAN 提供了更合理的 GAN 训练方法，其核心在于：

• 用 Wasserstein 距离替代 JS；
• 强制判别器满足 1-Lipschitz 连续性；
• 使用梯度惩罚等方法约束判别器行为。