GAN最新进展：8大技巧提高稳定性

1.替代损失函数 (Alternative Loss Functions）

    针对 GAN 的缺陷，最常用的一种修复方法是Wasserstein GAN。它本质上用Earth Mover distance(Wasserstein-1 distance 或 EM distance) 来替代传统 GAN 的Jensen Shannon 散度。EM 距离的原始形式是难以处理的，因此我们使用它的 dual 形式。这要求鉴别器为 1-Lipschitz，它是通过削减鉴别器的权重来维持的。

    使用 Earth Mover distance 的优点是，即使真实的数据和生成的数据分布不相交，它也是连续的，这与 JS 散度或 KL 散度不同。同时，生成的图像质量与损失值之间存在相关性。缺点是，我们需要对每个生成器更新执行多个鉴别器更新。此外，作者认为，利用权重削减来确保 1-Lipschitz 约束是一种糟糕的方法。

     另一个解决方案是使用均方损失 (mean squared loss)来替代对数损失。LSGAN 的作者认为，传统的 GAN 损失函数并没有提供太多的激励来将生成的数据分布 “拉” 到接近真实数据分布的位置。原始 GAN 损失函数中的 log loss 并不关心生成的数据与决策边界的距离 (决策边界将真实数据和虚假数据分开)。另一方面，LSGAN 对远离决策边界的生产样本实施乘法，本质上是将生成的数据分布 “拉” 得更接近真实的数据分布。LSGAN 用均方损失代替对数损失来实现这一点。

2.Two Timescale Update Rule (TTUR)

   在这种方法中，我们对鉴别器和生成器使用不同的学习率。通常，生成器使用较慢的更新规则 (update rule)，鉴别器使用较快的更新规则。使用这种方法，我们可以以 1:1 的比例执行生成器和识别器的更新，只需要修改学习率。SAGAN 实现正是使用了这种方法。

3.梯度惩罚 (Gradient Penalty)

    作者表示， weight clipping 迫使神经网络学习最优数据分布的 “更简单的近似”，从而导致较低质量的结果。他们还声称，如果没有正确设置 WGAN 超参数，那么 weight clipping 会导致梯度爆炸或梯度消失问题。作者在损失函数中引入了一个简单的gradient penalty，从而缓解了上述问题。此外，与最初的 WGAN 实现一样，保留了 1-Lipschitz 连续性。

    DRAGAN 与 WGAN-GP 原始论文一样，添加了 gradient penalty 作为一个正则化器。作者声称，当 GAN 所玩的游戏达到 “局部平衡状态” 时，就会发生 mode collapse。他们还声称，鉴别器围绕这些状态产生的梯度是“尖锐的”。当然，使用 gradient penalty 可以帮助我们避开这些状态，大大增强稳定性，减少模式崩溃。

4.谱归一化（SN）：

    一种权重归一化技术，通常用于鉴别器上，以增强训练过程。这本质上保证了鉴别器是K-Lipschitz连续的。像 SAGAN 这样的一些实现，也在生成器上使用 spectral Normalization。该方法比梯度惩罚法计算效率更高。、

5.Unrolling 和 Packing

     防止 mode collapse 的一种方法是预测未来，并在更新参数时预测对手。Unrolled GAN 使生成器能够在鉴别器有机会响应之后欺骗鉴别器。

     防止 mode collapse 的另一种方法是在将属于同一类的多个样本传递给鉴别器之前 “打包” 它们，即 packing。这种方法被 PacGAN 采用，在 PacGAN 论文中，作者报告了 mode collapse 有适当减少。

6.堆叠 GAN

     单个 GAN 可能不足以有效地处理任务。我们可以使用多个连续堆叠的 GAN，其中每个 GAN 可以解决问题中更简单的一部分。例如，FashionGAN 使用两个 GAN 来执行局部图像翻译。

7.自注意力机制

    Self Attention GANs 的作者表示，用于生成图像的卷积会查看局部传播的信息。也就是说，由于它们限制性的 receptive field，它们错过了全局性的关系。Self-Attention GAN 允许对图像生成任务进行注意力驱动的长期依赖建模。 Self-Attention 机制是对普通卷积运算的补充。全局信息 (远程依赖) 有助于生成更高质量的图像。网络可以选择忽略注意机制，也可以将其与正常卷积一起考虑。

总结

研究社区已经提出了许多解决方案和技巧来克服 GAN 训练的缺点。然而，由于新研究的数量庞大，很难跟踪所有重要的贡献。

由于同样的原因，这篇文章中分享的细节并非详尽无疑，可能在不久的将来就会过时。尽管如此，还是希望本文能够成为人们寻找改进 GAN 性能的方法的一个指南。

参考：GAN最新进展：8大技巧提高稳定性