WGAN

相对于传统的GAN，WGAN只做了以下三点简单的改动：

1.D最后一层去掉sigmoid

2.G和D的loss不取log（sigmoid_cross_entropy_with_logits）

3.每次更新D的参数之后，将其绝对值截断到不超过一个固定常数c，即gradient clipping（前作）；或使用梯度惩罚，即gradient penalty（后作）

4.不要用基于动量的优化算法（包括momentum和Adam），推荐RMSProp，SGD也行

参考：https://zhuanlan.zhihu.com/p/25071913