相对于传统的GAN,WGAN只做了以下三点简单的改动:
1.D最后一层去掉sigmoid
2.G和D的loss不取log(sigmoid_cross_entropy_with_logits)
3.每次更新D的参数之后,将其绝对值截断到不超过一个固定常数c,即gradient clipping(前作);或使用梯度惩罚,即gradient penalty(后作)
4.不要用基于动量的优化算法(包括momentum和Adam),推荐RMSProp,SGD也行
相对于传统的GAN,WGAN只做了以下三点简单的改动:
1.D最后一层去掉sigmoid
2.G和D的loss不取log(sigmoid_cross_entropy_with_logits)
3.每次更新D的参数之后,将其绝对值截断到不超过一个固定常数c,即gradient clipping(前作);或使用梯度惩罚,即gradient penalty(后作)
4.不要用基于动量的优化算法(包括momentum和Adam),推荐RMSProp,SGD也行