DCGAN（Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks ）

指出了许多对于GAN这种不稳定学习方式重要的架构设计和针对CNN这种网络的特定经验。在广泛的模型探索之后，我们确认了一类结构族，即在一些列的数据集上可以稳定的训练，并且允许训练更高的分辨率、更深的生成模型。

核心是采用并修改4个最近提出的对GAN架构的改进：

1.全卷积网络

消除池化层，使用步幅卷积替换，容许网络学习自己的空间下/下采样（spatial downsampling）。

2.消除全连接层

一个强有力的例子就是全局平均池化已经应用于艺术图像分类上。我们发现，全局平均池化提高了模型的稳定性，但是降低了收敛速度。在最高卷积特征的中间地带，直接连接生成网络的输入和判别网络的输出也能工作的很好。

3.批处理规范化

通过将输入的每个单元标准化为0均值与单位方差来稳定学习。这有助于处理初始化不良导致的训练问题和有助于梯度流向更深的网络。这证明了，关键是取得深层生成器来开始学习，防止生成器折叠全部的样本到一个点，这在GAN中是常见额故障模型。然而，直接对所有的层采用批处理规范化，会导致样本震荡和模型不稳定。通过对生成器的输出层和辨别器的输入层不采用批处理规范化来避免这种情况。

4.激活函数

RelU激活函数使用在生成模型上，除了输出层使用Tanh激活函数。我们观察到，使用有界限的激活函数可以允许模型更快地学习达到饱和，并且覆盖训练分布的颜色空间。在辨别网络下，我们发现，leakyRelU激活函数可以工作的很好，特别是在更高分辨率的模型上。这与使用了maxout激活函数的原始GAN论文相反。