Training generative adversarial networks with limited data.

Karras, Tero, et al.Training generative adversarial networks with limited data.(2020).
用有限的数据生成对抗式网络GAN
stylegan2-ada
TAT
毕设选题之一的MRI自监督，用GAN去进行数据增广
参考论文 又是硬着头皮啃的一天
看的时候很痛苦，看完没懂，有机会再看一遍

介绍

现代高质量 GAN 模型需要获取、处理和训练百万张到千万张图像，这是一项成本高昂的工作。这同时抑制了生成模型在医学等领域的使用, 例如MRI核磁共振图像的获取既昂贵又耗时，其数据相对稀缺。
数据数量过少会导致模型过拟合，在深度学习的几乎所有领域中，防止过度拟合的标准解决方案是增强数据集。在旋转、噪声等条件下训练图像分类器会导致增益泄露到生成器。例如，噪声增强会导致数据中增加嘈杂的结果。
作者在文中使用广泛的增强来防止判别器过度拟合，同时确保没有任何的增益泄漏到生成的图像中。
首先对防止增益泄漏的条件进行全面分析。
然后，设计了一组多样化的增强和自适应控制方案。

GAN的过拟合

作者进行了对比实验，图a表示了数据越少过拟合转折点越早。图 b、c 显示了训练期间真实图像和生成图像的判别器输出分布。最初是重叠分布的，但随着训练进度，它们会逐渐分开。而红色虚线表示模型开始表现出过度拟合的强烈迹象。
作者提出了一种解决这个问题的方法，即通过使用多种增强功能来阻止判别器变得过于自信。

随机判别器增广

应用于训练数据集的任何增强都将继承到生成的图像上。【定义】
平衡正则化一致性 (bCR) 不会将增益泄漏到生成的图像中。
正则化一致性指出了，应用于同一输入图像的两组增强应该产生相同的输出。
为判别器的损失函数添加正则化一致性，将判别器一致性强制使用在真实图像和生成图像中，在训练生成器时，则不应用增强或一致性损失项。

作者的解决方案与 bCR 类似，他们也对判别器的所有图像应用了一组增强。但是，没有添加单独的 CR 损失项，而是仅使用增广过的图像去评估判别器，并且在训练生成器时也这样做，这个方法被研究人员称为随机判别器增广。2c表达了如果判别器从未看到训练图像的真实情况，则不清楚它是否可以正确引导生成器。

设计不会泄露的增强方式

考虑了类似于在损坏测量下训练 GAN 的问题，并表明只要腐蚀过程由数据空间上的概率分布的可逆变换表示，训练就可以隐式 undo 损坏并找到正确的分布。作者称这种增强操作是非泄漏的。
可逆的变换是指，仅通增广集，便能识别出哪些是真实的数据。
是从数据分布角度上的可逆，而非图像变换上的可逆。
如果用数据增广把90%的数据变成纯黑，我们仍然一眼能看出哪些数据是真实的，即使变黑的操作不可逆。
但是，从{0°,90°,180°,270°}中均匀选择的随机旋转是不可逆的，即在增强后无法辨别方向之间的差异，即不确定哪个角度是正确的。

作者进行了三种对比实验：
a 缩放 b 旋转90度 c 色彩变换
该实验表明，只要保持旋转概率p 在0.8以下，实际中就不太可能发生泄漏。

此外以固定顺序组合的非泄漏增广方式会产生整体非泄漏增广。
在训练期间，作者以固定顺序使用一组预定义的转换处理显示给判别器的每个图像。增强的强度由 scalar p∈[0,1] 控制，因此每个变换的应用概率为 p 或者跳过概率 1−p。 作者经常选择对所有转换使用相同的 p 值。随机化是针对每个增强和小批量中的每个图像单独完成的。鉴于pipeline中有许多增强，即使 p 的相当小的值也使得判别器不太可能看到干净的图像（图 2c）。尽管如此，只要保持旋转概率在实际安全限制以下，生成器就会被引导只生成干净的图像。
最佳增广强度在很大程度上取决于训练数据的数量，具体问题具体分析。

自适应判别器增广

作者通过控制增强强度p。将 p 初始化为零并根据选择的过拟合启发式每四个小批量调整一次其值。如果启发式表明过/欠拟合，通过增加/减少固定数量来应对。
设置了调整大小，使 p 可以迅速从 0 上升到 1。在每一步之后，我们固定住p从下到 0。
这个策略称之为自适应鉴别器增强（ADA）

各种实验

从头训练
转移学习
小数据集

结论

当训练数据短缺时，自适应判别器增广可靠地稳定了训练并大大提高了结果质量。
当然，增强并不能替代真实数据，人们应该始终首先尝试收集大量高质量的训练数据，然后才使用增强来填补空白。
最近发布的
U-net判别器 ：
E. Schönfeld, B. Schiele, and A. Khoreva. A U-net based discriminator for generative adversarial networks.CoRR, abs/2002.12655, 2020.
多模态生成器：
O. Sendik, D. Lischinski, and D. Cohen-Or. Unsupervised multi-modal styled content generation.CoRR,abs/2001.03640, 2020.

词汇

adaptive discriminator augmentation(ADA)
balanced consistency regularization (bCR) 平衡正则化一致性
consistency regularization 正则化一致性
corruption process 腐蚀过程
corrupted measurements 损坏测量
clamp 钳
stochastic discriminator augmentation 随机判别器增强
invertible transformation 可逆变换
implicitly 隐式
overfitting heuristic 过拟合启发式