【论文阅读】Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network

论文地址：https://arxiv.org/abs/1609.04802

0 摘要

对较大的缩放因子进行超分辨率时，想要恢复更精细的纹理细节。最近的工作主要集中在最小化均方重建误差上。由此得到的估计具有很高的峰值信噪比，但它们往往缺乏高频细节，感知上识别不好。本文提出了一个感知损失函数，包括一个对抗损失和内容损失。评价指标采用平均意见得分MOS，这项指标能反应图像的感知质量，SRGAN获得的MOS更接近原始的高分辨率图像。

1 介绍

一般的SR算法优化目标是最小化重建均方误差MSE来提高峰值信噪比PSNR，但是直接这样做只是减少了像素级别的差异，会损失一些纹理细节，在感知上的效果会差一点。
本文采用了一个具有跳跃连接和偏离MSE的深度残差网络(ResNet)作为唯一的优化目标（？）。使用VGG网络的高级特征图结合鉴别器，定义了一种新的感知损失。

1.1 相关工作

1.1.1 图像超分辨率

1. 基于预测的方法：可以非常快，但它们过度简化了SISR问题，通常产生过于光滑纹理的解决方案。
2. 在低分辨率和高分辨率的图像信息之间建立一个复杂的映射。
3. 将基于梯度轮廓先验的边缘定向SR算法与基于学习的细节合成的优点结合起来：为了重建真实的纹理细节，同时避免边缘伪影。
4. 多尺度字典：捕获不同尺度下相似图像斑块的冗余。
5. 结构感知的对齐匹配准则：从网络中检索了与相似内容相关的HR图像，为了超解析地标图像。
6. 邻域嵌入方法：在低维流形中寻找相似的LR训练补丁，并结合其相应的HR补丁进行重建，从而对LR图像补丁进行上采样。
7. 基于卷积神经网络(CNN)：基于学习的迭代收缩和阈值算法(LISTA)、使用双边插值、使网络能够直接学习升级滤波器、深度递归卷积网络(DRCN)、依赖于一个更接近感知相似性的损失函数来恢复视觉上更有说服力的HR图像（与本文最相近）。

1.1.2 卷积神经网络的设计

1. 使用批处理归一化来抵消内部协变量的偏移。
2. 设计更深的网络架构，如递归CNN。
3. 引入的残差块和跳过连接的概念。
4. 将图像输入CNN之前，采用双边缘插值来升级LR观察。

1.1.3 损失函数

单纯的最小化像素重建MSE可能导致解过于平滑因此感知质量较差，丢失高频细节。

1. 通过使用生成对抗网络(GANs)应用图像生成来解决这个问题。
2. 通过鉴别器损失来增加像素级MSE损失，以训练一个具有大缩放因子的人脸图像（8×）。
3. （文中这一