SwinIR: Image Restoration Using Swin Transformer 个人学习笔记

https://github.com/JingyunLiang/SwinIR

摘要

图像恢复是一个长期存在的低水平视觉问题，目的是从低质量图像（例如缩小、噪声和压缩图像）中恢复高质量的图像。虽然最先进的图像恢复方法是基于卷积神经网络，但很少有人尝试用Transformers在高级视觉任务中表现出令人印象深刻的性能。本文提出了一种基于Swin Transformers的图像恢复强基线模型SwinIR。SwinIR由浅层特征提取、深度特征提取和高质量的图像重建三部分组成。特别地，深度特征提取模块由几个残差Swin Transformers块(RSTB)组成，每个块都有几个Swin Transformers层和一个残差连接。我们对三个具有代表性的任务进行了实验：图像超分辨率（包括经典、轻量级和真实世界的图像超分辨率）、图像去噪（包括灰度和彩色图像去噪）和JPEG压缩伪影减少。实验结果表明，SwinIR在不同任务上的性能比最先进的方法高达0.14∼0.45dB，而参数总数可减少67%。

 

一、引言

        图像恢复，如图像超分辨率(SR)、图像去噪和JPEG压缩伪影减少，旨在从其低质量退化的对应图像中重建高质量的干净图像。自从一些革命性的工作[18,40,90,91]以来，卷积神经网络(CNN)已经成为图像恢复[43,51,43,81,92,95,24,93,46,89,88]的主要主力。

        大多数基于cnn的方法都专注于复杂的体系结构设计，如残差学习[43,51]和密集连接[97,81]。虽然与传统的基于模型的性能有了显著提高方法[73,14,28]，它们通常存在来自基本卷积层的两个基本问题。首先，图像与卷积核之间的交互是内容上独立的，使用相同的卷积核来恢复不同的图像区域可能不是最好的选择。其次，在局部处理的原理下，卷积对于长期依赖建模是无效的。

        作为CNN的替代品，变压器[76]设计了一种自我注意机制来捕获上下文之间的全局交互