旷视low-level系列（三）：NAFNet -- Simple Baselines for Image Restoration-CSDN博客

本文链接：https://blog.csdn.net/zxdd2018/article/details/136268218

在这里插入图片描述

题目：Simple Baselines for Image Restoration
单位：旷视
收录：ECCV2022
论文：https://arxiv.org/abs/2204.04676
代码：https://github.com/megvii-research/NAFNet

文章目录

1. Motivation
2. Contributions
3. Methods
4. Experiments
5. Comments

1. Motivation

图像恢复领域的SOTA方法性能越来越高，但模型复杂度也随之水涨船高，对实时性要求较高的应用场景而言落地相当困难。对于业务导向的研究，自然而然就会将研究重点转向以较低的复杂度实现SOTA性能。在该篇论文中，旷视的研究员们提出了一个用于图像恢复任务的简单基线，性能超过SOTA方法，并且计算效率更高。

2. Contributions

通过对SOTA方法进行分解并提取它们的基本组件，形成了一个系统复杂度较低的基线，性能上超过以前的SOTA方法，并具有较低的计算成本；
通过去除或替换非线性激活函数进一步简化了基线，并提出了一个非线性无激活的网络–NAFNet，性能上匹配甚至超过基线；首次证明了非线性激活函数可能不是SOTA模型所必要的网络组件。

3. Methods

为了便于讨论，作者将模型的系统复杂度分解为块间复杂度（inter-block complexity）和块内复杂度（intra-block complexity），其中，块间复杂度指的是block之间的各种连接方式的复杂程度，例如下图展示的(a)多阶段架构和(b)多尺度融合架构，块内复杂度指的是block内部组件的复杂程度。为了降低块间复杂度，作者采用了单阶段的UNet，并着重研究如何降低块内复杂度。
在这里插入图片描述

Fig.1

如何设计block的内部结构使其具有较低复杂度呢？作者的思路大概如下：先设计一个简单的plain block，然后参考SOTA模型中成熟且切实有效的模块，在plain block中逐一添加或替换得到baseline block，并通过消融实验验证性能是否有提升；最后在保证性能不损失的情况下进一步简化结构，以最大程度地降低块内复杂度。
在这里插入图片描述

Fig.2

plain block
考虑到transformer架构对于部分SOTA方法来说不是必要的，并且其计算复杂度较高，与simple baseline的目标相悖，因此设计plain block的内部结构时抛弃了self-attention这样的复杂结构，只考虑使用卷积、激活和shortcut等简单组件，排列顺序参考Restormer中的block。

baseline block
基于plain block，从normalization，activation和attention三个方面进行改进。