深度去雨--Deep Joint Rain Detection and Removal from a Single Image

CVPR 2017
https://arxiv.org/abs/1609.07769?context=cs
文中说代码和模型会公布的。

首先通过下图感性认识一下图像中去雨是怎么回事

针对去雨问题已经提出了各种算法，当前算法主要存在的问题如下：
1）因为雨水和背景纹理的内在重叠性，当前大部分算法会平滑没有雨区域的纹理细节。
2）雨水在图像中引起的变化是复杂的，但是当前对雨水常用的模型没有很好的覆盖真是雨水图像中的一些重要因素， 例如水气，雨水的不同形状，或方向。
3） 一个重要的信息： spatial contextual information 没有被考虑。

为此我们提出了一个新的模型用于去雨,思路大致如下：
1）首先我们提出了一个基于区域的雨水模型，在模型中我们使用了一个二值雨水图，如果该像素位置有可见雨，那么二值图中的值为1，否则为0。
2）基于上面建立的模型，我们构建一个深度网络用于检测雨水和去除雨水。我们可以自动检测出雨水区域，对这些区域进行雨水去除。
3）提出了一个回归雨水检测去除网络，a recurrent rain detection and removal network

3 Region-Dependent Rain Image Model
3.1. Region-Dependent Rain Image Formation
常用的雨水模型如下：

这里 B 是 没有雨水的图像， S是 rain streak layer 雨水层， O 是有雨水的图像。基于该模型，去雨水被看做是两个信号的分离问题，基于观察到的 O 恢复 B 和 S。这个模型有两个问题：1）没有区分对待 heavy rain 和 light rain，2）没有区分对待 rain and non-rain regions。

针对上述问题，我们提出了一个广义的雨水模型如下：

引入的 R 是一个二值图，1表示该位置有雨，0 表示没雨

3.2. Rain Accumulation and Heavy Rain
针对雨雾和问题，我们提出了下面的模型来解决：

上式中每个 St表示雨纹相同即方向和形状类似。t is the overlapping streak numbers， 表示图像中含有的雨纹个数，即方向和形状类似种类，A 表示全局环境光，雨雾。

4 Convolutional Joint Rain Detection and Removal

首先整个网络是一个闭环反馈网络，通过闭环反馈可以去除 heavy rain。

上图中的 contextualized dilated network 通过不同的 dilated factor 获取 contextual information，首先通过一个卷积层将输入图像转到特征空间去，再经过三个具有不同的 dilated factor 的recurrence，最后综合所以的输出得到 rain feature F，通过两个卷积层估算 R，对[F,R]使用一层卷积预测 S，最后通过一层卷积计算 B