DehazeNet个人学习笔记

一、摘要与引言
1、.现有的方法使用各种约束/先验来获得合理的去雾解决方案。
2、.实现去雾的关键是估计一个输入的模糊图像的介质传输图。
3、在本文中，我们提出了一种可训练的端到端系统，称为DehazeNet，用于估计透射率。
4、.DehazeNet以一个模糊图像作为输入，输出其介质传输图，然后通过大气散射模型恢复无雾图像。
5、DehazeNet采用基于卷积神经网络的深度体系结构，其层的设计旨在体现图像去模糊处理中已建立的假设/先验。具体来说，Maxout单元的层用于特征提取，它可以生成几乎所有与雾相关的特征。
6、我们还提出了一种新的非线性激活函数，称为双边修正线性单元，它能够提高恢复的无雾图像的质量。我们建立了所提议的DehazeNet的组件和现有方法中使用的组件之间的联系。
7、DehazeNet的设计借鉴了图像去雾处理中已建立的假设/原则，而其所有层的参数都可以从训练模糊的图像中自动学习。
8、DehazeNet是一个端到端系统。它直接学习和估计雾图像斑块与其透射率之间的映射关系。这是通过对其深度架构的特殊设计来实现的，以体现既定的图像去雾原则。
9、我们在DehazeNet中提出了一种新的非线性激活函数，称为双边校正线性单元1(BReLU)。BReLU扩展了整流线性单元(ReLU)，并证明了其在获得精确的图像恢复方面的意义。从技术上讲，BReLU使用双边约束来减少搜索空间，提高收敛性。

二、相关方法
1、介质透射图t(x)描述了未散射并到达摄像机的光部分。
2、t（x）的公式表明，

当d(x)趋于无穷大时，t(x)趋近于零，即 α = I (x), d (x) → inf，在距离视图的实际成像中，d(x)不能是无穷大，而是一个长距离，给予一个非常低的传输t0。全球大气光α，而是根据以下规则更稳定地估计：

此处理解：因为a是全局大气光，无穷远处的距离是最大的，所以t(x)应该是最小的，只要满足t(x)<=t0的点x，肯定是最远的了，也就是大气光了。

以上的讨论表明，要恢复一个干净的场景（即以实现去雾），关键是估计一个准确的透射率。

三、所提出的方法
网络架构：

1、特征提取
如暗通道、色调视差和颜色衰减先验。请注意，密集提取这些与雾相关的特征相当于将输入的雾图像与适当的滤波器进行卷积，然后进行非线性映射。
特征提取有别于传统卷积神经网络，DehazeNet采用“卷积+Maxout[28]”的结构作为网络第一层：

并且可以证明，“卷积+Maxout”等价于传统的手工去雾特征：

当W1是反向（Opposite）滤波器,通道的最大等价于通道的最小值，等价于暗通道先验（DCP）；当W1是环形（Round）滤波器, 等价于对比度提取，等价于最大对比度（MC）；当W1同时包含反向（Opposite）滤波器和全通（All-pass）滤波器，等价于RGB到HSV颜色空间转换，等价于颜色衰减先验（CAP）。

此外，从机器学习角度看，Maxout是一种样条函数，具有更强的非线性拟合能力，如下图
如对于（a）反向滤波器，而 B1​是一个单位偏差，则特征图的最大输出等于颜色通道的最小值，类似于暗通道。理解：颜色通道乘以-1，则最大值变为最小值，最小值变为最大值。此时再取最大值，就相当于取最小值。即暗通道的思想。

关于Maxout：
2、多尺度映射
论文中证明多尺度映射是去除雾霾的有效方法，其对输入图像在多个空间尺度上密集计算[公式] map。dehazeNet使用卷积核大小为3,5,7的三种卷积核并行卷积操作作为dehazeNet的第二层，三种卷积操作的output channels是相同数量的。

3、局部极值
.根据CNNs[32]的经典结构，考虑每个像素下的邻域最大值来克服局部灵敏度。此外，局部极值是根据介质传输是局部恒定的假设，通常要克服传输估计的噪声。因此，我们在DehazeNet的第三层使用局部极值操作。

其中，(x)是一个以x为中心的f3×f3邻域，第三层的输出维数为n3=n2。与cnn中的最大池化通常会降低特征图的分辨率相比，这里的局部极值操作被密集地应用于每个特征图像素，并能够保持分辨率以用于图像恢复。

4、非线性回归（Non-linear Regression）

大气透射率是一个概率（0到1），不可能无穷大，也不可能无穷小。受到Sigmoid和ReLU激励函数的启发，提出双边纠正线性单元（Bilateral Rectified Linear Unit，BReLU），在双边约束的同时，保证局部的线性。

BReLU的非线性回归对应于传统去雾方法中的边缘抑制操作（如DCP和CAP）。双边约束引入先验信息缩小参数搜索空间，使得网络更加容易训练；局部线性避免Sigmoid函数梯度不一致带来的收敛困难。

四、训练细节
训练集：自己合成的，从网上找的部分图片，.给定一个无雾斑块JP(x)、大气光α和一个随机透射t∈（0,1），合成一个模糊斑块为IP(x)=JP(x)t+α(1−t)。为了减少变量学习中的不确定性，将大气光α设置为1。

损失函数：均方损失。随机梯度下降算法。

训练图片：从所收集的图像中随机选取10000个无雾图像块，每块采样10个不同的透射率（0,1）之间合成10张有雾块，因此一共有10万个有雾图像块放入DehazeNet中训练。在DehazeNet中，每一层的滤波器初始权值通过从高斯分布（均值μ=0，标准差σ=0.001）中随机抽取来初始化，并将偏差设置为0。学习率每100,000次迭代从0.005下降到3.125e-4。基于上述参数，DehazeNet在NvidiaGeForceGTX780GPU上进行训练（50万次迭代，批量大小为128）。

图像去雾：网络训练完成之后，得到初始透射率，再通过引导滤波进行细化，然后根据大气散射模型复原图像。

五、论文缺点分析：
大气光α不能被视为一个全局常数，它将与一个统一网络中的介质传输一起学习。此外，我们认为大气散射模型也可以在更深层次的神经网络中学习，其中雾霾和雾霾图像之间的端到端映射可以直接进行优化，而不需要进行介质传输估计。我们把这个问题留给未来的研究。