暗态图像处理论文：A Bio-Inspired Multi-Exposure Fusion Framework for Low-light Image Enhancement

论文内容

论文摘要

受人类视觉系统的启发，论文设计了一种用于微光图像增强的多曝光融合框架。基于此框架，论文提出了一种双曝光融合算法，以提供准确的对比度和亮度增强。论文首先设计了基于光照估计技术的图像融合权值矩阵。然后引入相机响应模型来合成多曝光图像。接下来，寻找最佳曝光比例，使合成图像在原始图像曝光不足的区域曝光良好。最后，根据权重矩阵将输入图像与合成图像进行融合，得到较好的增强结果。（代码链接：https://github.com/baidut/BIMEF）。

论文主要内容

为了确定一个图像曝光较弱需要增强的位置，论文需要事先确定一个权重矩阵。一个直接的思想是通过对原图像的像素逐一乘幂，较亮的像素就会在乘幂之后得到突出（$\mu$给定，照明图像$T$待确定）：
$$\hat{W}=T^{\mu }$$
为了确定全局照明情况，一种简单的方法是对原微光图像$P$的RGB三个通道的值逐像素取最大：
L ( x ) = m a x   P { R , G , B } ( x ) L(x)=max \space P_{\{R,G,B\}}(x) L(x)=max P{R,G,B}​(x)
考虑到图像边缘轮廓信息的提取，论文采用了拉普拉斯差分加卷积窗口的方式进行提取(d,h表示横纵向求差分，两者运算结果加和)：
$$M_{d,h}(x)=\frac{1}{|\Sigma {\nabla }_{d,h}L(x)|+ϵ}$$
根据以上的公式，给出的照明图像$T$需要使得兼顾全局光照性和轮廓清晰度（分别对应优化公式的前后两项），为此提出的最优化目标为：
$$\underset{T}{\min }|T-L{|}^2+\lambda |M\circ \nabla T|$$
论文引入相机响应模型（CRF），通过构造双向纹理函数$g$对图片加强曝光（$\beta$, $\gamma$由相机参数决定）：
$$\begin{gathered} g(P,k)=e^{b(1-k^a)}{P}^{(k^a)} \\ a=lo{g}_k\gamma \\ b=\frac{ln\beta }{1-\gamma } \end{gathered}$$
对于图片过暗的区域，论文设计了一种曝光度确定的方法。首先根据0.5为阈值提取过暗的像素，根据每个像素的香农熵之和的最大值确定最佳曝光度$\hat{k}$:
Q ∈ { P ( x ) ∣ T ( x ) < 0.5 } B : = ( Q r ∘ Q g ∘ Q b ) 1 3 H ( B ) = ∑ p i ∈ B p i l o g 2 p i k ^ = a r g m k a x ( H ( g ( P , k ) ) ) Q\in \{P(x)|T(x)<0.5\}\\ B:=(Q_r\circ Q_g\circ Q_b )^\frac{1}{3} \\ H(B)=\sum_{p_i\in B}p_i log_2 p_i\\ \hat{k}=arg\underset{k}max(H(g(P,k))) Q∈{P(x)∣T(x)<0.5}B:=(Qr​∘Qg​∘Qb​)31​H(B)=pi​∈B∑​pi​log2​pi​k^=argkm​ax(H(g(P,k)))
对于曝光度$k$，双向纹理函数$g$，论文据此得出增强后的微光图像$R^c$：
$$R^c=\hat{W}\circ P^c+(1-\hat{W})\circ g(P^c,k)$$

论文模型评价

论文采用了两种方式对构建的模型进行评价：亮度阶误差（LOE）以及视觉信息失真（VIF），并将模型的处理效果与其他微光图形增强方式进行比较。
亮度阶误差是采用比较原图像和增强图像两者的亮度相关性所得到的指标。U表示全图根据每个像素进行阈值化得到的阈值图矩阵，$x,y$代表图像长宽，论文是将图像缩放为100x100像素之后进行运算的。
$$LOE=\frac{1}{m}\sum _{x=1}^m\sum _{y=1}^{m}U(L(x),L(y))xorU(L^{{}^{\prime }}(x),L^{{}^{\prime }}(y))$$
视觉信息失真是通过互信息之比得到的指标,$C,F,E$分别是测试图片，原始图片和增强之后的图片：
$$VIF=\frac{I(C;F)}{I(C;E)}$$
LOE

VIF

最终增强的效果