本文提出了一个新的基于边缘感知的图像处理方法:构建一个高斯金字塔,然后对每一层应用一个非线性滤波,接着使用全局优化来合并这些空间变化滤波器的输出。该优化问题是使用明确的混合域(实空间和DCT变换空间)解决方案来解决的,该解决方案高效,准确且易于实现。我们演示了我们的方法应用于一系列问题,包括细节和对比度处理,HDR压缩,非真实感渲染和霾清除。边缘感知图像编辑处理的关键是边缘和细节处理的不同步。
本文通过构建金字塔来达到减少光晕效果的目的。最开始的一层(顶层)采用线性滤波作为初始层,然后接下来每层与前一层进行融合,当前层经过局部滤波后含有较多细节,他的前一层则含有更多轮廓信息,以这种方式控制结果的详细行为有助于减少光晕。
本文一共两个贡献:
1一种新的,具有旋转不变性的基于优化的边缘感知图像处理公式,可避免光晕,梯度反转和锯齿等难看的伪像(图像金字塔的优势)。
2针对结果优化问题的混合域解决方案表现准确,高效且易于实施(不变性)。
(1) 基于边缘感知的图像处理
常见的基于边缘感知的图像处理有双边滤波,基于各向异性扩散的方法,基于最小二乘法。本文同样是基于边缘感知的图像处理方法,同时还可以避免边缘产生伪像。
LLF的问题:文章提到Paris et al.的LLF介绍了局部拉普拉斯滤波器(LLF),它使用一组简单的局部滤波器直接巧妙地操纵拉普拉斯金字塔。 然而,LLF在计算上是昂贵的,因为必须为拉普拉斯金字塔的每个元素构造子金字,然而,LLF在计算上是昂贵的,因为必须为拉普拉斯金字塔的每个元素构造子金字塔。Paris等通过分析像素点亮度的变化,利用拉普拉斯金字塔将图像分层.这类方法直观形象、简单易行,但当噪声与边缘结构相似时,无法消除它们。
域变换是Gastal和Oliveira [6]【Domaint,ransform for edge-aware image and video processing】提出的用于实时边缘感知图像处理的最新技术。它基于从5D图像流形到2D真实空间的数据相关变换,保留了测地距离。但是他不具有旋转不变性,而我们的具有旋转不变性。
(2)基于优化的图像处理
1 基于梯度域进行图像处理,而不是直接对图像像素进行操作(因为视觉系统(HVS)对局部对比度比绝对强度更敏感,没有对比就没有伤害),作者分析了本文域梯度域的关联。
2二次能量:这些方法再次需要大线性系统的解决方案。
其他优化:总变差优化,L0等约束项。
本文提供了一种新颖的基于多尺度优化的边缘感知图像处理方法,在每个尺度上,我们优化子窗口上的二次目标函数,以合并一组局部边缘感知滤波器的输出,与WLS不同,我们的目标函数的系数具有空间不变的结构,这允许快速的频域解决方案来解决最终的优化问题。 使用多尺度方案有助于减少光环
(3)算法
A: 本文只接受单通道图像,我们的算法允许用户分别自由地操纵图像的的详细外观和整体外观,而无需精确指定如何将图像分解为这些组件。和局部拉普拉斯滤波器(LLF)一样,一共三个参数:细节增大和减小,轮廓增大和减小,一个控制细节范围的阈值。
我们的局部滤波器设计遵循[5]LLF中的思路,但有一些更改以更好地符合我们的算法,如第III-B节所述,我们的局部滤波器设计遵循[5]中的思路,但有一些更改以更好地拟合我们的算法,如第III-B节所述。 我们的主要算法贡献通过有效和精确的频域解决方案(见第III-D节)设计一个优化框架来用于权衡方程式(2)和(3)(见第III-C节)。
计算每一层的滤波输出要同时考虑(2)和(3)
上一层进行上采样后尽可能与当前层卷积后相同。(上一层含有较多轮廓信息,因此可以确保轮廓信息)
同时保证当前层滤波后有较多的细节信息,因此精心地设计了一个局部滤波器,小的mask采用圆形,因此具有旋转不变性,
B:局部滤波器
类似LLF,做了一点改进,使得本文过滤器更好地遵循从顶层继承的整体外观,
C: 全局优化
本文目标函数由(2)和(3)构成,类似WLS,但是本文的目标函数具有空间不变的特性,因此得
通过推演,最终每层的输出可以通过频域中进行(12)。
本文采用简单的DCT(Discrete Cosine Transform),采用傅里叶变换来优化相关问题已经很常见,但是本文与之前的频域优化问题不同的时,本文频域公式中还包含额外的项。因此不能完全基于频域进行优化。
可以通过2维的DCT得到。但是
需要基于真实域进行得到。因此最终求解(8)既要在频域中求解又要在空间域中计算,因此得本文提出的混合域求解。
总结讨论:
1 由于我们使用二次目标函数,我们的方法与梯度域图像处理技术密切相关。
2 本文在消去光晕的问题上,主要得益于金字塔方法。
3 本文方法的准确率和效果不依赖与局部滤波器中的映射函数。
4 本文因为采用圆形窗口,因此具有旋转不变性,因此使得本文不同与其他非旋转不变性的快速滤波技术。
5 目标函数(8)系数具有空间不变的结构,不同于任意二次函数的系数,因此可以采用有效且精确的频域方法来优化方程(8)。