Mixed-Domain Edge-Aware Image Manipulation 阅读笔记

本文提出了一个新的基于边缘感知的图像处理方法：构建一个高斯金字塔，然后对每一层应用一个非线性滤波，接着使用全局优化来合并这些空间变化滤波器的输出。该优化问题是使用明确的混合域（实空间和DCT变换空间）解决方案来解决的，该解决方案高效，准确且易于实现。我们演示了我们的方法应用于一系列问题，包括细节和对比度处理，HDR压缩，非真实感渲染和霾清除。边缘感知图像编辑处理的关键是边缘和细节处理的不同步。

本文通过构建金字塔来达到减少光晕效果的目的。最开始的一层（顶层）采用线性滤波作为初始层，然后接下来每层与前一层进行融合，当前层经过局部滤波后含有较多细节，他的前一层则含有更多轮廓信息，以这种方式控制结果的详细行为有助于减少光晕。

本文一共两个贡献：

1一种新的，具有旋转不变性的基于优化的边缘感知图像处理公式，可避免光晕，梯度反转和锯齿等难看的伪像（图像金字塔的优势）。

2针对结果优化问题的混合域解决方案表现准确，高效且易于实施（不变性）。

（1） 基于边缘感知的图像处理

常见的基于边缘感知的图像处理有双边滤波，基于各向异性扩散的方法，基于最小二乘法。本文同样是基于边缘感知的图像处理方法，同时还可以避免边缘产生伪像。

LLF的问题：文章提到Paris et al.的LLF介绍了局部拉普拉斯滤波器（LLF），它使用一组简单的局部滤波器直接巧妙地操纵拉普拉斯金字塔。 然而，LLF在计算上是昂贵的，因为必须为拉普拉斯金字塔的每个元素构造子金字，然而，LLF在计算上是昂贵的，因为必须为拉普拉斯金字塔的每个元素构造子金字塔。Paris等通过分析像素点亮度的变化，利用拉普拉斯金字塔将图像分层．这类方法直观形象、简单易行，但当噪声与边缘结构相似时，无法消除它们。

域变换是Gastal和Oliveira [6]【Domaint，ransform for edge-aware image and video processing】提出的用于实时边缘感知图像处理的最新技术。它基于从5D图像流形到2D真实空间的数据相关变换，保留了测地距离。但是他不具有旋转不变性，而我们的具有旋转不变性。

（2）基于优化的图像处理

     1 基于梯度域进行图像处理，而不是直接对图像像素进行操作（因为视觉系统（HVS）对局部对比度比绝对强度更敏感，没有对比就没有伤害），作者分析了本文域梯度域的关联。

 2二次能量：这些方法再次需要大线性系统的解决方案。

其他优化：总变差优化，L0等约束项。

本文提供了一种新颖的基于多尺度优化的边缘感知图像处理方法，在每个尺度上，我们优化子窗口上的二次目标函数，以合并一组局部边缘感知滤波器的输出，与WLS不同，我们的目标函数的系数具有空间不变的结构，这允许快速的频域解决方案来解决最终的优化问题。 使用多尺度方案有助于减少光环

（3）算法

  A: 本文只接受单通道图像，我们的算法允许用户分别自由地操纵图像的的详细外观和整体外观，而无需精确指定如何将图像分解为这些组件。和局部拉普拉斯滤波器（LLF）一样，一共三个参数：细节增大和减小，轮廓增大和减小，一个控制细节范围的阈值。

我们的局部滤波器设计遵循[5]LLF中的思路，但有一些更改以更好地符合我们的算法，如第III-B节所述，我们的局部滤波器设计遵循[5]中的思路，但有一些更改以更好地拟合我们的算法，如第III-B节所述。 我们的主要算法贡献通过有效和精确的频域解决方案（见第III-D节）设计一个优化框架来用于权衡方程式（2）和（3）（见第III-C节）。

 

计算每一层的滤波输出要同时考虑（2）和（3）

 上一层进行上采样后尽可能与当前层卷积后相同。（上一层含有较多轮廓信息，因此可以确保轮廓信息）

   

同时保证当前层滤波后有较多的细节信息，因此精心地设计了一个局部滤波器，小的mask采用圆形，因此具有旋转不变性，

B：局部滤波器

   类似LLF，做了一点改进，使得本文过滤器更好地遵循从顶层继承的整体外观，

C: 全局优化

   本文目标函数由（2）和（3）构成，类似WLS，但是本文的目标函数具有空间不变的特性，因此得

通过推演，最终每层的输出可以通过频域中进行（12）。

 

本文采用简单的DCT（Discrete Cosine Transform），采用傅里叶变换来优化相关问题已经很常见，但是本文与之前的频域优化问题不同的时，本文频域公式中还包含额外的项。因此不能完全基于频域进行优化。可以通过2维的DCT得到。但是需要基于真实域进行得到。因此最终求解（8）既要在频域中求解又要在空间域中计算，因此得本文提出的混合域求解。

 

 

总结讨论：

  1 由于我们使用二次目标函数，我们的方法与梯度域图像处理技术密切相关。 

2 本文在消去光晕的问题上，主要得益于金字塔方法。

  3 本文方法的准确率和效果不依赖与局部滤波器中的映射函数。

  4 本文因为采用圆形窗口，因此具有旋转不变性，因此使得本文不同与其他非旋转不变性的快速滤波技术。

  5 目标函数（8）系数具有空间不变的结构，不同于任意二次函数的系数，因此可以采用有效且精确的频域方法来优化方程（8）。