EGNet: Edge Guidance Network for Salient Object Detection

论文主要解决的问题：
全卷积神经网络(FCNs)在突出的目标检测任务中显示出了其优势。然而，大多数现有的基于fcns的方法仍然存在粗糙的对象边界。与基于区域的方法相比，像素级显著目标检测方法具有优势。然而，他们忽略了图像中的空间相干性，导致显著的物体边界不满意。大多数方法都希望通过融合多尺度信息来解决这一问题。一些方法使用后处理，如CRF来细化突出的对象边界。在NLDF中，他们提出了一个IOU损失来影响边缘周围位置的梯度。它们都不注意显著边缘检测和显著目标检测之间的互补性。一个良好的显著边缘检测结果可以帮助分割和定位中显著的目标检测任务，反之亦然。在此基础上，我们提出了一种EGNet，以端到端方式对互补的显著边缘信息和显著对象信息进行建模和融合。
论文所提出的解决方法：
我们重点研究了显著边缘信息和显著对象信息之间的互补性。为此，我们提出了一种用于显著目标检测的边缘制导网络(EGNet)，可以在一个单一网络中同时建模这两种互补信息。在第一步中，我们通过一种渐进融合的方式提取显著的对象特征。在第二步中，我们整合局部边缘信息和全局位置信息，得到显著的边缘特征。最后，为了充分利用这些互补特征，我们将相同的显著边缘特征与不同分辨率的显著对象特征耦合。利用显著边缘特征中丰富的边缘信息和位置信息，融合后的特征可以帮助更准确地定位突出对象，特别是其边界。

互补的信息建模：

Progressive salient object features extraction
如图中的PSFEM所示，为了获得更丰富的上下文特征，我们利用广泛使用的架构UNet来生成多分辨率特征。与原来的U-Net不同，为了获得更鲁棒的显著对象特征，我们在每个边路径上添加三个卷积层(图中的Conv)，在每个卷积层之后增加一个ReLU层，以保证非线性。为了简单地说明，我们使用T表示这些卷积层和ReLU层。此外，对每条侧边路径都采用了深度监督。我们采用卷积层将特征映射转换为单通道预测掩模，并使用D来表示它。卷积层的细节可以在Tab中找到。

每个边输出的详细信息。T为特征增强模块(Conv如上图所示)。每个T包含三个卷积层：T1、T2、T3和三个后面的ReLu层。我们展示了每个卷积层的核大小、填充和通道数。例如，3、1、128表示核大小为3，填充量为1，通道数为128的卷积层。D表示将多通道特征映射转换为单通道激活映射的过渡层。S表示侧道。
Non-local salient edge features extraction
在这个模块中，我们的目标是对显著边缘信息进行建模和提取显著边缘特征。如上所述，Conv2-2保存了更好的边缘信息。因此，我们从Conv2-2中提取局部边缘信息。然而，为了获得显著的边缘特征，只有局部信息是不够的。还需要高级的语义信息或位置信息。当信息像U-Net架构一样，逐步从顶层返回到低层次，高级位置信息逐渐被稀释。此外，顶层的感受域最大，位置最准确。因此，我们设计了一个自顶向下的位置传播方法，将顶层位置信息传播到侧路径S（2），以约束非凸性边缘。融合特征¯C（2）可表示为：

其中，Trans（∗；θ）是一个带有参数θ的卷积层，旨在改变特征的通道数，φ()表示ReLU激活函数。Up(∗；C（2）)是一种双线性插值操作，其目的是将样本*提升到与C（2）相同的大小。在方程的右边，第二项表示来自较高侧路径的特征。为了清楚地说明，我们使用UpT(Fˆ(i)；θ，C(j))来表示Up（φ(Trans(Fˆ(i)；θ))；C(j)）。Fˆ（6）表示侧径S（6）中的增强的特征。增强特征Fˆ（6）可表示为f(C（6）；WT（6）)，S（3）、S（4）、S（5）中的增强特征可计算为：

其中W(i)T表示T(i)中的参数，f（∗；W(i)T）表示一系列具有参数W(i)T的卷积和非线性运算。在获得与其他侧路径相似的引导特征¯C（2）后，我们添加了一系列卷积层来增强引导特征，然后将S（2）中的最终显著边缘特征FE计算为f(¯C（2）；WT（2）)。配置的详细信息可以在标签中找到。 1.为了明确地对显著边缘特征进行建模，我们添加了一个额外的显著边缘监督来监督显著边缘特征。我们使用交叉熵损失，它可以定义为：

其中，Z+和Z−分别表示显著的边缘像素集和背景像素集。WD为过渡层的参数，如表中所示。 1.Pr(yj=1|FE；WD（2）)是一个预测映射，其中每个值表示像素的显著边缘置信度。此外，在显著目标检测侧路径上添加的监督可以表示为：

其中，Y+和Y−分别表示显著区域像素集和非显著像素集。因此，在互补信息建模中的总损失L可以记为：

One-to-one guidance module
在获得互补的显著边缘特征和显著目标特征后，我们的目标是利用显著边缘特征来引导显著目标特征更好地进行分割和定位。最简单的方法是融合FE和Fˆ（3）。最好是充分利用多分辨率的显著对象特性。然而，将显著边缘特征和多分辨率显著对象特征从下到上逐步融合的缺点是，当显著对象特征融合时，显著边缘特征被稀释。此外，目标是融合显著目标特征和显著边缘特征，利用互补信息获得更好的预测结果。因此，我们提出了一个一对一的指导模块。此外，实验部分验证了我们的观点。
具体来说，我们为S（3）、S（4）、S（5）、S（6）添加了子侧路径。在每条支线路径中，通过将显著边缘特征融合为增强的显著对象特征，使高级预测的位置更加准确，更重要的是，分割细节变得更好。显著的边缘制导特征（s个特征）可表示为：

然后与PSFEM类似，我们在每个子侧路径上采用一系列卷积层T来进一步增强s-特征，并采用过渡层D来将多通道特征图转换为单通道预测图。这里为了清楚地说明，我们在这个模块中将T和D表示为T‘和D’。由等式提供（3），我们得到了增强的s-特征ˆG(i)。
在这里，我们还为这些增强的特性添加了深度监督。对于每个支线输出预测图，损失可计算为：

然后将多尺度精细的预测图融合，得到融合图。融合地图的损失函数可记为：

其中，σ（∗，∗）表示预测图与显著性地面真值之间的交叉熵损失，与等式的形式相同 (5).因此，这部分的损失和拟议网络的总损失可以表示为：

论文方法的实验结果（略）：

论文总结：

在本文中，我们旨在很好地保持突出的物体边界。与其他整合多尺度特征或利用后处理的方法不同，我们关注突出边缘信息和显著对象信息之间的互补性。基于这一想法，我们提出了EGNet来建模网络内的这些互补特征。首先，我们提取了基于U-Net的多分辨率显著目标特征。然后，我们提出了一个非局部显著边缘特征提取模块，该模块集成了局部边缘信息和全局位置信息，得到了显著边缘特征。最后，我们采用了一个一对一的引导模块来融合这些互补的特性。利用显著的边缘特征，改善了显著的对象的边界和定位。我们的模型在6个广泛使用的数据集上表现得优于最先进的方法。我们还提供了对EGNet的有效性的分析。