A MULTI-TASK FRAMEWORK WITH FEATURE PASSING MODULE FOR SKIN LESION CLASSIFICATION AND SEGMENTATION

摘要：

1.分割任务和分类任务是有联系的

2.设计了一个特征融合模块在分类分支和分割分支之间传递信息

3.有些信息是有用有些信息是无用的，所以设置了一个门函数来控制信息之间的传递

 

introduction:

1.低层共享特征，我们提出多任务结构，能够稍微提高准确率和节省时间

2.为了进一步深挖两个任务之间的依赖，用门函数来控制传送信息

3.可学习的门功能用于控制消息传输，因此只有有用的信息才能通过。 实验结果表明了我们提出的方法的优越性。

THE PROPOSED METHODS:

所提算法的概述如图1所示。我们首先使用FeatureNet从输入的皮肤镜图像中提取特征，然后将它们提供给ClsNet进行分类，将SegNet提供给分割。 建议的特征传递模块用于链接ClsNet和SegNet，以便来自两个任务的信息可以相互流动。在本节中，我们首先描述多任务架构，包括FeatureNet，ClsNet和SegNet。 然后我们进入功能传递模块的细节。

2.1. Multi-task architecture:

1.FeartureNet:

使用resnet101,直到conv4_10为止，用来提取特征（为什么是到这一层）

2.ClsNet:

用101从conv4_10的后面的层用来分类

3.SegNet:

使用SegNet来分割

数据不平衡问题的解决：

对损失函数进行加权用于分割问题：

然后gate function控制特征的流动：

没看懂，这个门网络到底和SEnet的区别在哪里，第二，为什么Xseg，Xcls乘权重 而不是feature map乘权重？？

门函数是卷积层，后跟sigmoid函数，使信息传递率在（0,1）范围内。

跟MICCAI18年peresia那篇文章的RRblock有点类似，都是使用卷积来收集上下文和空间信息

数据增强方法：

（crop, zoom, rotate,flip and add gaussian noise）

训练细节：

我们使用随机梯度下降（SGD）训练我们的网络，其中包含16个图像的小批量。首先，我们在没有SegNet的情况下训练FeatureNet和ClsNet大约80个epoch，学习率为0.00001。 然后，我们使用ClsNet的权重来初始化SegNet（与[7]中的初始化方法相同），并使用FeatureNet和ClsNet训练SegNet，固定约150个epoch，学习率为0.0001。 最后，我们在ClsNet和SegNet之间添加了特征传递模块，并以0.0001的学习速率联合训练整个网络约45个epoch。 图像的输入尺寸设置为233×233，并且观察到输入尺寸对性能的影响很小。