一、 https://github.com/xy0806/miccai17-mmwhs-hybrid
Paper: Hybrid Loss Guided Convolutional Networks for Whole Heart Parsing (MICCAI 2017)
1、迁移学习
使用C3D模型中参数
2、分层深层监督
增加几个分层的侧面路径,从而缩短梯度流的反向传播路径,并将浅层暴露给更直接的监督。
3、损失函数
Hybrid Loss :
二、Bayesian VoxDRN: A Probabilistic Deep Voxelwise Dilated Residual Network for Whole Heart Segmentation from 3D MR Images(miccal 2018)
1、我们将[12]的扩张残差网络(dilated residual network)(DRN )(CVPR 2017 )(以前仅限于2D图像分割)扩展到3D体积分割;
2、我们引入了包含多个丢失层的新型架构来估计模型的不确定性,其中单元在训练期间随机失活以避免过度拟合。 在测试中,体素标签的后验分布通过具有辍学的多个预测的蒙特卡罗采样来近似
3、 combine focal loss with Dice loss, 解决不平衡问题
4、我们引入迭代切换训练策略来交替地优化二进制分割任务和多类分割任务以进一步提高准确度
三、
Multi-Label Whole Heart Segmentation Using CNNs and Anatomical Label Configurations Heart Parsing
(lMICCAI MM-WHS Challenge Best Paper Award)
在这项工作中,提出了一个深度学习框架,用于体积图像的全自动多标记分割。 第一个卷积神经网络(CNN)围绕所有心脏子结构定位边界框的中心。 基于该边界框,第二CNN预测标签位置,即每个标签在体积中占据的空间区域。(先定位再分割)
1、Localization CNN
我们使用热图回归使用类似U-Net的完全卷积CNN [8,5]执行地标定位 [10,7,6],训练以回归所有心脏子结构分割周围的边界框的中心。
2、Segmentation CNN:
使用了最初为地标定位提出的完全卷积端到端训练的SpatialConfiguration-Net(空间布局网络)的改编[6]
四、空间布局网络
Regressing Heatmaps for Multiple Landmark Localization Using CNNs(MICCIA 2016)
三步:
1、三层卷积,生成和ladmarks相同数量的通道数目
2、预测Hi,通过其他的landmarks与K卷积
3、再相乘
介绍完空间布局网络,再看Segmentation CNN
1、类似U-Net的架构[8]具有与标签一样多的输出,生成中间标签预测。对于每个输出体素,使用S形激活函数来限制0和1之间的值,即一个体素可能预测的所有标签的概率。
2、在第二阶段,网络将这些概率转换为其他标签的位置,从而允许网络通过抑制不可行的中间预测来学习可行的解剖标签配置。由于其他标签的估计位置不准确,在此阶段我们可以对U-Net的输出进行下采样,以减少内存消耗和计算时间,而不会失去预测性能。连续卷积层将这些下采样标签预测转换为其他标签的估计位置。对输入分辨率进行上采样会导致变换后的标签预测,这完全基于其他标签的中间标签概率。
3、在最后阶段,将来自U-Net的中间预测与变换后的预测相乘得到组合标签预测。
在没有任何进一步后处理的情况下,选择每个体素的标签预测中的最大值是最终的多标签分割
五、论文 A Probabilistic U-Net for Segmentation of Ambiguous Images 阅读