A deep learning model integrating FCNNs and CRFs for brain tumor segmentation

摘要：

1.通过将完全卷积神经网络（FC-NN）和条件随机场（CRF）集成在一个统一的框架中，得到一种新的脑肿瘤分割方法，以获得具有外观和空间一致性的分割结果。

2.步骤：

我们使用2D图像训练基于深度学习的分割模型
以下步骤中的块和图像切片：

1）使用图像块训练FCNN;

2）使用固定FCNN参数的图像切片训练CRF作为回归神经网络（CRF-RNN）;

3）使用图像切片微调FCNN和CRF-RNN。 特别地，我们分别使用在轴向，冠状和矢状视图中获得的2D图像块和切片来训练3个分割模型，并且使用基于投票的融合策略将它们组合成分割脑肿瘤。

数据集：brats2013,brats2015,brats2016

Introduction:

对我有用的信息

1.Dvorak等人。 将多类脑肿瘤分割任务建模为3个二元分割子任务，并使用CNN解决每个子任务（Dvorak和Menze，2015）。

2.Fritscher等。 提出了一种基于伪3D切片的方法（Fritscher等，2016），包括分别用于轴向，冠状和矢状视图中的图像斑块的3个卷积路径以及用于合并它们的完全连接的层。

3.通过减去最高直方图箱的灰度值并将标准偏差归一化为1，在肿瘤分割研究中采用了强大的强度归一化（Goetz等，2014）。(比较常用的一种归一化方法)

我们提出的方法：

1.所提出的方法能够逐片地分割脑图像，这比基于图像块的分割方法快得多。（因为最后一层是stride为1的卷积）

2.我们的方法可以基于3种MR成像模式（Flair，T1c，T2）实现竞争性分割性能，而不是4种模式（Flair，T1，T1c，T2），这有助于降低数据采集和存储的成本

基于图像块的优势和劣势：

1.由于通过改变图像块采样方案可以容易地控制每个类的训练图像块的数量和位置，因此基于图像块的深度学习分割方法可以避免训练样本不平衡问题

2.劣势就是然而，基于图像块的分割方法的限制是图像块之间的关系通常会丢失。

Methods and materials:

materials:预处理就用到我之前提到的Goetz2014的一个方法，具体什么原因，需要的时候再看论文查找。

method:

与Havaei et al 2017的区别与相似之处

1.与Havaei et al2017的结构类似，也是双通道，然后一个通道用大的input size,一个通道用较小的input size，然后大通道的输出与小通道的输入相结合，最后得出结果，最后也是卷积层而不是全连接层，这样分类速度更快。

输入的大小与池化层的大小如下图所示：（输入与池化层，有比例关系）

2.与Havaei et al 2017的不同的是：（1）卷积核大小不同，且卷积层更多（2）havaei et al2017是分为两阶段训练，并且每一个阶段所对应的网络，有两个单独的通道，而这篇文章所提出来的方法是两个网络同时训练，每个网络并没有两个通道。

CRF-RNN:

1.公式：

y(u,i)代表一张slice里，第i个像素属于第u类的概率（u表示你要分类的类别）

 

整个步骤：

（输入图像是3通道而不是之前很多网络的4通道，他说这样可以提高训练速度，减少计算量，分别是Flair,T1C,和T2三个模态）

1.第一步先取图像块训练FCNN。

2.选择slice给FCNN，并将FCNN的结果输出给CRF-RNN,这时候固定FCNN的参数，仅仅训练CRF-RNN，这里使用的是slice作为输入，而不是patch，这就相当于是FCNN的测试阶段。

3.最后一步再用Slice微调所有的网络。

至于CRF-RNN的具体原理参考：Conditional Random Fields as Recurrent Neural Networks (这里如果具体要用到的时候再看？？)

 

Fusing segmentation results obtained in axial, coronal and sagittal views:（融合三个视角的模型）

 1.训练跟上面方法一样的三个模型，这三个模型分别是axial轴切片，coronal轴切片，sagittal轴切片，然后最后融合结果：

融合规则如下表示：

后处理方法：

分别表示经过预处理的Flair,T1c,T2图像

Res表示经过整个模型预测后的图像

还有Res(x,y,z)分别表示Flair,T1c,T2和Res的亮度值

Res(x,y,z) = 0,1,2,3,4表示预测后(x,y,z)点所对应的标签分别是健康组织，坏死，水肿，非增强，核心和增强。

分别表示Flair和T2模态，由res预测的肿瘤联通区域的平均亮度值。

分别表示第n个联通区域所对应的平均亮度值（也是由res预测的）

后处理方法如下：

1.，则将在Res中的第n个联通区域全部置0，可以减少假阳性，因为

特别高的亮度很有可能是噪声而不是肿瘤，在之前的研究（之前的研究指的是？）

2.如果voxel(x,y,z)同时满足以下条件：

因为如果是肿瘤组织，至少在Flair,T1C,T2中的一个模态中有高信号，如果对于以下的这些模态都是低信号的话，那么肯定不是肿瘤组织，但是enhancing 和 core除外，值为：

3.如果3D联通的肿瘤区域小于最大的肿瘤联通区域的十分之一，则去除。

4.进行孔洞填充，因为有孔洞的地方一般都是坏死区域（这个怎么填充？？）

5.将Res(x,y,z)=1，因为我们的模型经常将坏死分为enhancing

6.表示res预测中的enhancing，表示整个肿瘤，，则把Res=2改成Res=3（2表示水肿，3表示非增强），因为我们的模型对非增强不敏感，有可能将非增强错分为水肿，

参数基于BRATS 2013数据集设置。 由于BRATS 2013的训练集数量很少，我们没有对参数进行交叉验证，因此它们不一定是最优的。 我们在所有实验中使用了相同的参数，包括我们在BRATS 2013,2015和2016上的实验。除了上述后处理步骤，我们还可以直接使用CRF作为FCNN的后处理步骤，如同在 最近的研究，（为什么还要用CRF作为后处理方法？？）

总结：这些后处理方法是根据自己的模型来处理的，同时有一个共用的后处理方法就是联通区域不超过最大肿瘤联通区域的10分之1。

实验设置与对比：

1.评估CRF+Post-processing：

可以看到：CRF可以消除假阳性，但是同时对sensitivity的影响也是较大的，尤其是对complete区域

post-processing也可以减少假阳性，

2.评估后处理步骤：

发现step3对后处理的影响是最大的。

3.patch size对图像的影响

当n = 1,3,5时，相应的训练补片大小为21 * 21 * 3（小输入补丁）和41 * 41 * 3（大输入补丁），27 * 27 * 3和53 * 53 * 3， 33 * 33 * 3和65 * 65 * 3。

总结：可以看出patch的大小对结果有很大的影响，patch越大获得信息越多，效果越好，但是CRF和post-processing，会减少patch size对结果的影响。

4.块数量对结果的影响：

从每个subject中随机抽取训练成像贴片并保持不同类别的训练样本的数量相等（总共5个类别，包括正常组织，坏死，水肿，非增强核心和增强核心）。 我们通过采样生成了3组图像补丁，分别由10 0 0 * 5 * 20,30 0 0 * 5 * 20和50 0 0 * 5 * 20补丁组成，

可以观察到，随着训练样本的增加，准确率也会增强，但是这些差异最后会随着CRF+post-processing减小

5.4模态或者3模态的影响：

3模态是一个有竞争力的结果，并且计算量少，

6.不同轴面切片融合：

可以观察到，融合之后的效果是最好的，并且在后处理之后有一个更大的提升

7.和其他方法的比较：

我们在2013 testing dataset上，challenge:取得了第二的成果，Leaderboard取得了第一成果，并且测试时间是2到4mins 对于3个轴面中的一个轴面，训练在他们的GPU tesla k80花了12天时间。

总结：

1.该文章的FCNN+Post-processing效果并没有我的好，完全是靠CRF-RNN给文章效果撑起来的

2.三个轴面的模型可能可以借鉴

3.使用全卷积，可以加快测试速度

4.他们的模型框架使用的是caffe

5.最后对patch size, 数据集的数量, post-processisng, pre-processing,CRF-RNN,3views,3-4不同模态的分别做了消融实验

这点我也可以借鉴，对patch size,数据集数量,以及数据集类的是否平衡数量，后处理，预处理 ，还有熵高低 做出消融实验等

6.这篇文章的patch size的越大效果反而越好，有可能是他卷积核比我的大