本周的总结

最新推荐文章于 2024-04-28 07:47:07 发布

ZN_daydayup

最新推荐文章于 2024-04-28 07:47:07 发布

阅读量2k

点赞数

文章标签：计算机视觉切patch 病理分割弱监督

本文链接：https://blog.csdn.net/zn961018/article/details/122150273

版权

2 FULLY CONVOLUTIONAL MIL（全卷积的MIL）

3 MULTI-CLASS MIL LOSS（多个类别多示例损失）

本周完成的计划

读病理组织分割论文《Fully Convolutional Multi-Class Multiple Instance Learning》
学习了将大的病理图像和对应标注切patch的操作
学习了DeepLabv3+模型

论文阅读

Fully Convolutional Multi-Class Multiple Instance Learning（全卷积多示例学习）

ABSTRACT（摘要）

多实例学习(MIL)可以通过削弱所需的监督程度来减少在语义分割等任务中的高昂代价的标注的需要。我们提出了一种新的基于完全卷积网络的多类语义分割学习的MIL公式。在这种情况下，我们试图从弱图像级标签中学习语义分割模型。该模型被端到端地训练以联合优化表示，同时消除像素-图像标签分配的歧义。完全卷积训练接受任何大小的输入，不需要对象建议预处理，并提供像素级损失图来选择潜在实例。我们的多类MIL Loss利用了具有多个标签的图像提供的进一步监督。我们通过对Pascal VOC分割挑战的初步实验对该方法进行了评估。

1 INTRODUCTION（介绍）

在这项工作中，我们提出了一种新的具有完全卷积网络(FCN)的多示例学习(MIL)框架。其任务是从仅表示对象存在或不存在的弱图像级别标签中学习像素级语义分割。未居中的已标记对象或包含多个对象的图像会使问题更加困难。本文的主要工作是通过多实例学习来驱动ConvNet表示和像素分类器的联合学习。完全卷积训练在每个像素端到端地学习模型。为了从图像标签中学习分割模型，我们将每幅图像投射为一个bag像素级实例，并定义了MIL的像素级、多类自适应的损失。

我们研究了以下想法，并进行了初步实验：

我们在全卷积网络中结合端到端表示学习来执行MIL。这消除了实例化实例标签假设的需要。FCN学习和推理可以处理不同大小的图像，而不需要进行变形或目标建议预处理。这使得训练变得简单和快捷。
我们提出了一种受二进制MIL场景启发的多类像素级损失。这试图最大化基于每个像素实例的分类分数，同时利用类间竞争来缩小实例假设的范围。
我们的目标是弱监督图像分割这一未被研究的问题。我们相信像素级的一致性提示有助于消除物体存在的歧义。这样，弱分割可以比边界框包含更多的图像结构。

2 FULLY CONVOLUTIONAL MIL（全卷积的MIL）

对于弱监督的MIL学习，FCN允许有效地选择训练实例。FCN预测所有像素的输出图，并具有所有像素的相应损失图。该损失图可以被屏蔽、重新加权或以其他方式操作，以选择和选择用于计算损失和用于学习的反向传播的实例。

我们使用VGG 16层网络，并按照Long等人的建议将其转成完全卷积形式。通过用相应的卷积替换完全连通的层来进行语义分割。网络根据预先训练的ILSVRC分类器权重进行微调，即预先训练以预测图像级标签。然后，我们在没有初始化最后一层权重(即分类器层)的情况下进行实验。这些初始化在没有MIL微调的情况下充当基线(表中的第1行和第2行)。如果没有图像级别的预训练，模型会快速收敛到所有背景。语义分割需要一个背景类，但是分类任务没有背景类；我们简单地将背景分类器权重初始化为零。

3 MULTI-CLASS MIL LOSS（多个类别多示例损失）

我们将多类别MIL损失定义为在最大预测值下计算的多类别损失。由FCN产生的输出图实现，即对于任意大小的图像，FCN输出相应大小的每个类别(包括背景)的热图。我们在图像和背景中存在的类的粗略热图中确定最大得分像素。然后，仅在这些粗点上计算损失，并通过网络反向传播。

$\mathbb{I}$ 表示的是输入图像， $L_{I}$ 是图像对应的标签， $\hat{p}_{l}(x,y)$ 是第 $l^{^{th}}$ 张标签在 $\left ( x,y \right )$ 位置输出的热图

对于一张图片，输进分割网络，得到的是一个(N,H,W)的分割Maps,图片对于每一个class的预测被存储为的一个feature map。

这个Loss取每一个map上的最大的值，计算公式如上图，然后，对这个最大的分值进行约束，限制该类别在图片中的存在与否，若图片的标签中表示存在的类，则这个分值接近于1，若不存在则接近于0。

简单一点讲，就是通过限制feature maps上的最大值趋近1来促使应该存在的类的预测值大，限制最大值趋近0来促使应该不存在的类的预测值小。

4 EXPERIMENTS（实验）

所有结果都来自Pascal VOC分割挑战比赛，结果如下：

5 DISCUSSION（结论）

本文提出了一种受两类别的MIL启发的多类像素级损失联合多实例表示学习模型。该模型端到端学习，作为一个完全卷积网络，用于弱监督语义分割任务。它排除了任何类型的或实例假设机制的需要，推理速度快(≈1/5秒)。这些结果令人鼓舞，而且还可以进一步改进。目前，我们粗粒度的输出仅是线性插值出来的，如果使用条件随机场正则化或超像素投影等方法可以细化预测的结果。

SWI切片代码实现

因为病理图像都是很大像素的，为了重复利用好有限的数据，一般都会对大的病理图像进行切片操作。老师发的数据集共有151张有mask的病理图像。

分割前的每张病理大图像，3394*2467像素和其对应的mask（使用染色板上色）

分割后的patch,每个patch256*256像素