这是一篇 2019 IPMI 使用半监督学习进行医学图像分割的文章,文章的主要思想就是使用 Mean Teacher Network 和 Student network 进行学习,然后提高性能,主要的贡献在于提出了一个一致性损失去利用未标记的数据。
摘要 :
说明医学图像分割领域的现状,数据量不足以训练大的网络,训练过程中容易出现过拟合,标记数据费事费力费钱,所以作者想到了用半监督学习的方法去利用大量的未标注的数据,MT (Mean Teacher Model) 是一种半监督学习中常用的方法,作者就拿来用了一下。另外还加入了 EMA (指数移动平均),这也是一种在防止过拟合上 work 的不错的方法,可见为了防止过拟合煞费苦心。最后得到了 state-of-the-art.
主要工作 :
- 使用半监督学习利用了大量的未标注的数据
- 使用 EMA 进行指数平均,防止过拟合
Mean Teacher Network
就是使用一个 Teacher and Student Network 去一起学习, Teacher network 和 Student Network 使用相同的架构。如下图所示。
参照 Mean teachers are better role models: Weight-averaged
consistency targets improve semi-supervised deep learn