本周的总结

目录

读论文

Abstract（摘要）

Introduction（介绍）

Materials and methods（材料和方法）

 The DASGAN network

Deep survival learning

Discussion（讨论）

读CycleGAN论文并跑了一个的模型

特点（创新点）

实现

代码实现效果

---

读论文

Domain adaptation-based deep learning for automated T umor Cell (TC) scoring and survivalanalysis on PD-L1 stained tissue images（基于领域适应的深度学习在PD-L1染色组织图像T细胞(TC)自动评分和生存分析中的应用）

Abstract（摘要）

提出了两个基于深度学习的决策系统:

第一个系统学习复制病理学家对肿瘤细胞(TC)评分的评估，阳性分界点为25%，用于患者分层。

第二个系统摆脱了与TC评分相关的假设，直接从总体生存时间和事件信息中学习患者分层。这两个系统都建立在一种新的非配对域自适应深度学习解决方案上，用于上皮区域分割。

好处：这种方法大大减少了对大量像素精确的手动annotation数据集的需求，同时取代了连续切片或重新染色的slides。

Introduction（介绍）

单细胞阳性的定义取决于病理学家对肿瘤细胞膜上PD-L1染色强度的评估，人类观察者很难估计具有空间混合的阳性和阴性肿瘤区域的细胞群体的异质性分布。在某些情况下，这些挑战使得TC评分在病理学家中具有可变性，这可能导致治疗决策过程中的主观性，所以需要我们提出的自动TC打分系统。

我们工作的第一个贡献是引入了一个基于自动图像分析(IA)的TC评分系统，该系统基于卷积神经网络(CNN)，可以准确地复制病理学家的评分。我们将基于免疫算法的TC评分问题描述为一个三类分割问题，TC(+)：PD-L1阳性肿瘤上皮区域；(2)TC(-)：PD-L1阴性肿瘤上皮区域；(3)其他部分，TC分数=|TC(+)|/|TC(+)∪TC(−)|。为了重现病理学家的评分，所提出的基于IA的TC评分算法建立在广泛的先验假设之上，例如a)应该被计数为阳性(或分别为阴性)的细胞的定义，b)分割的上皮区域的TC评分的定义，以及c)用于确定PD-L1状态以执行患者分层的分界值。

我们工作的第二个贡献是引入一个基于CNN的生存分析系统，从PD-L1染色的组织学图像中预测time-to-event结果，上述两个贡献建立在上皮区域自动分割的基础上。

但是在保持降低人工标注需求的前提下，我们建议使用上皮标记物泛细胞角蛋白(PANCK)染色的幻灯片自动生成人工训练标注。PANCK是一种泛上皮标记物，对不同类型的上皮均有良好的特异性染色，人在Panck切片上的投入是最小的，它仅限于粗略地去除肉眼可见的区域，这些区域显示的染色不是上皮区域所特有的。像素精确标记上皮区域的耗时任务仅依赖于基于计算机的启发式方法，因此可以以相对较低的工作量收集大量精确的上皮标记。因此，在本研究中，使用PANCK作为上皮分割的辅助染色是自然而然的选择。

为了避免连续切片或后续染色的需要，我们利用了深度生成对抗网络(GAN)的最新进展，特别是在使用CycleGAN，进行不成对的图像到图像翻译方面。我们介绍了端到端的可训练网络命名的DASGAN(域适应和分割生成对抗网络)，其(I)联合执行不成对的图像到图像的translation和语义分割，以及可以利用来自Panck和PD-L1染色域两者的训练annotation，尽管类别数目冲突。

Materials and methods（材料和方法）

介绍了两种新的基于深度学习的图像分析方法。首先是DASGAN网络，它是CycleGAN体系结构[30]向用于联合域适配和分段的端到端网络的扩展。第二，深度生存学习方法的扩展[8]，重点放在上皮区域。

 The DASGAN network

DASGAN模型建立在现有的CycleGan模型的基础上，并且在辅助分类器生成对抗网络(AC-GAN)的基础上，我们扩展了CycleGAN模型，实现将PanCK和PD-L1互转。

Deep survival learning

生信分析部分还没看。。。等学了再来补上

Discussion（讨论）

我们确认基于IA的PD-L1 TC评分系统与病理学家TC评分的预测能力相匹配，这项研究中建议的DASGAN方法有一定的局限性，我们希望在未来解决这些局限性。在目前的设置中，自动TC评分的一致性仅针对一位病理学家进行开发和验证队列。使用这种系统的好处是，与可能是主观的人工评分相比，结果总是可重现的。此外，分割结果可以作为病理医生做出更有见地的诊断的辅助。随着建议的PD-L1 TC评分的DASGAN的进一步验证，以及考虑从TC评分中自动去除良性上皮的未来扩展，该系统可能成为前瞻性地选择可能受益于PD-L1检查点抑制剂治疗的患者的辅助诊(CDx)。

读CycleGAN论文并跑了一个的模型

特点（创新点）

CycleGAN的创新点在于能够在源域和目标域之间，无须建立训练数据间一对一的映射，就可实现这种迁移。

实现

主要是通过引入Cycle Loss（循环一致损失）来实现的，还有一个是Identity Loss,加上原来GAN的对抗损失。所以有双判别器，双生成器，使得A->B域，且B->A可以重新回到A域。

Cycle Loss保证了只是分割发生改变，内容和原来的是一致的，Identity Loss保证了背景颜色等信息不变。

代码实现效果

到GitHub上找了一个CycleGan的项目，跑通那个CycleGAN项目，自己对着项目完整的敲了一遍，在云GPU跑完的效果如下：

第0次迭代训练：

第109500次迭代后：