文献来源:Golovanevsky M, Eickhoff C, Singh R. Multimodal attention-based deep learning for Alzheimer’s disease diagnosis[J]. arXiv preprint arXiv:2206.08826, 2022.
行文架构(待更新)
数据类型
三种数据分别是临床数据(人口统计数据、记忆测试、平衡得分等)、遗传数据(单核苷酸多态性)和核磁共振扫描成像。可将其分类为文本数据和图像数据。
模型架构

- 数据输入
- 将遗传和临床数据输入到全连接神经网络体系结构并且成像数据输入到卷积神经网络中
- 进入自注意力层,利用神经网络层获得的特征,在自注意力层中加强内部模态的连接
- 之后每个模态对被送入一个双向的跨模态注意力层,该注意力层注重捕捉模态间的相互作用
- 最后,通过全连接层输出结果并传递到决策层,将其分类为(CN、MCI和AD)
创新点
1.在模型构建方面,作者采用跨模态注意力来进行异构模态的融合
2.在抓取数据特征方面,先后采用了多头自注意力模块和跨模态注意力模块,自注意力允许输入数据之间相互作用,并找出每个模态中最应该关注的特征。跨模态注意的目的是模拟模态之间的相互作用;例如,临床特征可能有助于强化成像特征告诉模型的信息,从而导致更稳健的决策。这两种注意类型在神经网络注意部分都有严格的定义。最后一步将并行注意力计算的输出连接起来,并将其输入最终的密集层,从而进行预测。
该研究提出了一种基于多模态注意的深度学习模型,用于阿尔茨海默病的诊断。模型结合了临床数据、遗传数据和核磁共振成像,通过全连接神经网络和卷积神经网络处理不同数据类型。使用自注意力层增强内部模态联系,跨模态注意力层捕获不同模态间的交互。创新点在于跨模态注意力的运用,使临床特征能强化成像特征,提升诊断的准确性。最终,通过全连接层和决策层进行分类(CN、MCI和AD)。
2137

被折叠的 条评论
为什么被折叠?



