论文笔记：基于互信息估计和最大化的深度表示学习

一本糊涂张～

于 2024-02-29 23:00:48 发布

阅读量471

点赞数 13

分类专栏：论文笔记文章标签：论文阅读学习

本文链接：https://blog.csdn.net/zly_always_be/article/details/136108106

版权

论文笔记专栏收录该内容

15 篇文章 2 订阅

订阅专栏

本文概述了2019年ICLR会议论文，介绍了如何通过DeepInfoMax(DIM)方法结合全局和局部互信息最大化来学习深度表示。该方法结合了信息内容和统计属性，适用于不同任务，如重建和分类。它通过编码器和鉴别器的协同工作来优化表征学习过程。

摘要由CSDN通过智能技术生成

整理了ICLR2019 LEARNING DEEP REPRESENTATIONS BY MUTUAL INFORMATION ESTIMATION AND MAXIMIZATION）论文的阅读笔记

背景
模型

论文地址：DIM
code：代码地址

背景

发现有用的表示是深度学习的一个核心目标，由于之前的工作已经可以有效的估计深度学习网络的输入/输出对之间的MI，作者提出最大化输入与输出全局和局部MI学习到更好的表示。作者还提到，直接最大化全部输入和编码器的输出（即全局的MI）更适合于重建性的任务，而在分类的下游任务上效果不太好。最大化输入的局部区域（例如图片中的一块）和输出的平均互信息在下游任务（如图像分类）上的效果更好。因此，互信息最大化的过程可以优先考虑全局或局部信息，文章表明，这可以用来调整学习表征对分类或重建风格任务的适用性。
表征的有用性不仅仅是信息内容的问题，独立性等表征特征也起着重要作用。作者以类似于对抗性自编码器(AAE)的方式将MI最大化与先验匹配结合起来，根据所需的统计属性约束表示。这种方法与信息最大化优化原则密切相关，所以方法称为Deep InfoMax (DIM)。