CNN可视化技术 -- CAM & Grad-CAM详解及pytorch简洁实现

前言

CNN中的特征可视化大体可分为两类：

• 细节信息：ZFNet中使用的deconvolution，改进的guide backpropagation
• 信息的重要性区分：类激活图（CAM），改进的Grad-CAM

第一类方法只显示了在深层特征中保留了哪些信息，而没有突出显示这些信息的相对重要性。第二类方法则具有一定的解释性，例如在分类任务中，通过CAM能够解释模型究竟是通过重点学习输入图像中的哪些信息来判断类别的。

1. CAM（Class Activation Map）

Network in Network中提出了用全局平均池化（GAP）替代全连接层以加强特征映射与类别之间的联系，更具可解释性。受该思想启发，CAM可视化技术应运而出。生成CAM的流程如下图所示（论文原图）：

可以看出，生成CAM的步骤非常简单，但是对网络结构有要求（网络末端为GAP+FC这样的结构，并且FC只有一层，用于输出类别概率）。假设分类任务采用的是VGG网络，此时生成CAM的步骤为：

1. 将VGG中的前两个FC替换为GAP，重新训练；
2. 获取最后一个卷积层输出的特征图$[f_1,f_2,...,f_n]$，以及全连接层的权重$[w_1,w_2,...,w_n]$；
3. 计算$CAM={\sum }_{i=1}^n{w}_i{f}_i$

不难发现，若网络结构不符合要求，按照上述方法计算CAM需要修改网络结构和重新训练。针对该问题，后续研究中提出了Gard-CAM。

2. Grad-CAM

由上述CAM的计算方法可知，生成CAM的关键是获取特征图的权重。基于对原始CAM的改进，Grad-CAM通过求网络输出的类别置信度对特征图的偏导来获取权重&