简洁版 CVPR-2017论文笔记《Active Convolution: Learning the Shape of Convolution for Image Classification》

作者提出一种灵活的卷积单元，形状在训练中学习得到，这种结构使得网络具有更强的表达能力。

这篇论文提出了一种新的卷积单元，主动卷积单元ACU（Active Convolution Unit）,在次之前，从AlexNet到如今的ResNet，GoogleNet等各种网络架构的提出，人们研究的基本上都是网络的结构，而很少有人关注卷积单元本身，作者提出的ACU具有灵活的特性，卷积单元的形状不是固定的，而是在训练中（反向传播）学习得到。由于形状不固定，ACU具有以下的优点：

       1）ACU是一般化的卷积; 它不仅可以定义所有传统的卷积，还可以定义具有局部像素坐标的卷积。我们可以自由地改变卷积的形状，从而提供更大的自由形成CNN结构。

       2）卷积的形状是在训练时学习的，没有必要手动调整。

       3）ACU可以比传统的卷积单元更好地学习，可以通过将传统卷积改为ACU来获得改进。

      

          由于ACU的形状不固定，因而没有必要是3*3或5*5这种，如上左图可以将ACU与上一层的神经元的连接点（成为突触）有6个，突触的数目可以随意指定，位置是学习得到的，因而突触需要两个位置参数（竖直方向的偏移量和水平方向的偏移量）去确定它的位置，而且这种位置很可能是小数，也就是突触连在两个在神经元之间（上右图）。这时候突触位置的value是利用与其最近的四个像素点的双线性插值得到。

         突触的位置参数是在反向传播的过程中不断学习，另外的权重和偏置和传统卷积单元的学习方式相同。位置参数的学习受权重影响。在位置参数的学习率方面，由于开始的权重一般是随机设置的，因而作者提出最开始1000次迭代，不学习位置参数，之后才开始学习，并且由于突触位置的移动幅度很关键，反向传播误差会在层间波动导致学习效果不好，作者提出使用归一化梯度，只使用梯度的方向不使用大小，来控制移动幅度。

         作者在普通的网络和ResNet，AlexNet上，以及不同的数据集上做了对比实验，结果实验效果在同等条件下要好（零点几个百分点）。这说明，更加灵活和自由的卷积单元，网络的表达能力更强。