Network in Network

• 1×1的卷积核

卷积核在CNN中经常被用到，一般常见的是3×3的或者5×5的。一般1×1的卷积核本质上并没有对图像做什么聚合操作，以为就是同一个w去乘以原图像上的每一个像素点，相当于做了一个scaling 。1×1卷积核最初是在Network in Network这个网络结构中提出来的。它用了比AlexNet更少的参数，达到了跟其一样的效果。

• 1×1卷积核的作用

       那么1×1卷积核有什么作用呢，如果当前层和下一层都只有一个通道那么1×1卷积核确实没什么作用，但是如果它们分别为m层和n层的话，1×1卷积核可以起到一个跨通道聚合的作用，所以进一步可以起到降维（或者升维）的作用，起到减少参数的目的。 
      比如当前层为 x×x×m即图像大小为x×x，特征层数为m，然后如果将其通过1×1的卷积核，特征层数为n，那么只要n<m。这样就能起到降维的目的，减少之后步骤的运算量。如果使用1x1的卷积核，这个操作实现的就是多个feature map的线性组合，可以实现feature map在通道个数上的变化。 而因为卷积操作本身就可以做到各个通道的重新聚合的作用，所以1×1的卷积核也能达到这个效果。

• Network in Network

       NIN网络是第一个提出1×1卷积核的论文，同时其也提出了Network in Network的网络概念。因为一般卷积操作可以看成特征的提取操作，而一般卷积一层只相当于一个线性操作，所以其只能提取出线性特征。所以该作者就想能否在卷积层后也加入一个MLP使得每层卷积操作能够提取非线性特征。 其实这里的MLP(多层感知机)，指的是同一层中，不同特征层之间，同一个位置上的值的MLP 
 
 
        所以NIN指的是，一个神经网络之中，其每一层之间的特征提取又加上了一个小的神经网络。

• NIN与1×1卷积核的关系

       因为NIN中的MLP层可以用两层1×1卷积核来代替，比如当前这一层是54×54×96的图像层，然后过一个1×1×96的卷积核，还是一个54×54×96的卷积层，然后再过一个1×1×96的卷积核，还是一个54×54×96的卷积层。 但是这样但看最开始那个96个特征层的图像同一个位置不同层之间的像素点，相当于过了一个96×96×96的MLP网络 。