Network In Network

13年的经典结构NIN
Network In Network
通过改进CNN
并展示了 NIN 在 CIFAR-10 和 CIFAR-100 上的分类性能
在 SVHN 和 MNIST 数据集上的合理性能。
现在虽然性能被比下去了但是依旧值得拜读哈哈哈

MLP卷积层

用Mlp卷积层代替普通的线性卷积层

在普通卷积层后接了两个1*1卷积核

Global Average Pooling

传统的卷积神经网络在网络较低层执行卷积。为了分类，最后一个卷积层的特征图被向量化并输入到全连接层，再接一个 softmax 逻辑回归层。
但是，全连接层参数个数太多，往往容易过拟合，导致网络的泛化能力不行。作者采用了Dropout的方法，来提高网络的泛化能力，但是计算量依旧过大。
基于这个，作者提出用全局平均池化代替全连接层，对每个特征图进行平均池化，在整个层的顶部取每个特征图的平均值，把得到的结果向量直接输入softmax层。
好处有

• 特征图和类别之间的关系一一对应，更适合卷积结构。因此，特征图可以被看成类别置信度图。
• 在全局平均池化中没有要优化的参数，因此在这一层避免了过度拟合。
• 总结了空间信息，因此对输入的空间转换更加鲁棒。

总体架构

简简单单加两个卷积核，最后把全连接层改成avg pooling。

性能比较

词汇

贴个别人的学习笔记
知乎

flatten 向量化