AlexNet,VGG,GoogleNet,ResNet,DenseNet,NIN,MobileNet特定总结

一：AlexNet
1.使用ReLU加快模型训练

2.使用多GPU同时训练模型，加速

3.使用response-normalized加强正则化效果

4.叠加性池化（overlapping pooling）防止过拟合

5.dropout防止过拟合

二：VGG
1.使用3×3 Filters而不是大尺寸的Filters

2.multi-scale training, testing

3.模型融合

4.Dense (Convolutionalized) Testing，用conv替代FC

三：GoogleNet

1. 1x1 conv :减少维度，计算量，模型大小，缓和过拟合

2.Inception module：stack 1×1 conv, 3×3 conv, 5×5 conv, and 3×3 max pooling 到一层，使得该层能使用不同的conv
去提取不同的特征

3.global average pooling 取代FC减少计算量，过拟合

四：ResNet
1.提出了identity shortcut connection来解决模型过深，训练时梯度消失的问题，使得ResNet能构建很深的神经网络。

2.改进， ResNet with stochastic depth，训练时随机drop一些网络层不使用，test时则全部使用，可以减少训练时间，同时