Pytorch学习10——经典卷积网络

1、LeNet-5

1.1 应用

• 80年代，mnist数据集准确率达99.2%，可用于邮票数字识别

1.2 结构

• 包含两个卷积层三个连接层（2个全连接+1个高斯连接）

2、AlexNet

2.1 GPU的使用

• 用到两块3GB，每块上面可以放置一半的卷积核，可以并行进行

2.2 结构

• 5个卷积层 + 3个全连接层

2.3 创新

• 重叠池化、随机失活、Relu的使用

2.4 成就

• 鼻祖，12年ILSVRC第一名，较之前错误率降低近10个百分点。

3、VGG（有6个版本）

3.1 创新

• 发现小的卷积kernel不但参数更少而且不会影响模型的表现
• 现在常用kernel为3*3
• 特别的卷积kernel1*1，可以在保持H和W不变的情况下改变channel大小

3.2 结构

• 有六个版本，最深为19层

3.2 成就

• 14年，ILSVRC第二名

4、GoogLeNet

4.1 结构

• 共有22层

4.2 创新点

• 每层不再只有一种卷积核，而是多种不同卷积核甚至包括池化，得到的feature map的H和W要相同，然后将他们全都叠在一起
• 因为不同卷积核感受野不同，既能关注细节又有全局的把控，所以可以得到一个较好的效果

4.3 成就

• 14年，ILSVRC第一名

5、ResNet

5.1 提出初衷

• 深层网络随着参数增加，对于深层参数梯度的求解可能变得趋于0，很难优化。所以会出现网络变深，但效果变差
• 为了保证深层网络最起码不能表现得比浅层网络差，ResNet中提出短路操作。即如果增加层数能够变好则增加，不能变好则短路。
  

5.2 结构

• 最多152层
• 每个unit就包含了如图所示2-3个卷积层
• 具体实现时，F(x)和x的H和W必须相同，x的channel可以通过短路线用1*1卷积核调整为与F(x)channel相同

5.3 成就

• 15年，ILSVRC第一名

6、小结

• googlenet的进阶是Inception

• VGG的参数量要比resnet和inception大很多，但性能没有它俩好

• 首选：resnet和inception

7、补充DenseNet

• 在resnet基础上，每一层都与前面的所有层都短接
• 并且输出不是F(x)+x，而是前面所有层的concat即叠加，所以后面网络层的channel会越来越大，需要精确设计