1、LeNet-5
1.1 应用
- 80年代,mnist数据集准确率达99.2%,可用于邮票数字识别
1.2 结构
- 包含两个卷积层三个连接层(2个全连接+1个高斯连接)
2、AlexNet
2.1 GPU的使用
- 用到两块3GB,每块上面可以放置一半的卷积核,可以并行进行
2.2 结构
- 5个卷积层 + 3个全连接层
2.3 创新
- 重叠池化、随机失活、Relu的使用
2.4 成就
- 鼻祖,12年ILSVRC第一名,较之前错误率降低近10个百分点。
3、VGG(有6个版本)
3.1 创新
- 发现小的卷积kernel不但参数更少而且不会影响模型的表现
- 现在常用kernel为3*3
- 特别的卷积kernel1*1,可以在保持H和W不变的情况下改变channel大小
3.2 结构
- 有六个版本,最深为19层
3.2 成就
- 14年,ILSVRC第二名
4、GoogLeNet
4.1 结构
- 共有22层
4.2 创新点
- 每层不再只有一种卷积核,而是多种不同卷积核甚至包括池化,得到的feature map的H和W要相同,然后将他们全都叠在一起
- 因为不同卷积核感受野不同,既能关注细节又有全局的把控,所以可以得到一个较好的效果
4.3 成就
- 14年,ILSVRC第一名
5、ResNet
5.1 提出初衷
- 深层网络随着参数增加,对于深层参数梯度的求解可能变得趋于0,很难优化。所以会出现网络变深,但效果变差
- 为了保证深层网络最起码不能表现得比浅层网络差,ResNet中提出短路操作。即如果增加层数能够变好则增加,不能变好则短路。
5.2 结构
- 最多152层
- 每个unit就包含了如图所示2-3个卷积层
- 具体实现时,F(x)和x的H和W必须相同,x的channel可以通过短路线用1*1卷积核调整为与F(x)channel相同
5.3 成就
- 15年,ILSVRC第一名
6、小结
-
googlenet的进阶是Inception
-
VGG的参数量要比resnet和inception大很多,但性能没有它俩好
-
首选:resnet和inception
7、补充DenseNet
- 在resnet基础上,每一层都与前面的所有层都短接
- 并且输出不是F(x)+x,而是前面所有层的concat即叠加,所以后面网络层的channel会越来越大,需要精确设计