参考来自《ImageNet Classification with Deep Convolutional Neural Networks》
1)摘要
1、 在ILSVRC-2010的120万张图片上训练AlexNet,获得最优结果, top-1和top-5error分别为 37.5%, 17%。
2、该网络( AlexNet)由5个卷积层和3个全连接层构成,共计6000万参数, 65万个神经元。
3、为加快训练,采用非饱和激活函数——ReLU,采用GPU训练
4、为减轻过拟合,采用Dropout。
5、基于以上模型及技巧,在ILSVRC-2012以超出第二名10.9个百分点成绩夺冠。
2)AlexNet 结构
a)论文结构
网络包含8个带权重的层;前5层是卷积层,剩下的3层是全连接层。最后一层全连接层的输出是1000维softmax的输入,softmax会产生1000类标签的分布。
细节:
1、第2,4,5卷积层的核只与位于同一GPU上的前一层的核映射相连接,第3卷积层的核与第