经典DNN论文简读：AlexNet、VGGNet、GooLeNet、ResNet

本文主要介绍四种经典的卷积神经网络，分别是AlexNet、VGGNet、GooLeNet、ResNet，这四种网络都是为了图像分类而设计，而且其分别获得ILSVRC比赛分类项目2012年冠军、2014年亚军、2014年冠军、2015年冠军。这四个网络算是卷积神经网络最经典的四个网络框架，其中包含着许多影响深远的新技术和新结构，网络的深度也逐步的加深，对本文主要简单介绍着四种网络框架，以及各自的创新之处。

1、AlexNet

原文：click here：ImageNet Classification with Deep Convolutional Neural Networks

这篇文章的网络是在2012年的ImageNet竞赛中取得冠军的一个模型整理后发表的文章。作者是多伦多大学的Alex Krizhevsky等人。Alex Krizhevsky其实是深度学习三巨头之一、2018年图领奖得主Hinton。

AlexNet主要有8层，其中分为5层卷积层以及3层全连接层，整个网络有六亿多个连接以及有六千万个参数、六十五万个神经元，网络输入为224*224像素的Image，网络框架如下：

该网络之所以成为经典是因为其首次应用了许多新的技术，例如ReLu、Dropout、MaxPool等等：

• 使用ReLu（Rectified Linear Units）作为卷积层的激活函数

如下图所示，实线为ReLu激活函数，虚线为tanh激活函数由图可以看出，在梯度下降训练时间方面，使用饱和非线性激活函数比非饱和非线性慢得多，采用ReLu作为激活函数的DNN的训练过程要快得多。虽然Relu激活函数在很早之前就已经被提出，但是直到AlexNet的出现才将其发扬光