Alexnet的理解

论文地址：http://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf

论文题目：ImageNet Classification with Deep Convolutional Neural Networks

模型结构：

1 卷积神经网络的组成部分

先介绍一下深度学习的卷积神经网络（ConvNet）的组成。

1.1 卷积层（Convolutional Layer）

1.2 降采样层（Pooling Layer）

降采样就是用一个值来代替一块区域，这个值可以是区域的平均值，最大值，最小值等等，反正有代表性就好了，这个层的目的就是减少数据量。

 

 1.3 激活函数层（Activation Layer）

激活函数的作用是把卷积后的结果压缩到某一个固定的范围，这样可以一直保持一层一层下去的数值范围是可控的。比如一些常见的激活函数

• sigmoid：控制在[0, 1]
• tanh：控制在[-1, 1]
• ReLU：控制在[0, 正无穷]

 

 1.4 标准化层（Normalization Layer）

 

1.5 全连接层（Full Connected Layer）

全连接层给人的感觉就是人工神经网络的那样，把所有的网络结点都用一些带权重的值连接起来。这个层一般出现在CNN的后面部分，这个层很长，可以作为图像的特征向量来用，也有论文是把全连接层放到SVM，RF，Adaboost，ANN等传统的分类器里头分类，来代替CNN最后的softmax层。

1.6 Dropout Layer

Dropout是在训练过程中以一定概率1-p将隐含层节点的输出值清0，而用bp更新权值时，不再更新与该节点相连的权值。什么意思，就是这个就是个概率问题，和权值的大小，激活程度无关哦，被抽中的结点无条件被丢掉。

 2 总结

 AlexNet 在 ISVRC2012(ImageNet Large Scale Visual Recognition Competition) 中获得了第一名，top5测试错误率为 15.3%，远超第二名，与传统方法相比，AlexNet 体现出了其极大的优势，也正是 AlexNet 的诞生，让深度学习又一次被推上风口浪尖。

对于深度学习这方面的学习谈谈自己的想法吧：

1.多看论文，多看源码吧，最好能发出一篇好的论文出来

2.如果有机会实践一定要亲身参与下很有用

3.可以多打打比赛

4.相信自己，坚持走下去吧