AlexNet学习笔记

AlexNet 论文链接：

网络模型背景介绍：

file:///C:/Users/1/Desktop/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf

file:///C:/Users/1/Desktop/alexnet_tugce_kyunghee.pdf

AlexNet是Hinton小组在ISVRC2012中使用的神经网络模型，并获得了第一名，top5测试错误率是15.3%，第二名错误率是26.2%，高出了近11%，深度学习因此再次进入学者与工业界视野

AlexNet网络提出，主要是为了提高网络模型分类能力

如下图可以看到最近网络提出，以及网络识别率情况：

网络模型介绍：

原始AlexNet网络模型结构如图所示：

受限于当时设备，作者采用是两块GPU做并行计算

网络模型主要组成部分：

卷积层、池化层、激活层、全连接层

卷积层：作者认为卷积层其实是一种自适应滤波器提取过程，通过计算误差，反馈调整卷积核权重，自适应提取需要特征图，并送入到下一层做进一步的特征提取，误差反馈调节过程采用经典的BP算法，如下图所示为卷积过程：

池化层：

a 降维
b 实现非线性
c 可以扩大感知野
d 可以实现不变性:平移不变性,旋转不变性,尺度不变性

常用池化方法有：平均池化，求和取平均；最大池化，取模板中最大值为池化后值

不过从目前研究情况看来，池化并不是非要不可，最近很多网络开始淡化池化作用

激活层：

传统的激活函数有sigmoid，tanh等等，如图所示，这些函数都可以起到数据规范化作用，但是在反向传播梯度计算过程中，容易出现梯度消息，进而导致信息消息，卷积核权重不能被调整

作者采用了relu作为激活函数，如图所示：

有效的避免了梯度消息，加快了训练速度，并通过实验对比分析，采用relu作为激活函数，训练速度比采用tanh快6倍

全连接层：

由于采用全连接层，容易参数大量的参数，增量了网络的计算负担，因此最近也有一个趋势，尽量减少使用全连接层，而是采用全局池化等操作替代全连接层

经过全连接层后，有学者直接将全连接层的参数作为特征进行训练，也有将全连接层参数进一步传图sigmoid中，计算每一类的概率，进一步判定图像类别

AlexNet中还用到了一些其他技巧：比如局部相应标准化，局部标准化是有助于泛化的

为了减少过拟合，作者采用了数据增强

据我所知，常用增强方法就有十多种，以平移、旋转、水平镜像最为常见，后者改变RGB通道值强度等等

随机失活(Dropout):

结合多个模型的预测值是减少错误的有效方法，但是对于训练时间用好几天的大型神经网络是太昂贵了。dropout是有效的模型集成方法，一旦神经元失活，输出为0，不参与反向传播。训练时，用0.5的概率随机失活神经元。测试时，为保证数值范围的一致，再用0.5乘以神经元的输出。dropout减少了过拟合，也使收敛迭代次数增加一倍

AlexNet识别结果：

能力有限，欢迎大家指点，提出宝贵的意见！