LeNet名字来源于该论文的第一作者Yann LeCun。该网络是一个简单的卷积神经网络,其通过梯度下降训练卷积神经网络,将手写数字识别的准确性达到了一个突破性的高度。虽然简单,但却是一个奠基性的成果,卷积神经网络此时第一次被推上舞台,为世人所知。从零到一的突破总是最困难的。
LeNet模型分成两个部分:卷积层块和全连接层块。
1.卷积层块:包含卷积层和最大池化层。
卷积层用来识别图像里的空间模式,如线条和物体局部。LeNet网络使用了5x5的卷积核,输出上使用sigmoid激活函数。
最大池化层则用来降低卷积层对位置的敏感性。LeNet网络使用了2x2大小的最大池化层。
2.全连接层块:
全连接层中会将小批量中的每个样本变平(flatten)。也就是说,全连接层的输入形状将从4维变成2维。
即从(bach_size, channels, h, w)变为(bach_size, channels*h*w)
LeNet网络结构如下:
卷积层1——>池化层1——>卷积层2——>池化层2——>(变平层)全连接层1——>全连接层2——>输出层
下面通过Sequential类来实现一个LeNet模型: