LeNet

LeNet名字来源于该论文的第一作者Yann LeCun。该网络是一个简单的卷积神经网络，其通过梯度下降训练卷积神经网络，将手写数字识别的准确性达到了一个突破性的高度。虽然简单，但却是一个奠基性的成果，卷积神经网络此时第一次被推上舞台，为世人所知。从零到一的突破总是最困难的。

LeNet模型分成两个部分：卷积层块和全连接层块。

1.卷积层块：包含卷积层和最大池化层。

卷积层用来识别图像里的空间模式，如线条和物体局部。LeNet网络使用了5x5的卷积核，输出上使用sigmoid激活函数。

最大池化层则用来降低卷积层对位置的敏感性。LeNet网络使用了2x2大小的最大池化层。

2.全连接层块：

全连接层中会将小批量中的每个样本变平（flatten）。也就是说，全连接层的输入形状将从4维变成2维。

即从（bach_size, channels, h, w）变为(bach_size, channels*h*w)

LeNet网络结构如下：

卷积层1——>池化层1——>卷积层2——>池化层2——>（变平层）全连接层1——>全连接层2——>输出层

---

下面通过Sequential类来实现一个LeNet模型：