李沐-动手学深度学习AlexNet

1.框架及各层维度大小计算过程

借鉴了网友：AlexNet网络结构详解（含各层维度大小计算过程）与PyTorch实现-CSDN博客

2.代码：

#AlexNet通过暂退法（ 4.6节）控制全连接层的模型复杂度，而LeNet只使用了权重衰减
#进一步扩充数据，AlexNet在训练时增加了大量的图像增强数据，如翻转、裁切和变色。使模型更健壮，更大的样本量有效地减少了过拟合。
import torch
from torch import nn
from d2l import torch as d2l

net = nn.Sequential(
    #使用一个11*11的更大窗口捕捉对象
    #同时，步幅为4，以减少输出的高度和宽度
    #输出通道的数目远大于LeNet
    nn.Conv2d(1,96,kernel_size=11,stride=4,padding=1),nn.ReLU(),
    nn.MaxPool2d(kernel_size=3,stride=2),
    #减小卷积窗口，使用填充为2使得输入与输出的高和宽一致，且增大输出通道数
    nn.Conv2d(96,256,kernel_size=5,padding=2),nn.ReLU(),
    nn.MaxPool2d(kernel_size=3,stride=2),
    #使用三个连续的卷积层和较小的卷积窗口
    #除了最后的卷积层，输出通道的数量进一步增加
    #在前两个卷积层之后，汇聚层不用于减少输入的高度和宽度
    nn.Conv2d(256,384,kernel_size=3,padding=1),nn.ReLU(),
    nn.Conv2d(384,384,kernel_size=3,padding=1),nn.ReLU(),
    nn.Conv2d(384,256,kernel_size=3,padding=1),nn.ReLU(),
    nn.MaxPool2d(kernel_size=3,stride=2),
    nn.Flatten(),
    #全连接层的输出数量是LeNet中的好几倍。使用dropout层减轻过拟合
    nn.Linear(6400,4096),nn.ReLU(),
    nn.Dropout(p = 0.5),
    nn.Linear(4096,4096),nn.ReLU(),
    nn.Dropout(p = 0.5),
    #最后是输出层 ，使用Fashion-MNIST,类别是10，非论文中的10000
    nn.Linear(4096,10)
)


'''
X = torch.randn(1,1,224,224)
for layer in net:
    X = layer(X)
    print(layer.__class__.__name__,'output shape:\t',X.shape)
'''

batch_size = 128
train_iter,test_iter = d2l.load_data_fashion_mnist(batch_size,resize=224)

lr,num_epochs = 0.01,10
d2l.train_ch6(net,train_iter,test_iter,num_epochs,lr,d2l.try_gpu())
d2l.plt.show()

3.过程

（224-11+4）\  4 =54余......