Task5

卷积神经网络

主要概念有卷积层，池化层，填充，步幅，输入通道，输出通道等。

卷积层进行的是二维的互相关运算而非卷积运算。我们将kernel数组上下翻转、左右翻转，再与输入数组做互相关运算，这一过程才是卷积运算。由于卷积层的kernel是可学习的，所以使用互相关运算与使用卷积运算并无本质区别。
特征图和感受野(receptive field)的概念。某一个特征图的点，其通过两次3×3和通过一次5×5，两者的感受野是一样的。

填充，步幅对形状的影响为：
$\frac{n+2p-k}{s}+1$，
p为单侧填充长度，即参数pad值。向下取整。
步长为1时，K：3×3， pad：1，不变；
K：5×5， pad：2，不变。

当有多个输入通道时，一般分通道计算并叠加。
当有多个通道输出时，通过多个核数组，提取不同层次的特征。

卷积层有利于提取局部信息。全连接层会把图片展平变为向量，相邻点不再相邻，难以捕捉局部信息。
卷积层参数更少，可以以较少的参数处理更大的图像。全连接层举例，一张彩色256*256图，输出为1000类，则权重+偏置光一层就有3×256×256×1000 + 1000个参数。
卷积层输出结果为四元张量$(N,C,H,W)$，即batchsize * channel * height * width。四维中第一维为批次，第二维为通道。

池化层不会按通道相加，故不会改变通道数。作用是缓解卷积层对位置的过度敏感性。窗口形状计算同卷积，同样的逻辑。

LeNet

长宽越来越小时，可以加宽通道来保留更多特征。

网络架构中，卷积层和隐藏全连接层可以带激活函数。
池化层和输出层不带激活函数。

卷积神经网络进阶

干净的数据，有效的特征，比模型选择更加重要。

特征有两个流派：
机器学习的特征提取:手工定义的特征提取函数
神经网络的特征提取：通过学习得到数据的多级表征，并逐级表⽰越来越抽象的概念或模式。比如，第一层识别边缘，第二层组合出花纹、轮廓，第三层发现物品，等等，直至输出层完成分类任务。
AlexNet首次证明了学习到的特征可以超越⼿⼯设计的特征。

LeNet在大的真实数据集上的表现并不尽如⼈意。
1.神经网络计算复杂。
2.还没有⼤量深⼊研究参数初始化和⾮凸优化算法等诸多领域。

类似【11×11 Conv (96), stride 4, pad 2】的卷积层表示中，(96)表示输出通道。

LeNet使用sigmoid，AlexNet使用ReLU，导数计算更快，梯度下降时比sigmoid更快收敛。且y(x<0)=0也起到正则化，稀疏的作用。
AlexNet使用dropout来控制模型复杂度。全连接层参数过多（一层的一端就有4000）。

VGG：重复使用基础块(VGG block) 方便指导后续改进
NiN：用多通道的1×1卷积层来模拟全连接层
可以显著减少模型尺寸 缓解过拟合

我还不太会用gpu，要学习。用自己电脑跑，跑了20分钟了一个最基础的任务还没完。