resnet

                                                          Deep Residual Learning for Image Recognition

 摘要：

1.较深的神经网络难以训练

2.本文定义使用了残差块，并且证明使用残差块有利于网络收敛，使用152层的残差网络，能够提升精度，并且是vgg19的8倍那么深，并且具有更低的复杂性（计算出来的）:

FLOPS与参数量的计算如下：

参数量：等于输入feature map的大小乘通道乘输出的通道，因为有多少个输出就要多少个神经元，+1代表是Bias也就是偏置。

FLOPS:输出feature map大小乘参数量，因为输出feature map中的每一个元素都需要计算一次，计算一次就需要用到整个参数量

3.我们使用残差网络，获得了ILSVRC2015的冠军，并在cifar10上尝试了100层和1000层（这里的100和1000指的是什么？网络吗）

4.深度残差网络是十分重要的，我们在2015coco数据集上得到了百分之28的相对提升呢个，并且在imagenet的检测，定位，coco的检测与分割上获得了冠军（coco2015,ILSVRC2015）

介绍：

1.较深的网络在很多视觉任务上都起到了很大的作用

2.但是随着网络的加深，梯度消失和梯度爆炸的问题就会显现出来

3.通过归一化，初始化[23, 9, 37, 13]的和中间层的归一化[16]可以使数10层的网络开始拟合

4.随着网络的加深，准确率会出现饱和，并且随后出现急剧下降，并且这不是由于过拟合导致的（什么叫准确率饱和？）

5.加一些层到相对合适的模型中会导致更高的训练错误率，并且也被我们实验验证了如下图所示

56层的plain网络比20层的plain网络训练错误率，和验证错误率都更高，并且在Imagenet上也验证了，如图4所示

 

`

Imagenet:

1我们在imagenet上展示了，我们深度残差网络更容易优化，而且plain net随着层数的增加会有高的错误率

2我们的残差网络可以随着深度的增加，精度也增加，而且比之前的网络都要深

cifar10:

我们的数据不仅适用于某一特定的数据集，我们在cifar10上实现了100层和1000层的残差网络

比vgg