＜读论文＞(ResNet)Deep Residual Learningfor Image Recognition--图像识别中的深度残差学习网络

作者：Kaiming He， Xiangyu Zhang ，Shaoqing Ren， Jian Sun
单位：MSRA
发表会议及时间：CVPR 2016

背景：

        在ILSVRC（大规模图像识别挑战赛）中，仅采用ResNet结构，无额外的技巧，夺得五个冠军（ImageNet分类、定位、检测；COCO检测、分割），且与第二名拉开差距

        借鉴Highway Network：首个成功训练成百“上千层”（100层及900层）的卷积神经网络

研究意义：

1. 简洁高效的ResNet受到工业界宠爱，自提出以来已经成为工业界最受欢迎的卷积神经网络结构
2. 近代卷积神经网络发展史的又一里程碑，突破千层网络，跳层连接成为标配

摘要：

        1.深度网络难训练
        2.本文提出的残差学习易训练
        3.优点：易优化，精度高
        4.resnet-152与vgg对比
        5.在cifar-10训练100/1000层resnet

        1.coco检测上获得28%相对提升
        2.在4个任务均获得最优成绩

introduction：

背景：近年来，多项任务的精度提升得益于神经网络深度的提升

提出问题：越深的网络性能越好吗？
分析问题：

        问题1：梯度消失和爆炸>>消失问题很好的用初始化和normalize layer解决（eg.BN)

        问题2：网络退化问题，越深精度越低>>原因并不是过拟合而是网络退化的问题

提出解决深层网络的退化问题的方法：deep residual learning framework

残差结构：

Residual learning：让网络层拟合H(x)-x， 而非H(x)
注：整个building block仍旧拟合H(x) ，注意区分building block与网络层的差异，两者不一定等价

问：为什么拟合F（x）?
答：提供building block更容易学到恒等映射（identity mapping）的可能
问：为什么拟合F（x）就使得building block容易学到恒等映射？
答：
问：为什么要恒等映射？
答：让深层网络不至于比浅层网络差
问：为什么深层网络比浅层网络差？
答：网络退化问题

网络退化（degradation problem）：
        越深的网络拟合能力越强，因此越深的网络训练误差应该越低，但实际相反
        原因：并非过拟合，而是网络优化困难

太难了读不懂，巩固下基础知识再来看这篇论文！