Deep Residual Learning for Image Recognition 阅读笔记

传说中的ResNet.

1.知乎评价

作者：水哥
链接：https://www.zhihu.com/question/38398005/answer/76431975
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

网络方面：深度确实很重要，一方面非线性变换带来的收益十分显著，另一方面可以通过减小卷积元的办法减少参数量（记得论文里VGG是19billion这个是11好像），这两个点怎么看都是只赚不赔。而且通过短接使得误差可以迅速地向后传播，按照论文里的说法，更容易训练，简直是血赚。我从没看文章到看完后的心路历程大致是：150层的网络？这怎么做出来的，感觉VGG已经差不多了啊→哎这个好像很合理啊→卧槽牛逼。。。。。。
framework方面：在检测任务上还结合了MSRA自己的faster-RCNN，也是取得好成绩的重要原因，这种End-to-end的思想似乎开始慢慢占据主导地位了。

聊两句题外话，个人觉得Kaiming是good idea和实现能力的完美结合，有的人可能一开始想到一个好点子，但是苦于某种技术上的原因，或者自身姿势水平有限，做不出来；有的人可能实现能力很强，但是只能跟着别人走，所以文章里基本是别人各种方法的组合。Kaiming大神既有他人想不到的idea（暗原色已经说烂了吧都），也有出色的实现能力（一般人你跟他说你去设计一个150层网络肯定能拿明年ILSVRC第一他估计也设计不出来）。当然实现能力是很重要的，别人论文里结果秒天秒地，结果自己拿来训练网络都不收敛（比如本菜鸡）也是不行的。

这个网络的一个非常重要的优点是它（目前看起来）非常地接地气，一看就觉得好理解，有道理，而且应该会容易实现，负担小，这是很重要的。ILSVRC2014结果出来以后大家的关注点都放在GoogleNet上，但是后来用的最多的还是VGG16，因为VGG16的设计思想非常朴实，而且拿来很容易就能用，也吃不了太多资源就能自己训练。

（话说coco都已经59了。。。这个领域是不是快饱和了）

MSRA的这个玩意儿，其实细看会发现，它是上半年的highway networks的一个特例。 最主要的贡献，应该是把这种很深的highway networks在主流的benchmark上做了一遍，并且实践证明：1.这么深的网络效果比浅的好多了；2 highway networks能够在很深的网络训练中还能保持梯度稳定，不易消失或爆炸。 相信不久后会有一堆工作出现类似的网络结构。

residual block 其实就是 transform function T 为两个卷积和一个relu, transform gate是一个data independent 值为0.5 的一个 highway layer。...残差只是 kaiming 的换了种说法的马甲..




highway networks http://arxiv.org/abs/1505.00387

作者：ALAN Huang
链接：https://www.zhihu.com/question/38398005/answer/76352545
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。