传说中的ResNet.
1.知乎评价
作者:水哥
链接:https://www.zhihu.com/question/38398005/answer/76431975
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。
链接:https://www.zhihu.com/question/38398005/answer/76431975
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。
网络方面:深度确实很重要,一方面非线性变换带来的收益十分显著,另一方面可以通过减小卷积元的办法减少参数量(记得论文里VGG是19billion这个是11好像),这两个点怎么看都是只赚不赔。而且通过短接使得误差可以迅速地向后传播,按照论文里的说法,更容易训练,简直是血赚。我从没看文章到看完后的心路历程大致是:150层的网络?这怎么做出来的,感觉VGG已经差不多了啊→哎这个好像很合理啊→卧槽牛逼。。。。。。
framework方面:在检测任务上还结合了MSRA自己的faster-RCNN,也是取得好成绩的重要原因,这种End-to-end的思想似乎开始慢慢占据主导地位了。
聊两句题外话,个人觉得Kaiming是good idea和实现能力的完美结合,有的人可能一开始想到一个好点子,但是苦于某种技术上的原因,或者自身姿势水平有限,做不出来;有的人可能实现能力很强,但是只能跟着别人走,所以文章里基本是别人各种方法的组合。Kaiming大神既有他人想不到的idea(暗原色已经说烂了吧都),也有出色的实现能力(一般人你跟他说你去设计一个150层网络肯定能拿明年ILSVRC第一他估计也设计不出来)。当然实现能力是很重要的,别人论文里结果秒天秒地,结果自己拿来训练网络都不收敛(比如本菜鸡)也是不行的。
这个网络的一个非常重要的优点是它(目前看起来)非常地接地气,一看就觉得好理解,有道理,而且应该会容易实现,负担小,这是很重要的。ILSVRC2014结果出来以后大家的关注点都放在GoogleNet上,但是后来用的最多的还是VGG16,因为VGG16的设计思想非常朴实,而且拿来很容易就能用,也吃不了太多资源就能自己训练。
(话说coco都已经59了。。。这个领域是不是快饱和了)
framework方面:在检测任务上还结合了MSRA自己的faster-RCNN,也是取得好成绩的重要原因,这种End-to-end的思想似乎开始慢慢占据主导地位了。
聊两句题外话,个人觉得Kaiming是good idea和实现能力的完美结合,有的人可能一开始想到一个好点子,但是苦于某种技术上的原因,或者自身姿势水平有限,做不出来;有的人可能实现能力很强,但是只能跟着别人走,所以文章里基本是别人各种方法的组合。Kaiming大神既有他人想不到的idea(暗原色已经说烂了吧都),也有出色的实现能力(一般人你跟他说你去设计一个150层网络肯定能拿明年ILSVRC第一他估计也设计不出来)。当然实现能力是很重要的,别人论文里结果秒天秒地,结果自己拿来训练网络都不收敛(比如本菜鸡)也是不行的。
这个网络的一个非常重要的优点是它(目前看起来)非常地接地气,一看就觉得好理解,有道理,而且应该会容易实现,负担小,这是很重要的。ILSVRC2014结果出来以后大家的关注点都放在GoogleNet上,但是后来用的最多的还是VGG16,因为VGG16的设计思想非常朴实,而且拿来很容易就能用,也吃不了太多资源就能自己训练。
(话说coco都已经59了。。。这个领域是不是快饱和了)
MSRA的这个玩意儿,其实细看会发现,它是上半年的highway networks的一个特例。 最主要的贡献,应该是把这种很深的highway networks在主流的benchmark上做了一遍,并且实践证明:1.这么深的网络效果比浅的好多了;2 highway networks能够在很深的网络训练中还能保持梯度稳定,不易消失或爆炸。 相信不久后会有一堆工作出现类似的网络结构。
residual block 其实就是 transform function T 为两个卷积和一个relu, transform gate是一个data independent 值为0.5 的一个 highway layer。...残差只是 kaiming 的换了种说法的马甲..
highway networks http://arxiv.org/abs/1505.00387
residual block 其实就是 transform function T 为两个卷积和一个relu, transform gate是一个data independent 值为0.5 的一个 highway layer。...残差只是 kaiming 的换了种说法的马甲..
highway networks http://arxiv.org/abs/1505.00387
作者:ALAN Huang
链接:https://www.zhihu.com/question/38398005/answer/76352545
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。