深度残差网络

今天看的论文是Deep Residual Learning for Image Recognition
同时结合了吴恩达关于深度残差网络的讲解

对于添加了残差块的网络，让网络学习到最后的恒等函数是很容易的，所以网络层次变深，网络的性能至少不会下降，而如果中间的隐层学习到了一些东西，这样网络的性能就会提升了。而对于普通的网络（plain network），越来越深层的网络很难学习，所以性能会下降。
深度残差网络起作用的原因是，残差块学习恒等函数非常容易，可以确定网络性能不会下降，甚至可以提高性能。