ResNet结构并分析其在计算机视觉方面取得成功的原因

日萌社

 

人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新）

---

Resnet通过引入残差单元来解决退化问题。
结构：
（1）通过增加 恒等快捷连接（identity shortcut connection）实现，直接跳过一个或多个层。优势是残差映射在实际中往往更容易优化。
（2）Resnet网络中短路连接shortcut的方式考虑到x的维度与F(X)维度可能不匹配情况，需进行维度匹配。通常采用两种方法解决这一问题:
zero_padding:对恒等层进行0填充的方式将维度补充完整。这种方法不会增加额外的参数
projection:在恒等层采用1x1的卷积核来增加维度。这种方法会增加额外的参数
（3）bottleneck 实现方式
使用1x1的卷积层来降维，最后一层使用1x1的卷积层来进行升维
（4）激活函数移动到残差部分可以提高模型的精度