ResNet网络结构，BN以及迁移学习的详解

最新推荐文章于 2024-09-25 17:53:29 发布

茶茶小甜豆

最新推荐文章于 2024-09-25 17:53:29 发布

阅读量2.1k

点赞数

文章标签：神经网络人工智能深度学习

本文链接：https://blog.csdn.net/zyd_1129/article/details/111597091

版权

参考大佬

ResNet详解

论文亮点：

超深的网络结构（突破1000层）
提出residual模型
使用BN加速训练，丢弃（Dropout）
残差结构解决的问题
梯度消失或梯度爆炸
网络退化的问题

残差结构

在这里插入图片描述
左边的图是针对于网络层数较少的残差结构，ResNet-34
右边的图是针对网络层数比较神的残差结构，ResNet-50/101/152
残差结构是通过主线的残差结构，加上短接线的输出结构，经过激活函数，这里值得注意的是主分支和shortcut的输出特征矩阵的shape必须是相同的。还有就是这里是在相同的维度上相加，不是GoolNet中的深度拼接。右边的残差结构前后都有一个11的卷积层，通过11的卷积核来进行降维和升维（改变深度）。
假设以256深度作为例子
左图：33256256+33256256=1，179,648
右图：1125664+336464+1164*256=69,632
右图的参数量相比于左图少很多
在这里插入图片描述

实线和虚线的区别
实线是输入和输出的特征矩阵的shape是一样的
虚线是输入和输出是不一样的，通过改变步距，使得主分支和捷径分支输出的shape是一样的
同样对于三层的网络结构，虚线原理是一样的
对于深层的结构，在残差结构中一般设置第一层的步距为2，这样的目的是为了对网络层进行下采样，在原论文中只在Conv3/Conv4/Conv5存在虚线，也就是存在下采样。

BN的详解

BN的目的是使一批（Batch）的特征图满足均值为0，方差为1的分布规律
在图像传入第一个卷积层之前，需要对传入的图像数据做预处理，使它满足一定的规律分布，但是在经过卷积层后，数据的分布就不一定满足一定的规律了，BN就是为了使特征图满足均值为0，方差为1的分布规律。
在原文中讲道，对于拥有D维的输入，要对每一维进行标准化处理。假设我们的输入图像是RGB是三通道的彩色图像，标准化处理分别对RGB三个通道进行处理。
使用BN所需要注意的问题

训练时将training=True,在验证时将traing=False,在Pytorch中可通过创建模型model.train()和model.evl()方法控制
batch size尽可能设置的大点，设置小后表现的可能很糟糕，设置的越大求得均值和方差就越接近整个训练集的均值和方差
-建议放在卷积层和激活层之间，卷积层不用设置偏置，因为没有用，设置偏置得到的结果也是一样的。