江大白课程-深度学习-卷积神经网络

最新推荐文章于 2023-12-18 23:35:42 发布

卿云阁

最新推荐文章于 2023-12-18 23:35:42 发布

阅读量278

点赞数

文章标签：深度学习 cnn 神经网络

本文链接：https://blog.csdn.net/zzqingyun/article/details/129859675

版权

本文介绍了深度学习的基础知识，包括卷积层的操作、padding和步长，以及多维卷积。讨论了池化层的Max-Pooling和Average-Pooling，强调了全连接层在特征图转化为一维向量中的作用。文章还涵盖了激活函数的作用，并详细讲解了经典CNN网络如LeNet-5、Alexnet、VGG和ResNet的设计原理及创新点，以及Inception网络的目标和设计思路。

摘要由CSDN通过智能技术生成

🌞欢迎来到深度学习的世界
🌈博客主页：卿云阁

💌欢迎关注🎉点赞👍收藏⭐️留言📝

🌟本文由卿云阁原创！

✉️希望可以和大家一起完成进阶之路！

🙏作者水平很有限，如果发现错误，请留言轰炸哦！万分感谢！

卷积层

卷积层知识点1：卷积操作

卷积层知识点2：padding操作

卷积层知识点3：步长

卷积层知识点5：多维卷积操作

结论：

输出特征图的个数与卷积核的个数有关。
输出特征图的个数与卷积核的大小，步长，描边有关。
卷积核的通道数和输入特征图的通道数相同。

池化层

Max-Pooling

Average-Pooling

多维矩阵池化

卷积的过程是不同通道的叠加的效果，池化的过程不同的通道之间是独立的。
最后特征图的个数和输入特征图的通道数有关。
池化核的通道数和输入特征图的通道数有关。

全连接层激活函数

全连接层

如果第L层的一个神经元和第L+1层的所有神经元均有连接，把这个架构叫做全连接。

如果第L层的所有神经元均是全连接架构，把该层称为全连接层。

假设通过一系列卷积或池化操作后，我们得到了12*12*20的特征图，由于我们最终的目的是为了实现图片的分类，所以我们需要把这个特征图转化成一维向量输入到神经网络中，进而进行图片识别。那么这个操作是怎么做到的呢？假设我们要把12*12*20的特征图转化成1*100的向量（100代表着神经元的数量，是我们人为决定的），我们可以让该特征图经过100个12*12*20大小的卷积核的卷积操作。规定特征图经过n个卷积核的卷积操作后得到n个特征图，这n个特征图构成了一个整体特征图。

例如：一个二分类问题，判断图片中的字母是X或者是O。

激活函数

一般跟在卷积神经网络的卷积层后面进行非线性运算。激活函数处理的是每一个数值数据。

卷积神经网络的前向传播（以手写数字识别为例）

经典的卷积神经网络1：Lenet-5

经典的卷积神经网络2：Alexnet

Alexnet网络的创新方式

（1）网络更深：Same卷积

（2）卷积层叠：卷积层+卷积层+池化层

（3）Dropout：减少过拟合

（4）数据增强：样本多样化，减少过拟合

（5）Relu函数：在当时，标准的神经元激活函数是tanh()函数，即这种饱和的非线性函数在梯度下降的时候要比非饱和的非线性函数慢得多，因此，在AlexNet中使用ReLU函数作为激活函数。

Local Response Normalization(局部响应归一化)
在神经网络中，我们用激活函数将神经元的输出做一个非线性映射，但是tanh和sigmoid这些传统的激活函数的值域都是有范围的，但是ReLU激活函数得到的值域没有一个区间，所以要对ReLU得到的结果进行归一化。

遇到的三个问题:

1.为什么要在卷积层后加入Relu激活函数？以及它是怎么作用的？

一般跟在卷积神经网络的卷积层后面进行非线性运算，作用于每一个像素点。科学就是质疑，这只是论文作者说好，现在也有很多的的网络结构中没有激活函数。一个局部范围内对于某一个现象的解释。但是相比于其他的激活函数，它的计算量相对较小。

2.Same卷积的目的

为了防止在卷积的过程中，特征图的尺寸越来越小。通过调整卷积核的大小和填充和步长。使得输出特征图的大小保持不变。

3.池化的目的

为了防止在卷积的过程中，特征图的尺寸越来越小，比如在人的认知，是一个渐进的过程。计算机的认知是处理的像素，先细节，再放大形成认知。

4.Local Response Normalization(局部响应归一化)

把每个像素点的值，转换成0-1之间的值，统一度量。比如路长和身高。

经典的卷积神经网络3：Vgg

各种网络对比测试结果：

（1）LRN层作用不大

（2）网络越深效果越好

（3）1*1的卷积很有效，但没有3*3的卷积效果好，大一些的卷积可以学习更大的空间特征。

在这里我们要主要感受野的概念。

感受野（Receptive Field）的定义：卷积神经网络每一层输出的特征图（feature map）上的像素点映射回输入图像上的区域大小。通俗点的解释是，特征图上一点，相对于原图的大小，也是卷积神经网络特征所能看到输入图像的区域。

改进卷积神经网络1：Resnet

通过前面的学习，我们可能会产生一个认识，网络越深，效果越好，但是如果把Vgg的网络加深，实际的效果可能并不好，这使得深度学习出现了瓶颈，为了解决上述问题，又一个神作诞生了——深度残差网络，值得一提的是这个网络是我们中国人提出来的。它的基本思想是，随着网络结构的增加，效果会变差，不可否认的是其中有些网络层的学习效果可能不好，有些可能很好，对于学习效果不错的网络层还可以被利用。为了选择并利用效果好的网络层，Resnet网络加入和一种新的网络叠加方法-残差模块。残差模块：加深网络的层数，提升模型性能。

Inception网络解析

目的：减少计算量和获得多尺度的特征。

获得多尺度的特征

减少计算量