深度学习算法一：CNN

1. 神经网络

核心组件：

1. 层：神经网络的基本结构，将输入张量转变为输出张量；
2. 模型：层构成的网络；
3. 损失函数：参数学习的目标函数，通过最小化损失函数来学习参数；
4. 优化器：确定如何使损失函数最小；

1. 卷积神经网络：包括卷积层、池化层、全连接层和输出层；一般处理网状数据；

• 卷积层： 局部感知，对于图片中的每一个特征首先局部感知，然后更高层次对局部进行综合操作，从而得到全局信息。

卷积运算：用卷积分别乘以输入张量中的每个元素，然后输出一个代表每个输入信 息的张量。如下图（图片来源于：https://blog.csdn.net/tjlakewalker/article/details/83275322）

用卷积核中的每个元素乘以对应输入矩阵的对应元素，后进行特征映射；

• 卷积核（kernel）:检测图像的水平边缘(Horizontalfilter)、检测图像的垂直边缘(Vertocalfilter)、增强图像中心区域（Sobel Filter）等；卷积核中的值整个卷积运算过程中都是共享的，因此卷积核的值也称共享变量。
• 步幅：小窗口（卷积核）在左边窗口每次移动的格数（无论是自左向右，还是自上向下移动）；（在图像中跳过的是像素点）
• 填充：当输入图片与卷积核不匹配时或者卷积核超过图片边界，采用边界填充将数据进行扩展，扩展区域补0。（padding：Same(对图片扩展并补0)、Valid(不对图片扩展)）

         设:补0的圈数为p，输入数据的的大小n，卷积核大小为f，步幅大小为s；则   

            ，卷积运算之后的大小为

• 多通道上的卷积：（为了考虑图片的色彩因素）过程是将单通道与之对应的卷积核进行卷积运算求和，再将多通道的和相加，得到图片的像素值。
• 激活函数：在此层卷积运算之后，把输出值另加偏移量，输入到激活函数，作为下一层输入。

• 池化层：（为了降低网络训练参数以及模型过拟合程度）最大池化、均值池化、全局均值（最大）池化

1. 经典卷积神经网络

模型名称	模型结构	模型特点
LeNet-5	输入层--卷积层--池化层--卷积层--池化层--全连接层--全连接层--输出（串联模式）	每个卷积层包括：卷积、池化和非线性激活函数； 使用卷积提取空间特征； 采用降采样的平均池化； 使用Tanh作为激活函数； 最后使用mlp作为分类器。
AlexNet	8层深度网络，5层卷积层，3层全连接层，不计池化层；	由5层卷积层，3层全连接层组成，输入图像为3通道，大小为224*224，网络规模大于LeNet; 使用ReLu函数作为激活函数； 使用Dropout作为正则项，防止过拟合，提升模型鲁棒性； 具备一些好的训练技巧，包括数据增广、学习率策略等。
VGG VGG-A:11层； VGG-A-LRN:11层； VGG-B:13层； VGG-C:16层； VGG-D:16层； VGG_E：19层。	卷积层+全连接层；不计池化层，层数高达16-19层。	拥有更深的网络结构，计算力更强大； 使用较小的3*3的卷积核。
GoogleNet	网络结构：       Inception模块：     图片来源于： https://blog.csdn.net/capecape/article/details/78296796	深度方面：层数更深，为了避免梯度消失问题，GoogLeNet巧妙的在不同深度处增加了两个loss来保证梯度回传消失的现象。 宽度方面：采用了Inception结构，这是一种网中网（Network In Network）的结构，即原来的结点也是一个网络。 采用全局平均池化。
ResNet	残差单元结构：   网络结构：   图片来源于： https://blog.csdn.net/qq_41760767/article/details/97917419?utm_medium=distribute.pc_relevant_download.none-task-blog-2~default~BlogCommendFromBaidu~default-2.test_version_3&depth_1-utm_source=distribute.pc_relevant_download.none-task-blog-2~default~BlogCommendFromBaidu~default-2.test_version_	层数非常深，超过百层； 引入残差单元，解决退化问题。
胶囊网络（CapsNet）	卷积层--PrimaryCaps层（这一层的32个主胶囊本质上和卷积层很相似。每个胶囊将8个9x9x256卷积核应用到20x20x256输入张量，因而生成6x6x8输出张量。）--DigitCaps层（这一层包含10个数字胶囊，每个胶囊对应一个数字。）   全连接层--全连接层--全连接层	神经元输出为向量； 采用动态路由机制； CapsNet由两部分组成：编码器和解码器。前      前3层是编码器，后3层是解码器：