深度学习网络的发展

DNN(Deep Belief Network)=>堆积的自动编码器(Stacked Auto-encoder)=>卷积神经网络(Convolutional nerual network)=>卷积自动编码器(Convolutional Auto-encoder)

 

三大学派:

符号主义学派(逻辑主义学派);
连接主义学派(仿真网络,神经元连接);
控制论学派(所有的东西都是基于反馈的,20190316:暂时还没火起来,eg:GAN->big GAN)

 

最初的网络是三层感知机MLP,MLP解决不了异或问题;

Hinton,Bengio,Yann LeCun三巨头

Hinton代表作:DBN深度信念网络

Bengio代表作:自动编码

 

书籍推荐：花书 Deeplearning 西瓜书 Machine Learning

 

3，4，5层网络存在过拟合问题，受限波尔兹曼机解决过拟合问题

 

 

 

 

加噪音和数据增强可以提高泛化能力，深度学习学的是表征向量~

商汤科技的人脸识别进行数据增强了。

 

生成和判别型网络

 

 CNN

滤波器 卷积核

 

卷积自动编码器：类似GAN

卷积+自动；有卷积就有反卷积，有池化就有反池化。

------------------------------------------------------------

重点重点重点

LeNet ---Yann LeCun
AlexNet ---Alex 2012 8层
VGG 2014 19层
NIN
GoogleNet 2014 22层
ResNet 2015 152层
DenseNet 2017
ImageNet

需要调的是卷积核的维度和滤波器的个数。

 

 

 

 

深度学习图片卷积输出大小计算公式

 

 

 

先定义几个参数

• 输入图片大小 W×W
• Filter的卷积核大小 F×F
• 步长 S
• padding的像素数 P

于是我们可以得出

N = (W − F + 2P )/S+1

输出图片大小为 N×N