人工智能发展趋势

算法都差不多，

计算优化，IO优化，怎么样计算速度更快（分布式计算）,怎么让CPU，GPU发挥到极致。

 

底层架构+分布式计算+算法==》无敌

 

经典卷积神经网络概述

•    卷积神经网络的发展规律
–    精度越来越高
–    层次越来越深
–    模型越来越复杂
–    参数越来越多
•    痛点
–    减少计算量和IO，应用到移动端
–    减少冗余，提高泛化能力
•    业界

 图1：ImageNet大赛历年冠军

 

1、输入特征图（input feature）的数量决定于？2、输出特征图（output feature）的数量决定于？3、通道的数量决定于？

 

1、滤波器（filter） 2、通道（channel） 3、卷积核（kernel）

 

 

输入特征图的通道数决定了滤波器中卷积核数，过滤器的个数决定了输出特征图的通道数，

 

 

输入特征图的通道数是3，2个滤波器 ，卷积核3个，输出特征图的通道数是2个

模型训练就是找卷积核

 

LeNet 5层 杨丽坤 98年~2012年深度学习被SVM碾压

AlexNet 8层  辛顿 深度学习达到高潮

VGG 16，19层

GoogleNet 22层

ResNet 34，152层

 

卷积神经网络的进化规律总结

•    LeNet->AlexNet->VGG->NIN>GoogleNet->ResNet
–    网络结构越来越深，精度越来越高（性能）
–    卷积功能越来越强，精度越来越高（性能）
–    计算和存储量并没有随着网络层次的增多而线性增长（计算）
•    用到技术
–    从神经元出发，ReLU
–    从权值参数出发，Dropout、GP、LRN、BN
–    从拓扑结构出发，比如1*1卷积、分支卷积、瓶颈结构 

 

 

特征图降维的方法：1 池化 2.卷积设置步长

卷积提取有用的特征，池化去掉冗余的信息 

池化输入输出通道数不变，不存在跨通道的卷积

池化可重叠，也可不重叠