人工智能发展趋势

算法都差不多,

计算优化,IO优化,怎么样计算速度更快(分布式计算),怎么让CPU,GPU发挥到极致。

 

底层架构+分布式计算+算法==》无敌

 

经典卷积神经网络概述

•    卷积神经网络的发展规律
–    精度越来越高
–    层次越来越深
–    模型越来越复杂
–    参数越来越多
•    痛点
–    减少计算量和IO,应用到移动端
–    减少冗余,提高泛化能力
•    业界

 图1:ImageNet大赛历年冠军

 

1、输入特征图(input feature)的数量决定于?2、输出特征图(output feature)的数量决定于?3、通道的数量决定于?

 

1、滤波器(filter) 2、通道(channel) 3、卷积核(kernel)

 

 

输入特征图的通道数决定了滤波器中卷积核数,过滤器的个数决定了输出特征图的通道数,

 

 

输入特征图的通道数是3,2个滤波器 ,卷积核3个,输出特征图的通道数是2个

模型训练就是找卷积核

 

LeNet 5层 杨丽坤 98年~2012年深度学习被SVM碾压

AlexNet 8层  辛顿 深度学习达到高潮

VGG 16,19层

GoogleNet 22层

ResNet 34,152层

 

卷积神经网络的进化规律总结

•    LeNet->AlexNet->VGG->NIN>GoogleNet->ResNet
–    网络结构越来越深,精度越来越高(性能)
–    卷积功能越来越强,精度越来越高(性能)
–    计算和存储量并没有随着网络层次的增多而线性增长(计算)
•    用到技术
–    从神经元出发,ReLU
–    从权值参数出发,Dropout、GP、LRN、BN
–    从拓扑结构出发,比如1*1卷积、分支卷积、瓶颈结构 

 

 

特征图降维的方法:1 池化 2.卷积设置步长

卷积提取有用的特征,池化去掉冗余的信息 

池化输入输出通道数不变,不存在跨通道的卷积

池化可重叠,也可不重叠

 

 

 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值