![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
gapostal
这个作者很懒,什么都没留下…
展开
-
深度学习常用算子(一)
1、起始输入Data:输入数据第一层2、激活算子作用:引入非线性(通常需要区分的区域,直线是无法完全区分的)1)Relu公式:ReLU(x)=max(0,x)2)LeakyRelu公式:LeakyRelu(x) = (x >= 0 ? x : x*negative_slope);3)Relu6公式:LeakyRelu(x) = max(max(x, ...原创 2019-08-22 14:17:07 · 19593 阅读 · 1 评论 -
深度学习常用算子(二)
1、Tensor维度变换1)Flatten作用:将输入tensor中从start_axis维度到end_axis维度合并为1维2)Reshape作用:将输入Tensor描述转换为新的shape3)FreespaceExtract作用:将h维变成1,其他维度不变,从而完成对h的采样,采样值所在位置由输入的index参数决定4)Pack作用:Pack算子为TensorF...原创 2019-08-22 14:31:06 · 3728 阅读 · 0 评论 -
深度学习常用网络
1、分类网络1)LeNet、AlexNet、VGG、Inception(GoogleNet)2)Xception(对Inception的优化)参考:https://blog.csdn.net/lk3030/article/details/84847879Xception(极致的 Inception):先进行普通卷积操作,再对1×1 卷积后的每个channel分别进行3×3卷积操作,...原创 2019-08-22 15:58:05 · 2836 阅读 · 0 评论 -
解决过拟合问题通用方法
参考:https://www.cnblogs.com/jiangxinyang/p/9281107.htmlhttps://www.jianshu.com/p/c9bb6f89cfcc1)误差评估增加正则化操作,包括L1和L2;2)使用dropout方法,训练的时候部分节点激活;3)增加输入数据(可以通过对已有数据的形变来增加数据总量);4)提前终止迭代。...原创 2019-09-20 11:01:19 · 243 阅读 · 0 评论