深度学习知识点
Xavier学长
这个作者很懒,什么都没留下…
展开
-
CNN入门讲解:什么是微调(Fine Tune)
1、参考https://zhuanlan.zhihu.com/p/35890660原创 2019-02-25 10:01:04 · 3414 阅读 · 0 评论 -
Attention机制(将其引入到Lstm序列分类中)
参考文献:1、https://juejin.im/post/5bbf41c3f265da0af16160d22、https://www.jianshu.com/p/e14c6a7223813、https://www.jianshu.com/p/c6b4c7810ee64、https://www.jianshu.com/p/3a97c0a43beb5、https://github...原创 2019-02-20 20:18:01 · 6271 阅读 · 0 评论 -
深度学习知识点-持续更新
1、1*1卷积的作用降低维度和非线性https://zhuanlan.zhihu.com/p/40050371https://www.zhihu.com/question/560249422、2维和三维卷积https://www.zhihu.com/question/2663521893、为什么一个5*5的卷积核可以用两个3*3的卷积核代替,一个7*7的卷积核可以用三个的3...原创 2019-03-03 22:08:48 · 229 阅读 · 0 评论 -
优化器总结
参考:An overview of gradient descent optimization algorithms本文将梳理:每个算法的梯度更新规则和缺点 为了应对这个不足而提出的下一个算法 超参数的一般设定值 几种算法的效果比较 选择哪种算法一、梯度下降法的深入理解对于优化算法,优化的目标是网络模型中的参数θ(是一个集合,θ1、θ2、θ3 ......)目标函数为损失函数...转载 2019-06-19 23:32:04 · 428 阅读 · 0 评论 -
目标检测综述
“目标检测”方向的系列文章,有one-stage和two-stage两大类,R-CNN和YOLO系列等参考:https://zhuanlan.zhihu.com/p/36088972原创 2019-06-22 20:33:16 · 451 阅读 · 0 评论 -
常见的几种Normalization 算法
神经网络中有各种归一化算法:Batch Normalization (BN)、Layer Normalization (LN)、Instance Normalization (IN)、Group Normalization (GN)从公式看它们都差不多,如 (1) 所示:无非是减去均值,除以标准差,再施以线性映射。这些归一化算法的主要区别在于操作的 feature map 维度不同。如...转载 2019-08-04 16:11:39 · 1233 阅读 · 0 评论