深度学习
zhouge000
这个作者很懒,什么都没留下…
展开
-
深度学习知识点(3):优化改进版的梯度下降法
发展历史简括:标准梯度下降法的缺陷:如果学习率选的不恰当会出现以上情况。因此有一些自动调学习率的方法。一般来说,随着迭代次数的增加,学习率应该越来越小,因为迭代次数增加后,得到的解应该比较靠近最优解,所以要缩小步长η,那么有什么公式吗?比如:,但是这样做后,所有参数更新时仍都采用同一个学习率,即学习率不能适应所有的参数更新。解决方案是:给不同的参数不同的学习率1、Ada...原创 2020-04-08 07:24:08 · 564 阅读 · 0 评论 -
深度学习知识点(2):标准梯度下降法
梯度下降是一种迭代式的最优化手段,在机器学习中一般用于求目标函数的极小值点,这个极小值点就是最优的模型内部参数。相比求解析解的手段,GD的通用性更强,所以受到广泛的使用。1、一元函数的梯度下降法比如求解f(x)=(x-1)2的最小值点梯度下降的公式为,上标表示第i轮的x值...原创 2020-04-03 07:32:20 · 1089 阅读 · 0 评论 -
深度学习知识点(1):有关导数、偏导数、方向导数、梯度的基本概念问题
1、导数导数反映的是函数y=f(x)在某一点处沿x轴正方向的变化率。比如,在x=1处的导数是2。导数是通过极限来定义的,某一点的导数=tanψ,只是前提是△x趋近于0,此时tanψ=tanα=该点导数,公式如下:注:下图是高数中的一张经典图,用于区分导数微分的概念,基本看着这张图就能全部想起来。解释一下,是函数f(x)在x轴上某一点处沿着x轴正方向的变化...原创 2020-04-02 07:47:06 · 2944 阅读 · 0 评论 -
概率论及数理统计(1):基础知识
原文链接:https://www.cnblogs.com/1024th/p/10623541.html一、有关排列组合的一些基本公式及推导分类计数原理:做一件事,有nn类办法,在第11类办法中有m1m1种不同的方法,在第22类办法中有m2m2种不同的方法,…,在第nn类办法中有mnmn种不同的方法,那么完成这件事共有N=m1+m2+…+mnN=m1+m2+…+mn种不同的方法。分...转载 2020-01-03 06:24:38 · 974 阅读 · 0 评论 -
卷积神经网络入门学习
原文地址:http://blog.csdn.net/hjimce/article/details/47323463转载 2019-10-16 06:36:06 · 110 阅读 · 0 评论