数学
17420
思想上的自由人,行动上的程序人
展开
-
Banach's Fixed Point Theorem(contraction mapping theorem,巴拿赫不动点定理)
先看一下定理描述:Theorem 1.1: Let (, ) be a complete metric space and be a map such that for some and all and in . Then has a unique fixed point in . Moreover, for any the sequence of iterates...原创 2018-11-01 16:48:23 · 6445 阅读 · 0 评论 -
梯度下降方法中的学习率(learning rate), 衰减因子(decay) 冲量(momentum)
本文总结自如下两个链接的内容,建议读者直接阅读链接中的文章1.https://www.jianshu.com/p/58b3fe300ecb2.https://www.jianshu.com/p/d8222a84613c学习率学习率 lr(learning rate), 梯度下降算法中迭代步长。假设待优化函数为func(x), dx为函数对变量x的导数,即下降方向。每次x的迭...转载 2019-05-23 13:26:45 · 16223 阅读 · 0 评论