![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
算法
山抹微云654
计算机数据挖掘、NN、AI、NLP
展开
-
随机梯度下降(Stochastic gradient descent)和 批量梯度下降(Batch gradient descent )的公式对比、实现对比
转自:http://blog.csdn.net/lilyth_lilyth/article/details/8973972梯度下降(GD)是最小化风险函数、损失函数的一种常用方法,随机梯度下降和批量梯度下降是两种迭代求解思路,下面从公式和实现的角度对两者进行分析,如有哪个方面写的不对,希望网友纠正。下面的h(x)是要拟合的函数,J(theta)损失函数,th转载 2015-10-15 16:35:04 · 352 阅读 · 0 评论 -
RMQ算法
转自:http://blog.csdn.net/liang5630/article/details/79177021. 概述RMQ(Range Minimum/Maximum Query),即区间最值查询,是指这样一个问题:对于长度为n的数列A,回答若干询问RMQ(A,i,j)(i,j当然,该问题也可以用线段树(也叫区间树)解决,算法复杂度为:O(N)~O(logN),这里我们转载 2015-10-15 16:18:48 · 259 阅读 · 0 评论 -
程序员面试、算法研究、编程艺术、红黑树、数据挖掘5大系列集锦
转自:http://blog.csdn.net/v_july_v/article/details/6543438 程序员面试、算法研究、编程艺术、红黑树、数据挖掘5大经典原创系列集锦与总结(七月算法在线学院:http://www.julyedu.com/,面试&算法&机器学习在线课程)作者:July--结构之法算法之道blog之博主转载 2015-10-15 16:11:50 · 390 阅读 · 0 评论 -
Multi-Layered Gradient Boosting Decision Trees
本 blog 旨在对南京大学周老师团队近期的一篇paper进行解读;转载请注明出处楔子多层特征表示在神经网络中得到了充分地应用;然而,当模型不可微时 如针对离散型数据或表格型等结构化数据时,GBDTs通常是此类数据 的主流方法,这类方法通常很难学习到较好的特征表示能力。鉴于此 ,作者提出了通过stacking多层GBDTs来尽力一层一层的模块,通过此 ...原创 2018-06-07 22:29:23 · 1986 阅读 · 5 评论 -
RAdam 优化理解
注:本篇blog旨在对文章RAdam: on the variance of the adaptive learning rate and beyond 进行理解引言x123p1/31/31/3 由上述简单的均匀分布可知,E(x) = 2, D(x) = 2 / 3x123p1/41/21/4 由上述简...原创 2019-08-24 21:56:03 · 2219 阅读 · 0 评论