机器学习
山抹微云654
计算机数据挖掘、NN、AI、NLP
展开
-
HyperOpt参数优化
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本...转载 2019-10-14 19:43:06 · 1343 阅读 · 0 评论 -
机器学习(machine learning)之AdaBoost算法
转自:http://blog.csdn.net/sunboyiris/article/details/38318191转自:http://blog.csdn.net/haidao2009/article/details/7514787 浅谈 Adaboost 算法 机器学习是利用一些方法来使机器实现人的学习行为,以便获取新的知识或技能,重新组织已转载 2015-10-15 16:30:30 · 484 阅读 · 0 评论 -
正交矩阵、正规矩阵和酉矩阵
转自:http://blog.csdn.net/alec1987/article/details/7414450正交矩阵、正规矩阵和酉矩阵在数学中,正规矩阵 是与自己的共轭转置交换的复系数方块矩阵,也就是说, 满足其中 是 的共轭转置。如果 是实系数矩阵,那么条件简化为 其中 是 的转置矩阵。矩阵的正规性是检验矩阵是否可对角化的一个简便方法:转载 2015-10-15 16:00:25 · 30589 阅读 · 2 评论 -
通俗理解LDA主题模型
转自:http://blog.csdn.net/v_july_v/article/details/41209515 通俗理解LDA主题模型0 前言 印象中,最开始听说“LDA”这个名词,是缘于rickjin在2013年3月写的一个LDA科普系列,叫LDA数学八卦,我当时一直想看来着,记转载 2015-10-15 16:13:58 · 13028 阅读 · 0 评论 -
forbes八月底对Andrew Ng的采访(zz)
来源: http://www.forbes.com/sites/roberthof/2014/08/28/interview-inside-google-brain-founder-andrew-ngs-plans-to-transform-baidu/3/Interview: Inside Google Brain Founder Andrew Ng's Plans转载 2015-10-15 16:20:51 · 467 阅读 · 0 评论 -
Reducing the Dimensionality of Data with Neural Networks
转自:http://blog.csdn.net/scyer123/article/details/460091852006年,加拿大多伦多大学教授、机器学习领域的泰斗Geoffrey Hinton发表的这篇文章引起了深度学习的狂潮,使得深度学习死灰复燃。1、在数据降维中,可以利用多层神经网络。梯度下降法是传统的参数训练方法,但是当初始条件接近于最优解时,梯度下降方法得到转载 2015-10-15 16:02:54 · 520 阅读 · 0 评论 -
矩阵特征值分解与奇异值分解含义解析及应用
转自:http://blog.csdn.net/xiahouzuoxin/article/details/41118351此文有一半转载自他出,主要在这进行个整理,具体内容文中都有相关的转载链接。特征值与特征向量的几何意义矩阵的乘法是什么,别只告诉我只是“前一个矩阵的行乘以后一个矩阵的列”,还会一点的可能还会说“前一个矩阵的列数等于后一个矩阵的行转载 2015-10-15 16:16:32 · 603 阅读 · 0 评论 -
隐马尔可夫模型(HMM)攻略
转自:http://blog.csdn.net/likelet/article/details/7056068隐马尔可夫模型 (Hidden Markov Model,HMM) 最初由 L. E. Baum 和其它一些学者发表在一系列的统计学论文中,随后在语言识别,自然语言处理以及生物信息等领域体现了很大的价值。平时,经常能接触到涉及 HMM 的相关文章,一直没有仔细研究过,都是蜻蜓点转载 2015-10-15 16:25:22 · 563 阅读 · 0 评论 -
随机梯度下降(Stochastic gradient descent)和 批量梯度下降(Batch gradient descent )的公式对比、实现对比
转自:http://blog.csdn.net/lilyth_lilyth/article/details/8973972梯度下降(GD)是最小化风险函数、损失函数的一种常用方法,随机梯度下降和批量梯度下降是两种迭代求解思路,下面从公式和实现的角度对两者进行分析,如有哪个方面写的不对,希望网友纠正。下面的h(x)是要拟合的函数,J(theta)损失函数,th转载 2015-10-15 16:35:04 · 359 阅读 · 0 评论 -
个人阅读的Deep Learning方向的paper整理
转自:http://blog.csdn.net/sunmenggmail/article/details/20904867http://hi.baidu.com/chb_seaok/item/6307c0d0363170e73cc2cb65个人阅读的Deep Learning方向的paper整理,分了几部分吧,但有些部分是有交叉或者内容重叠,也不必纠结于这属于DNN转载 2015-10-15 16:36:10 · 668 阅读 · 0 评论 -
capsule解读
本篇blog主要是源于对hinton的 Dynamic Routing Between Capsules 进行理解,转载请注明出处容器(capsule):表示的是一些神经元的集合,这些神经元都是某一类别实体的激活的向量。向量的长度:表示实体存在概率向量的方向:表示的是所代表向量的实例化参数每一层的每一组激活容器通过变换矩阵(transformation matrics)会对当前的输入做一个预原创 2017-11-23 22:08:34 · 8319 阅读 · 2 评论 -
Multi-Layered Gradient Boosting Decision Trees
本 blog 旨在对南京大学周老师团队近期的一篇paper进行解读;转载请注明出处楔子多层特征表示在神经网络中得到了充分地应用;然而,当模型不可微时 如针对离散型数据或表格型等结构化数据时,GBDTs通常是此类数据 的主流方法,这类方法通常很难学习到较好的特征表示能力。鉴于此 ,作者提出了通过stacking多层GBDTs来尽力一层一层的模块,通过此 ...原创 2018-06-07 22:29:23 · 2004 阅读 · 5 评论 -
RAdam 优化理解
注:本篇blog旨在对文章RAdam: on the variance of the adaptive learning rate and beyond 进行理解引言x123p1/31/31/3 由上述简单的均匀分布可知,E(x) = 2, D(x) = 2 / 3x123p1/41/21/4 由上述简...原创 2019-08-24 21:56:03 · 2279 阅读 · 0 评论 -
使用LFM(Latent factor model)隐语义模型进行Top-N推荐
转自:http://blog.csdn.net/litoupu/article/details/16944359原文地址:http://blog.csdn.net/harryhuang1990/article/details/9924377最近在拜读项亮博士的《推荐系统实践》,系统的学习一下推荐系统的相关知识。今天学习了其中的隐语义模型在Top-N推荐中的应用,在此做一转载 2015-10-15 16:32:06 · 691 阅读 · 0 评论 -
从最大似然到EM算法浅解
转自:http://blog.csdn.net/zouxy09/article/details/8537620从最大似然到EM算法浅解zouxy09@qq.comhttp://blog.csdn.net/zouxy09 机器学习十大算法之一:EM算法。能评得上十大之一,让人听起来觉得挺NB的。什么是NB啊,我们一般说某个人很NB,是转载 2015-10-15 16:23:40 · 329 阅读 · 0 评论 -
机器学习中的数学(5)-强大的矩阵奇异值分解(SVD)及其应用
机器学习中的数学(5)-强大的矩阵奇异值分解(SVD)及其应用版权声明:转自:http://www.cnblogs.com/LeftNotEasy/archive/2011/01/19/svd-and-applications.html 本文由LeftNotEasy发布于http://leftnoteasy.cnblogs.com, 本文可以被全部的转载或者部分使用,但请转载 2015-08-09 00:12:24 · 613 阅读 · 0 评论 -
机器学习算法中如何选取超参数:学习速率、正则项系数、minibatch size
分类: Machine Learning超参数机器学习目录(?)[-]学习速率learning rateEarly Stopping可变的学习速率正则项系数regularization parameterMini-batch size更多资料本文是《Neural networks and deep learning》概览 中第三章的一部分转载 2015-08-08 23:28:23 · 1131 阅读 · 0 评论 -
机器学习中的数学(4)-线性判别分析(LDA), 主成分分析(PCA)
转自:http://www.cnblogs.com/LeftNotEasy/archive/2011/01/08/lda-and-pca-machine-learning.html本文由LeftNotEasy发布于http://leftnoteasy.cnblogs.com, 本文可以被全部的转载或者部分使用,但请注明出处,如果有问题,请联系wheeleast@gmail.co转载 2015-08-09 00:03:34 · 459 阅读 · 0 评论 -
机器学习中的数学(1)-回归(regression)、梯度下降(gradient descent)
版权声明:转自:http://www.cnblogs.com/LeftNotEasy/archive/2010/12/05/mathmatic_in_machine_learning_1_regression_and_gradient_descent.html 本文由LeftNotEasy所有,发布于http://leftnoteasy.cnblogs.com。如果转载,请注明出处,在转载 2015-08-09 00:10:20 · 352 阅读 · 0 评论 -
机器学习(machine learning)之AdaBoost算法
转自:http://blog.csdn.net/haidao2009/article/details/7514787 机器学习是利用一些方法来使机器实现人的学习行为,以便获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。 AdaBoost全名“adaptive Boost” 一 Boosting 算法的起源转载 2015-08-08 23:06:54 · 501 阅读 · 0 评论 -
机器学习中的数学(3)-模型组合(Model Combining)之Boosting与Gradient Boosting
版权声明:转自:http://www.cnblogs.com/LeftNotEasy/archive/2011/01/02/machine-learning-boosting-and-gradient-boosting.html 本文由LeftNotEasy发布于http://leftnoteasy.cnblogs.com, 本文可以被全部的转载或者部分使用,但请注明出处,如转载 2015-08-09 00:05:18 · 278 阅读 · 0 评论 -
机器学习中的算法(2)-支持向量机(SVM)基础
版权声明:转自:http://www.cnblogs.com/LeftNotEasy/archive/2011/05/02/basic-of-svm.html 本文由LeftNotEasy发布于http://leftnoteasy.cnblogs.com, 本文可以被全部的转载或者部分使用,但请注明出处,如果有问题,请联系wheeleast@gmail.com 前言:转载 2015-08-09 00:07:11 · 339 阅读 · 0 评论 -
KL距离,Kullback-Leibler Divergence
转自:http://www.cnblogs.com/ywl925/p/3554502.htmlKL距离,Kullback-Leibler DivergenceKL距离,是Kullback-Leibler差异(Kullback-Leibler Divergence)的简称,也叫做相对熵(Relative Entropy)。它衡量的是相同事件空间里的两个概率分布的差异情转载 2015-08-11 14:33:09 · 2723 阅读 · 0 评论 -
机器学习中的相似性度量
转自:http://www.cnblogs.com/heaad/archive/2011/03/08/1977733.html在做分类时常常需要估算不同样本之间的相似性度量(Similarity Measurement),这时通常采用的方法就是计算样本间的“距离”(Distance)。采用什么样的方法计算距离是很讲究,甚至关系到分类的正确与否。 本文的目的就是对常用的相似性度量作转载 2015-08-11 14:31:40 · 385 阅读 · 0 评论 -
贝叶斯集锦(3):从MC、MC到MCMC
转自:http://site.douban.com/182577/widget/notes/10567181/note/292072927/贝叶斯计算基础一、从MC、MC到MCMC斯坦福统计学教授Persi Diaconis是一位传奇式的人物。Diaconis14岁就成了一名魔术师,为了看懂数学家Feller的概率论著作,24岁时进入大学读书。他向《科学美国人》投稿介绍他的洗牌转载 2015-08-11 14:38:27 · 2941 阅读 · 0 评论 -
深度学习概述:从感知机到深度网络
转自:http://www.cnblogs.com/xiaowanyer/p/3701944.html深度学习概述:从感知机到深度网络 (注:本文译自一篇博客,作者行文较随意,我尽量按原意翻译,但作者所介绍的知识还是非常好的,包括例子的选择、理论的介绍都很到位,由浅入深,源文地址) 近些年来,人工智能领域又活跃起来,除了传统了学术圈外,Google、M转载 2015-08-13 16:01:46 · 358 阅读 · 0 评论 -
机器学习经典算法详解及Python实现--线性回归(Linear Regression)算法
转自:http://blog.csdn.net/suipingsp/article/details/42101139(一)认识回归回归是统计学中最有力的工具之一。机器学习监督学习算法分为分类算法和回归算法两种,其实就是根据类别标签分布类型为离散型、连续性而定义的。顾名思义,分类算法用于离散型分布预测,如前面讲过的KNN、决策树、朴素贝叶斯、adaboost、SVM、转载 2015-10-15 16:22:48 · 2252 阅读 · 0 评论 -
贝叶斯集锦(3):从MC、MC到MCMC
转自:http://site.douban.com/182577/widget/notes/10567181/note/292072927/贝叶斯计算基础一、从MC、MC到MCMC斯坦福统计学教授Persi Diaconis是一位传奇式的人物。Diaconis14岁就成了一名魔术师,为了看懂数学家Feller的概率论著作,24岁时进入大学读书。他向《科学美国人》投稿介绍转载 2015-08-08 23:35:52 · 936 阅读 · 0 评论