机器学习
文章平均质量分 78
zhlei12345
这个作者很懒,什么都没留下…
展开
-
Boosting算法
\quad\quadboosting算法是目前工业界广泛使用的基于树的集成算法之一,不过该算法有诸多的变体,因此本文着重的对GBDT,xgboost,catboost,lightgbm四种算法进行一个介绍。这四种算法也是目前工业界使用较多的boosting算法。原创 2020-09-03 17:15:42 · 2076 阅读 · 0 评论 -
对偶问题(Duality)
考虑如下的问题 : minimizef0(x)" role="presentation">minimizef0(x)minimizef0(x)minimize \quad f_0(x) subjecttofi(x)<=0,i=1,...,m" role="presentation">subjecttofi(x)=0,i=1,...,msubjecttofi(x)0,i=1,...,msu原创 2018-02-01 16:02:19 · 973 阅读 · 0 评论 -
Boosting算法
Boosting算法的思想和随机森林的思想是不同的,随机森林中的每棵树都是一个强分类器(树的深度比较深),那么这样偏差就会小得多,方差就会大的多,为了降低方差,随机森林设计了多棵树,每棵树的样本都是通过重抽样的方式获得,这样相当于综合了数据总体的多个样本进行训练,可以有效的降低方差,这样在测试集中才可以得到较好的效果。Boosting的思想是设计多个弱分类器,弱分类的特点就在于偏差过大,因此需要后续原创 2017-11-23 11:37:53 · 757 阅读 · 0 评论 -
熵,相对熵和互信息
1.熵.熵\textbf{1.熵.}\color{red}{熵}表示随机变量不确定度的度量。也是平均意义上描述随机变量所需要信息量的度量。一个离散型随机变量的熵H(X)定义为: H(X)=−∑x∈原创 2015-12-25 17:42:05 · 5191 阅读 · 0 评论 -
monte carlo simulation
1.连续状态马尔科夫链\textbf{1.连续状态马尔科夫链}\quad\quad我们默认本文中的马尔科夫链都是离散时间的。通常,我们所见到的马尔科夫链是离散状态的,但是为了能够模拟出连续随机变量的样本,我们必须引入连续状态马尔科夫链。通常,一个马尔科夫链由初始分布和状态转移矩阵来决定,相似的,连续状态马尔科夫链也是由这两个因素构成,只不过状态转移矩阵没办法来描述连续状态,我们再次引入转移核的概念,原创 2015-12-22 17:49:37 · 702 阅读 · 0 评论 -
深信度网络
\quad\quad虽然Yoshua Bengio在Deep learning(2015)说深信度网络现在的研究已经不多,被一些其他的方法所替代,但是深信度网络在深度学习历史上还是有重要地位的。所以本文将详细描述深信度网络。本文主要参考Hinton在2006年发表的文章a fast learning algorithm for deep belief nets. 1.explaining away原创 2015-12-31 17:54:22 · 1483 阅读 · 0 评论 -
Helmholtz Machine and Wake-Sleep Learning
1.介绍.\textbf{1.介绍.}本文主要目的是服务于深信度网络。我们将在这里详细介绍神经网络无监督学习中的一个重要算法-wake sleep算法,以及和这种算法密切相关的一类机器–melmholtz machine. 2.boltzmann distribution.\textbf{2.boltzmann distribution.}在一个物理系统中,颗粒处在不同的状态下得概率分布。其中每种原创 2016-01-02 18:46:30 · 2096 阅读 · 3 评论 -
关联分析(从基础到高级)
关联规则原创 2015-08-12 15:50:58 · 2470 阅读 · 0 评论 -
序列模型
2.中级篇\Large\textbf{2.中级篇} 1.非二元变量\textbf{1.非二元变量} \quad\quad在基础篇中我们处理的是购物篮数据,一个事务中是否包含某个项。如果我们面对的数据是,每个事务中都会包含大多数项,但是重要的区别是一个事务中包含某个项的多少是不同的,换句话说,如果我们将项看成是变量(属性),购物篮数据处理的是二元变量,而有可能我们需要处理的是分类变量,甚至是连续型原创 2015-08-25 15:45:46 · 482 阅读 · 0 评论 -
隐马尔科夫模型(一)
本章节首先介绍隐马尔科夫模型的定义,前提假设,和我们所关注的关于隐马尔科夫模型的问题。原创 2015-04-26 11:29:36 · 602 阅读 · 0 评论 -
隐马尔科夫模型(四)
本文主要解决隐马尔科夫模型基本问题三。给定观测序列组成的训练集,也就是多个观测序列,对模型λ进行估计,使得产生这个训练集的概率最大化,也就是最大似然估计。原创 2015-05-09 10:17:58 · 420 阅读 · 0 评论 -
隐马尔科夫模型(二)
\quad\quad本文主要针对隐马尔科夫模型的第一个基本问题展开讨论。问题是:给定一个模型λ\lambda,我们希望估计任意给定观测变量序列O=O1O2....OTO={O_1O_2....O_T}的概率。原创 2015-04-27 19:14:04 · 366 阅读 · 0 评论