机器学习笔记
zldeng_scir
菜鸟!
展开
-
Understanding Convolutional Neural Networks for NLP
When we hear about Convolutional Neural Network (CNNs), we typically think of Computer Vision. CNNs were responsible for major breakthroughs in Image Classification and are the core of most Computer V转载 2017-07-28 17:06:33 · 547 阅读 · 0 评论 -
Learning To Rank之LambdaMART的前世今生
1. 前言 我们知道排序在很多应用场景中属于一个非常核心的模块,最直接的应用就是搜索引擎。当用户提交一个query,搜索引擎会召回很多文档,然后根据文档与query以及用户的相关程度对文档进行排序,这些文档如何排序直接决定了搜索引擎的用户体验。其他重要的应用场景还有在线广告、协同过滤、多媒体检索等的排序。 LambdaMART是Learning转载 2016-12-16 08:30:38 · 833 阅读 · 0 评论 -
如何解决机器学习中数据不平衡问题
这几年来,机器学习和数据挖掘非常火热,它们逐渐为世界带来实际价值。与此同时,越来越多的机器学习算法从学术界走向工业界,而在这个过程中会有很多困难。数据不平衡问题虽然不是最难的,但绝对是最重要的问题之一。一、数据不平衡在学术研究与教学中,很多算法都有一个基本假设,那就是数据分布是均匀的。当我们把这些算法直接应用于实际数据时,大多数情况下都无法取得理想的结果。因为实际数据往往分布得很不转载 2016-10-18 22:27:43 · 6056 阅读 · 0 评论 -
berkeley parser使用
最近需要使用到基于短语结构的parser来对句子进行分析,从进入实验室到现在大部分时间都在做parser相关的东西,但是一直都是最基于依存的,现在是第一次基础到基于短语结构的,这次任务需要使用多个短语结构的parser,从网上现在了berkeley parser,学习使用的过程并不是一帆风顺,特在此记下使用方法,以后回顾在看,也希望可以对需要学习的同学有帮助。1、代码处理原创 2012-07-31 00:27:04 · 5290 阅读 · 0 评论 -
stanford parser使用
stanford parser是一个可进行短语结构和依存结构分析的parser,网络上的资料很多,而且在stanford nlp的网站上也有很多说明,代码中的readme文件数的也很详细。在这里简要记录一下我学习的一些过程。 stanford parser的源代码下载后可直接使用,不需要做任何修改。训练语料默认是英文的wsj语料。在使用中文训练时需要在参数中指定:训练:使用中文训原创 2012-07-31 00:42:28 · 5862 阅读 · 3 评论 -
Bloom Filter概念和原理
Bloom Filter概念和原理焦萌 2007年1月27日 Bloom Filter是一种空间效率很高的随机数据结构,它利用位数组很简洁地表示一个集合,并能判断一个元素是否属于这个集合。Bloom Filter的这种高效是有一定代价的:在判断一个元素是否属于某个集合时,有可能会把不属于这个集合的元素误认为属于这个集合(false positive)。因此,Bloom Filter转载 2012-06-07 10:51:14 · 582 阅读 · 0 评论 -
Classification Probability Models and Conditional Random Fields(2)--HMM
在上一篇Classification Probability Models and Conditional Random Fields(1)中,介绍了朴素贝叶斯分类方法,朴树贝叶斯分类方法中对于输入向量X只赋予一个输出标记Y。但是在实际的应用中常常需要对一个输入序列赋予一个输出序列标记,这时候就可以使用隐马尔科夫模型(Hidden Markov Model),HMM可以看作是朴树贝叶斯的一个简单推原创 2011-12-06 09:46:13 · 686 阅读 · 0 评论 -
Classification Probability Models and Conditional Random Fields(1)--Naive Bayes
目前正在学习自然语言处理相关的概率模型,在一篇名为《Classification Probability Models and Conditional Random Fields》论文中讲述了常用的几个经典的概率模型,并分析了他们之间的关系和区别,深入浅出,讲的非常的好。 在很多任务中,面临的问题都是对给定的输入X,对输入赋予一个恰当的分类标签Y。在自然语言处理中,如文本分类、词性标注、原创 2011-12-06 09:31:09 · 1240 阅读 · 0 评论 -
Classification Probability Models and Conditional Random Fields(3)
上面介绍的两个模型都是为了计算的得到输入序列和输出标记的最大联合概率,在下面将讨论最大熵模型(Maximum Entropy Model)。最大熵模型计算的是标记序列对于输入变量的条件概率,它是CRF的基础。 最大熵模型基于一个最大熵原则(Principle of Maximum Entropy),即在满足已知信息的前提下,不对模型做出任何假设。(if incomplete inf原创 2011-12-06 10:30:20 · 912 阅读 · 0 评论 -
[转]随机场-Random Field
随机场(Random field)定义如下:在概率论中, 由样本空间Ω = {0, 1, …,G − 1}n取样构成的随机变量Xi所组成的S = {X1, …, Xn}。若对所有的ω∈Ω下式均成立,则称π为一个随机场。π(ω) > 0.一些已有的随机场如:马尔可夫随机场(MRF), 吉布斯随机场 (GRF), 条件随机场 (CRF), 和高斯随机场。—————————-马尔可夫随机转载 2011-12-05 16:41:31 · 3084 阅读 · 0 评论 -
判别模型与生成模型
【摘要】 - 生成模型:无穷样本==》概率密度模型 = 产生模型==》预测 - 判别模型:有限样本==》判别函数 = 预测模型==》预测【简介】简单的说,假设o是观察值,q是模型。如果对P(o|q)建模,就是Generative模型。其基本思想是首先建立样本的概率密度模型,再利用模型进行推理预测。要求已知样本无穷或尽可能的大限制。这种方法一般建立在统计力学和转载 2011-12-05 14:38:22 · 543 阅读 · 0 评论 -
最大似然估计与贝叶斯估计
在这两种估计中,都是假设样本概率密度函数形式已知,需要估计的是是概率密度函数中的参数。虽然使用贝叶斯方法和最大似然估计的结果很相似,但这两个方法在本质上有很大的不同。在最大似然估计方法中,我们把需要估计的参数向量看作是一个确定而未知的参数。而在贝叶斯学习方法中,我们把参数向量看成原创 2011-07-29 10:48:30 · 1743 阅读 · 0 评论 -
xgboost公式推导
转自:https://blog.csdn.net/guoxinian/article/details/79243307#commentBox基本构成boosted tree作为有监督学习算法有几个重要部分:模型、参数、目标函数、优化算法 模型 模型指给定输入x如何去预测输出y 参数 参数指我们需要学习的东西,在线性模型中,参数指我们的线性系数w 目标函数 目标函数:损失 + 正则,教...转载 2018-11-10 18:20:50 · 1066 阅读 · 0 评论