![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Data Mining
文章平均质量分 69
Jeffrey-Heart
这个作者很懒,什么都没留下…
展开
-
数据挖掘入门指导
在下不是什么牛人,看大家对数据挖掘很感兴趣,自己也做这个方向的给大家介绍介绍。写的不对的地方求改正。真真要做数据挖掘还是要有良好的统计背景,概率论和数理统计,泛函,实变函数,测度论等。如果你这些都懂了的话那么水平应该很高了。我在这里这写点自己的感受吧。当做科普。 数据挖掘解决的主要问题就是分类,聚类,回归,关联分析等问题。搜索中的分词,专名识别等都是用crf模型来做的。数据挖掘广泛的运用在各转载 2015-01-24 12:27:53 · 546 阅读 · 0 评论 -
机器学习中的范数规则化之(一)L0、L1与L2范数
今天我们聊聊机器学习中出现的非常频繁的问题:过拟合与规则化。我们先简单的来理解下常用的L0、L1、L2和核范数规则化。最后聊下规则化项参数的选择问题。这里因为篇幅比较庞大,为了不吓到大家,我将这个五个部分分成两篇博文。知识有限,以下都是我一些浅显的看法,如果理解存在错误,希望大家不吝指正。谢谢。 监督机器学习问题无非就是“minimizeyour error whil...转载 2018-03-02 14:11:06 · 271 阅读 · 0 评论 -
信息熵,交叉熵和相对熵
1 信息熵的抽象定义 信息熵是由信息论之父香农提出来的,它用于随机变量的不确定性度量,先上信息熵的公式。 H(P)=∑ip(i)logp(i)H(P)=∑ip(i)logp(i)H(P) = \sum_i p(i) \log{p(i)} 我们可以用log ( 1/P )来衡量不确定性。P是一件事情发生的概率,概率越大,不确定性越小。 可以看到信息熵的公式,其实就是log ( 1/P ...原创 2018-03-12 09:58:04 · 337 阅读 · 0 评论 -
高斯判别分析(Gaussian discriminant analysis)和朴素贝叶斯方法(Naive Bayes)
高斯判别分析(Gaussian discriminant analysis)和朴素贝叶斯方法(Naive Bayes) 生成模型和判别模型 监督学习一般学习的是一个决策函数: y=f(x) 或者是条件概率分布: p(y|x) 判别模型直接用数据学习这个函数或分布,例如Linear Regression和Logistic Regression。 生成模型是用数据先学习联合概率分布p(x...转载 2018-05-13 15:04:26 · 2676 阅读 · 0 评论 -
xgboost原理
Xgboost原理 Obj(Θ)=L(Θ)+Ω(Θ)=∑i=1nL(yi,yi~)+∑i=1KL(yi,yi~)(280)(280)Obj(Θ)=L(Θ)+Ω(Θ)=∑i=1nL(yi,yi~)+∑i=1KL(yi,yi~)\begin{equation} \begin{aligned} Obj(\Theta) &= L(\Theta) +\Omega(\Theta) \\ &=\sum_{i=...原创 2018-05-07 20:43:42 · 188 阅读 · 0 评论