关注
分享
兔子爱读书
不忘初心，记录成长
展开
-
机器学习：监督学习习题
1. SVM和logistic回归分别在什么情况下使用？(1) 两种方法都是常见的分类算法，从目标函数来看，区别在于逻辑回归采用的是logistical loss，svm采用的是hinge loss。这两个损失函数的目的都是增加对分类影响较大的数据点的权重，减少与分类关系较小的数据点的权重。(2)两者的根本目的都是一样的。SVM的处理方法是只考虑support vectors，也...原创 2016-03-09 18:35:34 · 2666 阅读 · 0 评论 -
机器学习：序列模式挖掘算法
------------------------------------------------------------------------------------------------------------------------题目：下面有关序列模式挖掘算法的描述，错误的是？ AprioriAll算法和GSP算法都属于Apriori类算法，都要产生大量的候选序列 F原创 2016-03-14 21:30:50 · 10473 阅读 · 1 评论 -
机器学习：L1与L2正则化项
--------------------------------------------------------------------------------------------关于支持向量机SVM,下列说法错误的是（） A. L2正则项，作用是最大化分类间隔，使得分类器拥有更强的泛化能力 B. Hinge 损失函数，作用是最小化经验分类错误 C. 分类间隔为1/|原创 2016-03-15 10:02:43 · 10839 阅读 · 3 评论 -
机器学习：文本挖掘之特征选择
----------------------------------------------------------------------------------------------------------------下列哪个不属于常用的文本分类的特征选择算法？卡方检验值互信息信息增益主成分分析（不属于）----------------------------原创 2016-03-14 21:47:18 · 5166 阅读 · 0 评论 -
机器学习：时间序列模型
---------------------------------------------------------------------------------------------------------------下列时间序列模型中,哪一个模型可以较好地拟合波动性的分析和预测？AR模型MA模型ARMA模型GARCH模型（正确）------------------原创 2016-03-14 22:16:40 · 23339 阅读 · 0 评论 -
机器学习：不均衡样本情况下的抽样
-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------在分类问题中,我们经常会遇到正负样本数据量不等原创 2016-03-15 09:44:43 · 10441 阅读 · 0 评论 -
机器学习：维度灾难问题
维度灾难问题维数灾难（英语：curse of dimensionality，又名维度的詛咒），最早由理查德·贝尔曼(Richard E. Bellman)在考虑动态优化问题时首次提出来的术语，用来描述当（数学）空间维度增加时，分析和组织高维空间（通常有成百上千维），因体积指数增加而遇到各种问题场景。举例来说，100个平均分布的点能把一个单位区间以每个点距离不超过0.01采样；而当维原创 2016-03-15 10:10:47 · 7564 阅读 · 0 评论 -
机器学习：线性回归的基本假设
---------------------------------------------------------------------------------------------------------------关于线性回归的描述,以下正确的有:A. 基本假设包括随机干扰项是均值为0,方差为1的标准正态分布B. 基本假设包括随机干扰下是均值为0的同方差正态分布C. 在原创 2016-03-15 16:33:38 · 9755 阅读 · 0 评论 -
深度学习：神经网络
http://tech.sina.com.cn/i/2016-02-23/doc-ifxprucu3124795.shtml原创 2016-03-19 10:49:29 · 3156 阅读 · 0 评论 -
机器学习：启发式算法
启发式算法（heuristic algorithm)：相对于最优化算法提出的。一个问题的最优算法求得该问题每个实例的最优解。启发式算法可以这样定义：一个基于直观或经验构造的算法，在可接受的花费（指计算时间和空间）下给出待解决组合优化问题每一个实例的一个可行解，该可行解与最优解的偏离程度一般不能被预计。通俗的说，启发式算法是指在一个随机的群体寻优过程中，个体能够利用自身或者全局的经验来制定各原创 2016-03-19 20:17:46 · 10857 阅读 · 0 评论 -
机器学习：线性判别分析LDA
定义：线性判别式分析（Linear discriminant analysis），又称为Fisher线性判别(Fisher linear discriminant)。原理：将带上标签的数据（点），通过投影的方法，投影到维度更低的空间中，使得投影后的点，会形成按类别区分，一簇一簇的情况，相同类别的点，将会在投影后的空间中更接近。更多见机器学习中的数学(4)-线性判别分析（LDA）, 主成分分析(原创 2016-03-19 21:54:26 · 1403 阅读 · 0 评论 -
机器学习：半监督学习
http://blog.csdn.net/yhdzw/article/details/22733371原创 2016-03-19 21:57:59 · 1309 阅读 · 0 评论 -
机器学习：EM算法
1. 定义EM(Expectation Maximization), 期望极大算法，是一种从不完全数据或有数据丢失的数据集（存在隐含变量）中求解概率模型参数的最大似然估计方法。用户含有隐变量的的概率模型参数的极大似然估计，或称极大后验概率估计法。EM应用：高斯混合模型。EM推广：GEM算法。2. 原理《统计学习方法》一书中给出一个案例“三硬币模型”：EM算法学习(Expecta原创 2016-03-20 18:55:36 · 1040 阅读 · 0 评论 -
机器学习：HMM隐马尔可夫模型用于中文分词
1. 定义隐马尔可夫模型（Hidden Markov Model，HMM）是统计模型，它用来描述一个含有隐含未知参数的马尔可夫过程。它的状态不能直接观察到，但能通过观测向量序列观察到，每个观测向量都是通过某些概率密度分布表现为各种状态，每一个观测向量是由一个具有相应概率密度分布的状态序列产生。所以，隐马尔可夫模型是一个双重随机过程----具有一定状态数的隐马尔可夫链和显示随机函数集。两个基...原创 2016-03-26 21:08:43 · 14343 阅读 · 2 评论 -
机器学习：决策树之随机森林
个人理解：决策树的随机森林本质上是一种bagging方法，是通过组合一系列弱分类器得到强分类器的的过程。随后分4步:（1）随机采样随机多次地从原数据集中选择N个样本点作为决策树的训练样本。对于行采样，采用有放回的方式，也就是在采样得到的样本集合中，可能有重复的样本。假设输入样本为N个，那么采样的样本也为N个，这选择好了的N个样本用来训练一个决策树，作为决策树根节点处的样本，同时原创 2016-03-26 21:27:11 · 1651 阅读 · 0 评论 -
机器学习：多分类的logistic回归
Multi-Class Logistic（多分类的Logistic问题）它适用于那些类别数大于2的分类问题，并且在分类结果中，样本x不是一定只属于某一个类可以得到样本x分别属于多个类的概率（也可以说样本x的估计y符合某一个几何分布），这实际上是属于Generalized Linear Model中讨论的内容。考虑一个结论：如果一个分类问题符合几何分布，那么就可以用Logistic变换来进行转载 2016-03-26 21:41:50 · 20141 阅读 · 0 评论 -
机器学习：梯度Boost决策树
Gradient Boost Decision TreeGBDT是一个应用很广泛的算法，可以用来做分类、回归。在很多的数据上都有不错的效果。又称作：MART(Multiple Additive Regression Tree)，GBRT(Gradient Boost Regression Tree)，Tree Net。发明者：Friedman。Gradient Bo转载 2016-03-26 21:54:32 · 1963 阅读 · 0 评论 -
机器学习：贝叶斯网络入门
贝叶斯理论是处理不确定性信息的重要工具。作为一种基于概率的不确定性推理方法，贝叶斯网络在处理不确定信息的智能化系统中已得到了重要的应用，已成功地用于医疗诊断、统计决策、专家系统、学习预测等领域。它有几个特性1、贝叶斯网络本身是一种不定性因果关联模型。贝叶斯网络与其他决策模型不同，它本身是将多元知识图解可视化的一种概率知识表达与推理模型，更为贴切地蕴含了网络节点变量之间的因果关系及条件相关关原创 2016-04-02 16:57:46 · 3098 阅读 · 1 评论 -
贝叶斯网络：Netica的使用记录
1. 节点的Name与Title区别。name是根据IDname的命名规则，只能用字母开头，随后跟数组、下划线。不能出现空格或者发音。Title突破了这一限制。系统首选Title，如果没有，用name作为节点名字。2. 节点的Status Value与 Table Value的区别。Status对应着状态的名字，可以是单词，Status Value表示状态对应的值。例如爆炸控制系统中“off”状态原创 2016-04-05 13:55:15 · 13389 阅读 · 7 评论 -
机器学习：金融领域的岗位需求
1.蚂蚁金服招聘资深推荐算法工程师岗位描述：1、结合业务需要提出合适的算法解决方案，推动方案在业务系统中实现，构建实时化高并发系统，尤其是基于大规模用户行为，建立推荐系统。算法包括但不限于机器学习、推荐系统、自然语言处理、文本挖掘等；2、从数据中发现现有系统和算法的不足，提出改进的算法并推动实现；3、追踪算法前沿技术，结合业务特点，探索将前沿的算法技术应用于实际业务岗位转载 2016-04-06 17:18:22 · 10188 阅读 · 0 评论 -
机器学习：防止过拟合的方法
在对模型进行训练时，有可能遇到训练数据不够，即训练数据无法对整个数据的分布进行估计的时候，或者在对模型进行过度训练（overtraining）时，常常会导致模型的过拟合（overfitting），即模型复杂度比实际数据复杂度还要高。防止过拟合，主要从以下几方面着手：模型参数：减少特征、权值衰减、early stopping数据集：数据集扩增（源头取数、随机噪声、重采样、分布估计）、验证原创 2016-04-07 13:18:52 · 6852 阅读 · 0 评论 -
机器学习：好用的工具包
libliner： logisticlibfm： 矩阵分解xgboost： gbdtspark shell：单机配置spark环境原创 2016-04-12 10:17:33 · 1063 阅读 · 0 评论 -
机器学习经典图
一下是电脑中存储的机器学习经典图，简单明了地解释了一些基本问题。粘贴在此仅供学习和交流。1. 为什么低训练误差并不总是一件好的事情呢？答：因为模型的复杂性2. 低度拟合或者过度拟合的例子3. 为什么贝叶斯推理可以具体化奥卡姆剃刀原理答：首先知道奥卡姆剃刀原理：切勿浪费较多东西去做，用较少的东西，同样可以做好的事情。上图已经非常直接：较少的前提条件或许能得原创 2016-06-01 19:02:56 · 1703 阅读 · 0 评论 -
机器学习十大算法的核心思想、工作原理、适用 情况及优缺点
机器学习十大算法的每个算法的核心思想、工作原理、适用 情况及优缺点一、C4.5 算法：ID3 算法是以信息论为基础，以信息熵和信息增益度为衡量标准，从而实现对数据的归纳分类。ID3 算法计算每个属性的信息增益，并选取具有最高增益的属性作为给定的测试属性。C4.5 算法核心思想是ID3 算法，是ID3 算法的改进，改进方面有：1）用信息增益率来选择属性，克服了用信息增益选择属性时偏向转载 2016-06-01 19:12:14 · 3620 阅读 · 0 评论 -
机器学习——连续型特征离散化
在特征工程中，特别是logistic regression上，需要把一些连续特征进行离散化处理。离散化除了一些计算方面等等好处，还可以引入非线性特性，也可以很方便的做cross-feature。离散特征的增加和减少都很容易，易于模型的快速迭代。此外，噪声很大的环境中，离散化可以降低特征中包含的噪声，提升特征的表达能力。连续特征离散化最常用的方法：（1）划分区间如1-100岁可以划分为：原创 2017-01-03 09:38:11 · 12054 阅读 · 0 评论