机器学习算法
zqcham
知行合一
展开
-
分类决策树的认识
决策树模型 分类决策树模型是一种描述对实例进行分类的树形结构,由节点和有向边构成。其中节点包括内部节点和叶节点,内部节点表示一个特征,而叶节点表示一个分类。比如下图: 从根节点开始,对实例的某一特征进行测试,根据测试结果,将实例分配到下一节点,迭代这一过程,知道叶子节点,该节点表示的类标签就是该对象的实例。 构造决策树 对于给定的训练集:我们每次选择一个特征属性将数据集分为几原创 2017-03-30 14:43:21 · 488 阅读 · 0 评论 -
对SVM的理解
1.SVM设计到的一些概念 支持向量机(SVM)是一种二类分类模型(+1,-1),之所以用(+1,-1)表示而不用(1,0)表示是因为+1和-1仅仅相差一个符号,在数学上容易处理。SVM的基本模型是定义在特征空间上的间隔最大的线性分类器。SVM的学习策略就是间隔最大化,可形式化为求解一个凸二次规划的问题。下面通过图形和数学公式来一步步的解释SVM算法。原创 2017-03-25 19:10:59 · 377 阅读 · 1 评论 -
对Adaboost提升算法的一点儿认识
1.Adaboost算法的思想: Adaboost算法基于的思想有点儿“三个臭皮匠顶个诸葛亮”的味道:我们在处理复杂任务时,将多位专家的判断进行适当的综合所得到的判断,要比其中任一单独专家的判断好,正是基于这种思想,就有了我们今天要学的Adaboost算法。 Adaboost算法通过对所有样本点训练多个弱分类器,通过线性方式将其组合成一个强分类器。每个弱分类器都原创 2017-03-26 13:44:36 · 300 阅读 · 0 评论 -
朴素贝叶斯分类法
1.介绍 朴素贝叶斯是基于贝叶斯定理和特征条件独立假设的分类方法。对于给定的训练数据集,首先基于特征条件独立假设学习输入/输出的联合概率分布,然后基于此模型,对给定的输入x,利用贝叶斯定理求出后验概率最大的输出y。 2.基本方法 对于给定的数据集 学习先验概率 和条件概率: 需要说明的是条件概率有指数级的参数,其估计实际上是不可行的,所以贝叶斯定理对条件概率做了独立性的假原创 2017-03-26 16:36:15 · 490 阅读 · 0 评论 -
回归原理解析
logistic回归是概率型的非线性二分类模型,可用于判断某个问题是否发生的可能性。而logistic分布函数定义为: 这里的z由下面的公式给出: 所以求logistic回归的关键就是求向量w的最优解,在这里我们可以采用随机梯度上升法来求。而随机梯度上升法的迭代公式为: 这里的alpha陈伟步长。该公式一直被迭代执行,直到达到某个停止条件为止,比如迭代次数达到某个制定原创 2017-03-26 20:32:26 · 509 阅读 · 0 评论