支持向量机SVM
文章平均质量分 75
zzz1_1zzz
这个作者很懒,什么都没留下…
展开
-
支持向量机通俗导论(一)
第一层、了解SVM 支持向量机,因其英文名为support vector machine,故一般简称SVM,通俗来讲,它是一种二类分类模型,其基本模型定义为特征空间上的间隔最大的线性分类器,其学习策略便是间隔最大化,最终可转化为一个凸二次规划问题的求解。1.1、分类标准的起源:Logistic回归 理解SVM,咱们必须先弄清楚一个概念:线性分类器。 给定一些数据点原创 2016-10-10 00:07:29 · 1273 阅读 · 0 评论 -
支持向量机导论——没有学过机器语言也能看懂的文章
前言 动笔写这个支持向量机(support vector machine)是费了不少劲和困难的,原因很简单,一者这个东西本身就并不好懂,要深入学习和研究下去需花费不少时间和精力,二者这个东西也不好讲清楚,尽管网上已经有朋友写得不错了(见文末参考链接),但在描述数学公式的时候还是显得不够。得益于同学白石的数学证明,我还是想尝试写一下,希望本文在兼顾通俗易懂的基础上,真真正正能足以成为一转载 2017-03-02 08:54:59 · 2704 阅读 · 0 评论 -
11.神经网络与支持向量机
神经网络(NeuralNetwork)与支持向量机(Support Vector Machines,SVM)是统计学习的代表方法。 可以认为神经网络与支持向量机都源自于感知机(Perceptron)。感知机是由Rosenblatt发明的线性分类模型(1958年)。感知机对线性分类有效,但现实中的分类问题通常是非线性的。 神经网络与支持向量机(包含核方法)都是非线性分类模型。1986原创 2016-10-08 18:48:53 · 1077 阅读 · 0 评论 -
10.SVM的优缺点
SVM有如下主要几个特点: (1)非线性映射是SVM方法的理论基础,SVM利用内积核函数代替向高维空间的非线性映射; (2)对特征空间划分的最优超平面是SVM的目标,最大化分类边际的思想是SVM方法的核心; (3)支持向量是SVM的训练结果,在SVM分类决策中起决定作用的是支持向量;(4)SVM 是一种有坚实理论基础的新颖的小样本学习方法。它基本上不涉及概率测度及大数定律等,因此不原创 2016-10-07 22:10:42 · 20012 阅读 · 0 评论 -
9.支持向量机(SVM)的算法
支持向量机(supportvector machine)是一种分类算法,通过寻求结构化风险最小来提高学习机泛化能力,实现经验风险和置信范围的最小化,从而达到在统计样本量较少的情况下,亦能获得良好统计规律的目的。通俗来讲,它是一种二类分类模型,其基本模型定义为特征空间上的间隔最大的线性分类器,即支持向量机的学习策略便是间隔最大化,最终可转化为一个凸二次规划问题的求解。具体原理:1. 在n维空原创 2016-10-06 21:02:21 · 643 阅读 · 0 评论 -
8.多类分类器
从 SVM的那几张图可以看出来,SVM是一种典型的两类分类器,即它只回答属于正类还是负类的问题。而现实中要解决的问题,往往是多类的问题(少部分例外,例如垃圾邮件过滤,就只需要确定“是”还是“不是”垃圾邮件),比如文本分类,比如数字识别。如何由两类分类器得到多类分类器,就是一个值得研究的问题。还以文本分类为例,现成的方法有很多,其中一种一劳永逸的方法,就是真的一次性考虑所有样本,并求解一个多目标原创 2016-10-05 20:18:34 · 1695 阅读 · 0 评论 -
7.核函数
核函数方法简介(1)核函数发展历史早在1964年Aizermann等在势函数方法的研究中就将该技术引入到机器学习领域,但是直到1992年Vapnik等利用该技术成功地将线性 SVMs推广到非线性SVMs时其潜力才得以充分挖掘。而核函数的理论则更为古老,Mercer定理可以追溯到1909年,再生核希尔伯特空间 (ReproducingKernel Hilbert Space, RKHS)研究原创 2016-10-04 19:30:22 · 416 阅读 · 0 评论 -
6.线性不可分(四)
明白了上一节线性不可分(三),会自然的问接下来两个问题:1.既然有很多的核函数,针对具体问题该怎么选择?2.如果使用核函数向高维空间映射后,问题仍然是线性不可分的,那怎么办? 第一个问题现在就可以回答你:对核函数的选择,现在还缺乏指导原则!各种实验的观察结果(不光是文本分类)的确表明,某些问题用某些核函数效果很好,用另一些就很差,但是一般来讲,径向基核函数是不会出太大偏差的一种,首原创 2016-10-03 21:22:17 · 1233 阅读 · 0 评论 -
5.线性分类器(三)
之前一直在讨论的线性分类器,器如其名,只能对线性可分的样本做处理。如果提供的样本线性不可分,结果很简单,线性分类器的求解程序会无限循环,永远也解不出来。这必然使得它的适用范围大大缩小,而它的很多优点我们实在不愿意放弃,怎么办呢?是否有某种方法,让线性不可分的数据变得线性可分呢?有!其思想说来也简单,来用一个二维平面中的分类问题作例子,你一看就会明白。。例子是下面这张图:我们把横轴上原创 2016-10-02 23:23:48 · 619 阅读 · 0 评论 -
4.线性分类器(二)
上回说到对于文本分类这样的不适定问题(有一个以上解的问题称为不适定问题),需要有一个指标来衡量解决方案(即我们通过训练建立的分类模型)的好坏,而分类间隔是一个比较好的指标。在进行文本分类的时候,我们可以让计算机这样来看待我们提供给它的训练样本,每一个样本由一个向量(就是那些文本特征所组成的向量)和一个标记(标示出这个样本属于哪个类别)组成。如下:Di=(xi,yi)xi就是文本向量(维原创 2016-10-01 22:59:22 · 531 阅读 · 0 评论 -
3.线性分类器(一)
线性分类器(一定意义上,也可以叫做感知机) 是最简单也很有效的分类器形式.在一个线性分类器中,可以看到SVM形成的思路,并接触很多SVM的核心概念。用一个二维空间里仅有两类样本的分类问题来举个小例子。如图所示 C1和C2是要区分的两个类别,在二维平面中它们的样本如上图所示。中间的直线就是一个分类函数,它可以将两类样本完全分开。一般的,如果一个线性函数能够将样本完全正确的分开,就称这些数原创 2016-09-30 20:52:04 · 526 阅读 · 0 评论 -
2.支持向量机概念详解
1. 支持向量机概念支持向量机(Support VectorMachine)是Cortes和Vapnik于1995年首先提出的,它在解决小样本、非线性及高维模式识别中表现出许多特有的优势,并能够推广应用到函数拟合等其他机器学习问题中[10]。支持向量机方法是建立在统计学习理论的VC 维理论和结构风险最小原理基础上的,根据有限的样本信息在模型的复杂性(即对特定训练样本的学习精度,原创 2016-09-29 22:32:26 · 837 阅读 · 0 评论 -
1.支持向量机简介
1. 支持向量机简介支持向量机方法是建立在统计学习理论的VC维理论和结构风险最小原理基础上的,根据有限的样本信息在模型的复杂性(即对特定训练样本的学习精度)和学习能力(即无错误地识别任意样本的能力)之间寻求最佳折中,以求获得最好的推广能力。2. 总体概述在机器学习中,支持向量机(SVM,还支持矢量网络)是与相关的学习算法有关的监督学习模型,可以分析数据,识别模式原创 2016-09-28 21:50:56 · 957 阅读 · 0 评论 -
支持向量机通俗导论(三)
第三层、证明SVM 说实话,凡是涉及到要证明的东西.理论,便一般不是怎么好惹的东西。绝大部分时候,看懂一个东西不难,但证明一个东西则需要点数学功底,进一步,证明一个东西也不是特别难,难的是从零开始发明创造这个东西的时候,则显艰难(因为任何时代,大部分人的研究所得都不过是基于前人的研究成果,前人所做的是开创性工作,而这往往是最艰难最有价值的,他们被称为真正的先驱。牛顿也曾说过,他不过是站在原创 2016-10-11 12:06:22 · 880 阅读 · 0 评论 -
支持向量机通俗导论(二)
第二层、深入SVM2.1、从线性可分到线性不可分2.1.1、从原始问题到对偶问题的求解 接着考虑之前得到的目标函数: 由于求的最大值相当于求的最小值,所以上述目标函数等价于(w由分母变成分子,从而也有原来的max问题变为min问题,很明显,两者问题等价): 因为现在的目标函数是二次的,约束条件是线性的,所以它是一个凸二次规划问题。这个问题可以原创 2016-10-10 23:09:18 · 955 阅读 · 0 评论 -
LibSVM 在matlab中的使用
搞了一天,看了很多资料,终于搞好了matlab中调用大牛写好的svm库,将结果告诉大家避免以后走弯路。1. 参考网站:libsvm库下载:http://www.csie.ntu.edu.tw/~cjlin/libsvm/视频:http://v.youku.com/v_showMini/id_XMjc2NTY3MzYw_ft_131.html (有小问题,等下会提到)原创 2017-05-13 16:03:55 · 440 阅读 · 0 评论