![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
文章平均质量分 87
zhoutongchi
这个作者很懒,什么都没留下…
展开
-
规则化和模型选择(Regularization and model selection)
规则化和模型选择(Regularization and model selection)1 问题模型选择问题:对于一个学习问题,可以有多种模型选择。比如要拟合一组样本点,可以使用线性回归,也可以用多项式回归。那么使用哪种模型好呢(能够在偏差和方差之间达到平衡最优)?还有一类参数选择问题:如果我们想使用带权值的回归模型,那么怎么选择权重w公式里的参数?形式化定义:假设转载 2012-12-26 16:06:45 · 723 阅读 · 0 评论 -
Stanford Online Machine Learning 学习笔记1——单变量线性回归
TomMitchell 对机器学习的定义是:Acomputer program is said to learn from experience E, with respect to some taskT, and some performance measure P, if its performance on T, as measuredby P, improves with experie转载 2012-12-30 13:56:10 · 576 阅读 · 0 评论 -
支持向量机(五)SMO算法
支持向量机(五)SMO算法11 SMO优化算法(Sequential minimal optimization)SMO算法由Microsoft Research的John C. Platt在1998年提出,并成为最快的二次规划优化算法,特别针对线性SVM和数据稀疏时性能更优。关于SMO最好的资料就是他本人写的《Sequential Minimal Optimization A转载 2012-12-26 16:23:59 · 476 阅读 · 0 评论 -
支持向量机SVM(二)
支持向量机SVM(二)【转载请注明出处】http://www.cnblogs.com/jerrylead6 拉格朗日对偶(Lagrange duality)先抛开上面的二次规划问题,先来看看存在等式约束的极值问题求法,比如下面的最优化问题: 目标函数是f(w),下面是等式约束。通常解法是引入拉格朗日算子,这里使用来表示算子,得到拉格朗日公式为L是等式转载 2012-12-26 16:22:00 · 449 阅读 · 0 评论 -
支持向量机(三)核函数
支持向量机(三)核函数7 核函数(Kernels) 考虑我们最初在“线性回归”中提出的问题,特征是房子的面积x,这里的x是实数,结果y是房子的价格。假设我们从样本点的分布中看到x和y符合3次曲线,那么我们希望使用x的三次多项式来逼近这些样本点。那么首先需要将特征x扩展到三维,然后寻找特征和结果之间的模型。我们将这种特征变换称作特征映射(feature mapping)。映射函数转载 2012-12-26 16:22:44 · 629 阅读 · 0 评论 -
支持向量机SVM(一)
支持向量机SVM(一)【转载请注明出处】http://www.cnblogs.com/jerrylead1 简介支持向量机基本上是最好的有监督学习算法了。最开始接触SVM是去年暑假的时候,老师要求交《统计学习理论》的报告,那时去网上下了一份入门教程,里面讲的很通俗,当时只是大致了解了一些相关概念。这次斯坦福提供的学习材料,让我重新学习了一些SVM知识。我看很多正统的讲法都是从V转载 2012-12-26 16:21:11 · 510 阅读 · 0 评论 -
迁移学习(Transfer learning)
在机器学习领域,迁移学习(Transfer learning)是一个比较新的名词。目前国内做这个方面的很少,我目前只知道香港科技大学杨强教授及上海交大的机器学习小组在从事这方面的研究,近几年他们已经取得大量的成果,发表了十几篇AI领域顶级的会议论文,着实让我崇拜不已。接下来的研究生活,偶希望能循着他们的足迹慢慢摸索!Qiang Yanghttp://www.cse.ust.hk/~qyan转载 2012-12-12 19:42:31 · 2903 阅读 · 0 评论 -
支持向量机(四)
支持向量机(四)9 规则化和不可分情况处理(Regularization and the non-separable case)我们之前讨论的情况都是建立在样例线性可分的假设上,当样例线性不可分时,我们可以尝试使用核函数来将特征映射到高维,这样很可能就可分了。然而,映射后我们也不能100%保证可分。那怎么办呢,我们需要将模型进行调整,以保证在不可分的情况下,也能够尽可能地找出分转载 2012-12-26 16:23:17 · 520 阅读 · 0 评论 -
对线性回归,logistic回归和一般回归的认识
对线性回归,logistic回归和一般回归的认识【转载时请注明来源】:http://www.cnblogs.com/jerryleadJerryLead 2011年2月27日 作为一个机器学习初学者,认识有限,表述也多有错误,望大家多多批评指正。 1 摘要本报告是在学习斯坦福大学机器学习课程前四节加上配套的讲义后的总结与认识。前四节主要讲述了回归问题,回归属于有转载 2012-12-26 16:19:45 · 574 阅读 · 0 评论 -
Dictionary Learning Tools for Matlab
Dictionary Learning Tools for Matlab.Karl Skretting, University of Stavanger.http://www.ux.uis.no/~karlsk/dle/index.htmlContents on this page:Relevant papers and links翻译 2013-03-21 21:56:04 · 3862 阅读 · 0 评论