机器学习之专业术语

标签: Machine Learning
11人阅读 评论(0) 收藏 举报
分类:

训练集用来估计模型

验证集用来确定网络结构或者控制模型复杂程度的参数,

测试集则检验最终选择最优的模型的性能如何。

一个典型的划分是训练集占总样本的50%,而其它各占25%,三部分都是从样本中随机抽取。

但是,当样本总量少的时候,上面的划分就不合适了。常用的是留少部分做测试集。然后对其余N个样本采用K折交叉验证法。就是将样本打乱,然后均匀分成K份,轮流选择其中K-1份训练,剩余的一份做验证,计算预测误差平方和,最后把K次的预测误差平方和再做平均作为选择最优模型结构的依据。特别的K取N,就是留一法(leave one out)。

Q1:训练集,验证集,测试集的准确率都很高,但是用于实际中进行预测时,效果不理想,分析可能存在的原因

数据集过小,集合的选择没有反映出普遍的特征。

训练集,测试集和验证集的内容一致性高,在训练集,测试集和验证集上都发生了过拟合。

特征工程指的是把原始数据转变为模型的训练数据的过程,目的就是获取更好的训练数据特征,使得机器学习模型逼近这个上限,一般认为包括特征构建、特征提取、特征选择三个部分。

其中特征提取这一步有LDA线性判别分析(降维),PCA(主成分分析),特征选择之后可用LDA进行降维。

Kernel通过将映射的内积进行数学变换,变成直接用x,z进行计算的函数关系,从而避免计算复杂的映射,来达到简化高维内积运算的目的。

奇异值分解(SVD)不光可以用于降维算法中的特征分解,还可以用于推荐系统,以及自然语言处理等领域,SVD可用于PCA(主成分分析,除LDA外的另一种降维方法)。

过拟合:

Q:用什么方法可以防止过拟合问题?

(1)可以使用正则化来防止过拟合,在bias和variance之间得以balance。

bias:指训练模型中,测试集的预测结果和真实值之间的误差,通常用损失函数来表示。

variance:模型训练完成后,实际使用中预测结果和实际值之间的偏差,通常我们用平方误差来表示。


红框里的即为正则项

(2)减少feature个数

(3)数据的扩充

(4)提前终止



查看评论

机器学习专业术语(Google)

  • 2018年03月20日 16:42
  • 7.87MB
  • 下载

机器学习(一) - - 基本术语

《机器学习》周志华 清华大学出版社 读书笔记(一)- - 基本术语
  • zmdsjtu
  • zmdsjtu
  • 2016-09-28 10:30:38
  • 2960

NLP专业术语

hyper-parameters:在训练模型时,有些参数是需要手动设置的,每个参数有一个可选的范围或者列表可供训练,可以调用sklearn的GridSearchCV函数来自动统计搜索。http://b...
  • yiqingyang2012
  • yiqingyang2012
  • 2016-11-10 22:22:30
  • 357

《机器学习》基本术语标准翻译总结:第1章

本文是笔者在看完周志华教授的《机器学习》教材后,对基本术语翻译的一些总结: machine learning:机器学习 learning algorithm:学习算法 ...
  • pfjgeng
  • pfjgeng
  • 2017-06-19 14:41:35
  • 588

IC专业术语.doc

  • 2010年05月27日 18:35
  • 731KB
  • 下载

对软件测试专业术语的一个总结归纳。

这篇文章是对专业术语的一个整理。资料解释等来自于网络,方便于大家了解软件测试的基本术语。 1.黑盒测试:  黑盒测试也称功能测试,它是通过测试来检测每个功能是否都能正常使用。在测试中,把程...
  • Hello_Doer
  • Hello_Doer
  • 2016-07-15 16:00:13
  • 2746

工作中的专业术语

测试 后台环境
  • yager0203
  • yager0203
  • 2017-09-03 13:21:15
  • 141

Internet常用术语及含义

WWW 是 World Wide Web (环球信息网)的缩写,也可以简称为 Web,中文名字为“万维网”。它起源于1989年3月,由欧洲量子物理实验室 CERN(the European Labor...
  • H12KJGJ
  • H12KJGJ
  • 2017-06-18 16:52:34
  • 235

GIS ArcGIS 常见 名词 专业 术语 解释

  • 2013年03月11日 16:44
  • 34KB
  • 下载

电池专业术语解析 中文

  • 2010年05月12日 09:45
  • 501KB
  • 下载
    个人资料
    持之以恒
    等级:
    访问量: 360
    积分: 201
    排名: 99万+
    文章存档
    最新评论