机器学习笔记（周志华）1

第一章 绪论

1.1引言

机器学习致力于研究如何通过计算的手段，利用经验来改善系统自身的性能

机器学习所研究的主要内容，是关于在计算机上从数据中产生“模型”的算法，即“学习算法”

“模型”泛指从数据中学得的结果

1.2基本术语

数据        数据集        示例/样本/特征向量        属性/特征        属性值        属性空间/样本空间/输入空间        维数        学习/训练        训练数据        训练样本        训练集        假设        真相/真实        学习器        样例        标记空间/输出空间        分类        回归        正类        反类        多分类        测试        测试样本        聚类        簇        监督学习        无监督学习        泛化        分布

1.3假设空间

归纳学习

广义的归纳学习大体相当于从样例中学习，狭义的归纳学习则要求从训练数据中学得概念，因此亦称为“概念学习”或“概念形成”

可能有多个假设与训练集一致，即存在着一个与训练集一致的“假设集合”，称之为“版本空间”

1.4归纳偏好

机器学习算法在学习过程中对某种类型假设的偏好，称为“归纳偏好”，简称为“偏好”

“奥卡姆剃刀”是一种常用的，自然科学研究中最基本的原则，即“若有多个假设与观察一致，则选最简单的那个”

“没有免费的午餐”定理（NFL定理）：由于对所有可能函数的相互补偿，最优化算法的性能是等价的。该定理暗指，没有其它任何算法能够比搜索空间的线性列举或者纯随机搜索算法更优。该定理只是定义在有限的搜索空间，对无限搜索空间结论是否成立尚不清楚。  

NFL定理有一个重要前提：所有问题出现的机会相同或者所有问题同等重要

NFL定理最重要的寓意，是让我们清楚地认识到，脱离具体问题，空泛的谈论什么学习算法最好毫无意义

1.5发展历程

机器学习划分为“机械学习”“示教学习”“类比学习”“归纳学习”

符号主义学习，其代表包括决策树和基于逻辑的学习（著名代表是归纳逻辑程序设计ILP）

基于神经网络的连接主义学习        “黑箱”模型        BP算法

统计学习，代表技术是支持向量机（SVM）以及更一般的“核方法”

深度学习，狭义地说就是很多层的神经网络

1.6应用现状

计算机视觉，自然语言处理