归纳是从特殊到一般的泛化过程,即从事实归结出一般性规律。
演绎是从一般到特殊的特化过程,即基础原理推演出具体状况。
从样例中学习是一个归纳过程,亦称为归纳学习。
归纳学习有广义与狭义之分,广义的归纳学习相当于从样例中学习,狭义的归纳学习要从训练数据中学得概念,因此称为概念学习或概念形成。
概念学习中最基本的是布尔概念学习,即分为是与不是,举一个简单的例子
碗的数据集
编号 | 色泽 | 裂纹 | 敲声 | 好碗 |
1 | 光亮 | 无 | 清脆 | 是 |
2 | 阴暗 | 无 | 闷重 | 否 |
3 | 光亮 | 较少 | 清脆 | 是 |
4 | 阴暗 | 较多 | 浑浊 | 否 |
这里主要分好碗与不好的碗,我们的任务是把三种属性值确定下来,来分别一个碗是否是好碗。其中,记住训练样本,就是所谓的
机械学习,或称死记硬背学习。这里的三种属性可以分别区不同的值,加上假设没有好瓜这种空集,假设空间的规模大小为4*4*4+1=65.在对这个假设空间进行搜索时,不断删除与正例不一致或与反例一致的假设,最终将会获得与训练集一致的假设,即对所有样本都能进行判断,这是我们学得的结果。
在现实问题中,我们会面临很大的假设空间,其中会有一组与训练集合相一致的假设集合,称为
版本空间。