一致性学习的简单理解

learning consistency
机器学习的一致性到底是什么
谷歌搜索 Learn consistency 后
经典奥卡姆剃刀：‘’解释的时候简单就是有效”的原则

定义

如何判断一个算法是否为一致性学习器

一致的学习算法只需要输出一个与提供给它的所有训练数据一致的假设。
这种一致性的概念与机器学习文献中的经验风险最小化原则密切相关，风险是指 0-1 损失
0-1损失是指预测值和目标值不相等为1, 否则为0。
一致性是学习算法的首要要求之一，也是最低要求之一。
一致性是学习算法的一个渐近特性，它基本上保证了当给定更多的训练数据时，算法返回更好的模型。

分类

分为强一致性，弱一致性和通用一致性。

当训练样本D的大小是N，如果返回模型的风险在概率上收敛到贝叶斯风险，则相对于样本 (X,Y) 的分布是一致性的。
当N趋近于无穷大，收敛趋近于1，则可以称该算法是强一致性。
一方面，一致性意味着当训练样本的大小 N 增加时，绘制训练样本的概率使得返回模型的风险接近可实现的最佳风险 R* 趋于 1。另一方面，强一致性意味着当训练样本的大小增加时，对于该大小的所有可能的训练样本（一组零度量的训练样本除外），返回模型的风险趋向于最佳。

上面定义的算法的一致性（弱或强）仅适用于 (X,Y) 的特定分布，因此只适用于特定问题。但是由于机器学习的核心假设之一是我们没有这种分布的先验知识，因此算法的一致性对于为特定任务选择算法没有太大帮助。在这样一个不可知的假设下，我们需要的是根据算法在大量可能的分布集上是否一致来表征算法。
如果学习算法对于 (X,Y) 的任何分布（强）一致，则称该算法是普遍（强）一致的。