计算学习理论(computational learning theory) 研究的是关于通 过"计算"来进行"学习"的理论,即关于机器学习的理论基础,其目的是分 析学习任务的困难本质,为学习算法提供理论保证,并根据分析结果指导算法 设计.计算学习理论中最基本的是概率近似正确 (Probably Approximately Correct ,简称 PAC) 学习理论
对较为困难的学习问题,目标概念 往往不存在于假设空间对中.
无论是基于 vc 维还是 Rademacher 复杂度来推导泛化误差界,所得到的 结果均与具体学习算法无关,对所有学习算法都适用.这使得人们能够脱离具 休学习算法的设计来考虑学习问题本身的性质,但在另一方面,若希望获得与 算法有关的分析结果,则需另辟蹊径.稳定性 (stability) 分析是这方面一个值 得关注的方向.顾名思义,算法的"稳定性"考察的是算法在输入发生变化时 输出是否 会随之发生较大的变化.学习算法的输入是训练集,因此下面我们先定义训练、 集的两种变化.