机器学习中计算学习理论的一些知识

计算学习理论(computational learning theory) 研究的是关于通 过"计算"来进行"学习"的理论，即关于机器学习的理论基础，其目的是分 析学习任务的困难本质，为学习算法提供理论保证，并根据分析结果指导算法 设计.计算学习理论中最基本的是概率近似正确 (Probably Approximately Correct ，简称 PAC) 学习理论

 

 

 

对较为困难的学习问题，目标概念 往往不存在于假设空间对中. 

无论是基于 vc 维还是 Rademacher 复杂度来推导泛化误差界，所得到的 结果均与具体学习算法无关，对所有学习算法都适用.这使得人们能够脱离具 休学习算法的设计来考虑学习问题本身的性质，但在另一方面，若希望获得与 算法有关的分析结果，则需另辟蹊径.稳定性 (stability) 分析是这方面一个值 得关注的方向.顾名思义，算法的"稳定性"考察的是算法在输入发生变化时 输出是否 会随之发生较大的变化.学习算法的输入是训练集，因此下面我们先定义训练、 集的两种变化.