结构风险最小化

经验风险用损失函数来计算。对于模式识别问题的损失函数来说，经验风险就是训练样本错误率。
结构风险最小化原则实际风险由两部分组成：经验风险(训练误差)和VC置信范围(VC confidence)：学习机器的VC维及训练样本数有关。 VC维反映了函数集的学习能力，VC维越大则学习机器越复杂(容量越大)。

结构风险最小化(SRM)的基本思想：
所谓的结构风险最小化就是在保证分类精度（经验风险）的同时，降低学习机器的 VC 维，可以使学习机器在整个样本集上的期望风险得到控制。

结构风险公式：

统计学习理论提出了一种新的策略,即把函数集构造为一个函数子集序列,使各个子集按照VC维的大小排列;在每个子集中寻找最小经验风险,在子集间折衷考虑经验风险和置信范围,取得实际风险的最小。这种思想称作结构风险最小化(Structural Risk Minimization)，即SRM准则。

在有限训练样本下，学习机器的VC维越高则置信范围越大,真实风险与经验风险之间可能的差别越大.这就是为什么会出现过学习现象的原因。
人工神经网络，优化目标是基于经验风险最小化，易陷入局部最优，训练结果不太稳定，一般需要大样本；而支持向量机有严格的理论和数学基础，基于结构风险最小化原则, 泛化能力优于前者，算法具有全局最优性, 是针对小样本统计的理论。