cnn-过拟合(over-fitting)

概念

为了得到一致假设而使假设变得过度严格称为过拟合[1]

给定一个假设空间H，一个假设h属于H，如果存在其他的假设h’属于H,使得在训练样例上h的错误率比h’小，但在整个实例分布上h’比h的错误率小，那么就说假设h过度拟合训练数据。

 

过拟合的示意图：

在上图中训练样本存在噪声，为了照顾它们，分类曲线的形状非常复杂，导致在真实测试时会产生错分类.

直白理解：在神经网络中，首先根据训练数据集进行训练，训练结果的好坏，通过一个损失函数的对预测值和实际真实值进行判断，当预测值和真实值对比，损失最小时，即拟合的很好，则训练的结果OK，如上图，蓝色的分类和红色的分类，通过复杂的曲线，完全在训练集上分类准确。其实用这个曲线去分类或预测实际（测试）数据集时，则会出现不准确的现象，则这种情况就是过拟合。如下图：

上图a，在训练集上，中间的虚线，已完全分开了小圆点和三角形，但是在测试集上（上图b），虚线还是把原点分类到了三角形这边。

表1 过拟合与欠拟合的判断标准

过拟合原因

（1）建模样本选取有误，如样本数量太少，选样方法错误，样本标签错误等，导致选取的样本数据不足以代表预定的分类规则；

（2）样本噪音干扰过大，使得机器将部分噪音认为是特征从而扰乱了预设的分类规则；

（3）假设的模型无法合理存在，或者说是假设成立的条件实际并不成立；

（4）参数太多，模型复杂度过高ÿ