==>第四范式 偏差&方差

1.当训练样本数量趋向于无穷大时，在该数据集上训练的模型变化趋势，对于其描述正确的是（偏差不变）

解析：产生偏差的主要原因是无法拟合数据，可以通过选择一个新的网络（更复杂的网络）、延长训练时间或者使用更先进的算法等减小偏差。使用更多的数据可以使方差变小，而不是偏差。

 

偏差：描述的是预测值（估计值）的期望与真实值之间的差距(即预测值均值 偏离 真实值的程度)。偏差越大，越偏离真实数据，如下图第二行所示。     ===>预测均值相对于真实值

方差：描述的是预测值的变化范围，离散程度，也就是离其期望值的距离(即预测值 偏离 预测值均值的程度)。方差越大，数据的分布越分散，如下图右列所示。     ===>预测值相对于平均值

预测值最好想平均预测值靠拢 =>方差减小             平均预测值最好向真实值靠拢==>偏差

 

泛华误差=方差+偏差平方+固有噪音

---

 

 

 

---

以上图为例：
1. 左上的模型偏差最大，右下的模型偏差最小；   拟合程度好的偏差小
2. 左上的模型方差最小，右下的模型方差最大（根据上面红字的解释这里就很好理解了）:模型越复杂方差会越大

一般来说，偏差、方差和模型的复杂度之间的关系是这样的：

 

 

 

总结:偏差与训练程度即模型的复杂度有关       ,拟合能力不够强偏差大 方差小

        因为数据扰动不会对模型造成干扰模型变复杂时,过拟合数据的轻微扰动 都有可能使模型发生变化  模型之间的偏离程度大

         噪音:问题本身的难度

参数w变大，使模型变得更复杂（即过拟合情况），拟合的更好，故偏差会变小；而对于数据的扰动会更加敏感，所以方差会变大。

 

偏差.

偏差度量了学习算法的期望预测与真实结果的偏离程序, 即 刻画了学习算法本身的拟合能力 .

方差.

方差度量了同样大小的训练集的变动所导致的学习性能的变化, 即 刻画了数据扰动所造成的影响 .

噪声.

噪声表达了在当前任务上任何学习算法所能达到的期望泛化误差的下界, 即 刻画了学习问题本身的难度 . 巧妇难为无米之炊, 给一堆很差的食材, 要想做出一顿美味, 肯定是很有难度的.

 

泛化性能:学习算法的能力  数据的充分性  学习任务本身的难度共同决定