过拟合
过拟合是指学习时选择的模型所包含的参数过多,以至于出现这一对已知数据预测得很好,但对位置数据预测得含茶的现象。 即对训练数据预测得好,对测试数据预测得差的现象。
过拟合出现的情况:
1:样本容量很小时,
2:选择的模型所包含的参数过多。
两种常用的模型选择方法:正则化、交叉验证。
正则化是模型结构风险最小化策略的实现。
正则化项一般是模型复杂度的单调递增函数,模型越复杂,正则化值就越大。
正则化的作用是选择经验风险与模型复杂度同时较小的模型。
交叉验证:
给定的样本数据充足时,将样本分成三部分:训练集、验证集、测试集。
训练集用于训练模型,验证集用于模型的选择,测试机用于 最终对学习方法的评估。但是在实际应用中数据是不充足的,为了选择好的模型,可以采用交叉验证的方法。
决策树:
决策树的学习通常包括三个步骤:特征选择、决策树的生成、决策树的修剪。
ID3算法、C4.5、CART算法。
其中,ID3算法:用信息增益来选择特征;只有树的生成,容易产生过拟合。
C4.5对ID3算法进行了改进,在生成的过程中国,用信息增益比来选择特征。
特征选择:选取对训练数据具有分类能力的特征。目的:提高决策树学习的效率。
通常的特征选择的准则是信息增益或信息增益比。
信息增益:
熵(entropy)
是表示随机变量不确定性的度量。
设随机变量X是一个取有限个值的离散随机变量,其概率分布为:
P(X=xi)=pi P ( X = x i ) = p i , i=1,2,...,n i = 1 , 2 , . . . , n
则随机变量X的熵的定义为:
H(X)=−∑i=1npilogpi H ( X ) = − ∑ i = 1 n p i log p i
式中对数以2为底或以e为底,这时熵的单位分别称作比特(bit) 或者纳特(nat).
有定义可知,熵只依赖于X的分布,而与X的取值无关,所以也可以将X的熵记作 H(p) H ( p ) ,即:
H(p)=−∑i=1npilogpi H ( p ) = − ∑ i = 1 n p i log p i
熵越大,随机变量的不确定性就越大。从定义可以验证:
0≤H(p)≤logn 0 ≤ H ( p ) ≤ log n
当随机变量只取两个值,例如1,0时,X的分布为:
P(X=1)=p P ( X = 1 ) = p , P(X=0)=1−p P ( X = 0 ) = 1 − p , 0≤p≤1 0 ≤ p ≤ 1
熵为:
H(p)=−plog2p−(1−p)log2(1−p) H ( p ) = − p l o g 2 p − ( 1 − p ) l o g 2 ( 1 − p )
这时,熵 H(p)