【深度学习-基尼值与基尼系数增益构建决策树】

---

前言

在决策树排序过程中，可以根据基尼值和基尼系数增益来确定哪些特征需要先决策、哪些后决策，构建一棵最有的决策树。

---

一、基尼值、基尼系数增益计算公式

基尼值：从数据集中随机抽取两个样本，其类别标记不一致的概率，基尼值越小，数据集纯度越高。
$$Gini(D)=\sum _{k=1}^y\sum _{k^{\prime }\ne k}{p}_k{p}_k^{\prime }=1-\sum _{k=1}^y{p}_k^2$$
基尼指数：选择使划分后基尼系数最小的属性作为最优化分属性
$$Gini\_index(D,a)=\sum _{v=1}^V\frac{|D^v|}{|D|}Gini(D^v)$$

基尼增益：选择基尼增益最大的点进行优化划分

二、案例

1.引入是否拖欠贷款数据

2.计算基尼值和基尼指数

1.开始将所有记录看做是一个节点，此时拖欠贷款的数量是3，不拖欠贷款的数量是7，因此
$$Gini(D)=1-(\frac{3}{10}{)}^2-(\frac{7}{10}{)}^2=0.42$$
2、遍历每个变量的每一种分割方式，找到最好的分割点

基于是否有房,有两个分类（有房、无房），见下表

	有房	没房	总数
拖欠贷款	0	3	3
不拖欠贷款	3	4	7

有房的基尼系数增益
$$Gini(有房)=1-(\frac{0}{3}{)}^2-(\frac{3}{3}{)}^2=0$$

无房的基尼系数增益
$$Gini(无房)=1-(\frac{3}{7}{)}^2-(\frac{4}{7}{)}^2=0.4898$$
是否有房的基尼系数增益
{ 是否有房 } = 0.42 − 7 10 ∗ 0.4898 − 3 10 ∗ 0 = 0.077 \{是否有房\}=0.42-\frac{7}{10}*0.4898-\frac{3}{10}*0=0.077 {是否有房}=0.42−107​∗0.4898−103​∗0=0.077
基于婚姻状况,有三个分类（单身、已婚、离婚），见下表

(1)已婚：

	已婚	其他	总数
拖欠贷款	0	3	3
不拖欠贷款	4	3	7

$$Gini(已婚)=1-(\frac{0}{4}{)}^2-(\frac{4}{4}{)}^2=0$$
$$Gini(其他)=1-(\frac{3}{6}{)}^2-(\frac{3}{6}{)}^2=0.5$$
$$Gini(已婚、其他)=0.42-\frac{4}{10}\ast 0-\frac{6}{10}\ast 0.5=0.12$$

(2)单身：

	单身	其他	总数
拖欠贷款	2	1	3
不拖欠贷款	2	5	7

$$Gini(单身)=1-(\frac{2}{4}{)}^2-(\frac{2}{4}{)}^2=0.5$$
$$Gini(其他)=1-(\frac{1}{6}{)}^2-(\frac{5}{6}{)}^2=0.27$$
$$Gini(单身、其他)=0.42-\frac{4}{10}\ast 0.5-\frac{6}{10}\ast 0.27=0.058$$

(3)离婚：

	离婚	其他	总数
拖欠贷款	1	2	3
不拖欠贷款	1	6	7

$$Gini(离婚)=1-(\frac{1}{2}{)}^2-(\frac{1}{2}{)}^2=0.5$$
$$Gini(其他)=1-(\frac{2}{8}{)}^2-(\frac{6}{8}{)}^2=0.375$$
$$Gini(离婚、其他)=0.42-\frac{2}{10}\ast 0.5-\frac{8}{10}\ast 0.27=0.104$$

取 $Gini$ 的最大值，即 $Gini(已婚、其他)=0.12$

基于收入情况,是一个连续值，因此需要对该特征进行处理，按照升序排列，见下表

是否拖欠贷款	no	no	no	yes	yes	yes	no	no	no	no
收入	60	70	75	85	90	95	100	120	125	220
相邻中值点	65	72.5	80	87.7	92.5	97.5	110	122.5	172.5
$Gini$ 系数增益	0.02	0.045	0.077	0.003	0.02	0.12	0.077	0.045	0.02

通过计算，$Gini$ 的最大值为0.12，因此在决策树排序时可以按照婚姻状况或者收入来进行决策，这里选择婚姻状况首先来决策。比如：

---

总结

本文主要介绍了如果使用基尼系数增益来构建决策树，针对相同系数增益的特征可以随意选择一种特征，当特征选择完成之后，需要根据已经重新分类的特征重新计算基尼系数，最终基于所有特征完成决策树的构建