机器学习实战----信息增益、信息增益率和基尼指数

一 什么是信息熵

对信息的一种度量。

物品可以用重量度量，长度可以用尺子度量。那信息用什么度量呢？《机器学习实战》这本书的信息量是多少呢？用什么度量呢？直到1948年香农提出了“信息熵”的概念，才解决了对信息的量化度量问题。信息熵是消除不确定性所需信息量的度量。一件事情的信息熵越高说明它需要的信息越多，来消除它的不确定性。

二  信息增益

1 概念解析

通过名字也能猜测出来，添加了信息之后能增加多少收益。也就是说增加信息之后能减少多少不确定性。

条件熵：H(X|A) 在已知随机变量A的条件下随机变量Y的不确定性。

信息增益：特征A对数据集D的信息增益g(D,A),定义为集合D的经验熵H(D)与特征A给定的条件下D的经验熵H(D|A)之差

g(X,A)=H(X)-H(X|A)。由于特征A而使得对数据D的分类的不确定性减少的程度。显然，对于数据集而言，信息增益依赖于特征，不同的特征往往具有不同的信息增益，信息增益大的特征具有更强的分类能力。

2 举例计算