笔记

第六章 信息的度量和作用
1 信息熵从一个角度可以认为信息量就等于不确定性的多少。
信息熵（Entropy）,一般用符号H表示，单位是比特。
熵的定义:

变量的不确定性越大，熵也就越大。
文中有个关于冗余度的：重复的内容很多，信息量就小，冗余度就大。
2 信息的作用

一个事物内部会存有随机性，也就是不确定性：U。引入信息 I 消除不确定性,而信息量取决于U的大小。当 I < U 时，可以消除一部分不确定性，也就是说新的不确定性：U’ = U - I 。
条件熵
假设X和Y是两个随机变量，已知X的随机分布P(X),那么也就知道了X的熵。现在还知道Y和X的联合概率密度，以及在Y取不同值的前提下X的概率分布，即条件概率分布。定义在Y的条件下的条件熵为：

H(X) >= H(X丨Y)，也就是说多了Y的信息之后，关于X的不确定性下降了。在统计语言模型中，如果把Y看成是前一个字，那么在数学上就证明了二元模型的不确定性小于一元模型。同理，三元模型比二元好。（用条件熵解释了模型复杂度）
信息的作用在于消除不确定性，NLP的大量问题就是寻找相关的信息