第六章 信息的度量和作用
1 信息熵从一个角度可以认为信息量就等于不确定性的多少。
信息熵(Entropy),一般用符号H表示,单位是比特。
熵的定义:
变量的不确定性越大,熵也就越大。
文中有个关于冗余度的:重复的内容很多,信息量就小,冗余度就大。
2 信息的作用
一个事物内部会存有随机性,也就是不确定性:U。引入信息 I 消除不确定性,而信息量取决于U的大小。当 I < U 时,可以消除一部分不确定性,也就是说新的不确定性:U’ = U - I 。
条件熵
假设X和Y是两个随机变量,已知X的随机分布P(X),那么也就知道了X的熵。现在还知道Y和X的联合概率密度,以及在Y取不同值的前提下X的概率分布,即条件概率分布。定义在Y的条件下的条件熵为:
H(X) >= H(X丨Y),也就是说多了Y的信息之后,关于X的不确定性下降了。在统计语言模型中,如果把Y看成是前一个字,那么在数学上就证明了二元模型的不确定性小于一元模型。同理,三元模型比二元好。(用条件熵解释了模型复杂度)
信息的作用在于消除不确定性,NLP的大量问题就是寻找相关的信息
笔记
最新推荐文章于 2024-08-21 00:00:00 发布