互信息的理解

互信息指的是两个随机变量之间的关联程度，即给定一个随机变量后，另一个随机变量不确定性的削弱程度，因而互信息取值最小为0，意味着给定一个随机变量对确定一另一个随机变量没有关系，最大取值为随机变量的熵，意味着给定一个随机变量，能完全消除另一个随机变量的不确定性

这是我在知乎上看到我最想要的结果。 我怕自己下次又找，所以写了这个博客    
感谢知乎作者：maple
链接：https://www.zhihu.com/question/24059517/answer/37430101

来源：知乎

以及这位作者给出的关于      互信息的理解      文章中给出了公式推导