信息论学习
学堂在线信息论学习笔记心得,欢迎讨论,来自https://next.xuetangx.com/learn/THU08071000428/THU08071000428/1515671/video/1352169
-
条件熵和联合熵
H ( X , Y ∣ Z ) = H ( X ∣ Z ) + H ( Y ∣ X , Z ) H(X,Y|Z) = H(X|Z) + H(Y|X,Z) H(X,Y∣Z)=H(X∣Z)+H(Y∣X,Z) -
互信息基本性质
- 对称性
X,Y颠倒位置相等 - 非负性
肯定大于等于零 - 级值性
互信息不可能比自身还大 - 可加性
- 对称性
-
例题
- 题目:25个铜币有一枚质量不同,通过天平最少能称量出的次数是多少
- Achievability
利用小学的知识可以知道,可以实现3次就得到结果 - Converse(英文,逆的)
证明3次是不是最少的次数
H ( X ) = log 2 25 H(X)=\log_{_2}25 H(X)=log225 25个可能性均匀分布
I ( X n , X ) ≤ H ( X n ) ≤ n ∗ H ( X ) I(X{^n},X) \leq H(X^n) \leq n*H(X) I(Xn,X)≤H(Xn)≤n∗H(X)
≤ n ∗ l o g 2 3 \leq n*log_{_2}3 ≤n∗log23 称量时候左偏 右偏 不偏三种
进行n次实验得到的互信息 超过 H ( X ) H(X) H(X)的不确定性的信息量
所以 n ∗ l o g 2 3 ≥ l o g 2 25 n*log_{_2}3\geq log_{_2}25 n∗log23≥log225
解得 n ≥ 2.9299 n\geq2.9299 n≥2.9299
-
鉴别信息(信息散度,度量距离)
- 鉴别信息不满足对称性和三角不等式关系
- 建立熵和鉴别信息之间的关系,等概分布信息量减去 等概分布到实际分布之间的距离剩下的就是这个香农熵
- 建立鉴别信息和互信息之间的关系
-
凸集,连一条线中间的数都在集合里就是凸集,整数就不是凸集,1和2之间还有其他的数
-
Jensen不等式,为下边证明做准备
-
通过上边的不等式可以得到鉴别信息是下凸的函数
-
熵函数是上凸的,因为H = log|X| - D,D是下凸的,所以H是上凸的
-
I(X,Y)也是上凸的
-
Fano不等式 P e P_e Pe是平均错码概率
-
因为一个有理数如果一直写的话(像pi)一定是无穷 的,所以包含的信息量是无穷大的
对于微分熵来说
忽略了后边无穷大的项
所以有可能会是负数的
高斯分布时候的微分熵
若给定均值和方差时候,当服从高斯分布时候微分熵最大 -
香农第一定理