第二章-信源与信息熵（三）

接上一节  第二章-信源与信息熵（二）

 

2.4 连续信源的熵与互信息

1.        实际中，连续信源

a)        幅度连续

b)        时间或频率上也连续

2.        统计特性

a)        概率密度函数

3.        用离散变量来逼近连续变量

连续信源熵

1.       定义

连续信源的状态概率用概率密度来表示。如果连续随机变量X，取值为实数域R，其概率密度函数为p(x)，则

如果取值为有限实数域[a,b]，则

 

X的概率分布函数为

利用离散信源熵的概念来定义连续信源熵

设一在[a,b]取间的连续随机变量

把X的取值区间[a,b]分割为n个小区间，小区间宽度为