第二章-信源与信息熵（一）

—  主要内容

1.       信源的分类与描述

2.       离散信源的信息熵和互信息

3.       离散序列信源的熵

4.       连续信源的熵与互信息

5.       冗余度

2.1 信源的分类与描述

—  信源的定义

产生消息（符号）、消息序列和连续消息的来源。

信源的基本特性是具有随机不确定性

l  分类

1.       时间           离散                连续

2.       幅度           离散                连续

3.       记忆           有                   无

n  介绍三类信源

Ø  单符号离散信源

Ø  符号序列信源（有记忆和无记忆）

Ø  连续信源

一．单符号离散信源

单符号离散信源：用随机变量X来描述

X的概率空间

 

二．符号序列信源

离散序列信源：用随机向量X^L描述

以3位PCM信源为例

三．连续信源

连续信源：用随机过程x(t)描述

p_x(x)不再是概率分布，而是概率密度分布函数

 

2.2 离散信源熵与互信息

—  信息量

自信息→平均自信息→符号熵

联合自信息→平均联合自信息→联合熵

条件自信息量→平均条件自信息→条件熵

—  单符号离散信源熵

符号熵

条件熵

联合熵

一．自信息量

1.      定义

对于给定的离散概率空间表示的信源，x=x_i事件所对应的（自）信息为

I(x_i) = - logp(x_i)

以2为底，单位为比特（bit)

以e为底，单位为奈特（nat)

1nat=1.433bit

以10为底，单位为笛特（det)

1det=3.322bit

 

2.      性质

u  两种特殊情况

l  p(xi)=1，确定事件，信息量I(xi)=0

l  p(xi)=0 ，I(xi)=无穷，