第二章-信源与信息熵（二）

接上一节  第二章-信源与信息熵（一）

 

2.3 离散序列信源的熵

简介

1.        离散无记忆序列信源

a)        离散无记忆信源的序列熵

b)        离散无记忆信源的符号熵

2.        离散有记忆序列信源

a)        平稳信源

                        i.             序列熵

                      ii.             符号熵

b)        马尔可夫信源

                        i.             序列熵

                      ii.             符号熵

3.        从最简单的离散无记忆序列→平稳序列→马氏序列

4.        无记忆

a)        简单

5.        有记忆

a)        无限记忆

b)        有限记忆

                        i.             马尔可夫信源

1.        广泛出现在计算机、通讯、自动控制、随机服务、可靠性、生物学、经济、管理、教育、气象、物理、化学等众多领域

2.        Markov Process 的最简单的两种类型

a)        离散时间离散状态Markov链：本书

b)        连续时间离散状态Markov链

一．离散无记忆序列信源的熵

序列熵

平均每个符号熵（消息熵）

离散无记忆序列符号熵 = 序列熵的算术平均值

 

二．离散有记忆序列信源的熵

离散有记忆信源的序列熵和消息熵

先考虑平稳序列

 

三．平稳信源

定义：若信源产生的随机序列

满足

a)        所有X_i都取值于有限的信源符号集A=(a₁,a₂,…,a_q)

b)        A中每个状态是离散的、状态明晰的

c)        随机序列是平稳的，即对所有非负整数