【信息论】信道与信道容量（一）

第3章信道与信道容量

l  信道的数学模型及其分类

l  离散单个符号信道及其容量

l  离散序列信道及其容量

l  连续信道及其容量

 

一．信道的数学模型

1.        信道

信息传输的媒介或通道

2.        信道的主要问题

a)        信道的建模：其统计特性的描述

b)        信道传输信息的能力及其计算

c)        有噪信道中能不能实现可靠才传输？怎么实现？

3.        信道输入输出个数

单用户、多用户

4.        输入端和输出端关系

无反馈、有反馈

5.        噪声种类

随机差错、突发差错

6.        输入输出事件的时间特性和集合的特点

a)        离散信道：输入、输出的时间、幅度上都离散

b)        连续信道：幅度连续，时间离散

c)        半连续：输入和输出一个离散一个连续

d)        波形信道：输入和输出都是连续随机信号，时间连续，幅度连续

7.        信道参数与时间的关系

恒参、随参

8.        按信道接入方式分

a)        多元接入信道

b)        广播信道

9.        根据信道的记忆特性

a)        无记忆信道：信道输出仅与当前的输入有关

b)        有记忆信道：信道输出不仅与当前输入有关，还与过去的输入有关

10.    信道参数

1)        输入矢量X=(x1,x2,…,xi,…)， 

xi∈A={a1,a2,…,an}

2)        输出矢量Y=(y1,y2,…,yi,…)，

yj∈B={b1,b2,…,bm}

3)        信道参数

a)        输入输出之间的统计依赖关系p(Y/X)

b)        信道转移概率

4)        本章介绍

a)        无干扰信道

b)        有干扰无记忆信道

c)        有干扰有记忆信道

二．信道

1. 无干扰信道

信道中不存在随机干扰或者随机干扰很小可以略去不计，信道的输出信号Y与输入信号X之间有确定的关系Y=f(X)。已知X后，确知Y，此时，转移概率为

2. 有干扰无记忆信道

（1）.概念

信道中存在随机干扰，输出符号与输入符号之间无确定的对应关系，但是，信道中任一时刻的输出符号仅统计依赖于对应时刻的输入符号

无记忆：每个输出只与当前输入之间有转移概率关系，与其他非该时刻的输入、输出都无关

问题简化

不需要矢量形式，只需分析单个符号的转移概率p(yj/xi)即可

（2）.种类

1)        二进制离散信道BSC

输出比特仅与对应时刻的一个输入比特有关，与以前的输入比特无关

2)        离散无记忆信道DMC（Discrete memoryless channel）

对任意N长的输入、输出序列，有

在任何时刻信道的输出只与此时的信道输入有关，而与以前的输入无关

还满足

 

即，转移概率不随时间变化，平稳的或恒参

DMC的转移概率矩阵

3)        离散输入、连续输出信道

有限的、离散的输入符号集X∈{a1,a2,…,an}，输出未经量化，实轴上的任意值Y∈{-∞, ∞}

离散时间无记忆信道，其特性由离散输入X、连续输出Y、一组条件概率密度函数PY(y/X=ai)决定。

特例：

加性高斯白噪声AWGN信道Y=X+G

G：白噪声，(0,σ2)

当X=ai给定后，Y是一个均值为ai，方差为σ2的高斯随机变量

4)        波形信道

信道的输入输出：取值连续的一维随机过程{x(t)}和{y(t)}，带宽受限fm 、观察时间受限tB

离散化，L=2*fm* tB

时间离散、取值连续的平稳随机序列X=(X1,X2,…,XL)和Y=(Y1,Y2,…,YL)

波形信道→多维连续信道

多维连续信道转移密度函数

   pY(y/x)=pY (y1,y2,…,yL/x1,x2,…,xL)

Ø  考虑AWGN信道

y(t)=x(t)+n(t) 信号和噪声相互独立

   pX,Y(x,y)=pX,n(x,n)=pX(x)*pn(n)

则

信道的转移概率密度函数=噪声的概率密度函数

Ø  说明：条件熵Hc(Y/X)是由噪声引起的，等于噪声熵Hc(n)，所以它被称为噪声熵。

Ø  主要讨论加性、高斯白噪信道

3. 有干扰有记忆信道

1)        实际信道

2)        处理困难

3)        处理方法

4)        将以及很强的L个符号当矢量符号，各矢量符号间看成无记忆

5)        将转移概率p(Y/X)看成Markov链的形式，记忆有限

特例：二进制对称信道BSC

信道的互信息量：

 

二元对称信道的平均互信息为 

                    

分析：

a)        固定信道时的平均互信息

当信道固定，即p为一个固定常数时，可得出I(X;Y)是信源分布的上凸函数

对于固定的信道，输入符号集X的概率分布不同时，在接收端平均每个符号所获得的信息量就不同

当输入符号为等概率分布时，平均互信息量I(X;Y)为最大值，这时，接收每个符号所获得的信息量最大。

这是研究信道容量的基础

b)       固定信源分布时的平均互信息

当固定信源的概率分布时，则平均互信息I(X;Y)是信道特性p的下凸函数

当二元信源固定后，改变信道特性p可获得不同的平均互信息 I

p=0.5时,I(X;Y)=0。即在信道输出端获得的信息最小，这意味着信源的信息全部损失在信道中，这是一种最差的信道，其噪声最大

这是信息率失真论的基础

信道容量

l  信道的信息传输率

n  R=I(X;Y)=H(X)－H(X/Y)  比特/符号

l  信息传输速率

信道在单位时间内平均传输的信息量定义为信息传输速率

Rt=I(X;Y)/t  比特/秒

l  信道容量

n 

n  I(X;Y)的条件极大值

n  单位：比特/符号（bits/symbol或bits/channel use）

l  C的含义

对于一个固定的信道，总存在一种信源概率分布，使传输每一个符号平均获得的信息量，即平均互信息I(X;Y)最大，而相应的概率分布p(x)称为最佳输入分布

信道容量C仅与信道的统计特性有关，即与信道传递概率矩阵有关，而与信源分布无关

平均互信息I(X;Y)在数值计算上表现为输入分布p(x)的上凸函数，所以存在一个使某一特定信道的信息量达到极大值信道容量C的信源。

信道容量表征信道传送信息的最大能力。实际中信道传送的信息量必须小于信道容量，否则在传送过程中将会出现错误。

l  几种特殊的信道

无噪无损信道

• X、Y一一对应

• C＝maxI(X;Y)＝log n

无噪有损信道

• 多个输入变成一个输出：

• C＝maxI(X;Y)＝maxH(Y)

有噪无损信道

• 一个输入对应多个输出

• C＝maxI(X;Y)＝maxH(X)

 

l  对称DMC信道的C

对称DMC信道定义

输入对称

如果转移概率矩阵P的每一行都是第一行的置换(包含同样元素)，称该矩阵是输入对称

输出对称

如果转移概率矩阵P的每一列都是第一列的置换(包含同样元素)，称该矩阵是输出对称

对称的DMC信道：输入、输出都对称