《信息论与编码》 课件 第3章信道与信道容量

1第3章信道与信道容量信道的分类与数学模型离散单符号信道的信道容量离散序列信道的信道容量连续单符号信道的信道容量连续序列信道的信道容量波形信道的信道容量信道冗余度23.1.1信道的分类（按照信道输入信号分类）

离散单符号信道

离散序列信道

连续单符号信道

连续序列信道

波形信道主要目的：研究信道中理论上能够传输或存储的最大信息量，即信道容量。3.1信道的分类33.1.2信道的数学模型描述：信道把特定输入符号映射为特定输出符号的能力（正确概率）以及映射为其他输出符号的可能性（错误概率）。图3-1信道模型图P(Y|X)41.离散单符号信道的数学模型转移概率矩阵离散单符号信道模型P(Y|X)5例：二进制对称信道（BSC）转移概率矩阵图3-2二进制对称信道（BSC）p11=1-p，p12=p，p21=p，p22=1-p62.离散序列信道的数学模型当输入为离散序列时，用随机矢量x来表示，若输出随机矢量为y，则信道可用转移概率P(y/x）表示。当信源和信道无记忆时，离散序列信道可看成一系列离散单符号信道。7例:扩展信道如果对离散单符号信道进行L次扩展，就形成了L次离散无记忆序列信道BSC的二次扩展信道

00101101000111X

{00,01,10,11}，Y

{00,01,10,11}，二次扩展无记忆信道的序列转移概率p(00/00)=p(0/0)p(0/0)=(1-p)2，p(01/00)=p(0/0)p(1/0)=p(1-p)，p(10/00)=p(1/0)p(0/0)=p(1-p)，p(11/00)=p(1/0)p(1/0)=p21083.连续单符号信道的数学模型对连续单符号输入信源x，对应的输出为随机变量y。若信道为加性高斯白噪声信道:

y=x+n其中，n为0均值、方差为σ2的高斯随机变量。若给定输入x0，则94.连续序列信道的数学模型当输入为连续序列时，用随机矢量x来表示，若输出随机矢量为y，则信道可用转移概率密度pY(y/x）表示。若输入序列无记忆，无记忆连续序列信道可以看作是一系列连续单符号信道。105.波形信道的数学模型若输入为波形信源，用随机过程{x(t)}表示，则输出也为随机过程，记为{y(t)}。若满足限时（tB）限频（fm）条件，则可以抽样成L=2fmtB的连续平稳随机序列，则信道用转移概率密度描述，为：若信源信道无记忆，则111.互信息量表达式3.1.3信道容量的定义12定理3.1

在p(yj|xi)给定时，互信息量I(X;Y)是p(xi)的上凸函数。通信的目的:每次信道使用（每发送一个符号），传送到接收端尽可能多的信息量（互信息量I(X;Y)取最大值）。需要解决的问题是：①该最大值是多少？②p(xi)是什么分布时，取得该最大值？132.信道容量的定义信道容量（ChannelCapacity）：信道所能传送的最大信息量。比特/符号（bits/symbol或bits/channeluse）

在p(y/x)给定时，I(X;Y)是关于p(x)的上凸函数。信道容量要解决的问题：C=?p(xi)=?14离散无记忆信道（DMC）

对称离散无记忆信道

准对称离散无记忆信道

一般离散无记忆信道3.2离散单符号信道的信道容量15输入对称如果转移概率矩阵P的每一行都是第一行的置换(包含同样元素)，称该矩阵是输入对称。输出对称如果转移概率矩阵P的每一列都是第一列的置换(包含同样元素)，称该矩阵是输出对称。对称信道如果输入、输出都对称。3.2.1对称离散无记忆信道16对称DMC信道例子17输入对称18如果信道输入符号等概分布p(ai)＝1/n当转移概率矩阵列对称时，信道输出符号p(bj)等概分布－－输出对称19例3-2.求信道容量20例3-3.求信道容量信道输入符号和输出符号的个数相同，都为n，且正确的传输概率为1－

，错误概率

被对称地均分给n-1个输出符号，此信道称为强对称信道或均匀信道，是对称离散信道的一个特例。21例3-4.二进制对称信道（BSC）：当

时，错误概率为0，无差错，信道容量达到最大，每符号1bit，输入端的信息全部传输至输出端。当

时，错误概率与正确概率相同，从输出端得不到关于输入的任何信息，互信息为0，即信道容量为0。对于

的情况，可在BSC的输出端颠倒0和1，导致信道容量以

点中心对称。22例3-5.串联信道23例3-5.串联信道图3-6m个BSC串联信道的互信息串接的信道越多，其信道容量可能会越小，当串接信道数无限大时，信道容量就有可能趋于零。

24若信道的转移概率矩阵输入对称而输出不对称，这样的信道称为准对称离散无记忆信道。当输入等概率时不能确保输出等概：一般情况下：

3.2.2准对称离散无记忆信道251.求极值方法例：求信道容量信道的输入符号有两个，可设p(a1)＝

，p(a2)＝1－

，信道的输出符号有三个，用b1、b2、b3表示

3.2.2准对称离散无记忆信道261.求极值方法因为

，所以应有：

p(a1)＝p(a2)＝1/2272.矩阵分解法

将转移概率矩阵划分成若干个互不相交的对称的子集，则准对称DMC的信道容量为：其中，Nk为第k个对称子矩阵一行元素之和，Mk为第k个对称子矩阵一列元素之和。

282.矩阵分解法

293.观察法

观察该矩阵可知，因为p(xi)无论如何分布，p(b3)为恒定值0.2，故要得到最大的H(Y)，b1和b2应为均匀分布，即p(b1)=p(b2)=0.4，此时：p(a1)=p(a2)=0.5。

30一般地说，为使I(X;Y)最大化以便求取DMC容量，输入符号概率集{p(ai)}必须满足的充分和必要条件是：

当信道平均互信息达到信道容量时，输入符号概率集{p(ai)}中每一个符号ai对输出端Y提供相同的互信息，只是概率为零的符号除外。

3.2.2一般离散无记忆信道31离散序列信道

对离散无记忆序列信道：若信道同时还是平稳的，则3.3离散序列信道的信道容量321.信道无记忆的情形例：X1=X2=…=XL=Y1=Y2=…=YL3.3.1信道与信源无记忆情形332.信源无记忆的情形例：Yi=Xi+1,YL=X1;X1,X2,…，XL互相独立343.信源和信道皆无记忆的情形此时，35对离散单符号信道进行N次扩展，就形成了N次离散无记忆信道。3.3.2N次扩展信道BSC的二次扩展信道0010110100011011X

{00,01,10,11}，Y

{00,01,10,11}，二次扩展无记忆信道的序列转移概率p(00/00)=p(0/0)p(0/0)=(1-p)2，p(01/00)=p(0/0)p(1/0)=p(1-p)，p(10/00)=p(1/0)p(0/0)=p(1-p)，p(11/00)=p(1/0)p(1/0)=p236扩展信道若p＝0.1，则C2＝2－0.938＝1.062比特/序列

37序列转移概率若信道无记忆，则3.3.3独立并联信道图3-8独立并联信道只有当输入相互独立时取等号。38平均互信息

I(X;Y)＝HC(Y)－HC(Y/X)3.4连续单符号信道的信道容量图3-9连续单符号信道y=x+npn(x)＝N(0,

2)39pn(n)＝N(0,

2)，当

pY(y)＝N(0,Po)时取得maxHC(Y)，

pX(x)＝N(0,Ps)，Po=Ps+2C＝1/2log(1+SNR)

信道输入X是均值为零、方差为PS的高斯分布随机变量时，信息传输率达到最大值。若是加性的，可以求出信道容量的上下界

40

信道输入随机序列X＝X1X2…XL，输出随机序列Y＝Y1Y2…YL，加性信道有y=x+n，其中n=n1n2…nL

是均值为零的高斯噪声

3.5连续序列信道的信道容量图3-10多维无记忆加性信道等价于L个独立并联加性信道41连续单符多维无记忆高斯加性信道就可等价成L个独立的并联高斯加性信道。若

将总功率P如何分配给输入序列中的各个符号，才能得到最大的信道容量？3.5连续序列信道的信道容量42噪声均值为零、方差相同（平均分配，每个符号均值为0，方差为S的高斯变量）

若噪声均值为零、方差不同，总平均功率受限P，功率则应合理分配。最大容量问题即为：3.5连续序列信道的信道容量43用拉格朗日乘子法构造无约束极值问题：各个时刻的信道输出功率相等设为常数

44讨论均值为零、方差不同，总平均功率受限P，功率合理分配。45注水法(water-filling)功率分配该功率分配方法，可以形象地描述为图3-11，如果把噪声功率看成是容器底部的凸起，把v看成是水平面，则每个子信道上分配的功率，就如往底部有不同凸起的容器中注水，故形象地称为“注水算法”。图3-11注水法功率分配46例：有一并联高斯加性信道，各子信道噪声方差为（1）P=5：输出端总功率

各子信道分配的功率分别是：0.95，0.85，0.75，0.65，0.55，0.45，0.35，0.25，0.15，0.05。（2）P=3？平均输出功率（水平面）为10.5/10=1.0547限时限频(fm)高斯白噪声过程可分解L＝2fmtB维统计独立的随机序列

若每个抽样时刻的噪声均为零均值、方差为σ2的加性高斯噪声（W为带宽，W=fm），则：3.6波形信道的信道容量48信道容量单位时间的信道容量香农公式

输入信号{x(t)}满足均值为零、平均功率P的高斯白噪声的特性49带宽W一定时，信噪比SNR与信道容量Ct成对数关系，SNR增大，Ct就增大，但增大到一定程度后就趋于缓慢。增加输入信号功率有助于容量的增大，但该方法是有限的；降低噪声功率也是有用的，当N0→0,Ct→∞即无噪声信道的容量为无穷大。讨论

Ct

＝Wlog(1+SNR)单位时间的信道容量图3-12信道容量与信噪比的关系50Ct一定时，带宽W增大，信噪比SNR可降低，即两者是可以互换的。若有较大的传输带宽，则在保持信号功率不变的情况下，可容许较大的噪声，即系统的抗噪声能力提高。无线通信中的扩频系统就是利用了这个原理，将所需传送的信号扩频，使之远远大于原始信号带宽，以增强抗干扰的能力。Ct＝Wlog(1+SNR)比特/秒51Ct/W＝log(1+SNR)比特/秒