信道模型和信道容量

3.1信道模型与信道分类信道输入/输入统计关系输入X(t)输出Y(t)噪声干扰Z(t)第一页，共一百一十页，2022年，8月28日3.1.1信道的分类两端信道：只有一个输入端和一个输出端多端信道：在输入端或输出端至少有一端有两个以上的用户。

无反馈信道：输出端信号对输入端信号无影响。

反馈信道：输出端信号对输入端信号有影响。第二页，共一百一十页，2022年，8月28日固定参数信道：信道参数不随时间变化。时变参数信道：信道参数随时间变化。离散信道：输入和输出的随机序列取值都是离散的。连续信道：输入和输出的随机序列取值都是连续的。半离散或半连续信道：一端序列取值是离散的一端序列取值是连续的。波形信道：输入输出都是时间上连续的随机信号X(t),Y(t).第三页，共一百一十页，2022年，8月28日幅值时间信道分类名称离散离散离散信道/数字信道（例如：数字电话）连续离散连续信道（例如：传输PCM信号的信道）连续连续模拟信道/波形信道（例如：普通电话）离散连续（理论和实用价值均很小）按输入/输出信号的幅度和时间特性划分：第四页，共一百一十页，2022年，8月28日按输入/输出之间的记忆性来划分：无记忆信道：信道在某时刻的输出只与信道该时刻的输入有关而与信道其他时刻的输入、输出无关。有记忆信道：信道在某时刻的输出与其他时刻的输入、输出有关。根据信道的输入/输出是否是确定关系可分为:有噪声信道无噪声信道

第五页，共一百一十页，2022年，8月28日根据信道的统计特性是否随时间改变可分为:平稳信道（恒参信道、时不变信道，如卫星通信）非平稳信道（变参信道、时变信道，如移动通信）第六页，共一百一十页，2022年，8月28日3.2离散无记忆信道(DMC)的数学模型DMCXY{a1,a2,…ar}{b1,b2,…bs}PY|X噪声干扰第七页，共一百一十页，2022年，8月28日a1

b1a2

b2arbs单符号离散信道的数学模型条件概率称传递概率或转移概率第八页，共一百一十页，2022年，8月28日

离散无记忆信道的输入是随机变量X,取值于输入符号集A={a1,a2,…ar};相应时刻的输出是随机变量Y,取值于输出符号集B={b1,b2,…bs}。对信道的描述,实质上是对其干扰特性进行描述。当信道无于扰时,输入某个符号ai∈A,在信道输出端一定会收到某个确定的符号bj∈B与之对应。但信道受到的干扰是客观存在的,有干扰时,就可能有多个输出符号与之对应。当输入ai∈A时,收到符号bj的可能可以用条件概率P(bj|ai)来表示。称为转移概率,为方便起见,可用下式表示:第九页，共一百一十页，2022年，8月28日第十页，共一百一十页，2022年，8月28日概念——信道传递概率——前向概率——后向概率——后验概率——先验概率第十一页，共一百一十页，2022年，8月28日DMC模型的信道线图:XYa1=01-p0=b1

p

pa2=11-p1=b2

(a)二元对称信道BSC第十二页，共一百一十页，2022年，8月28日

1-p00

p2(删除元)

p11

1-p(b)二进制删除信道第十三页，共一百一十页，2022年，8月28日(c)Z型信道

100

p

1-p11第十四页，共一百一十页，2022年，8月28日3.3概率的计算问题利用上述转移矩阵,可以用来计算相应的概率,设输入概率和输出概率分别为:第十五页，共一百一十页，2022年，8月28日3.2平均互信息及平均条件互信息信道疑义度1、先验熵——H（X）接收到输出Y以前，关于输入变量X的先验不确定性的度量。2、后验熵——当接收到输出符号y＝bj后，输入符号的概率分布成为，则关于x的平均不确定性为第十六页，共一百一十页，2022年，8月28日3、条件熵——信息疑义度——H（X|Y）表示输出端收到输出变量Y的符号后，对输入端变量X尚存在的平均不确定性。第十七页，共一百一十页，2022年，8月28日

平均互信息1、定义式——平均互信息表示收到输出符号Y后，平均每个符号获得的关于X的信息量。对称性第十八页，共一百一十页，2022年，8月28日3.4信道的疑义度、散布度和平均互信息量I(X;Y)=H(X)－H(X|Y)=H(Y)－H(Y|X)下面讨论上式的物理意义,并引入一些重要的基本概念。3.4.1信道疑义度由公式I(X;Y)=H(X)－H(X|Y)可知,从输出Y中所获得的关于输入X平均信息量I(X;Y),等于先验平均不确定性H(X)减去X的后验不确定性H(X|Y),也就则X的平均不确定性的减少量。第十九页，共一百一十页，2022年，8月28日由于存在后验不确定性H(X|Y),说明收到输入Y后对输入X还存在疑义。由于I(X;Y)≤H(X)对于有噪信道,输入X的平均信息H(X)不可能全部送达到输出。由于干扰的影响,从输出来的一部分信息在传输过程中损失,损失的部分就是H(X|Y)。我们称H(X|Y)为信道{X,PX|Y,Y}的疑义度。第二十页，共一百一十页，2022年，8月28日3.4.2信道散布度I(X;Y)=H(Y)－H(Y|X)式中H(Y)代表输出Y中含有的全部信息,其中既包含从输入端送来的有用信息,也包含由噪声引入的无用信息。H(Y|X)称为信道{X,PY|X,Y}的散布度或噪声熵,表明信道因噪声干扰所呈现的无序性程度,可将其视为干扰信息的直接度量,这样,上式可理解为:从信道输出信息中减去干扰信息,就是得到的关于输入X的有用信息。噪声熵为零的信道称为确定信道。

第二十一页，共一百一十页，2022年，8月28日第二十二页，共一百一十页，2022年，8月28日3.4.3信道的平均互信息量回顾I(X;Y)≥0I(X;Y)=H(X)－H(X|Y)≤H(X)I(X;Y)=H(Y)－H(Y|X)≤H(Y)这说明(1)从信道输入端来的信息一般不会全部达到输出端;(2)从信道输出端得到的信息是有限的I(X;Y)的凸性:定理3.1如果信道给定,那么I(PX,PY|X)是输入概率PX的上凸函数。定理3.2如果信源给定,那么I(PX,PY|X)是转移概率PY|X的下凸函数。第二十三页，共一百一十页，2022年，8月28日例：求二元删除信的。第二十四页，共一百一十页，2022年，8月28日解：由先验概率和信道转移矩阵可得输出符号Y的概率分布

即

，，

第二十五页，共一百一十页，2022年，8月28日X、Y的联合概率分布为p(xiyj)=p(xi)p(yj|xi)第二十六页，共一百一十页，2022年，8月28日由联合概率分布和Y的概率分布可得后验概率为

第二十七页，共一百一十页，2022年，8月28日第二十八页，共一百一十页，2022年，8月28日另外，

还可以先求得后验熵：，，，再通过下式计算：

第二十九页，共一百一十页，2022年，8月28日3.5信道容量信息传输率R：信道中平均每个符号所传送的信息量。平均互信息是接收到符号Y后平均获得的关于X的信息量。所以设平均传输一个符号需要t秒，则信道每秒钟平均传输的信息量为信息传输速率：第三十页，共一百一十页，2022年，8月28日

在信道确定的情况下，是信源概率分布的上凸函数。因此，必然存在一种信源概率分布使信息传输率最大。定义这个最大的信息传输率为信道容量：

相应的输入概率分布被称为最佳输入分布。3.5.1信道容量的定义第三十一页，共一百一十页，2022年，8月28日

信道容量：与信源的概率分布无关；是完全描述信道特性的参量；是信道能够传输的最大信息量。信道单位时间内平均传输的最大信息量：第三十二页，共一百一十页，2022年，8月28日对信道容量的解释:

(1)信道容量C是信道信息率R的上限,定量描述了信道对信息的最大通过能力;(2)使得给定信道的I(X;Y)达到最大值;(3)信道容量C是信道的固有参数,只与信道的转移概率PY|X有关。第三十三页，共一百一十页，2022年，8月28日例4以二元对称信道。信源的概率空间为信道矩阵为第三十四页，共一百一十页，2022年，8月28日2)固定信道，当时，互信息取得最大值。1)第三十五页，共一百一十页，2022年，8月28日比特/符号

第三十六页，共一百一十页，2022年，8月28日

离散无噪信道的信道容量1、无噪无损信道第三十七页，共一百一十页，2022年，8月28日2、有噪无损信道I（X;Y）H（Y|X）H（X）H（Y）第三十八页，共一百一十页，2022年，8月28日3、无噪有损信道111111I（X;Y）H（X|Y）H（Y）H（X）第三十九页，共一百一十页，2022年，8月28日小结：第四十页，共一百一十页，2022年，8月28日3.5.3离散对称信道定义3.5.1信道r×s转移矩阵[PY|X]的每一行s个元素,都是由同－组元素的不同排列组成,则称[PY|X]为行排列阵,此类信道称为离散输入对称信道（行对称信道）。第四十一页，共一百一十页，2022年，8月28日3.5.2信道r×s转移矩阵[PY|X]的每一列r个元素都是由同一组元素的不同排列组成,则称[PY|X]为列排列阵,此类信道称为离散输出对称信道。定义3.5.3信道转移矩阵[PY|X]既是行排列阵又是列排列阵,此类信道称为离散对称信道。(前一页例子)第四十二页，共一百一十页，2022年，8月28日判断下列信道是否是对称离散信道？是是不是不是第四十三页，共一百一十页，2022年，8月28日定义3.5.4若信道转移矩阵[PY|X]的列可以被划分成若干个互不相交的子集,且每个子集所组成的子阵是行排列阵,则称此类信道为离散准对称信道。第四十四页，共一百一十页，2022年，8月28日定义：若r=s，且对于每一个输入符号，正确传输概率都相等，且错误传输概率p均匀地分配到r-1个符号，则称此信道为强对称信道或均匀信道。第四十五页，共一百一十页，2022年，8月28日引理4.1对于对称信道，当信道输入概率分布为等概分布时，输出概率分布必为等概分布。证明：当输入为等概分布时，则输出，其中为信道矩阵第j列元素之和。离散对称信道的信道容量第四十六页，共一百一十页，2022年，8月28日即当信道输入为等概分布时，输出

亦为等概分布。

j=1,2,…,s而对称信道每一列是第一列的不同排列。因此第四十七页，共一百一十页，2022年，8月28日定理3.3

对称信道，当信道输出概率分布为等概的情况下达到信道容量：

其中是信道矩阵中的任意一行中的元素。证明：第四十八页，共一百一十页，2022年，8月28日第四十九页，共一百一十页，2022年，8月28日准对称信道当信道输入概率分布为等概的情况下达到信道容量：

设信道矩阵可划分为n个子矩阵，其中Nk是第k个子矩阵中行元素之和，Mk是第k个子矩阵中列元素之和。第五十页，共一百一十页，2022年，8月28日推论：对于强对称信道有：C=logr-plog(r-1)-H(p)s=r

第五十一页，共一百一十页，2022年，8月28日例求对称信道的信道容量，解：第五十二页，共一百一十页，2022年，8月28日例：求准对称信道的信道容量。二元对称删除信道：解：N1=1-q,M1=1-q,N2=q,M2=2qC=logr-

-

NklogMk

=

log2-H(1-p-q,q,p)-(1-q)log(1-q)-qlog(2q)第五十三页，共一百一十页，2022年，8月28日信道容量约束条件：求信道容量转化为求对信源概率分布的条件极值。3.5.4一般离散信道的信道容量第五十四页，共一百一十页，2022年，8月28日解：引入辅助函数

第五十五页，共一百一十页，2022年，8月28日第五十六页，共一百一十页，2022年，8月28日令则第五十七页，共一百一十页，2022年，8月28日在某些条件下利用这个方法可以计算C：令第五十八页，共一百一十页，2022年，8月28日这是一个含有s个未知数、由r个方程组成的方程组。当r=s，且信道矩阵是可逆矩阵时，该方程组有唯一解。

第五十九页，共一百一十页，2022年，8月28日例：求以下信道的信道容量。信道矩阵

第六十页，共一百一十页，2022年，8月28日解：比特/符号第六十一页，共一百一十页，2022年，8月28日第六十二页，共一百一十页，2022年，8月28日例：

有一信道矩阵，求C.

第六十三页，共一百一十页，2022年，8月28日1）采用上述方法求出信道容量以后，还必须解出，因为在采用拉格朗日数乘法时并没有加上的约束条件，因此算出的可能是负值。当计算结果为负值时，此解无效。它表明最大值在边界上，即某些输入符号的概率为0。设某些输入符号的概率为0，然后重新进行计算。2）如果r=2，则可以直接对I(X;Y)求导，得到信道容量和最佳输入分布。补充：第六十四页，共一百一十页，2022年，8月28日例：已知信道的转移矩阵为，求信道容量。

解：设输入概率分布

第六十五页，共一百一十页，2022年，8月28日第六十六页，共一百一十页，2022年，8月28日0.2log(0.3+0.2)-0.2+0.2log(0.5-0.2)+0.2=0第六十七页，共一百一十页，2022年，8月28日例BSC信道如图,rs=1000符号/秒,错误传递概率p=0.1求:信道容量¼0Y0.9¾10.1输入符号等概时有最大信息传输速率信道实际信息传输速率第六十八页，共一百一十页，2022年，8月28日例：信道及它的输入、输出如图所示：（1）

求最佳输入分布。（2）

求时的信道容量。第六十九页，共一百一十页，2022年，8月28日3.5.4一般DMC达到信道容量的条件定理3.5(Kuhn-Tucker)设f(x)是定义在所有分量均非负的n维空间上的上凸函数,其中x=(x1,x2,…xn),假定f(x)的一阶偏导数都存在,且在定义的空间上连续,则第七十页，共一百一十页，2022年，8月28日定理3.6I(X;Y)达到信道容量的充要条件是输入分布p(xi)满足以下充要条件：p(xi)≠0时I(xi;Y)＝Cp(xi)=0时I(xi;Y)≤C

某些特殊矩阵可以利用这个方法可以推导得到C。第七十一页，共一百一十页，2022年，8月28日p(x3)=0,p(x2

)=

p(x4

)=0，

p(x1)=p(x5

)=1/2p(x3)=0,p(x2

)=

p(x4

)=p(x1)=p(x5

)=1/4例第七十二页，共一百一十页，2022年，8月28日例当输入等概时准对称信道达到信道容量第七十三页，共一百一十页，2022年，8月28日在同一子阵Pl中

第七十四页，共一百一十页，2022年，8月28日对于任意

第七十五页，共一百一十页，2022年，8月28日3.5,5信道容量的迭代算法第七十六页，共一百一十页，2022年，8月28日3.6扩展信道的信道容量3.6.1扩展信道的数学模型下图表示N次扩展信道的模型,其输入输出均为N元随机变量序列:

X=X1X2···XN

Y=Y1Y2···YNXk:[a1,a2,···ar]Yk:[b1,b2,···bs]

噪声干扰

离散信道第七十七页，共一百一十页，2022年，8月28日

这时,把输入X和输入Y(也分别记作)都分别当作一个新的随机变量——联合随机变量,它们的取值集合分别为:第七十八页，共一百一十页，2022年，8月28日如果对离散单符号信道进行N次扩展，就形成了N次离散无记忆序列信道。例BSC的二次扩展信道

X{00，01，10，11}，Y{00，01，10，11}，二次扩展无记忆信道的序列转移概率p(00/00)=p(0/0)p(0/0)=(1-p)2，p(01/00)=p(0/0)p(1/0)=p(1-p)，p(10/00)=p(1/0)p(0/0)=p(1-p)，p(11/00)=p(1/0)p(1/0)=p20010110100011011第七十九页，共一百一十页，2022年，8月28日若p＝0.1，则C2＝2－0.938＝1.062比特/序列

第八十页，共一百一十页，2022年，8月28日

若多符号离散信道的转移概率满足

则称之为离散无记忆信道的N次扩展信道[解释]扩展信道的转移概率=各时刻单符号信道转移概率的连乘无记忆性——k时刻输出Yk只与k时刻输入Xk有关,

与k时刻之前输入X1X2…Xk-1无关无预感性——k时刻之前输出Y1Y2…Yk-1只与k时刻之前输入X1X2…Xk-1有关，与Xk无关[结论]离散无记忆N次扩展信道——无记忆，无预感第八十一页，共一百一十页，2022年，8月28日3.6.2扩展信道的平均互信息量和信道容量

第八十二页，共一百一十页，2022年，8月28日

对于N次扩展信道，如果信道的输入序列中的每一个随机变量均取值于同一信源符号集并且具有同一种概率分布（取自于同一概率空间），通过相同的信道传送到输出端，则输出序列中的每一个随机变量也取自同一符号集，并且具有相同的概率分布。第八十三页，共一百一十页，2022年，8月28日信源无记忆,则N元随机变量序列X1X2···XN中各Xk独立同分布,无记忆信源的N元序列加到无记忆信道,得到的N元输出序列Y1Y2···YN中的各YK必然也是独立同分布的,因此有:第八十四页，共一百一十页，2022年，8月28日3.7信道的组合3.7.1串联信道信道ⅠQ1信道ⅡQ2XYZ记串联信道中三个随机变量X、Y、Z的取值符号集分别为:AX={a1,a2,…ar},AY={b1,b2,…bs},AZ={c1,c2,…ct}第八十五页，共一百一十页，2022年，8月28日信道Ⅰ的统计特性由转程概率{P(bj|ai)}i,j描述,信道Ⅱ的统计特性由转移概率{P(ck|bj)}j,k描述,给定Y以后,Z的取值与X无关:第八十六页，共一百一十页，2022年，8月28日定理3.10若随机变量X,Y,Z组成Markov链,则有:I(X;Z)≤I(X;Y),I(X;Z)≤I(Y;Z)且等号成立的充分必要条件分别友:P(ai|bjck)=P(ai|ck),对所有的i,j,k和P(ck|aibj)=P(ck|ai),对所有的i,j,k第八十七页，共一百一十页，2022年，8月28日3.7.2独立并联信道X1Y1

X2Y2

XY………………XNYN信道1信道2信道N第八十八页，共一百一十页，2022年，8月28日3.8信源与信道的匹配(1)符号匹配信源输出的符号必须是信道能够传送的符号;(2)信息匹配信源与信道匹配的程度可用信道剩余度来衡量,它的定义为:信道绝对剩余度=C－I(X;Y)信道相对剩余度={[C－I(X;Y)]/C}×100%第八十九页，共一百一十页，2022年，8月28日例设有两个离散二元对称信道，其级联信道如图所示，求级联信道的信道容量。

第九十页，共一百一十页，2022年，8月28日第九十一页，共一百一十页，2022年，8月28日3.9连续信道及其信道容量3.9.1连续信道的数学模型最基本的连续信道是单维连续信道,它的输入X、输出Y和噪声Z都是取值于整个实数域R的一维连续型随机变量:连续信道XYZ第九十二页，共一百一十页，2022年，8月28日当信道的输入与输出均为多维连续随机变量序列,则采用多维连续信道模型来描述。设连续信道的N维输入为:第九十三页，共一百一十页，2022年，8月28日连续信道的平均互信息量定义为:第九十四页，共一百一十页，2022年，8月28日与离散信道类似,连续信道的传输能力也用信道容量来描述。连续信道的信道容量仍定义为该信道的最大平均互信息量,它与信道的输入概率密度函数有关。与离散信道不同的是,连续信道的输入取值区间和概率密度函数,不能完全描述实际输入的某些性质,象输入信号的幅值受限、功率受限等，为此,可对连续信道的输入加一个限制条件b(X),而连续信道的信道容量定义为该信道的I(X;Y)在条仵b(X)下关于fx(x)的最大值:第九十五页，共一百一十页，2022年，8月28日3.9.2加性Gauss信道的信道容量如果输入X、输出Y及噪声Z三个随机变量之间满足:Y=X+Z且输入X与干扰Z无关,则称该信道为加性噪声信道,这时:第九十六页，共一百一十页，2022年，8月28日加性Gauss噪声信道可以作为很多实际信道的模型。设E(Z)=0,则Z的平均功率:第九十七页，共一百一十页，2022年，8月28日求信道容量的步骤:(1)不妨设信道输入X的均值为0,则:E(Y)=E(X+Z)=E(X)+E(Z)=0平均功率为:(2)根据连续最大熵的巳知结论:平均功率受限时,随机变量在服从Gauss分布时熵达到最大,因此:第九十八页，共一百一十页，2022年，8月28日找出最佳输出分布后,由加性噪声信道的性质可推出最佳输出分布:(3)巳知Y和X的最佳分布之后,可求出Y关于输入概率密度的最大熵:第九十九页，共一百一十页，2022年，8月28日由此可得加性Gauss噪声信道的信道容量为:定理3.11对于无记忆加性噪声信道,假设输入信号服从Gauss分布,且噪声的平均功率受限,则服从Gauss分布的噪声使信道平均互信息量达到最小。