离散信道的信道容量

第5章离散信道的信道容量

离散信道的信道容量共31页，您现在浏览的是第1页!第5章

离散信道的信道容量内容提要信道对于信息率的容纳并不是无限制的，它不仅与物理信道本身的特性有关，还与信道输入信号的统计特性有关，它有一个极限值，即信道容量，信道容量是有关信道的一个很重要的物理量。这一章研究信道，研究在信道中传输的每个符号所携带的信息量，并定义信道容量。

离散信道的信道容量共31页，您现在浏览的是第2页!5.1信道容量的定义

信息传输率是衡量通信质量的一个重要指标，定理1.1知：对于固定信道，总存在某种输入概率分布q(x)，使I（X;Y）达到最大值，定义这个最大值为信道容量，记为C。（比特/码符号） （5-2）使I（X;Y）达到信道容量的分布q(x)为最佳分布。离散信道的信道容量共31页，您现在浏览的是第3页!5.2离散无记忆信道容量的计算

定理5.1如果信道是离散无记忆（DMC）的，则CN

NC，其中C是同一信道传输单符号时的信道容量。下面一条定理给出了一维信道和N维信道的信道容量之间的关系。若（1）输入的N个符号统计独立，即信源离散无记忆,根据[定理2.3]有：离散信道的信道容量共31页，您现在浏览的是第4页!5.2.1达到信道容量的充要条件

定理5.2

使平均互信息量I（X;Y）达到信道容量C的充要条件是信道输入概率分布，简记为q

(X)={q(x1),q(x2),…,q(xM)}满足：

(5-6)离散信道的信道容量共31页，您现在浏览的是第5页!2.根据定义计算信道容量C从上式可看出，求信道容量C的问题转化为寻找某种分布q(x)使信源熵H（X）达到最大，由极大离散熵定理知道，在信源消息等概分布时，熵值达到最大，即有1.先考察平均互信息量I（X;Y）=H（X）-H（X︱Y），在无噪信道条件下，H（X︱Y）=0，则平均互信息量I（X;Y）=H（X）离散信道的信道容量共31页，您现在浏览的是第6页!再计算出：离散信道的信道容量共31页，您现在浏览的是第7页!【例5.6】信道输入符号集X={x1,x2}，输出符号集Y={y1,y2,y3,y4}，给定信道转移概率矩阵，求该信道的信道容量C。

这是一个准对称信道，根据定理5.3，当X等概分布，时，信道容量平均互信息量I（X;Y）=H（Y）-H（Y︱X）

(5-7)

定理5.3实现DMC准对称信道的信道容量的分布为等概分布。离散信道的信道容量共31页，您现在浏览的是第8页!【例5.8】信道输入符号集X={x1,x2}，输出符号集Y={y1,y2,y3}，给定信道转移概率矩阵

，求信道容量C。设使平均互信息量达到信道容量的信源分布为q(x1)=

，q(x2)=1-

。由可算出

2.信源只含两个消息

离散信道的信道容量共31页，您现在浏览的是第9页!(2)计算出逆矩阵P－１=[p-1(yj︱xk)]；

(3)根据式（5-17），计算出；

(4)根据式（5-18），计算出信道容量C；

(5)

验证是否满足q(xi)0，i=1,2,…,K。l

先由式（5-16）计算出（yk）k=1,2,…,Kl再由式（5-21）计算

离散信道的信道容量共31页，您现在浏览的是第10页!（4）信道容量

（奈特/码符号）

（5）下面验证是否q(xi)0，i=1,2l先根据算出l再算得

离散信道的信道容量共31页，您现在浏览的是第11页!5.3.1独立并行信道

在这种情况下，二个信道作为一个信道使用，传送符号，接收符号，根据定理2.4，对于离散无记忆信道，下式成立（5-22）

对上面不等式两边取最大值，得C

C

1+C2（5-23）

推广到N个信道的并行组合，当N个信道并行独立使用时，记Ck(k=1,2,…,N)为第k个信道的信道容量，C为组合信道的总容量，则有 （5-24）

等号成立的条件，都要求信源离散无记忆，即要求信道独立使用且输入独立。

离散信道的信道容量共31页，您现在浏览的是第12页!根据定义，有

（5-26）

求使式(5-26)取极大值的P

令，对数以2为底，注意到p2=1-

p1，得记C1-logp1=

C2-logp2=（为待定常数）

（5-27）

从式（5-27）中解出： （5-28）

离散信道的信道容量共31页，您现在浏览的是第13页!5.3.3串行信道

将两个信道级联，有X

/=Y，如图5-10所示。X信道1信道2Y

/Y=X

/图5-10串行信道

串行信道的信道转移概率 用矩阵表示为：（5-32）

串行级联信道的信道转移概率趋向于两个独立信道转移概率的均值。若将N个转移概率相同的信道级联，当N→∞时，其总信道容量将趋于零。

离散信道的信道容量共31页，您现在浏览的是第14页!【例5.11】两个离散信道，，将它们串行连接使用，如图

5-10，计算总信道容量C。（1）先计算总信道的信道转移概率矩阵

离散信道的信道容量共31页，您现在浏览的是第15页!(2)计算信道容量C

在[例5.11]中，个信道是输入只有两个消息的情况，设最佳分布为q(x1)=，q(x2)=1-，仿照[例5.8]可算出=0.4，则信道容量C=C1=0.32(比特/符号)。离散信道的信道容量共31页，您现在浏览的是第16页!（3）N个信道串联使用：记各个信道的信道转移概率矩阵为Pk，k=1,2,…,N，则总信道的信道转移概率矩阵P等于各信道转移概率矩阵相乘，即P=P1P2

…PN，矩阵的乘法要满足：左乘矩阵的列数应等于右乘矩阵的行数，且矩阵相乘不满足交换率。离散信道的信道容量共31页，您现在浏览的是第17页!（2）对每个i,输入分布q(xi)可使I(Xi;Yj)达到信道容量C，则：

==NC

CN

NC

(5-5)综合式(5-4)和(5-5)，在信源和信道都离散无记忆的情况下，有CN=NC，即定理中等号成立，这时N长序列的传输问题可归结为单符号传输问题。离散信道的信道容量共31页，您现在浏览的是第18页!介绍几种无噪信道，对于无噪信道，信道的输入X和输出Y之间有着确定的关系，一般有三类：无损信道、确定信道和无损确定信道。【例5.2】无损信道

无损信道的输入符号集元素个数小于输出符号集的元素个数，信道的一个输入对应多个互不交叉的输出，如图5-2所示，信道输入符号集X={x1,x2,x3}，输出符号集Y={y1,y2,y3,y4,y5}，其信道转移概率矩阵记为，计算该信道的信道容量。

图5-2无损信道x1x2x3y1y2y3y5y62/61/63/61/21/21y4离散信道的信道容量共31页，您现在浏览的是第19页!3.根据平均互信息量I（X;Y）达到信道容量的充要条件式（5-6）对C进行验证：先根据计算出ω(yj)，j=1,2,3,4,5,6离散信道的信道容量共31页，您现在浏览的是第20页!5.2.2几类特殊的信道

定义5.1如果信道转移概率矩阵P中，每一行元素都是另一行相同元素的不同排列，则称该信道关于行（输入）对称。定义5.2如果信道转移概率矩阵P中，每一列元素都是另一列相同元素的不同排列，则称该信道关于列（输出）对称。定义5.3如果信道转移概率矩阵P可按输出符号集Y分成几个子集（子矩阵），而每一子集关于行、列都对称，称此信道为准对称信道。1.准对称信道离散信道的信道容量共31页，您现在浏览的是第21页!由，先算出

(5-8)

将式(5-8)和代入式(5-7)，可算得信道容量

=0.0325(比特/符号)离散信道的信道容量共31页，您现在浏览的是第22页!平均互信息量I(X;Y)=H(Y)–H(Y︱X)

=-(1-q)[log+(1-)log(1-)]根据定义，求C的问题就转化为为何值时，I(X;Y)达到最大值。令则信道容量C=I(X;Y)︱a=0.5=1-q

计算信道容量C按下面步骤进行：

(1)先验证信道转移概率矩阵P=[p(yj︱xi)]是方阵，且矩阵P的行列式︱[p(yj︱xi)]︱≠0；

3.信道转移概率矩阵为非奇异方阵

离散信道的信道容量共31页，您现在浏览的是第23页!【例5.9】给出信道转移概率矩阵，求信道容量C。

（1）P矩阵的行列式，说明P是一个非奇异方阵。（2）P的逆矩阵（3）算出

离散信道的信道容量共31页，您现在浏览的是第24页!图5－9两个信道5.3组合信道的容量

考虑有两个信道。信道1信道2：

信道编码器XY信道译码器X

/Y

/离散信道的信道容量共31页，您现在浏览的是第25页!5.3.2和信道

两个信道轮流使用，使用概率分别为p1,p2，且p1+p2=1，记概率分布P

=（p1,p2），和信道的平均互信息计算如下I（P）=I（p1,p2）=p1I（X;Y）+p2I（X/;Y/）+H2（P）式中：H2（P）=-p1logp1-p2logp2。离散信道的信道容量共31页，您现在浏览的是第26页!将式(5-28)代入条件p1+p2=1，得

（5-29）式（5-28）中的p1,p2就是使平均互信息量I（p1,p2）达到最大的取值，将其代入式（5-26），得：

=（p1+p2）=

将式（5-29）代入式（5-30）得：

推广到N个信道轮流使用的情况,当N个信道以不同概率轮流使用时，记Ck(k=1,2,…,N)为第k个信道的信道容量，C为组合信道的总容量，则有 （5-31）

离散信道的信道容量共31页，您现在浏览的是第27页!信道1：P1=[p(y︱x)]，信道2：P2=[p(y‘︱x‘

)]，信道1和信道2是独立的，信道2的输出Z只与其输入Y及信道转移概率P2=[p(y‘︱x‘

)]有关，而与X无关。因此信道1和信道2串连就构成了一个马尔可夫链，对于马尔可夫链有如下定理：X信道1信道2ZY图5－11马尔可夫链

数据处理定理：无论经过何种数据处理，都不会使信息量增加。定理5.4

若随即变量X、Y、Z组成一个马尔可夫链，如图5-11所示，则有I（X;Z）

I（X;Y）

（5-33）

I（X;Z）I（Y;Z）

（5-34）离散信道的信道容量共31页，您现在浏览的是第28页!串联信道的总信道矩阵P等于级信道的信道矩阵P1，从而概率满足p(y︱x)=p(z︱x)(对所有的x，y，z)

（5-36）

对式（5-36）两边关于x求和，得