第五章 离散信道的信道容量课件

第五章离散信道的信道容量1第五章离散信道的信道容量

第五章离散信道的信道容量

第五章

离散信道的信道容量内容提要：

信道对于信息率的容纳并不是无限制的，它不仅与物理信道本身的特性有关，还与信道输入信号的统计特性有关，它有一个极限值，即信道容量，信道容量是有关信道的一个很重要的物理量。这一章研究信道，研究在信道中传输的每个符号所携带的信息量，并定义信道容量。

第五章离散信道的信道容量3本章重点：1.信道容量的定义；2.平均互信息量达到信道容量的充要条件；3.几种特殊离散信道信道容量的计算。第五章离散信道的信道容量5.1信道容量的定义

信息传输率是衡量通信质量的一个重要指标，由定理2.1知：对于固定信道，总存在某种输入概率分布q(x)，使I（X;Y）达到最大值，定义这个最大值为信道容量，记为C。（比特/码符号） （5-2）使I（X;Y）达到信道容量的分布q(x)为最佳分布。第五章离散信道的信道容量5.2离散无记忆信道容量的计算定理5.1

如果信道是离散无记忆（DMC）的，则CN

NC，其中C是同一信道传输单符号时的信道容量。下面一条定理给出了一维信道和N维信道的信道容量之间的关系。若信道离散无记忆，则根据[定理2.4]有：第五章离散信道的信道容量若（1）输入的N个符号统计独立，即信源离散无记忆,根据[定理2.3]有：第五章离散信道的信道容量（2）对每个i,输入分布q(xi)可使I(Xi;Yi)达到信道容量C，则：

==NC

CN

NC (5-5)综合式(5-4)和(5-5)，在信源和信道都离散无记忆的情况下，有CN=NC，即定理中等号成立，这时N长序列的传输问题可归结为单符号传输问题。第五章离散信道的信道容量5.2.1达到信道容量的充要条件定理5.2

使平均互信息量I（X;Y）达到信道容量C的充要条件是信道输入概率分布，简记为q

(X)={q(x1),q(x2),…,q(xM)}满足：

(5-6)介绍几种无噪信道，对于无噪信道，信道的输入X和输出Y之间有着确定的关系，一般有三类：无损信道、确定信道和无损确定信道。【例5.2】无损信道

无损信道的输入符号集元素个数小于输出符号集的元素个数，信道的一个输入对应多个互不交叉的输出，如图5-2所示，信道输入符号集X={x1,x2,x3}，输出符号集Y={y1,y2,y3,y4,y5,y6}，其信道转移概率矩阵记为，计算该信道的信道容量。图5-2无损信道x1x2x3y1y2y3y5y62/61/63/61/21/21y42.根据定义计算信道容量C从上式可看出，求信道容量C的问题转化为寻找某种分布q(x)使信源熵H（X）达到最大，由极大离散熵定理知道，在信源消息等概分布时，熵值达到最大，即有1.先考察平均互信息量I（X;Y）=H（X）-H（X︱Y），在无噪信道条件下，H（X︱Y）=0，则平均互信息量I（X;Y）=H（X）第五章离散信道的信道容量3.根据平均互信息量I（X;Y）达到信道容量的充要条件式（5-6）对C进行验证：先根据计算出ω(yj)，j=1,2,3,4,5,6第五章离散信道的信道容量再计算出：第五章离散信道的信道容量5.2.2几类特殊的信道

定义5.1

如果信道转移概率矩阵P中，每一行元素都是另一行相同元素的不同排列，则称该信道关于行（输入）对称。定义5.2

如果信道转移概率矩阵P中，每一列元素都是另一列相同元素的不同排列，则称该信道关于列（输出）对称。定义5.3

如果信道转移概率矩阵P可按输出符号集Y分成几个子集（子矩阵），而每一子集关于行、列都对称，称此信道为准对称信道。1.准对称信道【例5.6】信道输入符号集X={x1,x2}，输出符号集Y={y1,y2,y3,y4}，给定信道转移概率矩阵，求该信道的信道容量C。

这是一个准对称信道，根据定理5.3，当X等概分布，时，信道容量平均互信息量I（X;Y）=H（Y）-H（Y︱X）

(5-7)定理5.3

实现DMC准对称信道的信道容量的分布为等概分布。第五章离散信道的信道容量由，先算出

(5-8)

将式(5-8)和代入式(5-7)，可算得信道容量

=0.0325(比特/符号)第五章离散信道的信道容量【例5.8】信道输入符号集X={x1,x2}，输出符号集Y={y1,y2,y3}，给定信道转移概率矩阵

，求信道容量C。设使平均互信息量达到信道容量的信源分布为q(x1)=

，q(x2)=1-

。由可算出

2.信源只含两个消息

平均互信息量I(X;Y)=H(Y)–H(Y︱X)

=-(1-q)[

log

+(1-

)log(1-

)]根据定义，求C的问题就转化为

为何值时，I(X;Y)达到最大值。令则信道容量C=I(X;Y)︱a=0.5=1-q

计算信道容量C按下面步骤进行：(1)先验证信道转移概率矩阵P=[p(yj︱xi)]是方阵，且矩阵P的行列式︱[p(yj︱xi)]︱≠0；3.信道转移概率矩阵为非奇异方阵

第五章离散信道的信道容量(2)计算出逆矩阵P-1=[p-1(yj︱xk)]；(3)根据式（5-17），计算出；

(4)根据式（5-18），计算出信道容量C；

(5)

验证是否满足q(xi)

0，i=1,2,…,K。l

先由式（5-16）计算出

（yk）k=1,2,…,Kl再由式（5-21）计算

第五章离散信道的信道容量【例5.9】给出信道转移概率矩阵，求信道容量C。（1）P矩阵的行列式，说明P是一个非奇异方阵。（2）P的逆矩阵（3）算出第五章离散信道的信道容量（4）信道容量

（奈特/码符号）（5）下面验证是否q(xi)

0，i=1,2先根据算出再算得第五章离散信道的信道容量图5-9两个信道5.3组合信道的容量

考虑有两个信道。信道1信道2：

信道编码器XY信道译码器X

/Y

/第五章离散信道的信道容量5.3.1独立并行信道

在这种情况下，二个信道作为一个信道使用，传送符号，接收符号，根据定理2.4，对于离散无记忆信道，下式成立（5-22）对上面不等式两边取最大值，得

C

C

1+C2

（5-23）推广到N个信道的并行组合，当N个信道并行独立使用时，记Ck(k=1,2,…,N)为第k个信道的信道容量，C为组合信道的总容量，则有 （5-24）等号成立的条件，都要求信源离散无记忆，即要求信道独立使用且输入独立。

5.3.2和信道

两个信道轮流使用，使用概率分别为p1,p2，且p1+p2=1，记概率分布P

=（p1,p2），和信道的平均互信息计算如下

I（P）=I（p1,p2）=p1I（X;Y）+p2I（X/;Y/）+H2（P）式中：H2(P)=-p1logp1-p2logp2。第五章离散信道的信道容量根据定义，有

（5-26）求使式(5-26)取极大值的P

令，对数以2为底，注意到p2=1-p1，得记C1-logp1=C2-logp2=

（

为待定常数）（5-27）

从式（5-27）中解出： （5-28）

将式(5-28)代入条件p1+p2=1，得

（5-29）式（5-28）中的p1,p2就是使平均互信息量I（p1,p2）达到最大的取值，将其代入式（5-26），得：=

（p1+p2）=

将式（5-29）代入式（5-30）得：

推广到N个信道轮流使用的情况,当N个信道以不同概率轮流使用时，记Ck(k=1,2,…,N)为第k个信道的信道容量，C为组合信道的总容量，则有 （5-31）第五章离散信道的信道容量5.3.3串行信道

将两个信道级联，有X

/=Y，如图5-10所示。X信道1信道2Y

/Y=X

/

图5-10串行信道

串行信道的信道转移概率 用矩阵表示为：（5-32）串行级联信道的信道转移概率趋向于两个独立信道转移概率的均值。若将N个转移概率相同的信道级联，当N→∞时，其总信道容量将趋于零。

第五章离散信道的信道容量信道1：P1=[p(y︱x)]，信道2：P2=[p(y‘︱x‘

)]，信道1和信道2是独立的，信道2的输出Z只与其输入Y及信道转移概率P2=[p(y’︱x’

)]有关，而与X无关。因此信道1和信道2串连就构成了一个马尔可夫链，对于马尔可夫链有如下定理：X信道1信道2ZY图5-11马尔可夫链数据处理定理：无论经过何种数据处理，都不会使信息量增加。定理5.4

若随机变量X、Y、Z组成一个马尔可夫链，如图5-11所示，则有

I（X;Z）

I（X;Y）（5-33）

I（X;Z）I（Y;Z）（5-34）第五章离散信道的信道容量【例5.11】两个离散信道，，将它们串行连接使用，如图

5-10，计算总信道容量C。（1）先计算总信道的信道转移概率矩阵第五章离散信道的信道容量串联信道的总信道矩阵P等于第一级信道的信道矩阵P1，从而概率满足p(y︱x)=p(z︱x)(对所有的x，y，z)

（5-36）对式（5-36）两边关于x求和，得

p(y)=p