信息论与编码第三版-第4章

第4章离散信道的信道容量§4.1信道容量的定义一．信息传输率平均互信息量H(X)：信道输入方关于发送符号集X中的某个消息的平均不确定性；

H(X/Y)：信道输出方接收到符号集Y后对X发送消息仍存在的平均不确定性；

I(X;Y)：为通信过程中获得的信息量，也就是平均每个码元所携带的信息量。对于单符号传输情况，信息传输率为：

二．信道容量信息传输率是衡量通信质量的一个重要指标，由前面的定理知：对于固定信道，总存在某种输入概率分布p(x)，使I（X;Y）达到最大值，定义这个最大值为信道容量，记为C。使I（X;Y）达到信道容量的分布p(x)为最佳分布。

信道容量C就是在保证可靠通信的前提下，信道所能容纳的最大信息传输量。对于固定信道，信道容量C是一个固定值；对于不同信道，C不同，信道容量C是信道转移概率p(y/x)的函数。§4.2离散无记忆信道容量的计算一．离散无记忆信道的容量如果信道输入的是N维序列XN，其概率分布为P（XN），输出的是N维序列YN，则平均互信息量记为I（XN；YN），此时N维信道容量定义为：若输入的N个符号统计独立，即信源离散无记忆,有：

综上，在信源和信道都离散无记忆的情况下，有CN＝NC，即定理中等号成立，这时N长序列的传输问题可归结为单符号传输问题。定理：如果信道是离散无记忆（DMC）的，则CN

NC，其中C是同一信道传输单符号时的信道容量。二．达到信道容量的充要条件定理：使平均互信息量I（X;Y）达到信道容量C的充要条件是信道输入概率分布简记为p(X)={p(x1),p(x2),…,p(xM)}满足：说明：定理只给出了使平均互信息量达到信道容量的充要条件，并没有给出求信道容量及信道输入概率分布的显式，它只能用来求解一些特殊情况的信道容量。下面介绍几种无噪信道信道容量的求解。对于无噪信道，信道的输入X和输出Y之间有着确定的关系，一般有三类：有噪无损信道、无噪确定信道和无噪无损信道。【例】有噪无损信道无损信道的输入符号集元素个数小于输出符号集的元素个数，信道的一个输入对应多个互不交叉的输出，如图所示，信道输入符号集X={x1,x2,x3}，输出符号集Y={y1,y2,y3,y4,y5,y6}，其信道转移概率矩阵记为P，计算该信道的信道容量。

【解】1．先考察平均互信息量I（X;Y）=H（X）-H（X/Y），在无噪信道条件下，H（X/Y）=0，则平均互信息量I（X;Y）=H（X）。

2．根据定义计算信道容量C

从上式可看出，求信道容量C的问题转化为寻找某种分布p(x)使信源熵H（X）达到最大，由极大离散熵定理知道，在信源消息等概分布p(x1)=p(x2)=p(x3)=1/3时，熵值达到最大，即有3.根据平均互信息量I（X;Y）达到信道容量的充要条件式对C进行验证：

先根据计算出p(yj)（j=1，2，3，4，5，6）

再计算出：上面三式均满足平均互信息量达到信道容量C的充要条件，故C=log3。

【例】

无噪确定信道确定信道的输入符号集的元素个数大于输出符号集的个数，信道的一个输出对应多某个个互不交叉的输入，这时输入符号以确定的概率1指向某个输出符号，如图所示。信道输入符号集X＝{x1,x2,x3,x4,x5}，输出符号集Y＝{y1,y2}，其信道转移概率矩阵记为P，计算该信道的容量。【解】1．先考察平均互信息量I（X;Y）=H（Y）-H（Y/X），对于确定信道，H（Y/X）=0，则平均互信息量I（X;Y）=H（Y）2．根据定义计算信道容量C由于，由于信道转移概率是确定的，求使H(Y)达到最大值的p(x)的最佳分布就转化为求p(y)的最佳分布。由极大离散熵定理知，在p(y)等概率分布时，H(Y)达到最大，则

3.根据平均互信息量I（X;Y）达到信道容量的充要条件式对C进行验证：

上面的式子均满足平均互信息量达到信道容量C的充要条件，故C=log2。

【例】

无噪无损信道无损确定信道的输入符号集的元素个数等于输出符号集的个数，且信道的输入符号以确定概率1指向某个固定的输出符号，如图所示，信道输入符号集X＝{x1,x2,x3,x4,x5}，输出符号集Y＝{y1,y2,y3,y4,y5}，其信道转移概率矩阵为P，计算信道容量。【解】该信道的信道容量为：

三．几类特殊信道的信道容量1.准对称信道定义1：如果信道转移概率矩阵P中，每一行元素都是另一行相同元素的不同排列，则称该信道关于行（输入）对称。

定义2：如果信道转移概率矩阵P中，每一列元素都是另一列相同元素的不同排列，则称该信道关于列（输出）对称。定义3：如果信道转移概率矩阵P可按输出符号集Y分成几个子集（子矩阵），而每一子集关于行、列都对称，称此信道为准对称信道。定义4：如果信道转移概率矩阵P可按输出符号集Y化分的子集（子矩阵）只有一个，则该信道关于关于行、列都对称，称此信道为对称信道。【定理一】（准）对称信道的条件熵H(Y/X)与信道输入消息的分布p(x)无关，且有H(Y/X)=H(Y/xi)。

【定理二】离散对称信道，若信源（信道输入集合）等概率分布，则信宿（信道输出集合）也是等概率分布的；反之亦然。【定理三】实现DMC准对称信道的信道容量的信源分布为等概率分布。

【例】信道输入符号集X={x1,x2}，输出符号集Y={y1,y2,y3,y4}，给定信道转移概率矩阵为P，求该信道的信道容量C。

这是一个准对称信道，根据定理，当X等概分布，p(x1)＝p(x2)＝1/2时，信道容量平均互信息量

由

得

可算得信道容量【例】信道输入符号集X={x1,x2，x3}，输出符号集Y={y1,y2,y3}，给定信道转移概率矩阵为P，求该信道的信道容量C。

解：这是一个对称信道，根据定理，当X等概分布，p(x1)＝p(x2)＝p(x3)=

1/3时，达到信道容量C，此时输出也等概率分布，p(y1)＝p(y2)＝p(y3)=1/3。平均互信息量

bit/符号

【例】一信道的转移概率矩阵为P，求该信道的信道容量C及达到C时输入的分布。

解：设信道输入输出概率分别为

pi，qi，i=1,…,r由信道矩阵可知，该信道为对称信道，因此，当输入等概率分布，即pi=1/r时,达到信道容量C。r=2时，即为BSC信道，C=1-H(ε)【例】BSC信道的转移概率如下，求信道容量：

该信道为一个对称信道，当输入等概率分布（此时输出也是等概率分布），取得信道容量。

①时，信道的输入符号和输出符号是一一对应的关系，在这种情况下，信道容量C＝log2，达到最大值。

②时，信道的不确定性最大，在这种情况下，信道容量C＝0，是一种最差信道。③时，这是一种强噪声信道，但也是一种确定信道，在这种情况下，可将判决取反，收到y1

判为x2

，y2收到判为

x1，也能达到信道容量的最大值C＝log2。2.信源只含两个消息

【例】信道输入符号集X={x1,x2}，输出符号集Y={y1,y2,y3}，给定信道转移概率矩阵P，求信道容量C。

设使平均互信息量达到信道容量的信源分布为:p(x1)=

，p(x2)=1-

。

由

，可算出

平均互信息量根据定义，求C的问题就转化为

为何值时，I(X;Y)达到最大值。令

则信道容量

3．信道转移概率矩阵为非奇异方阵(自学)

§4.3组合信道的容量考虑有两个信道信道1：

信道2：

下面介绍信道三种不同组合情况下的信道容量。一．独立并行信道在这种情况下，二个信道作为一个信道使用，传送符号XX′，接收符号YY′，但两个信道是独立的C

C

1+C2

说明在两信道并行使用的情况下，总容量小于等于两信道单独使用时的信道容量之和。推广到N个信道的并行组合，当N个信道并行独立使用时，记Ck(k=1,2,…,N)为第k个信道的信道容量，C为组合信道的总容量，则有等号成立的条件，都要求信源离散无记忆，即要求信道独立使用且输入独立。二．和信道两个信道轮流使用，使用概率分别为p1，p2，且p1+p2=1，记概率分布P=（p1，p2)信道容量为：推广到N个信道轮流使用的情况,当N个信道以不同概率轮流使用时，记Ci(i=1,2,…,N)为第k个信道的信道容量，C为组合信道的总容量，则有三．串行信道将两个信道级联，有X'=Y，如图所示。

串行信道的信道转移概率

用矩阵表示为：

串连信道的总信道转移概率矩阵第一个信道的转移概率矩阵第二个信道的转移概率矩阵【例】给定两个信道，信道转移概率矩阵分别为：

串行信道的转移概率矩阵为：

串行级联信道的信道转移概率趋向于两个独立信道转移概率的均值。这是很不利的，这种情况下出错概率增大，使信息能力减小。求得串联信道的总转移概率矩阵，利用前面的方法可以求得信道的总容量。若将N个转移概率相同的信道级联，当N→∞时，其总信道容量将趋于零。对于前面的结论，可用数据处理定理说明：

信道1：P1=[p(y/x)]；信道2：P2=[p(y'/x')]。信道1和信道2是独立的，信道2的输出Z只与其输入Y及信道转移概率P2=[p(y'/x')]有关，而与X无关。因此信道1和信道2串连就构成了一个马尔可夫链，对于马尔可夫链有如下定理：定理：若随即变量X、Y、Z组成一个马尔可夫链，如图所示，则有

I（X;Z）

I（X;Y）I（X;Z）

I（Y;Z）数据处理定理：无论经过何种数据处理，都不会使信息量增加。若满足：H(X/Y)=H(X/Z)，则等号成立I（X;Z）=I（X;Y），说明这种情况下串行传输不会增加信息的损失。【例】两个离散信道，将它们串行连接使用，计算总信道容量C。

【解