第3章 信道与信道容量

1、3.2单符号离散信道3.2.1 数学模型3.2.2 互信息量3.2.3 平均互信息3.2.4 信道容量2009-4-7信道分类信道信道是信息传输的媒介或通道，其任务是以信号的方式传输或存储信息。信道可以看成是一个变换器，它将输入事件X变换成输出事件Y。由于信道传输中存在噪声和干扰，信道的输入和输出间一般不是确定的函数关系，而是统计依赖关系。信息论中只关心流入和流出信道的信息量。2009-4-7信道分类按时间特性分根据输入输出事件的时间特性和集合的特点： 离散信道：输入和输出都是时间与取值都离散的随机矢量连续信道：输入和输出都是时间离散、取值连续的随机矢量半连续信道：输入和输出一个离散一个连续

2、波形信道：输入和输出都是时间上连续的随机波形信号2009-4-7信道分类按输入输出个数根据信道的输入和输出个数：两端信道（单用户信道）：输入和输出均只有一个事件集；多端信道（多用户信道）：输入和输出中至少有一个具有两个或两个以上的事件集。广播信道：单一输入，多个输出。多元接入信道：多个不同信源的信息经编码后送入统一信道传输，接收端译码后再送给不同的信宿。如在卫星通信系统中的应用。2009-4-7信道分类按统计特性根据信道的统计特性：恒参信道：统计特性不随时间变化； 随参信道：统计特性随时间变化。2009-4-7信道分类按记忆特性根据信道的记忆特性无记忆信道：信道输出仅与当前的输入有关；有记忆信

3、道：信道输出不仅与当前输入有关，还与过去的输入有关。2009-4-73.2单符号离散信道3.2.1 数学模型3.2.2 互信息量3.2.3 平均互信息3.2.4 信道容量2009-4-7离散信道的数学模型描述信道传递概率（信道转移概率）：p(yj/xi) 有p(yj/xi)=1,ij=1m信道矩阵p(y1/x1)p(y1/x2)P=.p(y/x)n12009-4-7Yp(y2/x1).p(y2/x2).p(ym/x1)p(ym/x2).p(ym/xn)Xp(y2/xn).信道模型举例二元对称信道给定一个离散信道如下图所示。输入符号集和输出符号集分别为A=0,1和B= 0,1，传递概率为p(b1

4、/a1)=p(0/0)=1p=pp(b2/a2)=p(1/1)=1pp(b1/a2)=p(0/1)=pp(b2/a1)=p(1/0)=p_二元对称信道简记为BSC。其信道矩阵为pP=1-p表示单个符号无错误传输的概率；pp表示单个符号传输中发生错误的概率。p_p2009-4-7信道模型举例二元删除信道对于二元删除信道，n=2,m=3。输入集X取值于A=0,1，输出集取值于B=0，2，1。其传递概率、信道矩阵如下图所示：p0p1q2p1p P=01q3j=10q 其中：1q1 p(bj/ai)= 1 i=1,2且有p和q表示单个符号无错误传输的概率；1-p和1-q表示单个符号传输中发生错误的概率

5、。2009-4-7信道模型举例_二元对称消失信道二元对称消失信道中，n=2，m=3。输入集X的取值为A=0,1，输出集Y的取值为B=0,x,1。 输出集中多了一个符号x，使得在一定概率下，输入X的输出为“0”还是为“1”不可确定，这就使一定概率的X在输出端“消失”了。二元对称消失信道的传递概率和信道矩阵如下所示：1pq0pq1pq012009-4-7x11pqP=pqq1pqp离散信道中的几种概率关系 先验概率p( xi ) = P ( X = xi ) i=1 , 2 , ,n 联合概率p( xy )= P( X =x,Y=y) i=1,2, n ; j=1,2 m i j i jp( x

6、i yj )=p( x i ) p( yj/x i)=p( yj ) p( x i/yj)前向概率p(yj/xi) = P (Y=yj/X = x i)p(x/y)=P (X=x/Y=y) ij ij 后向（后验）概率输出符号概率2009-4-7p(yj)=P(Y=yj)=p(xiyj)i=1n3.2单符号离散信道3.2.1 数学模型3.2.2 互信息量3.2.2.1 互信息量3.2.3 平均互信息3.2.4 信道容量2009-4-7互信息量的关系式I(xi;yj)=I(xi)I(xi/yj)=I(yj;xi)=I(yj)I(yj/xi)=I(xi)+I(yj)I(xiyj)其中i=1,2,

7、,n;j=1,2, ,m2009-4-73.2信道与信道容量信道分类单符号离散信道3.2.1 数学模型3.2.2 互信息量3.2.2.2 互信息量的性质2.当两个事件统计独立时，其互信息量为零。统计独立时，不能从观测一个事件中获得有关另一个I(xi;yj)=I(yj;xi)事件的任何信息。当后验概率大于先验概率时，互信息量为正值；当后验概率小于先验概率时，互信息量为负值。原因是由于信道干扰，使估计变得更加困难，不确定性增加了。2009-4-73.2信道与信道容量信道分类单符号离散信道3.2.1 数学模型3.2.2 互信息量条件互信息量例题某人A预先知道他的三位朋友B、C、D中必定将有一人晚上到

8、他家来，并且这三人来的可能性均相同其先验概率为：p(B)=p(C)=p(D)=1/3把这次电话作为事件E，那么有后验概率p(D/E)=0,p(B/E)=p(C/E)=1/2 但是上午A接到D的电话不能来了 下午A又接到C的电话，说晚上开会不能来把这次电话作为事件F，那么有后验概率p(C/EF)=p(D/EF)=0,p(B/EF)=12009-4-7总结自信息量不确定度互信息量不确定度的减少量自信息量和互信息量的定义和性质自信息量和条件自信息量的关系互信息量和条件互信息量的关系互信息量具有随机变量的性质，不能作为信道中信息流通的测度。2009-4-7第3章 3.1 3.2信道与信道容量3.2.1

9、 数学模型3.2.2 互信息量3.2.3 平均互信息互信息量I(xi;yj)不能从整体上作为信道中信息流通的测度 互信息量I(xi;yj)定量地描述输入随机变量发出某个具体消息xi，输出变量出现某一具体消息yj时，流经信道的信息量。“输入xi ，输出yj”是一个概率为p(xiyj) 的随机事件，相应的I(xi;yj)也是随xi和yj变化而变化的随机量。 互信息量I(xi;yj)不能从整体上作为信道中信息流通的测度。2009-4-7这种测度应该是从整体的角度出发，在平均意义上度量每通过一个符号流经信道的平均信息量。作为一个测度，它不能是随机量，而是一个确定的量。输入X、输出Y的离散概率空间描述以

10、X,P表示输入离散概率空间 Xx1, x2, , xi, ,xnP(X)=p(x),p(x), ,p(x), ,p(x) 12in其中，对每一个输入离散事件xiX,相应的概率为p(xi)，简记为pi，有pi0，i=1,2,.,n;且pi=1i=1n以Y,P表示输出离散概率空间 Yy1, y2, , yj, ,ymP(Y)=p(y),p(y), ,p(y), ,p(y)12jm其中，对每一个输出离散事件yjY,相应的概率为p(yj)，简记为qj，有：qj0，j=1,2,.,m;且qj=1j=1m2009-4-7平均条件互信息量的理解联合集XY上的平均条件互信息量有等号成立当且仅当X集中的各个x都

11、与事件yj相互独立。iI(X;yj)0平均条件互信息量表示观测到yj后获得的关于集X的平均信息量。I(X; yj)仍然是一个随机变量，随yj的变化而变化，因此，不能作为信道中流通信息量的整体测度。2009-4-7信道疑义度（损失熵）定义：称输入空间X对输出空间Y的条件熵为信道疑义度。其中：H (X/Y)=E H(X/yj)=p(xiyj)logp(xi/yj)nnmi=1j=1H(X/yj)=p(xi/yj)logp(xi/yj)i=1含义：输出端收到全部输出符号Y以后，对输入X尚存在的平均不确定程度。这种对X尚存在的不确定性是由于传输过程中信道干扰引起的。2009-4-7信道疑义度（损失熵）

12、（续）条件熵H(X/Y)表示在已知输出Y的条件下输入X的剩余不确定性，即信道损失信源符号通过有噪信道传递后所引起的信息量损失。根据平均互信息量I(X;Y)与条件熵H(X/Y)的关系：I(X;Y)=H(X)H(X|Y)可看出，I(X;Y)等于输入平均信息量H(X) 减去信道损失，它反映了信道传输信息的能力。2009-4-7损失熵与噪声熵H(Y|X)称为噪声熵，表示发出随机变量X后，对随机变量Y仍然存在的不确定度，反映了信道中噪声源的不确定性。因为 I(X;Y)=H(Y)H(Y|X)如果信道中无噪声，收发两端必存在确定的对应关系，则输出信源Y所含有的信息量H(Y)应等于平均互信息量I(X;Y)。而

13、现在发出X后不能完全确定对应的Y，这显然是由信道噪声引起的，故称为噪声熵。2009-4-7熵、交互熵、损失熵和噪声熵2009-4-7例（续）分析H(X|Y=0)=0；H(X|Y=?)0.918；H(X|Y=1)=0；H(X)0.811；H(X|Y)0.344。可以看出H(X|Y=?)>H(X)，就是说当观察到Y=?时，X会有更大的不确定性。H(X|Y=0,1)=0说明Y=0,1时可确定输入X的值。三者平均后的信道疑义度H(X|Y)仍具有小于H(X)的性质。2009-4-7第3章 3.1 3.2信道与信道容量3.2.1 数学模型3.2.2 互信息量3.2.3 平均互信息平均互信息的性质平均

14、互信息量有以下基本性质：非负性对称性平均互信息和各类熵的关系极值性凸函数性2009-4-7平均互信息的性质1、对称性：I(X;Y)= I(Y;X)表示从集Y中获得关于X的信息量等于从集X中获得关于Y的信息量。当且仅当X与Y相互独立时，等号成立。当集X和集Y统计独立时，有I(X;Y)= I(Y;X)=0它意味着不能从一个集获得关于另一个集的任何信息 2、非负性I(X;Y)0 3、平均互信息和各类熵的关系2009-4-7I(X;Y)=H(X)-H(X/Y)I(X;Y)=H(Y)-H(Y/X)I(X;Y)=H(X)+H(Y)-H(XY)平均互信息的性质（续） 4、极值性负，故两个不等式成立。I(X;

15、Y)H(X)；I(X;Y)H(Y)证明：因为I(X;Y)=H(X)-H(X/Y)，条件熵H(X/Y)为非5、凸函数性平均互信息量I(X;Y)是信源概率分布p(xi)的上凸函数；该性质是研究信道容量的理论基础平均互信息量I(X;Y)是信道传递概率p(yj/xi)的下凸函数。该性质是研究率失真函数的理论基础2009-4-7凸函数性的例子二元对称信道 见例2.1.6。2009-4-7第3章 3.1 3.2信道与信道容量3.2.1 数学模型3.2.2 互信息量3.2.3 平均互信息信道容量的定义定义：信道容量为平均互信息的最大值C=maxI(X;Y)p(x)def其单位是比特/符号或奈特/符号。对于一

16、个固定的信道，总存在一种信源概率分布，使传输每一个符号平均获得的信息量，即平均互信息I(X;Y)最大，而相应的概率分布p(x)称为最佳输入分布。 平均互信息I(X;Y)是输入变量X概率分布p(x)的上凸函数。2009-4-7信道容量的概念信道容量C仅与信道的统计特性有关，与信源分布无关。I(X;Y)的值是由信道传递概率决定的。信道传递概率矩阵描述了信道的统计特性平均互信息I(X;Y) 为输入分布p(x)的上凸函数，所以存在一个使某一特定信道的信息量达到极大值信道容量C的信源。信道容量表征信道传送信息的最大能力。实际中信道传送的信息量必须小于信道容量，否则在传送过程中将会出现错误。2009-4-

17、72009-4-7离散无噪信道离散无噪信道的输出Y与输入X之间有着确定的关系，一般有以下三类：无损无噪信道无损信道无噪信道2009-4-7离散无噪信道无损无噪信道无损无噪信道的输入和输出是一一对应关系，如右图所示。当r=3时，其信道矩阵为100P=010001p(ai|bj) 一致。即Xa1a2111Yb1b21a31b3信道的前向概率p(bj|ai)和后向概率0 ijp(bj|ai)=p(ai|bj)=1 i=j2009-4-7ar1bs由此，信道的噪声熵H(Y|X)和损失熵H(X|Y)均等于零。故无损无噪信道的平均互信息为I(X;Y)=H(X)=H(Y)它表示信道输出端接收到符号Y后，平均

18、获得的信息量就是信源发出每个符号所含有的平均信息量，信道中没有损失信息。其信道容量C = maxI(X;Y)=maxH(X)=lognp(x)p(x)2009-4-7离散无噪信道无损信道无损信道的一个输入对应多个互不相交的输出。如右图所示当n=3时，其信道矩阵为1/2 1/2 0 0 0 0P= 0 0 3/5 3/10 1/10 0 0 0 0 0 0 1信道的后向概率0 bjBip(ai|bj)=1 bjBi故知信道疑义度H(X|Y)=02009-4-7Xa11/21/23/5b1b2b33/10YB1a21/10b4b6arbsa31B2b5B3BrH(X|Y)又称为损失熵，它表示信源符

19、号通过有噪信道传输后所引起的信息量的损失。有I(X;Y)=H(X)H(X|Y)在这类信道中，因为信源发生符号ai，并不能确定在信道输出端会发生哪个bj，而是依一定概率取Bi中的某个bj，因此噪声熵H(Y|X)>0。于是，可求出无损信道的平均互信息为I(X;Y)=H(X)=H(Y)H(Y/X)<H(Y)其信道容量C=maxI(X;Y)=maxH(X)=lognp(x)p(x)2009-4-7离散无噪信道无噪信道2009-4-70 aiAj信道的传递概率为 p(bj|ai)=1 aiAj因此，噪声熵H(Y|X)=0。在这类信道中，信道输出端接收到某个bj以后，并不能断定是哪一个输入符号

20、ai，因而信道疑义度H(X|Y)>0。于是，可以求出确定信道的平均互信息为I(X;Y)=H(Y)<H(X)其信道容量C=maxI(X;Y)=maxH(Y)=logsp(x)p(x)达到此类信道的信道容量的概率分布是使信道输出分布为等概分布的输入分布。2009-4-72009-4-7具有对称性的信道信道矩阵具有很强对称性的特殊信道有：¾离散输入对称信道¾离散输出对称信道¾对称信道¾对称信道¾强对称信道¾准对称信道2009-4-7具有对称性的信道离散输入对称信道定义：若一个离散无记忆信道的信道矩阵中，每一行都是其他行的同一组元

21、素的不同排列，则称此类信道为离散输入对称信道（行可排列性）。1/3 1/3 1/6 1/6例如，信道矩阵为P=1/6 1/3 1/6 1/3对于输入对称信道有H(Y|X)=p(xiyj)logp(yj|xi)ij=p(xi)p(yj|xi)logp(yj|xi)ij=p(yj|xk)logp(yj|xk)=H(Y|X=xk)j2009-4-7具有对称性的信道离散输出对称信道定义：若一个离散无记忆信道的信道矩阵中，每一列都是其他列的同一组元素的不同排列，则称该类信道为离散输出对称信道（列可排列0.50.40.52009-4-7具有对称性的信道离散对称信道定义：当信道是关于输入和输出对称的，这类信

22、道称为对称信道。其行和列都是可排列的。举例：P1022009-4-7离散对称信道信道容量计算定理：对于对称信道，只有当信道输入分布为等概分布时，输出分布才能为等概分布。定理：若一个离散对称信道具有n个输入符号，m个输出符号，则当输入为等概分布时，达到信道容量，且C=logmH(q1q2qm)其中，q1q2qm为信道矩阵中的任一行。2009-4-7离散对称信道信道容量公式的证明由于I(X;Y)=H(Y)H(Y|X)=H(Y)H(Y/X=xk)由于行可排列性=H(Y)H(q1q2 qm)第二项为常数则有C=maxI(X;Y)=maxH(Y)H(q1q2 qm)p(xi)p(xi)=log2mH(q

23、1q2 qm)2009-4-7p(xi)为等概率分布离散对称信道二元对称信道的信道容量二元对称信道是n=2的均匀信道，信道容量为 C=1H(p)2009-4-72009-4-7离散准对称信道定义：若一个离散无记忆信道的信道矩阵中矩阵的行是可排列的，列不可排列。将矩阵的m个列分成s个不相交的子集(子矩阵)后，每个子矩阵的行和列都是可排列2009-4-7的。则称这类信道为离散准对称信道。 当划分的子集只有一个时，信道是关于输入和输出对称的，即为离散对称信道。矩阵的行和列都是可排列的。离散准对称信道信道容量计算定理：离散准对称信道达到信道容量时，输入符号集的分布为等概分布。 离散准对称信道的信道容量

24、为C=mkp(yk)logp(yk)H(q1,q2,.,qm)k=1s2009-4-7离散准对称信道信道容量公式的证明 书P104例题2009-4-72009-4-7一般离散信道信道容量定义为：在信道固定的条件下，对所有可能的输入概率分布输入概率分布p(xi)的上凸函数，因此I(X;Y)对p(xi)的极大值必然存在。平均互信息I(X;Y)是 n个变量(p(xi),i=1,2, ,n)的多元函数，且满足约束条件 p(xi)=1，故可用拉格朗日乘子法来计算i=1np(xi)，求平均互信息的极大值。前面已经导出，平均互信息I(X;Y)是这个条件极值。2009-4-7多符号离散信道数学模型设多符号离散

25、信道的输入取值符号集A=x1,x2,.,xn,相应的概率分布为pi,其中i=1,2,n 相应的概率分布为qj,其中j=1,2,m输出取值符号集B=y1,y2,.,ym,输入序列为X=X1,X2,XN，其中XkA， 1kN输出序列为Y=Y1,Y2,YN，其中YkB，1kN2009-4-7离散无记忆信道定义定义：若多符号离散信道对任意N长的输入、输出序N列，有 p(Y/X)=p(Yk/Xk)k=1称它为离散无记忆信道的N次扩展信道，简记为DMC。其数学模型为 , Xp ( Yk/Xk) ,Y 上式是判断是否无记忆信道的充要条件对于DMC，在任何时刻信道的输出只与此时的信道输入有关，而与以前的输入无

26、关。单符号离散信道是无记忆信道当N1时的特例。2009-4-7离散无记忆平稳信道定义对任意k和l,若离散无记忆信道还满足p(Yk/Xk)=p (Yl/Xl)k,l1,2, ,N即转移概率不随时间变化，则称此信道为平稳的或恒参的。2009-4-7多符号离散信道的统计分类（续）有干扰无记忆信道：信道中存在随机干扰，输出符号与输入符号之间无确定的对应关系。但是，信道中任一时刻的输出符号仅统计依赖于对应时刻的输入符号。可用下述条件概率表示：p (Y/X) = p (Y1Y2 YN/X1X2 XN)=p(Yn/Xn)k=1N有干扰有记忆信道：实际信道往往是既有干扰又有记忆的。2009-4-7离散无记忆N

27、次扩展信道信道矩阵1112 1mN2122 2mNN次扩展信道的信道矩阵为= NN NNn2nmn1NN其中:kh=p(h/k) k=1,2, ,n;h=1,2, ,m且满足 kh=1 k=1,2, ,nh=1mNN这仍意味着N次扩展信道矩阵中各行之和为1。2009-4-7举例：二元对称信道的二次扩展信道信道模型二元对称信道的二次扩展信道如下图所=p(/)khhk示：a1=0000=1a2=01a3=10a4=112009-4-7XN01=210=311=4YN关于多符号离散信道中平均互信息的两个定理在一般离散信道中，传输N长的随机序列所获得的平均互信息，存在下面两个定理。定理1：若信道是无记

28、忆的NNp(Y/X)=p(Yk/Xk)=>I(X;Y)I(X;Y)kkk=1k=1定理2：若信源是无记忆的N2009-4-7p(X)=p(xk)=>I(X;Y)I(Xk;Yk)k=1k=1N离散无记忆N次扩展信道信道容量如果信道的输入随机序列X=(X1X2 XN)中的分量Xi,i=1,2, ,N取值于同一信源符号集AA=x1,x2, ,xn,并具有同一种概率分布。信道输出随机序列Y=(Y1,Y2, YN),其各个分量Yi,i=1,2, ,N也取值于同一符号集BB=y1,y2, ym,并具有同一种概率分布。则 I(X1;Y1)=I(X2;Y2)= =I(XN;YN)=I(X;Y)20

29、09-4-7离散无记忆N次扩展信道信道容量（续）因此，对于离散无记忆信道的N次扩展信道，当信源也是无记忆时，则有 I(X;Y)=NI(X;Y)相应地，有信道容量关系式C=NCN2009-4-7N个独立并联信道信道容量当信道无记忆时，有I(X;Y)I(Xi;Yi)i=1NN当信源无记忆时，有I(X;Y)I(Xi;Yi)i=1根据定理1和定理2可知，N个独立信道并联的情况，相当于信道无记忆时，不同的是，此时每个信道的输入输出可取值于不同的符号集2009-4-7独立并联信道信道容量（续）独立并联信道在输入相互独立时，相当于信源无记忆的情况，此时独立并联信道的信道容量等于各个独立信道的信道容量之和。当

30、N个独立并联信道的信道矩阵均为P时，可以将这个并联信道看作一个PN信道。 该信道的信道容量在输入相互独立时为是单独信道的N倍。CPN=NCP2009-4-7信道的组合实际中我们常常会遇到两个或多个信道组合在一起使用的情况。例如：积信道：待发送的消息比较多时，可能要用两个或多个信道并行地传送，香农称这种信道为积信道；级联信道：有时消息会依次地通过几个信道串行地级联信道：传送，称此为级联信道；例：微波中继接力通信、对信道输出的后续处理在研究较复杂的信道时，往往也可以将它们分解成几个简单的、已经解决的信道的组合。2009-4-7定理数据处理定理如果输出随机变量Z仅依赖于随机变量Y，而与前面的X无关,

31、则意味着随机变量X、Y、Z构成一个一阶马尔可夫链。这就是说，级联信道的输入和输出变量之间构成一个马尔可夫链，并且存在下面的定理:若随机变量X、Y、Z构成一个马尔可夫链，则有 I(X;Z)I(X;Y); I(X;Z)I(Y;Z)该定理表明：通过串联信道的传输只会丢失信息，不会增加信息，至多保持原来的信息量。2009-4-7数据处理定理物理意义数据处理定理说明，在任何信息传输系统中，最后获得的信息至多是信源所提供的信息。如果一旦在某一过程中丢失一些信息，以后的系统不管如何处理，如不触及到丢失信息过程的输入端，就不能再恢复已丢失的信息。这就是信息不增性原理，它与热熵不减原理正好对应。它深刻地反映了信

32、息的物理意义。2009-4-7例（续）二级串联的二元对称信道如果设X、Y、Z为马尔可夫链，则串联信道的总的信道矩阵为p1pp1pP=P1 P2=1pp1pp(1p)2+p22p(1p)=22(1p)+p2p(1p)于是，根据平均互信息的定义，可以算出I(X;Y)=1H(p) ; I(X;Z)=1H2p(1p)2009-4-7N级二元对称信道串联结论当n=1时，串联信道退化为一个二元对称信道，当n=2时，曲线I( X;i)等于I(X;Z)曲线。对于n个二元对称信道的串联，从图中可以看出： I(X;Y)>I(X;Z)>I(X;W)>.这意味着二元对称信道经串联后只会增加信息的损失

33、。当串联级数n 增加时，损失的信息越大。其平均互信息量 I(X; i)等于I(X;Y)曲线；2009-4-7例：级联信道的信道矩阵一串联信道如下图所示，求总的信道矩阵。设X、Y、Z满足马氏链的性质。X1/3b1YZc1b2信21道/I23II21/232/3c2b3信道IIc3信道I2009-4-7例（续）级联信道的信道矩阵可以得到两个信道的信道矩阵分别为：0101/31/31/302/31/3PP，=Y|X1/201/2Z|Y01/32/3根据马氏链的性质，总的信道矩阵中的元素满足P(ck|ai)=P(bj|ai)P(ck|bj)，其中i=1,2；，jk=1,2,3.j所以有 PZ|YX=P

34、Y|XiPZ|Y=PZ|YX0101/31/31/31/31/31/3=i02/31/3=1/201/201/32/31/21/61/32009-4-7例（续）级联信道的等效信道则该级联信道可等效为如下的信道X1/3Zx11/31/2z1z2x21/3z32009-4-7小结实际研究信道时，往往将其分解为几个简单的信道的组合；介绍了串联信道（级联信道），并给出了两个重要的定理；重点分析了数据处理定理；分析了n个二元对称信道的串联； 给出了两个信道串联的实例。2009-4-7信源和信道匹配对于某一信道其信道容量是一定的。只有当输入符号的概率分布P(x)满足一定条件时才能达到信道容量C。或说只有一

35、定的信源才能使某一信道的信息传输率达到最大。 一般情况下信源与信道连接时，其信息传输率R=I(X;Y)并未达到最大。这时，信道的信息传输率还有提高的可能。当信源与信道连接时，若信息传输率达到了信道容量，我们则称此信源与信道达到匹配。否则认为信道有剩余。2009-4-7使信息传输率达到信道容量信源编码就是将信源输出的消息变换成新信源的消息来传输，而使新信源的熵接近最大熵，这样，新信源的消息通过信道的消息传输率接近最大值，信道剩余度接近于零，信道得到充分利用。这就是香农无失真信源编码理论，它使信源和信道达到匹配，传输的信息量达到最大，提高了信息传输的有效性。2009-4-7小结信源和信道匹配，信息传输率达到了信道容量，否则认为信道有剩余。信源和信道匹配，香农无失真信源编码理论，提高信息传输的有效性。2009-4-7平均互信息I(X;Y)的主要性质一维连续信道中，平均互信息的主要性质与单符号离散信道中一致：非负