第四章 信道与信道容量

1、 第四章第四章：信道和信道容量信道和信道容量 (Channel and Cannel Capacity)4.1 信道的数学描述与分类4.2 单符号信道的信道容量4.3 多符号信道的信道容量4.4 连续信道的信道容量4.5 Shannon公式的应用 信 息 论 基 础 第四章第四章：信道和信道容量信道和信道容量 (Channel and Cannel Capacity)4.6 比特能量与比特信噪比4.7 功率利用率与频谱利用率的关系4.8 有色高斯信道的信道容量4.9 信源与信道的匹配设计 信 息 论 基 础 第四章第四章：信道和信道容量信道和信道容量 4. 1 信道的数学描述与分类信道的数学描

2、述与分类 ( The mathematical description and classes of channel) 一、信道的数学描述一、信道的数学描述 在前面的两章，我们主要研究了信源的固有属性以及它的数学描述方法。而最终研究目的：主要是解决如何掌握信源发送信息的最大能力和最有效发送的条件。这一章我们将讨论信息流通的重要环节，即承担信息传输和存储功能的信道。首先要解决的问题是：信道的客观属性及数学描述方法；其次讨论信道的最大传送或存储信息的能力，以及如何达到充分利用信道资源的条件。 实际上我们对信道已有一定的描述，如我们在互信息、条件熵的引出时，都涉及到信道的模型。ChannelX Y

3、N 一般来讲，信道都是加性信道，即YXN ，这是因为对于乘性噪声的数学描述尤为困难，所以通常仅以加性取代。4. 1 信道的数学描述与分类信道的数学描述与分类 条件熵H(Y/X)被称为噪声熵(Noise entropy),是由于当已知信源X的条件下，信道的输出还存在不定度时，则此刻它必定是由于信道本身的干扰噪声所致。 而另一条件熵H(X/Y)则称为损失熵(Loss entropy)，也有的书称为信道疑义度(Channel equivocation) 。它所表达的物理意义：当信道输出端Y收到全部的输出符号之后，对输入端X尚存的平均不确定度。这种对X还剩下的不定度也是由于传送过程中，信道干扰机制所致

4、。 先分析这两个条件熵的概念差别：噪声熵H(Y/X)所表达的是当输出端Y在X所有情况都确知后，变量Y的不定度。由于信道输入除了X就是噪声N，所以此刻Y的不定度就一定是N的熵。这也说明信道的输出Y还有不定度时，已与信源的变量X毫无关系，完全是信道内部的干扰产生；而损失熵H(X/Y)所表达的含4. 1 信道的数学描述与分类信道的数学描述与分类义是当输出端确知所收到的信号Y以后，仍然不明晰输入端X的情况，即存在有疑义。虽然这也是信道干扰所致，但是由于是随X的出现而发生，因而称为损失熵。 从数学角度看其差别并不大，因为H(X/Y)和H(Y/X)是互通的。()() ( )()( )( )p xyP x

5、y p yP y xp xp x 但是要考虑Y=X+N的客观因素，则条件概率P(Y/X)的物理 意义就很明确了。因为Y的不定度是由X和N所决定，当其中一个确知以后，Y的不定度是否完全有另一变量所决定？即：我们可以从数学中证明这个关系：( , )()()( )()( )YNyxnyf x nP y xpyCnf nf yxnthenWhere C=constant npxyP ？4. 1 信道的数学描述与分类信道的数学描述与分类()( )()()( )()()()( )()()NNNdnP y xpnpyxpyxp ndyH Y XH NHYXH YH Y XH N，即即噪噪声声熵熵。且且例例4

6、-1. 设信道噪声为高斯噪声，且概率密度为：设信道噪声为高斯噪声，且概率密度为：22211( )exp()22nnp nn222211()()exp()22()()log 2ynnnyxnP y xp yxuxduH Y XH Ne ：即即则则高高斯斯噪噪声声熵熵。4. 1 信道的数学描述与分类信道的数学描述与分类 因此，从信道模型来看，条件概率P(y/x)，充分表达出信道的固有干扰属性，则应该成为其恰如其分的数学描述。或者说信道本身所存在的干扰噪声是产生不定度的唯一来源，它对信息传输过程中必然引起信息的损失，这是信道本身的客观属性，而与信源和信宿无关。再有不同的信道应存在不同的损失，如果想利

7、用数学关系式描述这种损失，那么P(y/x)一定是最合适的。 所以这就是用P(y/x)来作为信道的数学模型的原因。而且，(; )()()( )()( ), (), ,(; )( )()I X YH XH X YH YH Y XF p x P y x A BxAyBABI X Yp xP y xwhere,如如果果给给定定集集合合 和和 ，则则就就是是关关于于和和的的函函数数。 显然P(x)反映的是信源属性，而P(y/x)才是信道的根本属性。因此，互信息是与信源、信道有关的量，如果对互信息作一些数学处理，设法使它能直观地反映信道的某种物理特性，那么它是否将比P(y/x)更具有实用价值？4. 1 信

8、道的数学描述与分类信道的数学描述与分类 虽然P(y/x)表达的是信道的数学模型，但是不能直观地表达出信道的物理功能能力的大小，这对于评估、优化、分析等应用都不方便。比如说信息熵H(X)就是表征信源能力大小的量。但是我们不能以条件熵H(Y/X)表征信道本身功能的物理量，因为H(Y/X)仅是噪声这种物理概念，并不能直观地代表信道传送信息功能的大小；而H(X/Y)是损失熵，它反映信息遭受损失的情况，也是间接反映信道的功能属性。所以我们只得引入一个信道的物理量信道容量信道容量。二、信道容量的定义二、信道容量的定义（Definition of Channel Capacity） 前面论述了P(y/x)仅

9、能描述信道的数学属性,而不是物理属性。下面寻求一个既能与P(y/x)有关,又要能直观反映信道传输信息的物理特征的物理量。首先，如果说给定一个信道则就意味着给定了P(y/x)以及X、Y取值的集合A和B。或者说以P(y/x)和A,B可以唯一地确定某一信道的客观属性。因此要想构造一个有关信道的物理量，4. 1 信道的数学描述与分类信道的数学描述与分类就要与这三个数学特征发生关系。其次就得与信道的物理功能特征发生关系。(; )( ), (), ,I X YF p x P y xA B 上式表明：互信息与信道的输入、输出量有关。如果我们加上一些数学限制条件，使它变成仅与 有关时，它就能变成适合于我们的物

10、理量。下面就是这种数学处理： (), ,P y xA B( )( )(;)( ),(),maxmaxdefp xp xCI X YF p xP y xA B 该式表示：在给定 的条件下，调整P(x)而使互信息达到最大时的值。这种数学处理就是求互信息的条件极值问题。(), ,P y xA B 即给定了信道，而调整(),P y xA B所引入的限制条件：给定 P(x)就意味着信源可以任意改变，是可以不用考虑实际是否允许， 而理想地变化。目的就是为了找一个互信息的最大值，也是为了测试信道的最大传信能力。很显然所得到的C就是我们要找的信道物理量，我们称为信道容量( Capacity)。4. 1 信道的

11、数学描述与分类信道的数学描述与分类 求上确界是为了适应极值只能接近某一极限的情况，因此信道容量也可能是一个理论值而已。对于信道容量的定义式，我们可以用集装箱的例子形象化地比喻出来。 ( )( )(; )()(; )()s p:umaxsupdefp xdefp xyCI X YPxyCI X YPx：，Definition严严格格的的定定义义这这里里表表示示求求上上确确界界的的数数学学处处理理。( supremum )4. 1 信道的数学描述与分类信道的数学描述与分类 信道好比集装箱，而信源就像不同的货物，集装箱的容积不可改变，但是里面的货物的组成是可以改变。调整信源就像改变货物的组成，是可以

12、用于测试集装箱的最大容积。 信道容量的定义是有了，但是我们还要证明这种定义是否存在和唯一，即用于定义信道容量的互信息的条件极值是否一定存在和这个极值的唯一性。 有定理可证明互信息 I(X;Y) 是信源概率分布 P(x) 的上凸函数 。1212( )(1)( )( )(1)( )01Ip xpxI p xI pxwhere,唯一性证明:要证明两种唯一性问题，1. 互信息的极值是唯一的。2. 达到极值C的输入分布P(x)也一定是唯一的。 这实际上就是上凸函数的充分必要条件的证明。4. 1 信道的数学描述与分类信道的数学描述与分类 三、信道的分类三、信道的分类 ( The classes of ch

13、annel ) 我们给出一种基于信道数学描述的分类方法。因为条件概率P(Y/X)是任何信道的数学模型，给定P(Y/X)也唯一确定了信道，所以我们说信道的分类应该依据P(Y/X)的性质来分。 1211221121 21 2()() 11() 1() 1() 1 0() 1()() ()()011.2.()()3()(.butbut iiiniLLLLP y xP x yP y xP y xP x yP x yorP yyyxP y xP y xP y x P y xP y xP y xP y xP y x P y xxP y xxx无干扰信道无干扰信道有干扰信道有干扰信道无记忆信道有记忆信道4.

14、 1 信道的数学描述与分类信道的数学描述与分类. 无噪无损信道 即：p(y/x)=P(x/y)=1I(X;Y)=H(X)=H(Y)的X与Y一一对应情况。 有的书中称为无损确定信道。则：( )( )(;)()logmaxmaxp xp xCI X YH Xr. 确定信道之一 即 p(y/x)=1但 P(x/y)1 I(X;Y)=H(Y)H(X) X 与Y 有确定性关系，但不是一一对应。()()(;)()logmaxmaxp xp xCI X YH YsXY12xx3x4x5x1rxrx1y2ysy4. 1 信道的数学描述与分类信道的数学描述与分类XY12yy3y4y5y1ryry1x2xsx.确

15、定信道之二 与上述信道相反，一个X值可能有几个Y值输出，但各种X值所对应的Y 不重合，即：p(y/x)1但 P(x/y)= 1 or 0 I(X;Y)=H(X)0 and n,mLet: ;r=1Let: C=C(r,r) and Stopr=r+1npi1) 1 (),()(rrCQFromrji),(), 1(rrCrrCYesNo(1)(1, )riFrompC rr 4. 2 单符号信道的信道容量单符号信道的信道容量 五、高斯信道五、高斯信道 (Gaussian Channel) (memoryless continuous alphabet channel with a time d

16、iscrete ) 当输入符号是一个连续取值，即：x ( ,+)且信道中的干扰噪声为加性高斯变量 n, additive Gaussian noise2(0,)nnN22211( )exp()2NnnpnP y xyx此信道为高斯信道。22( )()( )()log ()(; )( )()( )( )( )( )max( )log 2log 2( )p xnnI X YH YH Y XH YH YH YH Np xP y xP y x dyH YCHdxp xYdxeeH N 4. 2 单符号信道的信道容量单符号信道的信道容量 显然，噪声熵H(N)与输入变量x无关, 所以在求信道容量的过程中调

17、整信源分布p(x)的变化对H(N)没有影响。为此,当H(Y)为最大时，才有互信息的最大值信道容量。又因为在求连续变量x,y的最大熵时，要有一个限定条件，故我们一般设定输入功率受限。即：wiP averagepower constrained2max222( )log 211log 2log 2loglog 122wowinwowowiwonnnPPHYePPPCePe and 因此, 在功率受限的条件下, 只有输入分布为高斯分布时才有可能使输出分布为高斯分布, 而此刻的输出熵为最大, 所以获得高斯信道的信道容量。可以证明高斯信道是干扰最严重的一种单符号信道, 并且可得到加性信道的容量上下界。U

18、pper/Lower bound4. 2 单符号信道的信道容量单符号信道的信道容量证明：在信道输入功率受限的条件下，加性信道的信道容量受限于以下不等式：211loglog(2)()22wowonPCePH NProof:()()()( )()log()( )()log()()NdefNNP y xpyxH Y Xp xP y xP y x dydxp xPyxPyx dydxH NThen2( )( )(; )( )()1max (; )max( )()log(2)()2wowop xp xI X YH YH NE yPCI X YH YH NePH N 即即，信信道道的的交交流流功功率率受受

19、限限。whenthen4. 2 单符号信道的信道容量单符号信道的信道容量以上证明的是加性信道容量的上界：1log(2)()2woCePH N以下证明它的下界： 因为在讨论信道容量时可以任意假设输入信源的分布，所以因为在讨论信道容量时可以任意假设输入信源的分布，所以可以假设输入变量可以假设输入变量X的分布为高斯分布。即，的分布为高斯分布。即，2( ) (0,)xpxN221( )exp()22xwiwiwixPpxPP其其中中def22222( )( )()( )()11()exp()221( )exp,22NNnnwowinwowoq yp x P y x dxp x pyx dxIfletp

20、yxyxyqywhere PPPP （因为两个正态变量之和仍是一个正态变量。因为两个正态变量之和仍是一个正态变量。）2( )1max (; )(; )log2wop xnPCI X YIX YLower bound，即即4. 2 单符号信道的信道容量单符号信道的信道容量( )()( )()(; )( ) ()log( )()( )()( ) ()log( ) ()log( )()( ),NX YX YX Yp xPyxq yP y xIX Yp x P y xdxdyq yPy xq y Py xp x P y xdxdyp x P y xdxdyq yP y x q y 由由于于和和都都是是

21、高高斯斯分分布布密密度度，21log2w onPLow erbound( )log ( )( )log ( )log1p xp x dxq xp x dxxx 2()( )()( )()log( ) () 1( )()( )1( )( )log102( )X YX YwonYP y xq y P y xp x P y xdxdyp x P y xdxdyq yP y x q yPq y q ydyq y= 211loglog(2)()22wowonPCePH NQ.E.D.() ( )1() ( )p y x q yp y x q y4. 2 单符号信道的信道容量单符号信道的信道容量 由此可见

22、，对于同样的功率条件下非高斯干扰信道的容量要比高斯信道的容量要大。如果把非高斯信道看成高斯信道来考虑，这一定是比较安全的近似。因为高斯干扰是最严重的干扰情况，如果高斯信道可以满足传输要求，那么在非高斯情况下也一定满足要求。只不过这种工程近似是一种比较保守的估计，在非高斯条件下，有时信道容量要比高斯信道大的多。所以这种保守设计会使信道资源浪费很多，仅在没有办法的情况下使用为好，(即没有条件得知信道噪声特性的前提下)。第四章第四章：信道和信道容量信道和信道容量4. 3 多符号信道的信道容量多符号信道的信道容量 ( The Capacity of A Multi-Symbol Channel)一、一

23、、Series-Channel 串连信道也称级联信道也称级联信道Channel 1Channel 2XYZ则串连信道的数学特性为：()() ()P z xP y x P z y显然它还是一个单符号信道，而且信道容量有以下限制，121,mi2,n,minssiiCC CCCoriN 注意，串连信道仅是单符号信道的一种扩展，其本质还是一个单符号信道。我们把它放在这里主要是为了与并联信道好比较，而且为了引出常用的BSC信道的多级级联公式。4. 3 多符号信道的信道容量多符号信道的信道容量例例4-7. BSC信道的多级级联信道的多级级联0 01 11-1-0 01 11-1-0 01 11-1-X1X

24、2X3XN-1XN111(12 )1(12 )12 1(12 )1(12 )1(12 )1(12 )log2,22:defBSCjiNNNNBSCjiNNNNSPPPPCH：设设Then 可见N次级联后的信道仍是一个二元对称信道，只不过误码率会大大增加，当N时可求得级联后的信道容量丢失为零。4. 3 多符号信道的信道容量多符号信道的信道容量二、二、ParallelChannel 独立并联信道独立并联信道 指两个以上的单符号信道相互并联组合的情况，仅指各个子信道的转移概率相互独立的场合 ( Independent) 。 因此在这种条件下组合后的信道称为：独立并联信道，其数学特性为：1 (1 2

25、)1 (1 2 )limlog2lim,221 1log2,02 2NNsNNCHHy 1x1yChannel 1Channel 2Channel Nx2xNx2yNy1()()NiiiP yxP yx 4. 3 多符号信道的信道容量多符号信道的信道容量 先讨论最简单的并联信道：y 1x1yChannel 1Channel 2x2x2y112212()() ()pP y xP yx P yxCCC then1122(; )(;)(;)I X YI X YI X Y ：首首先先证证明明设单符号信道 Ch.1的输入、输出变量的取值集合为：1111121112,nmxAaaayBbbb设单符号信道

26、Ch.2的输入、输出变量的取值集合为：2222122212,nmxAaaayBbbb令它们的信道特性为：1122()()defdefjijij ijiPP ybxaPP ybaxnda ()jij iPyxP P 4. 3 多符号信道的信道容量多符号信道的信道容量1122121 21122( ; )(;)log:(; )loglog(;)logjijiiijijiXYjjiiiijjjjjijiijiiijijiXYXYjjjiijiiijijiXYXYjP PI X YI X X YYp P Pqpp pqq qPPI X YpPp P PqqPI X Yp Pp P Pq Note1122

27、log(; )(;)logjijjijiiijijiXYjjPqP PI X YI X Yp P Pq q 112iiiiiXXXXppp 4. 3 多符号信道的信道容量多符号信道的信道容量1122/(; )(;)(;)loglogloglogjij ijij iiijij iiijij iXYXYjjjjjjjjiijij iiijj iiXYXYjjjjI X YI X YI X YP PP Pp P Pp P Pqq qq qq qp P Pp Pqq /121212,(),()()jij ijj iijjiiiijj iijjXXwhereP PPP yb bxaaandp Pp x

28、x y yq y yq 1122log10(; )(;)(;)jjjjjjjjYYjjjjq qq qqqqqI X YI X YI X Y 可见联合互信息不大于各子信道互信息之和，最多相等。如果适当地选取P(X1X2)的分布，而使得互信息I(X1X2;Y1Y2)为最大值，即并联信道的信道容量，也一定满足以上互信息间的不等式。4. 3 多符号信道的信道容量多符号信道的信道容量12PCCC，所所以以也也有有 问题是以上不等式在什么条件下等号成立，由于不等号的引入是来自不等式 Log x x-1 ，当且仅当x=1时等式成立。即，jjjjqq q时时，等等式式成成立立。121212121212121

29、211221211221112221( )()() ()( )( ) ()() ()() () ()() () () ()() ()() ()()XXXletXXXyy yp yp y yp yp yp yp x P y xp x x P y yx xp x x P yx P yxp x p xP yx P yxp x P yxp x P yxp yp ：这这说说明明了了等等式式成成立立的的条条件件可可以以变变换换成成2()y独立并联信道特性只有各个分量相互统计独立4. 3 多符号信道的信道容量多符号信道的信道容量1212112212( )()() ()(; )(;)(;)Pp xp x xp

30、 xp xI X YI X YI XYCCC 只只有有当当时时，才才有有：等等式式成成立立。and 同理，以上结论很容易推广到N个单符号信道并联组合模式： 则N个符号的并联信道也有，121121()(),( )() ()()( ):NjijiNPNiiNNiiPiPPCCCCCp xp x p xp xp xCNCCNCifThenor4. 3 多符号信道的信道容量多符号信道的信道容量 三、三、SumChannel 和和信道信道 这种组合信道看起来与并联信道相似，但它们的输入、输出不同，前者是随机变量 ；而后者是随机矢量。先看它的数学描述：当输入x的集合看成是由若干个子信道的输入变量子集的和时

31、，即： Channel 1Channel 2Channel N1x2xNx1y2yNysXsY( )( )( )12,iiiiinxaaa12(1)(1)(1)(2)(2)(2)( )( )( )121212( )( )( )121,isiiisnnnNsssnsxaaaaaaaaaaaathen 这也表明在任何时刻，最多只有一个子信道在工作(或称被占用)，这种通信方式在保密通信中是比较常见。如跳频通信模式。4. 3 多符号信道的信道容量多符号信道的信道容量111111()(; )()()log()()()()()();()1;1sssssnmNjissijisssijsjssjjsjinnN

32、ssssjijiisiisP baI X Yp a P ba pp p bpp bbP bap bp a P bap ap，为为选选择择第第 个个子子信信道道传传送送的的概概率率。为为第第 个个子子信信道道被被占占用用时时，符符号号 的的出出现现概概率率。为为第第 个个子子信信道道的的数数学学s ss ss s特特性性。where,and(1)(1)(1)1(1)1(2)(2)(2)2(2)2()( ; )( )()log( )()( )()log( )jiijiijjjiijiijjPb aI X Ypa Pb a pp pbPb apa Pb a pp pb例例： N=24. 3 多符号信

33、道的信道容量多符号信道的信道容量12121222222:log222NNNCCCCCCCCCCCaaaaCifthbit/senymbol 可以证明和信道的信道容量C与各子信道的信道容量 CS 之间存在着以下关系式：211loglog2sSC -CC -CssP = aif :P2Cbit/symbolssNNCCassCaC，：，即即：如如并并且且可可证证明明当当其其中中每每个个子子信信道道被被占占用用的的概概率率为为时时和和信信道道将将达达到到其其信信道道容容量量：4. 3 多符号信道的信道容量多符号信道的信道容量 可以看出,和信道的容量资源浪费巨大,但为了安全可靠地通信，就只得以容量为代

34、价来换取某种通信性能指标的突破。利用牺牲某种指标来换取另一种指标，这在通信系统的设计中是常有的事。( )sip a 同样可推出当达到和信道的信道容量C时C 其最佳输入分布将与各子信道使用概率PS和达到此子信道容量的最佳输入分布 之间存在着以下关系式：1maxosisiPa= P PaNssssCCCC；显显然然，而而且且，( (证证明明从从略略) )第四章第四章：信道和信道容量信道和信道容量 其实这个题目太大，我们仅讨论连续信道最简单的一种限频（带）、限功率的高斯信道。4. 4 连续信道的信道容量连续信道的信道容量 ( The Capacity for Gaussian Channel wit

35、h Power and Bandwidth Constrained )y 1x1yChannel 1Channel 2Channel Nx2xNx2yNyN Ch. (i)xy 问题的提出：4. 4 连续信道的信道容量连续信道的信道容量 前面我们已讨论过由多个单符号信道组合成一个独立并联信道，已达到在单位时间内传送多个符号的目的。注意这仅是在单位时间内位时间内, ,占用占用N个单符号信道来实现传送个单符号信道来实现传送N个符号的功能。要达个符号的功能。要达到这个目的到这个目的, 是否还可以设想由是否还可以设想由N个符号组成一个无记忆序列个符号组成一个无记忆序列, 由由一个单符号信道来传送，只不

36、过将其速率提高一个单符号信道来传送，只不过将其速率提高N倍而已。要保证倍而已。要保证在原来传送一个符号的时间内传送在原来传送一个符号的时间内传送N个符号，这种改造后的单符个符号，这种改造后的单符号信道其容量应是原来的号信道其容量应是原来的N倍。倍。 下面所要讨论的时间连续信道，就是以单符号信道来过渡到多符号信道实现按序列传输的典型例子。采用我们一贯的把复杂问题简单化的策略，将一随机过程变换成随机矢量，进而简化成无记忆序列问题。同样我们仍对数学描述最简单，但实际干扰最严重的平稳高斯过程入手，即对时间上连续的高斯信道进行分析。 以前所提到的高斯信道是仅指对样点具有正态分布的单符号信道(在时间上是离

37、散的)。而下面所提到的信道是指信道所允许4. 4 连续信道的信道容量连续信道的信道容量的输入信号是一个随机过程X(t,)，而且信道本身的干扰噪声也是一个随机过程N(t, )。因此我们对时间连续的高斯信道还要加一频谱条件，这就是白色噪声特性。总起来讲，高斯信道的噪声特征：加性白色高斯干扰噪声。(Additive White Gaussian Noise) 因此高斯信道一般称为AWGN信道，它是干扰最严重的信道。 高斯特性与白色特性，这是两种完全不同的概念。所谓高斯噪声是指噪声的每一时刻样点取值的概率分布满足正态分布规律；这仅是针对样点而言，而频谱特性则是反映随机过程不同时刻的样点之间相互关系的量

38、。所谓白色特性是指一个随机过程x(t), 如果其功率受限，即： ；则它的功率谱密度(power spectral density)若满足以下条件：22( )xExt 0( )0NfBG ffB，我们则称此频谱条件为白色特性。4. 4 连续信道的信道容量连续信道的信道容量 而白色高斯噪声是同时具备正态和白色两种特性的噪声：0n( )p n2n0Bf()G f0N2n2nBBRn22sin)(2 对于平稳随机过程还有一时域统计规律，这就是自相关函数(autocorrelation function)它的数学定义为：( )( ) ()() ( )RE n t n tn tn t dt4. 4 连续信

39、道的信道容量连续信道的信道容量0Bf()G f0N2n2nBBRn22sin)(2 因为功率谱密度与自相关函数是一对关函数是一对Fourier Transform，所以所以知其中一个必知另一个。00( )( )2( )cos11( )( )( )cos2jjSRedRdRSedSd 0( )0NfBG ffB2sin2( )2nnBRB 4. 4 连续信道的信道容量连续信道的信道容量 显然，当 则每个分量 之间的相关性，可以从自相关函数中得到。如果每个分量之间的时间间隔为 ，而每个 1/2F, 则自相关函数 R( )=0 , 说明每个分量之间相互独立。123Lxx x xxix222122si

40、n2()sin()02()nnLBTBTBTBB kkR kB kk是是限限制制的的带带宽宽。即即取取样样时时间间间间隔隔因因此此, ,。ifletwhere 如果将随机过程N(t , ),分解成由2FT个分量所构成的随机序列，则我们一定可以将L个分量之间都彼此相互独立，这也就为我们构造一个无记忆序列创造了条件。 给定一个AWGN信道，就是所引入的干扰噪声N(t , )，具有白色频谱，每个样点具有相同的概率分布，即零均值正态分布；而对于非白高斯信道，则是频谱特性不在保持平坦性，但概率仍是正态分布，我们则称为有色高斯信道。 4. 4 连续信道的信道容量连续信道的信道容量 下面再讨论AWGN信道的

41、信道容量问题：设输入该信道的信号 功率受限，即：22( )1( )0 xE x tfBK ffB andWhere: K(f ) is frequency response characteristic of channel. 其中K(f)是该信道的频响特性。有了这种频响特性就意味信道 对其输入的信号有了限带要求, (相当于信号通过一个低通滤波器) ，所以输入AWGN信道的信号也是一个带宽受限，功率受限的信号。 我们已经了解到对于限频、限时的随机过程.一定可以分解成L维的随机矢量, 而且L2BT个分量之间也可以实现彼此相互独立。122( ,)() (0,)LlxX txx xxp xNif4.

42、 4 连续信道的信道容量连续信道的信道容量122221:( )(1,2,)AWGN1()()()exp22()()LlllllllNllnnLlllyxn tyy yyyxnlLyxP yxpyxP y xP yx 又又按按照照信信道道的的特特性性：whereand22,1log(1)2lllxlnx ynC对对于于每每个个样样点点，和和 可可以以构构成成单单符符号号信信道道的的容容量量： 这就是说当xl为零均值的高斯变量时，互信息I(xl;yl)才有最大值。而且当要传送L个变量xl时，按照独立并联信道应得下式：4. 4 连续信道的信道容量连续信道的信道容量 由于当且仅当每个输入变量之间相互独

43、立，才有等号成立。22log(1)2xAWGNlnLCLC12222222( )() ()()2log(1)log(1)log(1)22LxxxAWGNnnnp xp x p xp xLBTCBTif 所以上述信道容量表达出传输持续时间为T，频带带宽为B；且输入功率受限的白色高斯信道的容量。有时我们常常以单位时间内的最大互信息为信道容量的标准，故：22log(1)defxTnCB如果将方差写成功率谱的形式：220 xnSN Band220220log(1)log(1)log(1)log(1)xnxTnSCBTBTN BSCBBN B4. 4 连续信道的信道容量连续信道的信道容量 以上是AWGN

44、信道的容量公式，也称为Shannon公式公式。它是信息论最早应用于实际工程设计的结论之一，对通信系统的设计与应用起到了不可估量的指导作用。00000000;1lim ln(1)()ln 2()ln 2xTSBNBxxSSTCB TNBNSTNSSCBNBNSN N atbitN at/secw h ebnT h enorit/sec第四章第四章：信道和信道容量信道和信道容量 Shannons Formula 它所涵盖的几种物理概念，对我们实际工程设计都非常有用，所以我们加重讨论它的应用，以加深大家对信息论的认识。首先我们恢复这个定理的原貌及达到定理的条件。Theorem: Let the ou

45、tput of a continuous time channel be given by the sum of the input and white Gaussian noise of spectral density N0 . Let theInput be power constrained to S and let the input be constrained over some time interval T to be a linear combination of 2BT orthogonal functions. Then the capacity of the chan

46、nel per unit time is given by:4. 5 Shannon公式的应用公式的应用 ( The Application of Shannons Formula )0log(1)TSCBN B4. 5 Shannon公式的应用公式的应用This is Shannons famous formula for the capacity of a additivewhite Gaussian noise channel with a band-limited power-limitedinput .Corollary: The capacity per unit time of

47、a AWGN channel withthe input power constrained to S and with the number of degreeof freedom unconstrained is given by000/sec/seclogln 2BTSNSCeSNNNatBit4. 5 Shannon公式的应用公式的应用 以上是Shannon公式的两种形式，这里可看出有关信道的统计特征C和实际物理量：带宽B、持续时间T以及输入信噪比都联系在一起。这无疑给我们的实际应用带来了很大的指导作用。下面我们一一分析如下： . CT is directly proportional

48、 to B . 即CT与B成正比。带宽越宽，信道所允许传输的信息就越多；但当B时，则C本身将不在提高了，非常接近一常量。可见仅靠采用扩展带宽的方法来提高信道容量，当达一定程度后就行不关于Shannon公式的讨论200200log(1)log(1)loglog(1)log(1)logBnBTnSSSTCBTBTeN BNSSSCBBeN BN4. 5 Shannon公式的应用公式的应用通了，其原因：200nSBN BN B 还还要要受受到到噪噪声声功功率率的的约约束束。CBCT0logSeN. If B be given, then CT is directly proportional to

49、signal-noise ratio (S/ n) .2TnSC即 ，. When signal-noise ratio (S/ n) is very lower than 1, then CT is not equal to null . 当输入信噪比远远地小于1时，则CT 不为零；这说明此刻信道仍具有传输信息的能力。即对于弱信号而言，也同样有通信的可能性。比如人类可以从火星以外的空间收回飞船发出的信息。4. 5 Shannon公式的应用公式的应用 即，在信道容量C保持不变的条件下，信道带宽B，传输时间T和输入信噪比S/ n 之间，可以互相补偿(互换)。 (). 三个物理量中当信噪比S/ n

50、 不变，则B T 反之 T B。这说明扩展带宽可以缩短传输时间，而延长时间就可 以降低带宽要求。 (). 如果传输时间T保持不变，则(S/ n ) B ，反之 B (S/ n ) 。即，在同样的时间内，如果扩展带宽，就可以 降低对信道信噪比的要求；而当压缩带宽时，则意味着必须提 高信噪比。显然对于干扰严重的信道，在保证同样的传信率要 求下，则应该需要比较宽的信道传输。 实际上，这也反映出在信息传输过程中的一对矛盾：. If C be maintained at a constant , then B, T and S/ n can compensate each other .4. 5 Sha

51、nnon公式的应用公式的应用 在实际工程中我们也经常利用这三者的互换关系来达到不同的目的。比如收音机的调频波段FM,带宽B比调幅波段AM要宽的多，所以抗干扰性好适合于收听音乐节目，但其传输效率低。又比如为了能在窄带电缆中传输电视节目(因条件所限)，我们采用增加传输时间T来压缩电视信号的带宽 (目前的彩信业务也是这种机制) 。方法是先把电视信号快速录制到录像带上，然后再慢放录像带，使得输出频带降低至能使窄带电缆传输的速率，最后再接收端采用慢录快放的方式恢复原来的电视图象。而象一般的可视电话都不可能得到实时的动态图象，而是动画效果。还有海军的潜水艇上的通信手段，往往是一种突发式的通信机制(模式)

52、有效性 efficiency ：(; )defTTIX YC 可靠性 reliable ：0eSpN B4. 5 Shannon公式的应用公式的应用 就是要在极短的时间内将大量的信息发送出去，可想其收发电台 的带宽要求非同寻常。 .The AWGN is the must endanger for channel with additive noise . 即在加性信道的条件下，白色高斯噪声是危害最大的干扰噪声。因此对于那些不是白色高斯噪声信道来说，其信道容量一定要大于Shannon公式所给出的结果。 例例48. 若市话网中的输出信噪比大于若市话网中的输出信噪比大于6dB时，此电时，此电话线的

53、信道容量为多少？话线的信道容量为多少？22222222log610lg0.6lglog 10log0.6 log 10 1.99wowowonnnwonPPPdBPbits4. 5 Shannon公式的应用公式的应用 23log(3400300) 1.9960007.2)woTnTPCBRGRC在（的的速速率率下下，传传真真机机根根本本不不可可能能在在当当时时的的市市话话网网中中应应用用。bits/seckbit/secThen226144/secnPdBISDNkbit目目前前我我们们市市话话网网的的信信噪噪比比, ,所所以以电电话话线线上上传传输输速速率率大大大大增增强强。如如果果使使用用

54、方方式式线线路路速速率率可可达达。 此例告诉我们违反常规的工程设计，就应该在计划实施之前制止，而不是计划实施之后。所以类示信息论的这样的理论工作在可行性分析中能发挥出它的巨大作用。第四章第四章：信道和信道容量信道和信道容量 比特比特能量能量Eb是根据信息能量和消息中的信息比特数是根据信息能量和消息中的信息比特数计算得来。设有一计算得来。设有一 k bit的信息包含在持续有限时间的信息包含在持续有限时间T 的的消息波形消息波形S ( t ) 之中之中, 则该消息的能量为：则该消息的能量为： 4. 6 比特能量与比特信噪比比特能量与比特信噪比 ( Bit energy and Bit signal

55、 to noise ratio) 20TmES tdt则比特能量定义为：则比特能量定义为：mbEWEb itk而对于码率为而对于码率为R(bit/S)的数据流，则：的数据流，则：sbPER其中其中Ps 是消息的平均功率，定义为：是消息的平均功率，定义为： 0log 1log 1sbosTbTPE RNN FPCFNERCFNF则：0log 1bTECRFNF即： 设一含噪信号，其单边功率谱为设一含噪信号，其单边功率谱为N0 (W/Hz) ，若用，若用比特信噪比（比特误差率）比特信噪比（比特误差率） Eb /N0 来表示信道容量：来表示信道容量：msEPT4. 6 比特能量与比特信噪比比特能量与

56、比特信噪比如果设定如果设定r是频谱利用率，其定义为：是频谱利用率，其定义为： 00log1log1bbTEECRrFNFN则 ： 可见频谱利用率可见频谱利用率r和功率利用率和功率利用率(Eb /N0 )将作为数字将作为数字通信系统中两个重要的质量指数通信系统中两个重要的质量指数 。s e cd e fRb itrH zF4. 6 比特能量与比特信噪比比特能量与比特信噪比TCRFF显然要保证可靠通信，必要确立显然要保证可靠通信，必要确立20021log1rbbEErrNNr或第四章第四章：信道和信道容量信道和信道容量 在评估一个通信系统性能时，系统的功率利用率和在评估一个通信系统性能时，系统的功

57、率利用率和频谱利用率是两个最重要的指标。频谱利用率是两个最重要的指标。 功率利用率是在给定比特率的条件下用功率利用率是在给定比特率的条件下用比特信噪比比特信噪比（即每比特能量与白噪声的单边功率谱密度的比值（即每比特能量与白噪声的单边功率谱密度的比值Eb /N0 )来衡量，此值越小说明系统的功率利用率越高，可表明此来衡量，此值越小说明系统的功率利用率越高，可表明此系统利用所发送信号功率的能力。系统利用所发送信号功率的能力。 例如在二进制数字载波调制系统中，例如在二进制数字载波调制系统中，BPSK的功率利的功率利用率要高于用率要高于BFSK和和BASK的制式。的制式。 4. 7 功率利用率与频谱利

58、用率的关系功率利用率与频谱利用率的关系 ( The Relation for Power availability and Spectrum availability)一、功率和频谱利用率的定义一、功率和频谱利用率的定义4.7 功率利用率与频谱利用率的关系功率利用率与频谱利用率的关系 频谱利用率频谱利用率定义为系统所传输的信息速率定义为系统所传输的信息速率R与系统带宽与系统带宽 F 的比值的比值r，此值越高说明系统的频谱利用率越大，因此它表明此值越高说明系统的频谱利用率越大，因此它表明系统在单位频带上传输信息的效率。系统在单位频带上传输信息的效率。20021log1rbbEErrNNr或 例如

59、：在相同带宽条件下，多进制调制要比二进制调制例如：在相同带宽条件下，多进制调制要比二进制调制具有更高的频谱利用率。具有更高的频谱利用率。 如多电平正交调幅如多电平正交调幅(MQAM)和多电平相移键控和多电平相移键控(MPSK）。 一个好的通信系统应该是具有高的功率利用率和频谱利用率。但是这两个指标往往是相互矛盾的，即高的功率利用率要导致低的频谱利用率出现，或者相反。因此在设计通信系统时往往在则两个指标之间进行权衡考虑。021rbENr0bENr可靠通信可靠通信可能区域可能区域可靠通信可靠通信不可能区域不可能区域1122434535(W/Hz)bps/Hz4.7 功率利用率与频谱利用率的关系功率

60、利用率与频谱利用率的关系 对应于对应于频谱利用率频谱利用率与与功率利用率关系曲线功率利用率关系曲线告诉我们增加每告诉我们增加每单位带宽的比特率单位带宽的比特率r与随之要增加所需的每比特的能量与随之要增加所需的每比特的能量Eb。这就。这就是数字通信理论中能量与带宽的交换关系。是数字通信理论中能量与带宽的交换关系。 在固定信息速率的前提下在固定信息速率的前提下, ,增加带宽可以降低对功率的要求。增加带宽可以降低对功率的要求。0000limln 1(/ln 2ln 2ln693)20.xsTsbbTbxxPCbitNPE RE RRCNENS又这就是这就是AWGN信道实现可靠通信的信道实现可靠通信的