第三章信道容量——信息论与编码

1、 第第3 3章章 信道容量信道容量 l信道的主要任务：以信号的形式传输和存储信信道的主要任务：以信号的形式传输和存储信息。息。l问题：在什么条件下，通过信道的信息量最大，问题：在什么条件下，通过信道的信息量最大，即信道容量的问题。即信道容量的问题。第第3章：信道容量章：信道容量23.1 信道的数学模型和分类信道的数学模型和分类P(Y/X)xY信道的数学模型信道的数学模型：X P(Y/X) Y输入与输出之间一般不是确定的函数关系，输入与输出之间一般不是确定的函数关系，而是统计依赖的。而是统计依赖的。3信道的分类信道的分类连续连续信道信道半离散信半离散信道道离散离散信道信道信道的分类信道的分类4信

2、道的分类信道的分类单符号单符号 信道信道多符号多符号信道信道信道的分类信道的分类5信道的分类信道的分类单用户信单用户信道道多用户信多用户信道道信道的分类信道的分类6信道的分类信道的分类无干扰信无干扰信道道有干扰信有干扰信道道信道的分类信道的分类7信道的分类信道的分类有记忆信有记忆信道道无记忆信无记忆信道道信道的分类信道的分类83.2 单符号离散信道的信道容量单符号离散信道的信道容量l信道的输入和输出都取值于离散集合，且信道的输入和输出都取值于离散集合，且都用一个随机变量来表示的信道就是单符都用一个随机变量来表示的信道就是单符号离散信道。号离散信道。9信道容量的定义信道容量的定义naaaX,21

3、p(bi/ai)xYi=1,2,nmbbbY,21p(bi/ai）信道的转移概率信道的转移概率/信道传递概率信道传递概率10离散无记忆信道离散无记忆信道 (DMC) (DMC) 9 11信道转移概率矩阵：信道转移概率矩阵：转移概率矩阵转移概率矩阵 转移概率矩阵的每一行元素之和为转移概率矩阵的每一行元素之和为1 对任意对任意 j 0, 1, , m ，由全概率公式，由全概率公式有有 : 12信道的信息传输率信道的信息传输率l信源熵为信源熵为H(X)，由于干扰的存在，一般只接，由于干扰的存在，一般只接收到收到I(X;Y)。平均互信息。平均互信息 I (X ;Y) ：接收到：接收到 Y 后平均每个符

4、号获得的关于后平均每个符号获得的关于 X 的信息量。的信息量。 l定义定义:平均每个符号能传送的消息总量为信平均每个符号能传送的消息总量为信道的信息传输速率（信息率），道的信息传输速率（信息率），R， R=I(X;Y)若平均传送一个符号为若平均传送一个符号为t秒，则信道每秒钟平秒，则信道每秒钟平均传送的信息量，均传送的信息量，1(; )tRI X Yt13信道容量信道容量11()(; )()log ()nmjiijijjp baI X Yp abp b111()( ) ()log () ()nmjiijinijjjiip bap a p bap bp baI(X;Y)是是p(ai)和和p(bj

5、/ai)的二元函数。当信道特性的二元函数。当信道特性p(bj/ai)固定后，固定后，I(X;Y)随信源概率分布随信源概率分布p(ai)变化。变化。14lI(X;Y)是是p(ai)的上凸函数，总能找到一个的上凸函数，总能找到一个p(ai)使得信息率最大。使得信息率最大。l信道容量：信道中最大的传输速率，信道容量：信道中最大的传输速率，C，l单位：比特单位：比特/信道符号信道符号l单位时间的信道容量，比特单位时间的信道容量，比特/秒秒 ()()maxmax (; )p aip aiCRI X Y()()1maxmax (; )p aip aiCRI X Yt信道容量信道容量15信道容量信道容量()

6、()()max (; ) max()() max( )()iiip ap ap aCI X YH XH X YH YH Y X);(max1)(YXItCiapt16几种特殊离散信道的容量几种特殊离散信道的容量一、离散无噪信道一、离散无噪信道1、一一对应的无噪信道、一一对应的无噪信道an bna1 b1a2 b21.000.0.0100.100naaaX,21nbbbY,2117a1 b1a2 b2an-1 bn-1an bn00.10000.010.10.00001.000X、Y一一对应一一对应,此时此时H(X/Y)=0，H(Y/X)=0， CmaxI(X;Y)log n (p(ai)=1/

7、n即等概即等概)p(ai)一一对应的无噪信道一一对应的无噪信道18a1 b1 b2 b32、具有扩展功能的无噪信道具有扩展功能的无噪信道a2 b4 b5 b6a3 b7 b8 38372625241312110000000000000000ababababababababpppppppp19此时，此时，H(X/Y)=0，H(Y/X) 0，且且 H(X) H(Y)。所以，所以，C = max H(X) = log n (p(ai)=1/n即等概即等概) p(ai)一个输入对应多个输出一个输入对应多个输出2、具有扩展功能的无噪信道具有扩展功能的无噪信道203、具有归并性的无噪信道、具有归并性的无噪

8、信道a1 b1a2 a3 b2a4100010010001001a5 b3C = max H(Y) = log m p(ai) =？p(ai)H(X/Y) 0，H(Y/X) = 0多个输入变成一个输出多个输入变成一个输出21结论结论l无噪信道的信道容量只取决于信道的输入无噪信道的信道容量只取决于信道的输入符号数符号数n或输出符号数或输出符号数m，与信源无关。，与信源无关。是表征信道特性的一个参量。是表征信道特性的一个参量。22二、强对称二、强对称(均匀均匀)离散信道的信道容量离散信道的信道容量pnpnpnpnppnpnpnpp1111.1.111.11n X np：总体错误概率naaaX,21

9、mbbbY,2123(/)() (/)log(/)()(/)log(/)nnijijiijnniiinnijijijH YXp a p bap bap a HHp bap ba 其中1,.111ppppnnn特点及信道容量特点及信道容量每行、每列都是同一集合各元素的不同排列(; )( )()I X YH YH Y X24(1)log(1)(log)(1)11nippHppnnn 特点及信道容量固定固定X Xaiai，对，对Y Y求和，即选定某一行，对各元素求和，即选定某一行，对各元素自信息量加权求和。自信息量加权求和。(/)log(/)nnijijijHp bap baaiai不同时，只是求和

10、顺序不同，结果完全一样，不同时，只是求和顺序不同，结果完全一样，所以所以HniHni与与X X无关，是常数。无关，是常数。25()( /)( )(; )( )max( )nniniiininip aiH YXp a HHI X YH YHCH YH信道容量信道容量？输入符号的概率如何分布，才能使得输入符号的概率如何分布，才能使得H H（Y Y）达到最大？达到最大？26napi1)(相应的相应的ninapapapHnHYHXYHYHYXICiiiilog )(max )/()(max );(max)()()(信道容量27结论：l当输入等概率分布时，强对称离散信道能够传当输入等概率分布时，强对称离

11、散信道能够传输最大的平均信息量，达到信道容量。输最大的平均信息量，达到信道容量。l信道容量只与信道的输出符号信道容量只与信道的输出符号n及信道矩阵的某及信道矩阵的某一行矢量有关。一行矢量有关。28二进制对称信道（二进制对称信道（ BSC ） 二进制对称信道的信道容量二进制对称信道的信道容量 C = 1 - H ( p ) 29三、对称离散信道的信道容量三、对称离散信道的信道容量矩阵中的每列都矩阵中的每列都 是集合是集合P = pP = p1 1,p,p2 2, , , p, pn n 中的诸元素的不同排列，称矩阵的列是可排列的。中的诸元素的不同排列，称矩阵的列是可排列的。矩阵中的每行都是集合矩

12、阵中的每行都是集合Q = qQ = q1 1, q, q2 2, , ,q,qm m 中的诸元素的不同排列，称矩阵的行是可排列中的诸元素的不同排列，称矩阵的行是可排列的的。30如果矩阵的行和列都是可排列的，如果矩阵的行和列都是可排列的，称矩阵是可排列的。称矩阵是可排列的。如果一个信道矩阵具有可排列性，如果一个信道矩阵具有可排列性，则它所表示的信道称为则它所表示的信道称为对称信道中，当对称信道中，当nmnmnm，Q Q是是P P的子集；当的子集；当n=mn=m时，时，P=QP=Q。对称信道对称离散信道对称离散信道31输入对称输入对称 如果转移概率矩阵如果转移概率矩阵 P 的每一行都是第一行的置的

13、每一行都是第一行的置 换换 ( 包含同样元素包含同样元素 ) ，称该矩阵是输入对称。，称该矩阵是输入对称。 输出对称输出对称 如果转移概率矩阵如果转移概率矩阵 P 的每一列都是第一列的置的每一列都是第一列的置 换换 ( 包含同样元素包含同样元素 ) ，称该矩阵是输出对称。，称该矩阵是输出对称。 对称信道对称信道 输入、输出都对称。输入、输出都对称。 23 对称离散信道对称离散信道32练习：判断下列矩阵表示的信道是否是对称信道练习：判断下列矩阵表示的信道是否是对称信道 61316131616131313p 40.7 0.2 0.10.1 0.2 0.7p 31316161616131311p31

14、21612161316131212p33napi1)(相应的相应的minimjijijinimjijijiHabpabpapabpabpapXYH )/(log)/()( )/(log)/()()/(1111mimiapHmHYHCilog)(max)(34例：例： 某对称离散信道的信道矩阵为某对称离散信道的信道矩阵为 信道容量为: 35强对称信道与对称信道比较：强对称信道与对称信道比较： 强对称强对称 对称对称 n=m n与与m未必相等未必相等 矩阵对称矩阵对称 矩阵未必对称矩阵未必对称 P=Q P与与Q未必相等未必相等行之和，列之和均为行之和，列之和均为1行之和为行之和为136四、准对称信

15、道离散信道的信道容量四、准对称信道离散信道的信道容量若信道矩阵的行是可排列的，但列不可排列，若信道矩阵的行是可排列的，但列不可排列，如果把列分成若干个不相交的子集，且由如果把列分成若干个不相交的子集，且由n n行和行和各子集的诸列构成的各个子矩阵都是可排列的，各子集的诸列构成的各个子矩阵都是可排列的，则称相应的信道为准对称信道。则称相应的信道为准对称信道。例如下面的矩阵：例如下面的矩阵：818121418181412137准对称准对称 信道信道 转移概率矩阵转移概率矩阵 P 是输入对称而输出不对称，即是输入对称而输出不对称，即 P 的每的每 一行都包含同样的元素而各列的元素可以不同。一行都包含

16、同样的元素而各列的元素可以不同。 准对称信道的信道容量准对称信道的信道容量 由由 I ( X;Y ) 表达式表达式 1 求其极大值求其极大值 公式法公式法 2 38公式法公式法 将信道矩阵分成若干个互不相交的对称的子集将信道矩阵分成若干个互不相交的对称的子集 39例： 408181214181814121miHXYH)/()(max)(miapHYHCi例题41假设此时将矩阵的列分为假设此时将矩阵的列分为S S个子集，每个子集个子集，每个子集的元素个数分别是的元素个数分别是m m1 1，m m2 2，m ms s。ssmjjsjsmjjjmjjjbPbPbPbPbPbPYH)(log)(.)(

17、log)()(log)()(1111例题42例题43多符号离散信道数学模型多符号离散信道数学模型多符号离散信道多符号离散信道 多符号信源通过离散信道传输形成多符号离多符号信源通过离散信道传输形成多符号离散信道。散信道。1212.NNXX XXYY YY1212KnKnXa aaYb bbYXYPX)(44多符号离散信道的数学模型多符号离散信道的数学模型12.NXX XX12.NYYYY12Niiiia aanii iN,.,2 , 1.21Nni,.,2,112Njjjjb bbNmj,.,2,1mjjjN,.,2 , 1.21有 个元素Nn()XP Y XY45()XP Y XY112111

18、222212()().()()().().()() .()NNNNNNmmnmnnppppppppp 信道矩阵信道矩阵46)/()();(XYHYHYXI1X)(11XYP)(NNXYPNXXY1YNY离散无记忆信道的N次扩展信道47离散无记忆信道的离散无记忆信道的N N次扩展信道次扩展信道无记忆：无记忆：YK仅与仅与XK有关有关121211221(/)(./.)(/)(/).(/)(/)NNNNNiiiP YXP Y YYX XXP YXP YXP YXP YX4811121212121211112( /).(.) (.)log(.)NNNNNNNnnmmiiijjjiiiiijjjjjii

19、iH Y Xp a aap b bba aap b bba aa 1211111111112() ()()log()()NNNNNNNnnmmiiijijiiijjjijip a aap b ap bap b ap ba 4911111112222222222()()log()()()log().()()log()NNNNNNNnmijijiijnmijijiijnmijijiijp ap bap bap ap bap bap ap bap ba 11221(/)(/).(/)(/)KKNKKKH YXH YXH YXH YX501121121111(;)()(/)(.)(/)(.)()(;)

20、()(/)(;)(;)NKKKNNKKKNNKKNNKKKKKNKKKI X YH YH YXH Y YYH YXH Y YYH YI X YH YH YXI X YI XY51离散无记忆信道的离散无记忆信道的N次扩展信道次扩展信道l离散无记忆信道的离散无记忆信道的N次扩展信道的平次扩展信道的平均互信息量不大于均互信息量不大于N个变量个变量X1X2.XN单单独通过信道独通过信道 的平的平均互信息量之和。均互信息量之和。YXYPX)(NKKKYXIYXI1);();(521 2 1NX X . (;)(;)(;)(;)KNkkkXXI X YI XYI X YNI X YCNC当且仅当无记忆，等

21、号成立当随机变量取值同一符号集时离散无记忆信道扩展信道信道容量离散无记忆信道扩展信道信道容量结论：如果信道是结论：如果信道是N N次扩展信道，信源也是次扩展信道，信源也是N N次次扩展信源，则扩展信源，则N N次扩展信道的信道容量是离散次扩展信道的信道容量是离散无记忆信道容量的无记忆信道容量的N N倍倍53独立并联信道的信道容量独立并联信道的信道容量lN次扩展信道的推广，随机变量取值于不同次扩展信道的推广，随机变量取值于不同的符号集的符号集121.NNNKKCCCCC543.5 3.5 连续信道连续信道55)/(YXYPX,baX R),(,baY R),(p(y/x)连续信道的数学模型连续信

22、道的数学模型);(max)(YXICxpC56加性连续信道加性连续信道NY=X+Np(y/x)=p(n)X57dxdyxypxypxpXYHyxc)/(log)/()()/(dxdnnpnpxpNx)(log)()()()(log)(NHdnnpnpcN)()(NHXYHcc加性连续信道加性连续信道( )max( )()ccp xCHYHN58假定N是均值为0，方差为NP2的高斯变量22log21)(eNHc噪噪声声功功率率2)()(2log21)(max )()(maxeYHNHYHCcxpccxp高斯加性连续信道高斯加性连续信道限功率最大熵定理限功率最大熵定理 只有只有 Y 为为正态分布时

23、，其熵最大正态分布时，其熵最大 59yyP2xxP2输入平输入平均功率均功率输出平输出平均功率均功率对于高斯加性信道NXYNxyPPP高斯加性连续信道高斯加性连续信道60)2log(21)2log(21 )()(max22)(eeNHYHCyccxp)1log(21log21NxNxNPPPPPNxPP信噪功率比高斯加性连续信道高斯加性连续信道61香农公式香农公式log(1)xtNPCWP(bit/s)香农公式香农公式PN 功率谱密度功率谱密度 W 带宽带宽 Px信号功率信号功率 信噪功率比信噪功率比 Px/ PN= Px/ N0W 62香农公式的讨论香农公式的讨论 log(1)xtNPCWP

24、(bit/s)W eNPCxt20log带宽一定时，信噪功率比与信道带宽一定时，信噪功率比与信道 容量成对数关系容量成对数关系 当输入信号功率一定，增加带当输入信号功率一定，增加带 宽，容量可以增加宽，容量可以增加 63频带利用率：单位频带的信息传输速率频带利用率：单位频带的信息传输速率 C t 一定时，带宽一定时，带宽 W 增大，信噪功率比可降低，增大，信噪功率比可降低， 即两者是可以互换的。即两者是可以互换的。 信道容量可以通过系统带宽与信噪比的互换而保持不变信道容量可以通过系统带宽与信噪比的互换而保持不变 64例：如果例：如果SNR=7SNR=7，W=4000HzW=4000Hz，则可得，则可得 C=12C=1210103 3 b/s b/s； 但是，如果但是，如果 NR=15,W=3000HzNR=15,W=3000Hz，则可得同样，则可得同样 C C 值。值。 信噪比和带宽的互换性在通信工程中有很大的用处。信噪比和带宽的互换性在通信工程中有很大的用处。 例如，在宇宙飞船与地面的通信中，飞船上的发射功例如，在宇宙飞船与地面的通信中，飞船上的发射功