信息论编码第2章

1、 等效信道 干扰源 物理信道 解调器 编码器 译码器 信宿 信源 调制器 实际信道 编码信道 图图3.1.1 3.1.1 数字通信系统的一般模型数字通信系统的一般模型)(0)(1)|(xfyxfyxyP)|().|.()|(12121iiNiNNxyPxxxyyyPxyP a1 b1 a2 b2 X . . Y . .ar bsP(bj/ai)sjijijpp110 矩阵矩阵P P完全描述了信道的特性，可用它作为离散单符号完全描述了信道的特性，可用它作为离散单符号信道的另一种数学模型信道的另一种数学模型的形式。的形式。 P P中有些是信道干扰引起的错误概率，有些是信道正确中有些是信道干扰引起的

2、错误概率，有些是信道正确传输的概率。所以该矩阵又称为传输的概率。所以该矩阵又称为信道矩阵信道矩阵（转移矩阵）。（转移矩阵）。 rsrrsspppppppppP.:.212222111211 b1 b2 bsa1 P(b1|a1) P(b2|a1) P(bs|a1)a2 P(b1|a2) P(b2|a2) P(bs|a2) . ar P(b1|ar) P(b2|ar) P(bs|ar) -1 pppp1pPabPpPabPppPabPppPabP )0|1()|()1|0()|(1)1|1()|(1)0|0()|(12212211 p p是单个符号是单个符号传输发生错误传输发生错误的概率的概率（

3、1-p1-p）表示是）表示是无错误传输无错误传输的概率。的概率。 转移矩阵转移矩阵: :1 1p p a a1 1=0 =0 0=b0=b1 11 1p p a a2 2=1 =1 1=b1=b2 2p pp p符号符号“2”2”表示接收到了表示接收到了“0”0”、“1”1”以外的特以外的特殊符号殊符号 qqpp1001 0 2 1 0 2 10 01 1p p0 0 0 01 1p p1 1 1 1q q1 1q q2 2(1/0)0(0/1)0p yxp yx)(log)()(1log)()(1xPxPaPaPXHXirii)|(1log)|()|(jXjjbxPbxPbXH )/()()

4、/()|(1jsjjjbXHbPbXHEYXHrijijisjjbaPbaPbP11)|(1log)|()()|(1log)(,yxPxyPYX写成一般表达式写成一般表达式)()|(log)|(1log)(1log)/()();(ijijiijixpyxpyxpxpyxIxIyxI)()|(log)();()();(ijijijijijijixpyxpyxpyxIyxpYXI(/)(;)() log( )() log(/)() log( )1() log(/)( ) log( )(/)1() log( ) log( )(/)()(/)xyxyxyxyyxxyxp xyI X Yp xyp xp

5、 xyp xyp xyp xp xyp yxp xp xp xyp xyp xp xp xyHXHXY )(1log)()(;)(1log)()(ypypYHxpxpXHYX)|(1log)()|(;)|(1log)()|(,xypxypXYHyxpxypYXHYXYX )(1log)()(,xypxypXYHYX H(X)H(Y)H(X/Y)H(Y/X)I(X;Y)I(X;Y)H(XY)H(XY)(0)(1)|(xfyjixfyjixypij)(0)(1)|(xfyjixfyjiyxpji YyXxyPxyp)()|(YyXxxPyxp)()|(,()()(/)(;)() log()()()

6、(/)()(/)()()(;)() log()()()()(;)() log()()()log()()log()()log 10 x yx yx yx yx yEfxfExp xyIXYp xyp xp xypyp xyp xyp xypyp xyIXYp xyp xpyp xpyIXYp xyp xyp xpyp xyp xyp xpy证明证明: :利用詹森不等式利用詹森不等式()( )log( ) ( )p xyf xp x p y,10(/)1.log0(/)1(|)()log0(|)(;)()(/)()X Yp xyp xyH XYp xyp xyI X YH XH XYH X由于证明

7、证明: :,(/)(;)()log( )()()log( )( )()()log( )( )(/)()log( )( ;)x yx yx yx yp xyI X Yp xyp xp xyp xyp x p yp yxp xyp y p xp yxp xyp yI Y X()( ) ( / )()( / )( )p xyp y p x yp xyp x yp y,( | )( | )(; )( ;)()log( ) ( | )log( )( )( )( ) ( | )X YX YXP y xP y xI X YI Y XP xyP x P y xP yP yP yP x P y x其中：01(

8、)1xp x 11(; )( )(/)1( )()log( / )1( )( )( / )log( / )11( )( ) loglog( )( )XYXYXppppppppI X YH YH YXH YP xyp y xH YP xP y xp y xH YP xpppH yH pp对对BSC,BSC,其信道转移矩阵为其信道转移矩阵为计算计算(0)( 0)( ) (0/ )(0) (0/0)(1) (0/1)(1)1(; )()log111()logloglog( )XP yP xp x pxppppppp ypI X YpppppppppHppH ppppp（）由由I(X;Y)I(X;Y)

9、表达式可得表达式可得, ,若信道固定若信道固定(P(P一定一定),),则则0(; )( )( )01(; )()( )01(; )1( )2(; )I X YH pH pI X YHH pI X YH pI X Yp ，最大即是 的型函1(; )()log111()logloglog( )I X YpppppppppHppH pppp（）(;)( )0(;)( )(0)( )1(;)()(1)( )111(;)( )( )222(;)I X YHppH ppI X YHHHpI X YHHHpI X YHHI X Y在（）中，最小即是 的型凸函1(; )()log111()logloglog(

10、 )I X YpppppppppHppH pppp（）说明总是存在最差信道，使说明总是存在最差信道，使I=0I=0sjijijpp110)|().|.()|(12121ijNiNNxyPxxxyyyPxyP rsrrsspppppppppP.:.:.2122221112111 11111 111 12221 12(. )(. )(.)(. )(|): (.)(. )NNNNkkrrrsssrsa aabbba aabbbpXYa aab bb NNNNNNsrrrss212222111211(|)khhkp1212(|)hhhNkkkNp b bba aa1(|)1,2,1,2,NNNhiki

11、ip bakirhis22222222pppppppppppppppppppppppp2112131241(/)(00 / 00)(0 / 0)(0 / 0)(/)(01 / 00)(0 / 0)(1 / 0)(/)(10 / 00)(1 / 0)(0 / 0)(/)(11 / 00)(1 / 0)(1 / 0).PPPPpPPPPppPPPPppPPPPp);();(NNYXIYXI)/()(NNNYXHXH)/()(NNNXYHYHX X NiiixyPxP1)/()/(yNiiiYXIYXI1);();( ),(),(1iiNiYXIIYX),(),(),(1YXNIYXIIiiNiYX

12、Rt R/t = I(X;Y)/t = H(X)/t H(X|Y)/t （比特（比特/ /秒秒）);(max)(YXICXP tCCt)(1);(maxpHYXImax(; )max()( )1( )CIX YHppH pH p ()( )HppH p当当12100010001)3 , 2 , 1,(10)/()/(jijijibaPabPjiij)/(loglog)(max)(max)()(symbolbitsrYHXHCyPxP10000005153510000003231P”0“1)/(1)/(1)/(1)/(1)/(1)/(635242322111其他各项后验概率为baPbaPbaPb

13、aPbaPbaPsymbolbitrXHCxP/log)(max)(P68说明()max( )log(/)P yCH Ysbit symbolP68说明2161313121616131213131616161613131PP和7 .01 .02 .01 .02 .07 .03161316161613131PP和.11.11:.11ppprrpppPrrppprr1pp)/() ,., (log),., ()(max2121)(symbolbitpppHspppHYHCssxP YXxypxypxpXYH)|(1log)|()()|()/()(xXYHxpXYxypxypxXYH)|(1log)

14、|()|(),., ()/(21spppHxXYH3131616161613131P),(),(1iiNiYXII YX即：即：C CN N = NC= NC()()1()11max (; ) max(;) max (;) iNP XNiiP XiNiiP XiNiiCI X YI X YI X YC 一、连续单符号加性高斯噪声信道的信道容量一、连续单符号加性高斯噪声信道的信道容量22log)(enh2020log212log2logPeePC)1log(21)1log(212nssPPP二、多维无记忆高斯加性连续信道二、多维无记忆高斯加性连续信道NiiNiiinpxypxypnp11)()/

15、()/()(NiiiYXIYXI1);();(NinisiPP11log21NinisiPP11log21);(max)(YXICxpX X1 1Y Y1 1=X=X1 1 +n+n1 1n n1 1X XN NY YN N=X=XN N +n+nN Nn nN NP Pn nnsPPNC1log2NininiPPC11log210 00 )(xxxxnisiPPPPXENisiNii112nisiPPnisiPP)( 11WPNisi65. 00 . 1.2 . 01 . 011011011NiniPP517.06.0.2.01.01616161iniPP5 . 05 . 0.2 . 01

16、. 01515151iniPP5 . 04 . 0.2 . 01 . 01414141iniPP35. 24 . 03 . 02 . 01 . 05 . 0log21log21log211log21443214141nnnniniinisiPPPPPPPC53. 48 . 0.2 . 01 . 0825. 0log21log21log2188765432181nnnnnnnniniPPPPPPPPPC85. 00 . 1.2 . 01 . 031011011NiniPP)( 31WPNisi825. 08 . 0.2 . 01 . 0381三、限频限时限功率的加性高斯白噪声信道的信道容量三、限

17、频限时限功率的加性高斯白噪声信道的信道容量 12( , ,., )Lx x xx12(,.,)Lyy yyyxn2LWT和和而在频带内的高斯噪声是彼此独立的，从而有而在频带内的高斯噪声是彼此独立的，从而有按照采样定理，在按照采样定理，在00，TT范围内要求范围内要求 这是多维无记忆高斯加性信道，其信道容量为：这是多维无记忆高斯加性信道，其信道容量为： 211lo g12LiiiPC0 =log(1)sPWTN W - -这是重要的这是重要的香农公式香农公式。当信道输入信号是平均功率。当信道输入信号是平均功率受限的高斯白噪声信号时，信息传输率才达到此信道容量。受限的高斯白噪声信号时，信息传输率才

18、达到此信道容量。WNPWTCCsTt01loglim比特秒比特秒);(YXIC CYXIC);( rXHlog)(1例如，某离散无记忆信源例如，某离散无记忆信源 通过一个无噪无损二元离散信道进行传输。通过一个无噪无损二元离散信道进行传输。对对二元离散信道的信道容量二元离散信道的信道容量为：为：C C1(1(比特信道符号比特信道符号) )对本信源的信息熵为对本信源的信息熵为 H(X)H(X)1.937(1.937(比特信源符号比特信源符号) )要使信源在此二元信道中传输，必须对要使信源在此二元信道中传输，必须对X X进行二元编码：进行二元编码：123456()1/21/41/81/161/321/32XxxxxxxP X因此，必须通过合适的信源编码，使信道的信息传因此，必须通过合适的信源编码，使信道的信息传输率接近或等于信道容量。输率接近或等于信道容量。12345612000001010011100101000000010010001101000101xxxxxxCC1C对于码对于码1()0.6463H XR ( (比特信道符号比特信道符号) )2()0.4844H XR 2C对于码对于码( (比特信道符号比特信道符号) )eP ePL 1e