信息论与编码(第二版)陈运主编课件第二章 (3)

1、 信息论与编码信息论与编码Information Theory and codingInformation Theory and coding 内蒙古工业大学电子信息工程系复习复习l信源熵及性质l互信息量信源信源X信宿信宿Y有扰信道有扰信道C C干扰源干扰源N N( ;)ijI a b研究信源中各个消息之间的关系平均互信息平均互信息11()()log ( )nmijijijip a bp abp a平均交互信息量；交互熵);();(jibaIEYXInimjjijibaIbap11);()(同理，X对Y的平均互信息：nimjjijjibpabpbapXYI11)()(log)();()()()

2、(jijjibapbpbapnimjjijijibpapbapbapYXI11)()()(log)();(二、平均互信息的物理意义二、平均互信息的物理意义nimjijijiapbapbapYXI11)(log)(log)( );( )()(YXHXH1损失熵表示收到Y后，对X仍存在不确定度，代表信道中损失的信息。()H X Y( ; )( )()I Y XH YH Y X2平均互信息的物理意义平均互信息的物理意义()H Y X噪声熵表示发出X后，对Y仍存在不确定度，由于信道中的噪声引起的。()( )H XYH XH Y通信前： （）()()H XYH XH Y X通信后： （）平均互信息的物理

3、意义平均互信息的物理意义( ; )I Y X11() log () log ( ) log ( )nmijijijijp abp abp ap b( )( )()H XH YH XY3三、平均互信息的性质三、平均互信息的性质( ; )( ;)I X YI Y X对称性对称性1非负性非负性2( ; )0I X Y 说明：从X中提取关于Y的信息量与由Y中提取到X的信息量是相同的，是信息流通的总体测度。说明：信道每传递一条消息，总能提供一定的信息量。( ; )( )I X YH X( ;)( )I Y XH Y( ; )( )()XI X YH XHYjijibapji 0 1)(0)(YXH( ;

4、 )( )I X YH X极值性极值性XY、 一一对应13()( )iijapp ab( )( )0H XH X( ; )( )()XI X YH XHY111( )log ( )()log ( )nnmiiijiiijp ap ap abp aXY、 相互独立2极值性极值性凸函数性凸函数性4的是信源)();(iapYXI1的是)();(ijabpYXI2YXZ假定 条件下 、 相互独立);();(ZYIZXI);();(YXIZXI数据处理定理数据处理定理X )(1ijabpY)(2ijabpZ5例例2.1.4信源X接入图示信道5 . 05 . 0)(21aaXPX98. 0)(11abp0

5、2. 0)(12abp2 . 0)(21abp8 . 0)(22abp0.980. 80. 20. 021a2a1b2b49. 098. 05 . 0)()()(11111abpapbap01. 002. 05 . 0)(21bap同理：4 . 08 . 05 . 0)(22bap1 . 02 . 05 . 0)(12bap)()()(ijijiabpapbap159. 049. 01 . 0)()()(12111bapbapbp41. 04 . 001. 0)()()(22212bapbapbp21)()(ijijbapbp2831.059.049.0)()()(11111bpbapbap1

6、69.0)(1)(1112bapbap024.041.001.0)()()(22121bpbapbap976.0)(1)(2122bapbap)()()(jjijibpbapbap3)( 15 . 0log5 . 05 . 0log5 . 0)(符符号号bitXH)(98. 041. 0log41. 059. 0log59. 0)(符号bitYH)(43.1符号bit)(XYH4 . 0log4 . 01 . 0log1 . 001. 0log01. 049. 0log49. 04)()(log)()(2121ijiijjiapbapbapYXH)(45. 0符号bit)()(YHXYH024

7、. 0log01. 0831. 0log49. 0976. 0log4 . 0169. 0log1 . 05( ; )( )()XI X YH XHY1 0.450.55()bit 符号()()( )YHH XYH XX1.43 10.43()bit 符号67H(X) ,H(Y) 信源熵，无条件熵H(X/Y) 疑义度，损失熵H(Y/X) 噪声熵H(XY)联合熵I(X;Y)平均互信息量，交互熵X Y 名称 符号关系式图示无条件熵()H X( )H Y()()(; ) ()()()()XH XHI X YYXHYYH XH XYHX( )()(; ) ()( )()()YH YHI X YXYHXXH YH XYHYX Y 名称 符号关系式图示熵件条 )(XYH)(YXH);()( )()()(YXIYHXHXYHXYH);()( )()()(YXIXHYHXYHYXHX YX Y 名称符号关系式图示X Y()( )() ( )() ( )( )( ; ) ()()( ; )YH XYH XHXXH YHYH XH YI X YXYHHI X YYX)(XYH熵合联 名称 符号关系式图示