工学信息论基础率失真函数练习与思考PPT学习教案

1、会计学1 工学信息论基础率失真函数练习与思考工学信息论基础率失真函数练习与思考 2021-7-312 )(,),(),( , )( 21 21 m m j ypypyp yyy yp Y Y 到接收端信源符号通过信道传送 )(,),(),( , )( 21 21 n n i xpxpxp xxx xp X )/()/()/( )/()/()/( )/()/()/( )/( 21 22221 11211 nmnn m m xypxypxyp xypxypxyp xypxypxyp XYp 信道的传递概率矩阵 第1页/共34页 2021-7-313 第2页/共34页 2021-7-314 n i

2、m j jiiji ji ji yxdxypxpD yxdED XYPYXyxd 11 ),()/()( ),( )(),( 由数学期望的定义 中的统计平均值的联合概率空间和在即， 第3页/共34页 2021-7-315 传递概率不同，平均失真度随之传递概率不同，平均失真度随之 改变。改变。 D D 第4页/共34页 2021-7-316 D D 第5页/共34页 2021-7-317 0 0 0 0 0 0 0 ),( aaa aaa aaa aaa D jiaa ji yxd ji 0111 0 1011 1101 1110 1 0 ),( D ji ji yxd ji 第6页/共34页

3、2021-7-318 );(min)( )/( YXIDR Dij Pxyp DD DD 第7页/共34页 2021-7-319 第8页/共34页 2021-7-3110 );(max )( YXIC i xp );(min)( )/( YXIDR Dii Pxyp 第9页/共34页 2021-7-3111 第10页/共34页 2021-7-3112 DCD)( DCD)( 第11页/共34页 2021-7-3113 第12页/共34页 2021-7-3114 1111 4444 0123 ( ) U P u 0111 1011 1101 1110 D 第13页/共34页 2021-7-311

4、5 11 1 3333 4444 () 11 3 max124 ( ) (/) ( ,) ( )min ( ,)0 min()() ( ,) , , , min(,) j nm ijiij ij n iij j i mn jjjjij p y ji m Dp u p vu d u v p ud u v p yDDp x d x y DD DD r min max 解答：四元对称信源在汉明失真矩阵下，它的平均失真度 根据最小允许失真度的定义： D 根据最大允许失真度的定义： D 由 元离 3 224 3 4 log 4log 3()0 () 0 DH DD R D D 散对称信源可得： 第14页

5、/共34页 2021-7-3116 111 333 101 ( ) U P u 12 11 21 D 第15页/共34页 2021-7-3117 1 3 1 44 33 1 4 max123 max min ( )min ( ,)(1 1 1)1 ( ) ( ,) , min(,) 1 101 1 1010 01 , 10 0101 n iij j i n jiij i m p ud u v Dp u d u v DD DD D D min 解答： 根据最小允许失真度的定义： D 根据最大允许失真度的定义： 达到的信道为， 达到的信道为 11 22 10 01 或 ( , )0I U V (

6、, )( )I U VH U 11 ( ) (/) ( ,) nm ijiij ij Dp x p yx d x y 第16页/共34页 2021-7-3118 01 ()1/21/2 X P X 0 0 a D a 第17页/共34页 2021-7-3119 minmax 22 0 0 0,/2 10 2 () 0 2 log1log1 DD D HD R D D DDDDD H 解答：二元对称信源，其失真矩阵为， 可计算得： 根据参量表达式可求得， 这里，=- 第18页/共34页 2021-7-3120 01 ()1/21/2 X P X 02 10 D 第19页/共34页 2021-7-

7、3121 minmax 12 11122122 02 10 0,1/2 ()()1/2 ( ,)0, ( ,)2, (,)1, (,)0 DD p xp x d x yd x yd xyd xy 解答：二元对称信源，其失真矩阵为， 可计算得： 根据参量表达式进行求解 第20页/共34页 2021-7-3122 1121 1222 (,)(,) 1122 (,)(,) 1122 12 2 12 2 12 33 ()()1 ()()1 0.50.51 0.50.51 2(1)2(1) 11 Sd x ySd xy Sd x ySd xy S S SS SS p x ep x e p x ep x

8、e e e ee ee )12.2 .4(), 2, 1, 0)( , 1)( 1 ),( mjypexp j n i yxSd ii ji 第21页/共34页 2021-7-3123 1112 2122 (,) 1 (,)(,) 12 1 (,)(,) 12 2 3 2 12 3 12 2 22 12 2 1()(4.2.11) 1 ()() 1 ()() 1 ()() 2(1) 1 ()() 2(1) 1 ()() 2(1) ij m Sd x y ij j Sd x ySd x y Sd xySd xy S S S S S S SS S p y e p y ep y e p y ep y

9、 e e p yp y e e e p y ep y e eee p yp y e 2 1 2(1) SS S e e 第22页/共34页 2021-7-3124 11 21 12 22 (,) 2 11 3 (,) 1111 12 (,) 1212 (,) 2121 (,) 2222 (/)()1,2, ;1,2,(4.2.10) 1 (/) (1)(1) (/)() (/ (/)() (/)() (/)() ij Sd x y jiji SS SS Sd x y Sd xy Sd x y Sd xy p yxp yein jm ee p yx ee p yxp ye p yx p yxp

10、ye p yxp ye p yxp ye 32 3 432 21 3 2 22 3 ) (1) (/) (1)(1) 1 (/) (1) SSS S SSS SS SS S eee e eee p yx ee ee p yx e 第23页/共34页 2021-7-3125 11 21 12 22 (,) 11 (,) 11111 (,) 21211 (,) 12122 (,) 22221 2 ( )( ) () ( ,)(4.2.14) ( )() () ( ,) () () (,) () () ( ,) () () (,) 2 1 ij nm Sd x y ijiji ij Sd x y S

11、d xy Sd x y Sd xy S S SS D Sp x p y d x ye D Sp x p y d x ye p xp y d xye p x p y d x ye p xp y d xye e e ee 第24页/共34页 2021-7-3126 1 12 2 22 ( )( )( )ln(4.2.15) ( )20.5ln0.5ln 1 4(1) 20.5ln 11 n ii i S S SS SS S SSSS R SSD Sp x Se R SSe ee See Se eeee 第25页/共34页 2021-7-3127 12 ( )0.50.5 Sss P s 第26页/

12、共34页 2021-7-3128 , t C t t t 解答： (1)信源的信息熵 H(S)=1 bit/symbol 信源输出的信息传输速率 R =2.66(symbol/s) H(s) =2.66bit/s 将此信源输出符号送入二元无噪无损信道进行传输，此信道 每秒只传送二个符号，其最大信息传输速率 C =2bit/s 可见，R根据信道编码定理，不论进行任何编码此信源都 不可能在该信道中实现无失真的传输。故信源在此信道中传输 会引起错误和失真。 第27页/共34页 2021-7-3129 R t tt (2)信源的失真度为汉明失真。其信息率失真函数 R(D)=1-H(D) bit/sym

13、bol R (D)=2.66(D)bit/s 若当CR (D)，则此信源在此信道中传输时不会引起错误，也 就是不会因信道而增加信源新的失真。总的信源的失真是信源 压缩编码所造成的允许失真D。 所以有 2=2.661-H(D) H(D) 0.2481 D0.0415 故允许信源平均失真D0.0415时，此信源就可以在此信道中传输 第28页/共34页 2021-7-3130 2 1 1)( 21 p pp xx xp X i 第29页/共34页 2021-7-3131 )1ln()1(ln)( ) 2 1 ()(443.1)( 1,2) 2 1 ()(443.1log)( )() 2 1 ()(4

14、43.1)() 2 1 ()()( 1 2 1 01 10 2 pppppH pHpHDRK LmpHpHm L K DR bitpHpHnatpHpHDR pDD 这里 时当 第30页/共34页 2021-7-3132 123 ()1/3 1/3 1/3 Xxxx P X 第31页/共34页 2021-7-3133 11 2 1 min () 1 ( ) (/) ( ,) ( )min ( ,)0()()log 3 100 010 001 min()() ( j nm ijiij ij n iij j i m jjjji p y j Dp u p vu d u v p ud u vRH X DP p yDDp x d x minmin max