信息论与编码第二章答案

1、 u ,u ,upu )123 u，231231111( ) 0p u1p u()0u ，2pu )pu )pu )uu，u，u，2332131122322( ) 0p upu )pu )u uu，31323332 1/2 0p(s |s ) 3 0 2/3jiW ，W ，W 312111122W = W + W + W ， W = W + W , W = W且：W +W +W 233233112321332123 296W = ，W =，W =52525123 由 符 号 集 ， 组 成 的 二 阶 马 尔 可 夫 链 ， 其 转 移 概 率 为 ：00ji00 、w 、w 、w w1234

2、 0.8w 0.5ww w p w p w p w p11 1122133144113w w p w p w p w p 0.2w 0.5w21 1222233244213w w p w p w p w p 0.5w 0.2w31 1322333344324w p w p w p w p 0.5w 0.8w41 1422433444424w w w 1且w；123451415141w p(00)p(01)p(10)1w 71712w 75753 (11)pw141441613 和5 2 1 3，451 1 11p(x )= 213 和5 6 61811I(x )=-lb 4.17bit1811

3、 1 1p(x )= 1 6 6 3621I(x )=-lb 5.17bit362 ; 61 111H(X)15 lb 6 lb 4.337bit18 1836 3623456789x1 2 3 4 5 6 5 4 3 2 1p p(x )1bp(x )3.27Hiii21136(x )1 p311I(x )=-lb 1.17bit363, 1 1 1212(x )p(x )1x x p，12121 1 1 1(X)( lb lb )H2 2 2 2(x ) 0.99 p(x )0.01 p,;12(X)(0.99lblbH14(x ) p(x ) p(x ) p(x ) x x x x p1

4、2341234）1 1(X)4( lb )bitH4 4 pp，则p(AB) p()P(B| ) 0.250.75 3=p(B)P(B)0.58= 3 7 113 p(x3)，18则1I(x3)lbp(x3)lb bit18（2 7 1,66,12,55,23,44,311p(x7) I(x7)lb bit66$X x 0 x 1 x 3 x 31234 P 3 81 41 41 812202 120 130 213 001 203 210 110 321 010 021 032 011 223 2103x I(x )=-lb bit1）8111x I(x )=-lb bit4221x I(x

5、 )=-lb bit4331x I(x )=-lb bit844x x x ，x 6 1234（x （x （x （x （x ）i1234I 87.81/ 451.95 比特/符号2H(X) p(x )log p(x ) p(x )log p(x ) p(x )log p(x ) p(x )log p(x )112233443111 1.415 2 2 38448bit（111I (X)lb bit I (X)lb bit I (X)lb bit2482482 3 5 12X Y 3X Y 413(x )1 x x p，1212p(x ) 321 2H(X) H( , )( log log )0

6、.5280.390bit3 3 3 3 31 1 223Y x x 122757(y x )p(y x ) p、。11212 2 5 5HY x ) p(y x )log p(y x )( log log )7 7 7 71i1i1i0.5160.347bitYy y 1259(y x )p(y x ) p、。1414122255 99HY x ) p(y x p(y x )( ) 2i2i2i0.5300.4100.940bit）)2HY | X) p(x )HY |x )=p(x )HY x ) p(x )HY x ) =0.91bit/ii1122i025B 21215921212255

7、559921 21 21 21 21 21 21 21 12 有2 XY;(xy) p(x)Y是X pi ji2218182 =32 323232111.5798 =38380.3010 x ,x ,x Y y ,y ,y H（n|c） X 和 Y， X，123123r(x ,y ) r 为ijij7/24 1/240r r r r r r 1/24 1/4 1/24 r r r 01/24 7/24 X和YY ，Y X 33(X,Y) p(x,y ) p(x,y )1 Hijiji1 j17711 112 log 4 log log /24242424 4413(y ) p(y ) p(y

8、)2 p1231 1 1113HY) p y ( ( ) ( , , )3 1.58bit/p y H3 3 333iii1(X |Y) H(X,Y)HY)0.72bit/3 Hp x yH(X Y) p(x ,y )log ()ijijijp(x ,y ) p(x ,y )logijp(y )ijijj7124131714 log241244(2 log log )13142430.1120.50.104bit X 和并 定 义 另 一 随 机 变 量 （ 一 般 乘 积 ） 。(X) HY) H(Z) H(X,Z) HY,Z) H(X,Y,Z)） H， X ) H(X Z) H(Z X)

9、HY Z) H(Z Y)，），H(X Y,Z)，HY X,Z)，H(Z X,Y)(X;Y) I(X;Z) IY;Z)( ; )( ;)( ;） I，I X Y Z ，I Y Z X ，I X Z Y1 3 1p(x )=p(xy )+p(xy )= 1）8 8 211 11 23 1 1p(x )=p(x y )+p(x y )= 8 8 222 12 2p x bit symbolH(X) p(x )log ( ) 1 /iii1 3 1p(y )=p(xy )+p(x y )= 8 8 211 12 13 1 1p(y )=p(xy )+p(x y )= 8 8 221 22 2HY) p

10、 y ( )log ( )1 /p y bit symboljjj X ，X X C中121(x )的任一个，第二个符号 X 可以是 D，E，F，G 中的任一个。已知各个 p为2i111p() , p(B) , pC) p(x x )2362j iH(X ,X ).12(X ,X )H(X )H(X X )H1212111 11 11H(X ) log log log 0.50.5280.4311.459bit22 33 661H(X X )211 111 111 331 11 1 114 log 2 log 2 log 3 log log 2 443 553 10106 66 6 2210.

11、30940.34720.21530.0833bitH(X ,X )1.4591.955 3.414bit/序列12 , ,X ,X X各X A a a a 2r1, 2,3rp p 4率)为 p123rj123。i0%0(X ,X ,X ) 求123 ,H ,H 求H0121）H(X ,X ,X ) H(X )H(X | X )H(X | X X )12312131 H(X )H(X | X )H(X | X )1213211 11 11H(X ) log log log bit/122 44 44X X 12123(x ) p(x x )p122 ji 2 jiji1X 22302311.H

12、(X | X ) log4 lo10214844？X X 2 314232i 3j18082636077153 553 5H(X | X ) log2 log4 log4 log log3 log log33224488362 72362 72H(X ,X ,X )1.5 1233.9693(X ,X ,X )bitH31231 1 12 4 423130a P1232 13 30122473W W W 1W 211312331 W W WW 由 W1413322143 WiWW W 1123W3144 1 1 132 13H (X) WH X W( | )H( , , )2H ( , ii7 2 4 4 3 3i11.51.209 H bitH bitH01221.251.251.51.25 1 1 0.21 1 1 0.617 1 10.078001.5811221.355012a2a3图X 12H1p p/2 p/2 p/2 1 p p/2P /2p/2 1 pppp131313 pW W W WW 1222312WP Wpp pW W WW W3121223Wi 1i1W W W123W13p