信息论基础复习题目

1、log24log27存在称三次的方法必然找到该球结论结论: :24log)21121log(12021/8/148141418332104321aaaaPX22021/8/14解：解：（1 1）。根据题意可。根据题意可得：得：比特415. 183log)(log)0(11apaI比特241log)(log) 1(22apaI比特381log)(log)3(44apaI比特241log)(log)2(33apaI此消息中共有此消息中共有1414个个“0 0”符号，符号，1313个个“1 1”符号，符号，1212个个“2 2”符符号，号，6 6个个“3 3”符号，则得到的符号，则得到的)(6)(1

2、2)(13)(144321aIaIaIaIIbit81.8736212213415. 11432021/8/14287.81/451.95/Ibit symbol原因原因：是该特定消息中平均每个符号携带的信息是该特定消息中平均每个符号携带的信息量，而信息熵是离散无记忆信源平均每个符号携带的信息量，量，而信息熵是离散无记忆信源平均每个符号携带的信息量，是统计平均值。是统计平均值。41()()log()33111111loglogloglog884444881.91/iiiH Xp ap abit symbol 不完全相等不完全相等42021/8/1452021/8/14( )1/64ip x()

3、log()log(1/64)6iiI xp xbit 8/1)|(jiyxp(|)log (|)log(1/8)3ijijI xyp xybit 62021/8/14005. 00010. 005. 000010. 005. 000030. 010. 000025. 0543214321xxxxxyyyy72021/8/1410. 0)(, 2 . 0)(,35. 0)(,35. 0)(05. 0)(,15. 0)(,15. 0)(,40. 0)(,25. 0)(432154321ypypypypxpxpxpxpxp541()()log ()0.25log0.25 0.10log0.10 0.

4、30log0.30 0.05log0.050.10log0.10 0.05log0.05 0.10log0.10 0.05log0.05 2.665/ijijijH XYp x yp x ybit symbol51( )( )log ( ) 0.25log0.25 0.40log0.40 0.15log0.15 0.15log0.15 0.05log0.05 =2.066/iiiH Xp xp xbit symbol82021/8/1441( )( )log ( ) 0.35log0.35 0.35log0.35 0.20log0.20 0.10log0.10 1.856/iiiH Yp yp

5、 ybit symbol92021/8/14)|()|(log )|;(kikjikjizxpzyxpzyxI)|()|( )|;( kjikikjizyxIzxIzyxI由公式可知：2.2.2 条件互信息条件互信息102021/8/14可知：由)|()|(log )|;(kikjikjizxpzyxpzyxI )|(- )|( )|( )|()|()|(log )()|()|()(log )()|()()|(log )|;(kjikjkikjkikjikkjkikjikjkikjkjikjizyxIzyIzxIzypzxpzyxpzpzypzxpzyxpzypzxpzypzyxpzyxI )

6、|(- )|( )|( )|;(kjikjkikjizyxIzyIzxIzyxI所以有：112021/8/14发送的信息发送的信息:H(X):H(X)损失的信息损失的信息:H(X|Y):H(X|Y)通过信道传递到接收端的关于通过信道传递到接收端的关于X X的信息的信息:I(X;Y) :I(X;Y) 信源信源X X有扰信道有扰信道信宿信宿Y Y如果如果，说明信道无干扰，说明信道无干扰, ,则则I(X;Y)=H(X)如果如果，说明干扰很大，说明干扰很大, ,I(X;Y)=0122021/8/140.980.80.020.21x2x1y2y5 . 05 . 021xxPX132021/8/148 .

7、 0)|(2 . 0)|(02. 0)|(98. 0)|(5 . 0)(5 . 0)(2221121121xypxypxypxypxpxp21()()log()0.5log0.50.5log0.51/iiiH Xp xp x 则：比特 信源符号142021/8/1411111()() (|) 0.5 0.980.49p x yp x p yx12121()( ) (|) 0.5 0.020.01p x yp x p yx22222()() (|)0.5 0.80.40p x yp xp yx21212()() (|)0.5 0.20.10p x yp xp yx求出各联合概率由),|()()(

8、ijijixypxpyxp2211()()log ()1.43/ijijijH XYp x yp x y 则：比特 信源符号152021/8/14集中各消息概率得到由YyxpypNijij1)()(59. 0)()()()(12112111yxpyxpyxpypii41. 0)()()()(22212122yxpyxpyxpypii21( )()log()0.59log0.590.41log0.410.98iiiH Yp yp y 则：比特/信源符号162021/8/14(; )()( )()0.55I X YH XH YH XY比特/信源符号得：由)|()( )|()();(XYHYHYXH

9、XHYXI信源符号比特/45. 0);()()|(YXIXHYXH信源符号比特/43. 0);()()|(YXIYHXYH172021/8/143 . 07 . 052)(21KxKxxPX36. 064. 04/18/1)(21WyWyyPY1121(|)0.8,(|)0.2p yxp yx则182021/8/14首先计算首先计算)|()|(2221xypxyp和根据全概率公式根据全概率公式111121221212221222()( ) (|)() (|)()( ) (|)() (|)(|)(|)1p yp x p yxp xp yxp yp x p yxp xp yxp yxp yx以及1

10、222822(|)0.267 (|)0.7333030p yxp yx2211(|)(; )() (|)log()0.186jiijiijjp yxI X Yp x p yxp y比特/信源符号192021/8/142 , 1 , 0X2/ 1) 2(4/ 1) 1 () 0 (ppp，1 , 0,1 , 021YY，并判断哪个实验好？和求);();( ).1 (21YXIYXI的信息；关于中的一个实验各可多得或比做或并计算做）（XYYYYYXI212121)Y;( .2，并解释它们的含义。和求）（)Y|;()Y|;( .31221YXIYXI)|(1XYP)|(2XYP0 11 00 11/

11、2 1/20120 11 01 00 1012202021/8/14)|()();(111XYHYHYXI)|()();(222XYHYHYXI )|()()( )|()()(222111xypxypypxypxypyp、)|()()(11xypxpxyp由可得：和)|()()(22xypxpxyp)(1XYPXY10 11/4 00 1/41/4 1/40121/2 1/2P(Y1)(2XYPXY20 11/4 01/4 00 1/20121/2 1/2P(Y2)signalbitYH/1)(1signalbitYH/1)(2signalbitxypxypXYHxy/5 . 02log412

12、log411log411log41)|(log)()|(1111signalbitxypxypXYHxy/01log211log411log41)|(log)()|(1112signalbitXYHYHYXI/5 . 0)|()();(111signalbitXYHYHYXI/1)|()();(222212021/8/14)|()();(212121XYYHYYHYYXI )|()()(212121xyypyxypyyp、 )()()(2121ypypyyp )|()|()|(2121xypxypxyyp12/24log)(log)()(212121yygnalsibityypyypYYH)|

13、(21XYYPXY1Y200 01 10 111 0 0 00 0 1 00 1/2 0 1/2012)(21YXYPXY1Y200 01 10 111/4 0 0 00 0 1/4 00 1/4 0 1/40121/4 1/4 1/4 1/4P(Y1Y2)signalbitxyypyxypXYYHxyy/5 . 02log412log411log411log41 )|(log)()|(21212112222021/8/14signalbitXYYHYYHYYXI/5 . 1)|()();(21212121YY 和21YY或signalbitYXIYYXI/1);();(121signalbi

14、tYXIYYXI/5 . 0);();(221signalbitXIYXIYXI/5 . 0)Y;()Y;()Y|;(22121signalbitXIYXIYXI/1)Y;()Y;()Y|;(11212。232021/8/14）（，求二次扩展信源的熵23214/14/12/1XHPX)(2)(2XHXH9, 32qq则解：16/ 116/ 18/ 116/ 116/ 18/ 18/ 18/ 14/ 1332313322212312111PXsymbolbitppXHiii/5 . 1)(log)()(31symbolbitppXHiii/3)(log)()(912)()(XNHXHN24202

15、1/8/145105 252021/8/14 10110211)(,10/ 1.10/ 110/ 1.)(iiiaPaaaaPX每个象素亮度含有的信息量为：每个象素亮度含有的信息量为： H(X)=log10=1H(X)=log10=1哈特来哈特来/ /象素象素=3.32=3.32比特比特/ /象素象素每帧图像含有的信息量为：每帧图像含有的信息量为： 帧比特帧哈特来/1066.1/10510log105)()(655XNHXHN设每秒传送设每秒传送3030帧图像，则传递此图像所需的信息率为：帧图像，则传递此图像所需的信息率为： 秒比特秒哈特来/1098.4/105.1)(30761NXHR262

16、021/8/14（2 2）证明：）证明： 色彩度信源的概率空间为色彩度信源的概率空间为: : 30130211)(,30/1.30/130/1.)(iiibPbbbbPY每个象素色彩度含有的信息量为：每个象素色彩度含有的信息量为： H(Y)=log30=4.91H(Y)=log30=4.91比特比特/ /象素象素亮度和色彩度同时出现，每个象素含有的信息量为：亮度和色彩度同时出现，每个象素含有的信息量为： H(XY)=H(X)+H(Y)=log10+log30=8.23H(XY)=H(X)+H(Y)=log10+log30=8.23比特比特/ /象素象素 传输这彩色系统的信息率与传输黑白系统的信

17、息率之比就传输这彩色系统的信息率与传输黑白系统的信息率之比就等于彩色系统每象素含有的信息量与黑白系统每象素含有信息等于彩色系统每象素含有的信息量与黑白系统每象素含有信息量之比，即：量之比，即：H(XY)/H(X)=2.5H(XY)/H(X)=2.5 则证明传输这彩色系统的信息率是传输黑白系统的信息则证明传输这彩色系统的信息率是传输黑白系统的信息率的率的2.52.5倍。倍。272021/8/145103 282021/8/14（1 1）分析可知汉字字集是等概率分布的，则汉字字集信源为）分析可知汉字字集是等概率分布的，则汉字字集信源为100001211)(,/1./1/1.)(iiqibPqqqb

18、bbbPY 字比特/10329. 110000log1000)()(4YNHYHN（2 2）分析可知）分析可知1281128211)(,128/1.128/1128/1.)(iiiaPaaaaPX每个象素亮度含有的信息量为：每个象素亮度含有的信息量为： H(X)=log128=7H(X)=log128=7比特比特/ /象素象素帧比特/101 . 2128log103)()(65XNHXHN字158000)(/ )(YHXHN292021/8/14 16116181412121012)(XPXbitxpxpXHii8/1516log16116log1618log814log412log21)(l

19、og)()(511 bpsR150008000815302021/8/14设某二阶离散平稳信源设某二阶离散平稳信源X=X1X2X=X1X2的原始信源的原始信源的信源模型为：的信源模型为： 36/119/44/1)(321xxxXPXX=XX=X1 1X X2 2中前后两个符号的条件概率为：中前后两个符号的条件概率为： 11/9)|(, 8/1)|(, 0)|(11/2)|(, 4/3)|(9/2)|(0)|(, 8/1)|(, 9/7)|(332313322212312111xxpxxpxxpxxpxxpxxpxxpxxpxxp312021/8/14信源信源X X提供的熵提供的熵 序列/412

20、. 2)|()()(12121bitXXHXHXXH symbolbitXXHXH/206. 1)(21)(212极限熵、条件熵都小于原始信源的熵极限熵、条件熵都小于原始信源的熵符号之间存在相关性符号之间存在相关性 symbolbitxpxpXHiii/542. 1)(log)()(31 313112/870. 0)|(log)()|(ijijjisymbolbitxxpxxpXXH322021/8/14 75. 0)0| 1 (5 . 0) 1 | 1 () 1 |0(25. 0)0|0(pppp332021/8/14解解：221kq则令状态则令状态S S1 1=0,=0,状态状态S S2

21、2=1=1 S 1 =0S 2 =10.750.500.250.50根据状态图求状态转移概率：根据状态图求状态转移概率：p(Sp(S1 1|S|S1 1)=0.25 p(S)=0.25 p(S2 2|S|S1 1)=0.75)=0.75 p(S p(S1 1|S|S2 2)=0.50 p(S)=0.50 p(S2 2|S|S2 2)=0.50)=0.50则状态转移矩阵为：则状态转移矩阵为： 50. 050. 075. 025. 02121ssSSP342021/8/145 . 0)10| 1 ()01| 1 ()10|0()01|0(2 . 0)11|0()00| 1 (8 . 0)11| 1

22、 ()00|0(pppppppp352021/8/148.02.000005.05.05.05.000002.08.043214321SSSSSSSSP则令：则令：状态状态S S1 1=00,=00,状态状态S S2 2=01=01，状态，状态S S3 3=10=10，状态，状态S S4 4=11=11则状态图：则状态图： 0.5S201S310S100S40.2422kq解解：信源符号个数：信源符号个数q=2q=2，k=2,k=2,故状态数故状态数362021/8/14NP02/12/16/13/12/1100P372021/8/14 12/76/ 1

23、4/ 19/536/74/ 102/ 12/ 102/ 12/ 16/ 13/ 12/ 110002/ 12/ 16/ 13/ 12/ 11002P18/ 572/258 / 3216/61108/378 / 312/ 76 / 14/ 102/ 12/ 16 / 13 / 12/ 110012/ 76 / 14/ 19 / 536/ 74/ 102/ 12/ 13P218,72,31321)(02/12/16/13/12/1100)(321321131ii382021/8/14 5 . 0)10| 1 ()01| 1 ()10|0()01|0(2 . 0)11|0()00| 1 (8 . 0

24、)11| 1 ()00|0(pppppppp392021/8/148.02.000005.05.05.05.000002.08.043214321SSSSSSSSP解解: :由例由例7 7可知状态转移矩阵为：可知状态转移矩阵为：64. 016. 010. 010. 025. 025. 010. 040. 040. 010. 025. 025. 010. 010. 016. 064. 08 . 02 . 000005 . 05 . 05 . 05 . 000002 . 08 . 08 . 02 . 000005 . 05 . 05 . 05 . 000002 . 08 . 02P由设稳态分布为：

25、设稳态分布为： )()()()(4321SpSpSpSpW 则利用则利用WP=WWP=W和和 可知：可知：1)(41JJSp7/ 1)()(,14/5)()(3241SpSpSpSp对于遍历性马尔可夫信源有对于遍历性马尔可夫信源有jjjSXHSpH)|()(3402021/8/14得出：ijijijSapSapSXH)|(log)|()|(符号比特/80. 0)|(7/1)|(7/1)|(14/5)|(14/543213SXHSXHSXHSXHH由由 则有：则有： 2 . 0log2 . 08 . 0log8 . 0)|(log)|()|(111iiiSapSapSXH5 . 0log5 .

26、05 . 0log5 . 0)|(log)|()|(222iiiSapSapSXH5 . 0log5 . 05 . 0log5 . 0)|(log)|()|(333iiiSapSapSXH2 . 0log2 . 08 . 0log8 . 0)|(log)|()|(444iiiSapSapSXH412021/8/143.53.5 信源的相关性和剩余度信源的相关性和剩余度信源输出符号之间的依赖关系信源输出符号之间的依赖关系 对于离散平稳信源有对于离散平稳信源有 max1211)(.)|()|(HXHXXHXXHNNNN%100*maxmaxHHH422021/8/14 英文26个字母加空格共27个

27、符号，根据统计出现的概率如表所示，则英文字母携带的最大信息量是多少？冗余度为多少？ 序号字母出现概率序号字母出现概率1空格0.181715M0.021052E0.107316U0.020103T0.085617G0.016334A0.066818Y0.016235O0.065419P0.016236N0.058120W0.012607R0.055921B0.011798I0.051022V0.007529S0.049923K0.0034410H0.0430524X0.0013611D0.0310025J0.0010812L0.0277526Q0.0009913F0.0239527Z0.0006

28、314C0.02260432021/8/14symbolbitH/755.427logmaxsymbolbitH/100063. 0log00063. 01817. 0log1817. 0%0.79755.4/)1755.4(%100*maxmaxHHH解：英文字母携带的最大信息量即为等概时携带的信息量：英文字母携带的实际熵英文字母的冗余度442021/8/14：中文冗余度的统计比英文要复杂得多，难得多，假如以辞海（上海，1989）收集的大约15000汉字为信源消息符号，则中文的最大信息熵为汉字比特/9 .1315000logmaxH目前还没有找到给出中文实际熵好的统计方法的文献，但根据目前广

29、泛使用的文本压缩软件的压缩率来看，中文实际熵应该不会大于5比特/汉字，估计中文的冗余度大约在80%左右。 452021/8/14 462021/8/14472021/8/14 符号比特/881. 0)(log)()(21iiiapapXH（2 2）分析得此信源为）分析得此信源为，它的的状态集为：，它的的状态集为：A=SA=S1 1= =黑，黑，S S2 2= =白白 。则状态转移图：。则状态转移图：S1 S0.9解解：（：（1 1）假设黑白气象传真图上黑白消息出现的前后没有）假设黑白气象传真图上黑白消息出现的前后没有关系，则等效于一个离散无记忆信源。信源概率空间为：关系，则

30、等效于一个离散无记忆信源。信源概率空间为： 1)(7 . 03 . 0)(xpxPX，白黑482021/8/148.02.01.09.0黑白黑白P此此马尔可夫信源是遍历的，稳态分布存在马尔可夫信源是遍历的，稳态分布存在，则设，则设W=(p(S1) p(S2),W=(p(S1) p(S2),根据根据WP=WWP=W可得：可得：1)()()p(S)p(S8 . 02 . 01 . 09 . 0)p(S)p(S212121SpSp以及 3/2)(3/1)(21SpSp492021/8/14 符号比特/553.01 .0log1 .09 .0log9 .0)(8 .0log8 .02 .0log2 .

31、0 )()|()(211212SpSpSXHSpHHiii447.02log553.011119.02log881.01)(1max2max1HHHXH即即21502021/8/1401a12a10b21bp1p1ppXYppppP111010512021/8/14 qqppP10011?01001a12a10b31bp1q1pqX2?bY522021/8/14110PX表示信道错误传递概率信道矩阵ppppppP1 信道信道 X （0，1）（0，1）);(YXI532021/8/14)|()();(XYHYHYXI)|(log)|()()(ijijijixypxypxpYHijijijixyp

32、xypxpYH)|(log)|()()(ijijijixypxypxpYH)|(1log)|()()(iippppxpYH)1log1log)()()()(pHYHiiippapapYp)1 ()|0()()0(iiippapapYp)1 ()|1 ()() 1()(log)()(ypypYHpppppppp)1 (1log)1 ()1 (1log)1 ()1 (ppH542021/8/14)()1 ();(pHppHYXI01)(1pH01)(H5 . 0 )(1);(pHYXI552021/8/143/ 13/210PX4/ 12/ 14/ 102/ 12/ 1P12/ 12/ 112/5

33、210PY159. 0)|()();(166. 1)|(log)|()()|(325. 1)(log)()(213131XYHYHYXIxypxypxpXYHypypYHijijijijjj562021/8/1401a12a10b21bp1p1ppXY222222222ppppppppppppppppppppppppP);(NNYXI572021/8/14 NikihikhNiiiabppxypxyp11)|()|()|()|(或NiiiYXIYXI1);();(则存在NikikNiippxpxp11)()()()(或NiiiYXIYXI1);();(则存在：582021/8/14NiiiYX

34、IYXI1);();();();(1iiNiiiYXINYXI);();(YXINYXINN);();(iiYXINYXI则：592021/8/14b1a1a2c1b2c2b3c3XYZ1/31/31/31/21/21/31/32/32/312/102/13/13/13/11P3/23/103/13/200012P3/16/12/13/13/13/13/23/103/13/200012/102/13/13/13/1总P602021/8/14110PX表示信道错误传递概率信道矩阵ppppppP1)()1 ();(pHppHYXI 612021/8/14216131312161613121P si

35、gnalbitHpppHsCs/126. 061log6131log3121log213log )61,31,21(3log )(log21 。622021/8/14prprprprprpprprprprppP111111111pp1为正确传递概率为正确传递概率p为错误传递概率为错误传递概率) 1log(logloglog)1()1log1(1loglog)1,1,1,(log)(log21rppppprrprrppprrprprppHrpppHrCr)(1pHC 632021/8/14。qpqppqqpP11qqqpppqp和11 rkkksMNpppHnC1/2/1log),.,(log，

36、 qMqNqMqN2,1,12211),1 (),.,(/2/1pqqpHpppHsqqqqpqqpHMNpppHnCrkkks2log)1log()1 (),1 (3log log),.,(log1/2/1642021/8/14以及达到以及达到C C时的输入概时的输入概率分布率分布 . .1b2b3b4bXY21212121212121211a3a2a4a2/1002/12/12/10002/12/10002/12/143214321bbbbaaaaP)(log21spppHsC比特1)2/1log(2/1)2/1log(2/14log：652021/8/14)|(log)|()()|(xy

37、pxypxpXYH2log)(2log)(2log)(2log)(4321apapapap符号比特/1)()()()(4321apapapap符号比特/114log 1)(max);(max 1)();(YHYXICYHYXI：4/ 14/ 14/ 14/ 14321aaaaPX662021/8/14 NCNiiNiiixpxpNCYXIYXIC11)()();(max);(max);(max)(iixpiYXIC CNCNNiiiYXIYXI1);();();(iiYXI672021/8/14例例4-12:4-12: 已知信道的带宽已知信道的带宽B B为为3kHz,3kHz,信号在信道传输中

38、受到单边功率谱信号在信道传输中受到单边功率谱密度密度 为为 的加性白高斯噪声的干扰的加性白高斯噪声的干扰, ,信号的平均功信号的平均功率率S S为为9W.9W. (1)(1)求信道的容量求信道的容量; ; (2) (2)若信道带宽增加到原来的若信道带宽增加到原来的1010倍倍, ,并保持信道容量不变并保持信道容量不变, ,那么那么信号平均功率要改变多少信号平均功率要改变多少dB?dB?0NHzW /106bpsBNSBC36202107 .34)30001091 (log3000)1 (logSdBdBSSBNSBNSBNSBNSBNSBBNSBC9 .23,9 .2390368. 0lg10

39、lg100368. 0 1)30001091(30001010 1)1(10)1 (101)101 (log10)1 (log1016610100101000202分贝为则信号的功率可降低的由于则有：682021/8/14)(logXHr rXHlog)(1rXHHHlog)(11max 692021/8/141000.980.020.980.021702021/8/1498.002.002.098.0P比特8586.0)98.0(1)(1HPHC秒比特符号比特秒符号/9 .1287/8586.0/1500tR712021/8/14HzWN/1056 )1041051log(104)1log(

40、363PNBPBCbpsC3106 . 5WP210278. 3 722021/8/14 732021/8/14信源符号信源符号Si Si 码码1 1 码码2 2 码码3 3 码码4 4 S S1 1 00 0 0 0 00 0 0 0 S S2 2 01 01 11 1001 01 11 10 S S3 3 10 001 00 00 10 001 00 00 S S4 4 11 111 11 10 11 111 11 10)()()()(43214321spspspspssssPS742021/8/14NNCSCS 码信源)11,01(),(21CSSS一个分组码若对任意有限的整数一个分组码

41、若对任意有限的整数N,N,其其N N次扩展码均为非奇异码，次扩展码均为非奇异码，则称为唯一可译码。则称为唯一可译码。 或每个信源符号序列映射成一个固定的码字，并且代码组中每或每个信源符号序列映射成一个固定的码字，并且代码组中每个码字只能唯一地被译成所对应的信源符号序列。个码字只能唯一地被译成所对应的信源符号序列。)1111,1101,0111,0101(),(221221112CSSSSSSSSS无需考虑后续的码符号即可从码符号序列中译出码字，这样无需考虑后续的码符号即可从码符号序列中译出码字，这样的唯一可译码称为即时码，又称非延时码。的唯一可译码称为即时码，又称非延时码。752021/8/1

42、4树根树根一阶节点一阶节点二阶节点二阶节点 三阶节点三阶节点( (终端节点终端节点) )A00011010111001000111110101100011010001762021/8/1452log/32loglog/logrqNlqrNl772021/8/14)()()(2121qqNpppPS进行长度为进行长度为 的的定长编码，定长编码，rxxxX,21NS对对用码元集用码元集设离散无记忆信源设离散无记忆信源)()()(2121qqSpSpSpSSSPS的熵为的熵为H(S)H(S)，其，其N N次扩展次扩展对于对于, 0, 0只要满足只要满足)(logSHrNl( (正定理正定理) )则当

43、则当N N足够大时，几乎可实现无失真信源编码，此时译码差错小于足够大时，几乎可实现无失真信源编码，此时译码差错小于。反之，若反之，若2)(logSHrNl则当则当N N足够大时，译码错误概率趋于足够大时，译码错误概率趋于1(1(编码误差任意大编码误差任意大) )（逆定理）（逆定理）l信源为信源为782021/8/14symbolbitXH/5)( symbolbitXH/4 . 1)(792021/8/141log)(次扩展代码组的熵次扩展信源的熵lNrlSNH)(log, 1)()(SHrNlSHSH此时最佳编码时，2iSIDN 2221SHSIDNiiSID为自信息的方差为自信息的方差如果

44、为最佳编码，如果为最佳编码，则则802021/8/14414321SSPS96. 0510求求信源序列的长度信源序列的长度。允许错误概率允许错误概率7222212222222222221013. 4)1 ()()(4715. 0)()(log )(2)()( )()(2)()( )()(2)()( )()(2)()()()()(/811. 0)(NSHSIDNSHppSHSHSIESIESHSHSIESHSIESHSIESHSISHSIESHSIESIDSHiiiiiiiiiiiii则根据符号比特解：812021/8/14 设信源符号集为设信源符号集为),(21qSSSS不等式）kraftrq

45、ili(11其分别对应码长为其分别对应码长为l1 1, ,l2 2, ,lq q，则即时码存在的充要条件是：则即时码存在的充要条件是：),(21qwwwW对信源进行编码，相应的码字集为对信源进行编码，相应的码字集为),(21rxxxX码符号集为码符号集为不等式）McMillanrqili(11 在满足在满足kraftkraft不等式的条件下，唯一可译码存在的充要条件是：不等式的条件下，唯一可译码存在的充要条件是：822021/8/14 设设S S0 0为原始码字的集合。再构造一系列集合为原始码字的集合。再构造一系列集合S S1 1,S,S2 2, ,Sn。构造构造S S1 1,S,S2 2,

46、, S Sn n的方法：的方法： 1 1、首先考察、首先考察S S0 0中所有的码字。若码字中所有的码字。若码字W Wj j是码字是码字W Wi i的前缀，即的前缀，即W Wi i = W = Wj jA A，则将，则将后缀后缀A A列为列为S S1 1中的元素，中的元素，S S1 1就是由所有具有这种性质的就是由所有具有这种性质的A A构成的集合。构成的集合。 2 2、当、当n1n1，则将，则将S S0 0于于S Sn-1n-1比较，看是否比较，看是否S S0 0中的码字是中的码字是S Sn-1n-1的前缀，如果是，则取的前缀，如果是，则取后缀为后缀为S Sn n中元素，且看中元素，且看S

47、Sn-1n-1中码字是否为中码字是否为S S0 0中码字的前缀，如果是，则取后缀为中码字的前缀，如果是，则取后缀为S Sn n中元素，如此构成集合中元素，如此构成集合S Sn n。832021/8/14 S0 S1 S2 S3 S4 S5 S6 S7 S8 S0 S1 S2 S3 S4 S5 S6 S7 S8 a d eb de b a d eb de b ad ad d eb 0 d eb 0 c bb cde bcde c bb cde bcde ad ad abb abb bad bad deb deb bbcde bbcde,7654321aaaaaaa,bbcdedebbadabba

48、dca842021/8/14有一离散无记忆信源有一离散无记忆信源 , ,414321SSPSsymbolbitSH/811. 0)(1, 021SS21/1)(iiillSpl信源符号码元则811. 0)()(2lSHlSHr编码效率码元信道信息传输率/811. 0)(bitlSHR解解: :(1) (1) 161163163169221221112 SSSSSSSSPS111110100用树图构造即时码为信源序列码元/332116271611631631692l信源符号码元/32/272/2 ll961. 0811. 0)(3227lSHr编码效率码元信道信息传输率/961. 0)(bitl

49、SHR852021/8/14用用0 0，1 1码符号分别代表概率最小的两个信源符号，并将这两个概率最小的信源符码符号分别代表概率最小的两个信源符号，并将这两个概率最小的信源符号合并成一个，从而得到只包含号合并成一个，从而得到只包含q-1q-1个符号的新信源个符号的新信源S S1 1, ,称为缩减信号源。称为缩减信号源。862021/8/14编码对其进行二元HuffmanSSSSSPS1 . 01 . 02 . 02 . 04 . 054321信源符号信源符号S Si i 概率概率p(p(Si) ) 编码过程编码过程 码字码字W Wi i 码长码长li i S1 S2 S3 S1 0.4 S2

50、0.2 S3 0.2 S4 0.1 S5 10101001872021/8/1451/2 . 2)(iiilSpl信源符号码元则平均码长0A01001110100000100011信源符号比特/123. 2)(log)()(51iiiSpSpSH码符号比特信道的信息传输率/965. 0)(lSHR965. 0)(lSHr编码效率882021/8/14 码字码字W Wi i 码长码长l i S1 0.4 0.4 0.4 0.6 00 2 S2 0.2 0.2 0.4 0.4 10 2 S3 0.2 0.2 0.2 11 2 S4 0.1 0.2 010 3 S

51、5 0.1 011 301010101892021/8/14A00111000101101010011965. 0/2 . 2编码效率信源符号码元平均码长l比第一种好。由此可见，第二种质量差现在讲的哈夫曼码的方差先前讲的哈夫曼码的方16. 036. 1)()(22211222LLqiiiLllSpliE结论：结论：同，用码方差表示：而他们的质量不完全相和编码效率码长两种编码有相同的平均l902021/8/14 r r元哈夫曼码可由二元哈夫曼码的编码方法推广得到。只是编码过程中构成缩元哈夫曼码可由二元哈夫曼码的编码方法推广得到。只是编码过程中构成缩减信源时，每次将减信源时，每次将r r个概率最小

52、的符号合并，并分别用个概率最小的符号合并，并分别用0 0，1 1，r-1r-1码元表示。码元表示。 为了充分利用短码，使哈夫曼码的平均码长最短，必须是最后一个缩减信源为了充分利用短码，使哈夫曼码的平均码长最短，必须是最后一个缩减信源有有r r个信源符号。因此，对于个信源符号。因此，对于r r元哈夫曼码，信源元哈夫曼码，信源S S的符号个数的符号个数q q必须满足必须满足为非负整数表示信源缩减的次数，其中rrq) 1( 如果信源如果信源S S的符号个数的符号个数q q不满足上式，则增补一些概率为不满足上式，则增补一些概率为0 0的信源符号。的信源符号。912021/8/14：有一离散无记忆信源有

53、一离散无记忆信源025. 0025. 005. 02 . 03 . 04 . 0654321SSSSSSPS码元集码元集X=(0,1,2)X=(0,1,2)，对对S S进行进行3 3元哈夫曼编码元哈夫曼编码。0)(72323) 1(77SpSqqrrrq则增补922021/8/14信源符号信源符号 概率概率 编码过程编码过程 码字码字W Wi i 码长码长li Si p(Si) S1 S2 Wi li S1 0.4 0.4 0.4 0 1 S2 0.3 0.3 0.3 2 1 S3 0.2 0.2 0.3 10 2 S4 0.05 0.05 12 2 S5 0.025 0.05 110 3 S

54、6 0.025 111 3 S7 0 112 321021021061/35. 1)(iiilSpl信源符号码元其平均码长932021/8/14霍夫曼编码的特点：霍夫曼编码的特点： 1）由于霍夫曼编码总是以最小概率相加的方法来缩减参与皮埃对的概率个数，因此概率越概率越小，对缩减的贡献越大，其对应消息的码字也越长。小，对缩减的贡献越大，其对应消息的码字也越长。2）最小概率相加的方法使得编码不具有不具有唯一性唯一性，尤其是碰到存在几个消息符号有着相同概率的情况，将会有多种路径选择，即既具有多种可能的代码组集合。3）尽管对同一信源存在着多种结果的霍夫曼编码，但它们的平均码长几乎都是相等的，因为每一种

55、路径选择都是使用最小概率相加的方法，其实质都是遵循最佳编码的原则，因此霍实质都是遵循最佳编码的原则，因此霍夫曼编码是最佳编码。夫曼编码是最佳编码。 霍夫曼编码存在的问题霍夫曼编码存在的问题： 1）霍夫曼编码要求信源消息概率已知或可估计。由于初始信源不可能总是统计好了概率，为此编码之前必须先估算信源的统计特性。在信源具有记忆性能并用霍夫曼编码来表示信源的扩展输出时，概率的估计很耗费时间。2）霍夫曼编码是建立在编码器和译码器都知道码树结构的基础上的，如果信源消息数目变大，则树型结构的大小和算法的复杂性会呈指数规律增加。 942021/8/14 参见下图，假设参见下图，假设P(a1)=0.4, ,分

56、别求出分别求出4 4种译码规种译码规则所对应的平均差错率。则所对应的平均差错率。 0.9a1a2b1b21242144223113322221221211111)abFabFFabFabFFabFabFFabFabFF（：（：（：（：952021/8/14 9 . 01 . 02 . 08 . 06 . 04 . 0|XYXPP 54.006.008.032.0XYP 6.0)08.032.0(1)()(1),(1)(2111111baPbaPbbFPFPsjjje962021/8/14 0.9a1a2b1b254.006.008.032.02121bbaa

57、PXY2211)()(:abFabFF 14. 0)54. 032. 0(1)(11sjjjebbFPP972021/8/14AaabPabPBbAabFFiijjjjjj, )|()|()(*，：4.03.03.05.03.02.02.03.05.0|XYP解：按转移概率最大原则确定极大似然译码规则如下：解：按转移概率最大原则确定极大似然译码规则如下： ),(,)()()(:32231211aaabFabFabFF982021/8/14对信源符号进行对信源符号进行“重复重复2 2次次”编码编码: :,21uuU,.,8213X,.,8213Y,813X33|XYP992021/8/14111

58、0001111101011000110100010001111110101100011010001000081876543218276543211Fffuu11110000：f1002021/8/14ppppppppppppppppppppppppppppppPXY132222223322222238765432181|33，8887868415131211(）FFFFFFFF即：即： 1111111101010110001000100010008876415321FF42381103)62(211 )(|11pppFPrPiiie：信道编码信道编码平均错误率平均错误率1012021/8/14

59、 结论结论：码元比特/3/1/ )(NUHR 码元比特/1/ )(NUHR1022021/8/141032021/8/14111,110,101,100011,010,001,00087654321 11011100100100100000:75311fppppppppppppppppppppppppppppppppppppppppppppppppppppppppppPXY123222232222332222232232232222223876543217531|33，7877565534331211(）FFFFFFFF 223811099. 1)44(411 )(|11pppFPMPiiie

60、1042021/8/14 两个等长符号序列两个等长符号序列x和和y之间的汉明距离，记为之间的汉明距离，记为D(x,y)，是是x与与y之间对应位置上不同符号的个数。之间对应位置上不同符号的个数。 求汉明距离：求汉明距离：D(x,z)=z)=2;D(y,z)=3因此，因此，z与与x的相似程度的相似程度与与y的相似程度的相似程度 x=100111,=100111,y=111000,=111000,z=111111,=111111,比较比较z与与x和和y的相的相似程度。似程度。1052021/8/14和”运算符。表示为“模式中为：之间的汉明距离可表示与则2),(1 , 0,.1 , 0,.12121N