信息论第五章答案

1、5.1设信源Xxxxx(X)b5).20.190.180.17xx560.150.1x0.01：(1)求信源熵H(X)；编二进制香农码；计算平均码长和编码效率。解：(1)H(X)：p(x)logp(x)i2ii：1：(0.2：log0.2：0.19：log0.19：0.18：log0.18：0.17：log0.172222：0.15：log0.15：0.1：log0.1：0.01：log0.01)222：2.609bit/symbol(2)码字(3)K:kp(x)：3：0.2：3：0.19：3：0.18：3：0.17：3：0.15：4：0.1：7：0.01iii：3.145.2对信源K：XX3

2、.1483.1%xxxxx234560.190.180.170.150.1。為:二进制费诺码，计算编码效率。解：编码码字K:kp(x)：2：0.2：3：0.19：3：0.18：2：0.17：3：0.15：4：0.1：4：0.01iii：2.74：95.2%:H(X):H兰).2.609RK2.745.3对信源Xxxxx(X)b5).20.190.180.17xx560.150.1X0制和三进制哈夫曼码，计算各自的平均码长和编码效率。解：二进制哈夫曼码：iii2.72.H(X)H竺).2.609RK2.72.95.9%三进制哈夫曼码：iii.1.8logm2.2.6091.8og3291.4%5

3、.4设信源XP(Xxxxxxx13141516171881632641281284x12(1)求信源熵H(X)；(2)编二进制香农码和二进制费诺码；(3)计算二进制香农码和二进制费诺码的平均码长和编码效率；编三进制费诺码；计算三进制费诺码的平均码长和编码效率；解：(1)H(X)p(x)logp(x)i2ii-log2-log4-log8log16log32丄log64丄log128丄log128224&282162322642128212821.984bit/symbol=127/64bit/symbol(2)二进制费诺码：香农编码效率：二进制香农码：码字Kw1A28哙右哙占1.984127/

4、64H(X)H竺)J984.log%RK1.984费诺编码效率：K)4略唁1.984loo%RK1.984(4)编码码字(5)Kkp(x)!1丄丄S丄4B4ii248163264128128i1.328H(X)H(X)1.98494.3%RKm1.328og322Xo15.5设无记忆二进制信源jp(x)J-J).9o.L先把信源序列编成数字0,1,2,率率，8,再替换成二进制变长码字，如下表所示。验证码字的可分离性；求对应于一个数字的信源序列的平均长度疋；1求对应于一个码字的信源序列的平均长度K；2计算莓并计算编码效率；K1(5)若用4位信源符号合起来编成二进制哈夫曼码，求它的平均码长K,并计

5、算编码效率。序列数字二元码字10100001110010013101000013101100001411000000015110100000016111000000001711110000000080其它码字的前2)序列长度、序列概率及二元码长如下表所示：序列序列长度L.序列概率p；数字二元码长L.二元码字110.10410000120.1X0.914100100130.1X0.92341010000140.1X0.933410110000150.1X0.9444110000000160.1X0.95541101000000170.1X0.966411100000000180.1X0.9774

6、11110000000080.98810KpL5693信源符号/数字符号1iii1(3)KpL2.7086bi/数字符号2iii1K(4)0.4756bit/信源符号，此值表示无记忆二元信源采用游程长度编码后每个二元信源需1要的平均码长。H(X)p(x)logp(x)0469bit/信源符号,H(巴986%i2iK/Ki21(5)4位信源符号的联合概率、Huffman编码及码长如下表：(码字可以不同，但码长一样)S4P(Si)码字Wi码长LiS4P(s)码字Wi码长Li00000.65610110010.00811111010700010.0729110310100.0081111101170

7、0100.0729100311000.0081111111070l000.0729l0l30lll0.0009lllllll009l0000.0729lll04l0ll0.0009lllllll0l900ll0.008llllll06ll0l0.0009llllllll090l0l0.008lllll0007lll00.000llllllllll0l00ll00.008lllll00l7llll0.000llllllllllll0Kp(s)LI.970羽it/4Sym,KK/4O.492旳it/Sym4ii4i空952%K5.6有二元平稳马氏链，已矢中(0/0)=0.8p(l/l)=0.7,求

8、它的符号熵。用三个符号合成一个来编写二进制哈夫曼码，求新符号的平均码字长度和编码效率。解：平稳时马尔科夫状态的概率：解得：p(S).3/5P(S)2/5)08F(S)(l0.7)P(S)0l)P(S)llHl1/0一阶马氏信源的熵：lp(S)p(S|S)logP(S|S)TOC o 1-5 h ziji2ji兰log5log3log70786bit/sym252252252丿p(SSS)p(S)p(SIS)p(SIS)l23l2l32p(S0)3/5,p(Sl)2/5,p(S01S0)08,p(SllS0)02,p(S01Sl)03,p(SlISl)07SSS123P(SlS2S3)LiWiS

9、SSl23P(SlS2S3)LiWi00048/l25ll0ll2l/250400lllll49/2503000ll02l/25040l0000ll2/l2530ll0l09/25050l0l0l00l2/l25400l0l0l3/l2550l0llTOC o 1-5 h zo48l249l22l2l93Kp(s)L3(9)4()5(-)iil25l25250l2525025025012532726l6bit/3syml25H90-l4%K/3i96/25000049/25011124/25024/25021/25021/2509/2506/25000110001111001010115/25

10、094/2501154/250O5.7对题5.6的信源进行游程编码。若“0”游程长度的截止值为16，“1”效率。游程长度的截止值为8，求编码解：一阶马氏信源的熵同上题，MJ曲閃曲二元平稳一阶记忆序列“0”游程的长度概率：p(l0).鮭P/0ip150/0l0.1,2,3.15il0.15i.p(l0).1il0.1i二元平稳一阶记忆序列“1”游程的长度概率：p(l1).ili1.1p1i/10/171/1l1.1,2,3.7il1.7i.p(l1).1l1.1i1”游程长度的熵：Hliplilogpliplilogplip7logp7ii2ii2ii/i2i/ilili.iipmlog(pvp

11、)p7logp7i/i0/i2i/i0/ii/i2i/i口Pl1plogp(lil)pl1plogpp7logp71/10/120/1i1/10/121/11/121/1liiip7)lOgpi/i20/iii口ipplogp)pip7logp71/10/121/1p1/11/121/1/ilil1件丿怡SiTOC o 1-5 h z HYPERLINK l bookmark28r1.p(ip7)!1 HYPERLINK l bookmark307p7logpi/ii/ilogpp7logp7/i2i/iip2i/ii/i2i/i1/1i件丿怡Sip(ip7)li/iilogp HYPERLI

12、NK l bookmark34p2i/i1/1(i.Pl7/)H(p,p)2696bit/信源符号p0/ii/i1/1同理，“o”游程长度的熵：Hlo(ip52H(p,p)3483bit/信源符号iip0/0i/oo/o分别对“0”和“i”游程序列进行Huffman编码，并分别计算出它们的编码效率。“0”游程序列的长度、对应得概率、Huffman编码的二元码长及码字序列序列长度L.1序列概率p数字二元码长L.I二元码字0iPi/010211002PP0/0i/0130010003P2P0/01/02301100004P3P0/01/0331010000,05P4P0/01/0440001000

13、0,006P5P0/01/05401010000,0007P6P0/01/06410010000,00008P7P0/01/075000000000,0000,09P8P0/01/085010010000,0000,00i0P9P0/01/095100010000,0000,000iiP10P0/01/0A60000100000,0000,0000i2P11P0/01/0B61000000000,0000,0000,013P12P0/01/0C61000010000,0000,0000,0014P13P0/01/0D700001100000,0000,0000,00015P14P0/01/0E

14、700001110000,0000,0000,000016P150/0F501000LpL2p3pp(1pp2)4pp4(1pp2)5pp7(1pp2)5p152ii11000100010000i16pp10(1pp2)7pp13(1p)10001002p(1pp2)(3pp4pp45pp76pp10)7pp13(1p)5p151001010101010002ppp(1pp2)(34p35p66p9)7pp13(1p)5p151100000010003.511信源符号/数字符号Hl0/L3483/351199.19%0i21”游程序列的长度、对应得概率、Huffman编码的二元码长及码字:序列

15、序列长度K1序列概率p1数字二元码长KiI二元码字11P0/10201112P0/1P1/112101113PP20/11P30/11/1331101111,15PP40/11116PP50/111117PP60/11/16411111111,11118P71/1740000TOC o 1-5 h z HYPERLINK l bookmark48KpKp(1p)(23p2)4pp4(1pp2)4p72ii0/11/11/10/11/11/11/11/1i1273二元码字/数字符号Hl1/K2,6969875%1i22

16、73.HloHliHl0/Hl1/i0i1Hl0Hl1iLK22348326963.5112.7399%可见满足，这里的“0”游程编码效率高，因为游程长度长，而“1”游程编码效率受游程01的长度限制显得比“0”游程编码效率略低一些，因此整体的编码效率介于两者之间。5.8选择帧长N=63对00100000,00000000,00000000,00000000,01000000,00000000,00000000,0000000编L-D码;对10000100,00101100,00000001,00100001,01001000,00000111,00000100,0000001编L-D码再译码；

17、对0000000000000000000000000000000000000000000000000000000000000000编L-D码；对10100011010111000110001110100110000111101100101000110101011010010编L-D码；对上述结果进行讨论。解：(1)本帧内信息位数Q=2；各信息位位置值片=3,n2=34；帧长N=63。TQCjC1C22528530njL334jJQ位和T位需要的二进制自然码位数分别是：Og(Nl)IOg64622CqC21953g195*11N632所以,L-D编码结果：000010,01000010010解码

18、：已知N=63，故前6位为Q的自然码表示，所以Q=2；后11位为T的自然码表示，得T=530寻找某一值K,使CqTCq,即：C2530C2,得K33再令TTC2530C25305282再令，1K33再次寻找某一值L,使CqTCq,即：C12C1,得L=2L1LLL得:L=2所以解码出信息位的位置值是n1=3,n2=34对10000100,00101100,00000001,00100001,01001000,00000111,00000100,00000010编L-D码本帧内信息位数Q=15；各信息位位置值n=1，n=6，n=11，n=13，n=14，n=24，n=27，n=32，n=34,T

19、OC o 1-5 h z123456789n10=37,n11=46,n12=47,n13=48,n14=54,n15=63；帧长N=63。TQCjC1C2C3C4C5C6C7C8njL16111314242732JC9C10C11C12C13C14C1534374647485463010120495128710094疋65780578887238567100254186851015059590,3891061765,140676848452403979900093052749999209564676929470Q位和T位需要的二进制自然码位数分别是:Hbg(N1)Hbg6462212213173426989547CQC1