信息论与编码课后习题

1、1有一个马尔可夫信源，已知p(x1|x1)=2/3，p(x2|x1)=1/3，p(x1|x2)=1，p(x2|x2)=0，试画出该信源的香农线图，并求出信源熵。解：该信源的香农线图为：1/32/3(x)1(x2)1在计算信源熵以前，先用转移概率求稳固状态下二个状态x1和x2的概率p(x1)和p(x2)立方程：p(x1)p(x1x1)p(x1)+p(x1x2)p(x2)23p(x1)p(x2)()(x1)()+p(x2x2)p(x2)px2px2px1=13p(x1)0p(x2)p(x1)p(x2)=1得p(x1)3p(x2)144马尔可夫信源熵H=p(xi)p(xjxi)logp(xjxi)得

2、H=符号IJ2设有一个无记忆信源发出符号A和B，已知p(A)14.p(B)34。求：计算该信源熵；设该信源改为发出二重符号序列信息的信源，采纳费诺编码方法，求其均匀信息传输速率；又设该信源改为发三重序列信息的信源，采纳霍夫曼编码方法，求其均匀信息传输速率。解：H(X)p(xi)logp(xi)=bit/符号X发出二重符号序列信息的信源,发出四种信息的概率分别为p(AA)111p(AB(BA)313p(BB)33944164416用费诺编码方法代码组biBB01BA102AB1103AA1113无记忆信源H(X2)2H(X)1.624bit/双符号均匀代码组长度B2=b

3、it/双符号H(X2)=bit/R2码元时间B三重符号序列信息有8个,它们的概率分别为p(AAA)1p(AAB)3p(BAA)3p(ABA)364646464p(BBA)9p(BAB)9p(ABB)9p(BBB)2764646464用霍夫曼编码方法代码组biBBB2700164BBA90(19)111036464BAB91(18)(4)11013646464ABB900100364AAB31(61111156464)1BAA30111110564ABA31(4)01110156464AAA1011100564H(X3)3H(X)=bit/三重符号序列B3=码元/三重符号序列R3=H(X3)=b

4、it/码元时间B3已知符号会合x1,x2,x3为无穷失散信息会合，它们的出现概率分别为p(x1)21，p(x2)41p(x3)81p(xi)1求：2i用香农编码方法写出各个符号信息的码字（代码组）；计算码字的均匀信息传输速率；计算信源编码效率。解:xip(xi)Pa(xj)logpa(xj)代码组bix1101102x211221042x31113311082+4xi121+41+1ii111110(i-1个1)2i2i1H(X)p(xi)logp(xi)=2bit/符号IbPibi=2码元/符号IRH(x)1bit/码元时间b二进制信道C=1bit/码元时间信源编码的编码效率=R=100%C4已知一个信源包括八个符号信息,它们的概率散布以下表，求：ABCDEFGH对这八个符号作二进制码元的霍夫曼编码,写出各个码字,并求出编码效率。解:H(X)p(x)logp(x)=2552bit/符号,时间熵HtsXRt=Hts霍夫曼编码符号pi代码组biC001B01103A0(1,0)100301F01111114G11