信息论与编码计算题

1、已知信源发出al和a2两种消息，且两种消息出现的概率相等。信宿接收到两种消息分别为bl和b2。此消息在二元对称信道上传输，其错误概率为p(即发送al接收b2,或发送a2接收bl的概率)，求互信息量I(a1;b1),I(a1;b2)。解：由于是二元对称信道上传输，其输入等概时，输出必等概，即p(b)p(b)0.512(a;b)I(b)I(bIa)Blogp(b111)log2(1p)B1log(1p)bit11111p(b)I(a;b)I(b)I(bIa)logp(b211)log2p(1logp)bit12221p(b)2中国国家标准局所规定的二级汉字共6763个。设前两千个汉字的使用频度相等

2、，总的出现概率为0.6,后4763个汉字的使用频度相等，总的出现概率为0.4。求平均每个汉字所含的信息量。设每个汉字用一个16*16的二元点阵显示，试计算显示方阵所能表示的最大信息。显示方阵的利用率是多少？解：根据题意，求平均每个汉字所含的信息量，即求信源熵H(X)根据信源熵的定义：H(X)p(x)logp(x)i2ii0.6、/0.60.4,/0.4、2000log()4763log()20002200047632476312.4374bit/symbol对于二元16*16的显示方阵Y,共有2256种显示状态，每种状态等概率出现达到方阵所能表示的最大信息，则H(Y)=256bit/方阵显示方

3、阵的利用率或显示效率为：12.4374/256.0.04864.86%H(Y)3.已知二维随机变量XY的联合概率分布p(Xiyj)为：p(0,0)=p(1,1)=1/8p(1,0)=p(0,1)=3。求H(XIY)解：根据题意，已知联合概率分布，贝I：p(y)p(xy),1/8,3/80.5i1p(y)p(xy),1/8,3/80.5i2H(XIY)P(Xiyj)lOg2p(xy)ijp(y)j耆(xoy0)log2p(xy)00p(y)0P(x0叨叫p(xy)p(yi)4()lp(xy)()lp(xy)p(xy)logrp(xy)log叶102p(y)112p(y)010.1251og0.2

4、50.375log0.750.375log0.750.125log0.2522220.6556bit/symbol随机变量X,Y的联合概率分布如表所示，求联合熵H(XY)和条件熵H(YIX)。解:p(xy)logp(xIy)ij2ijH(XY)丄log丄-log-丄log丄)-bit/symbol4444222由X，y的联合概率分布可以求得X的边缘概率分布(如上表)和条件概率分布p(yIx)ji(如下表)70101/21/2110H(YIX)p(xy)logp(yIx)ijjiij/4logl/2l/4logl/2l/2logl1/25一信源有6种输出状态，概率分别为:p(A)=0.5,p(B

5、)=0.25,p(C)=0.125,p(D)=p(E)=0.05,p(F)=0.025,试计算H(X),求消息序列ABABBA的信息量，并与长度为6的消息序列熵相比较。解：根据信息熵的定义，该信源输出的信息熵为：H(X)p(x)logp(x)iiip(A)logp(A)p(B)logp(B)p(C)logp(C)P(D)logp(D)p(E)logP(E)p(F)logp(F)0.51og20.25log40.125log820.051og200.0251og401.94bisymbol消息ABABBA所含的信息量为：I(ABABBA)3I(A)3I(B)31og231og49bit6位长消息

6、序列熵为：H(X6)6H(X)11.64bit显然6位长的消息序列熵比消息序歹列ABABBA所含的信息量大。6一给定X,Y的联合概率分布如下表所示，试求：70101/31/3101/3H(X),H(Y)H(XIY),H(YIX)H(XY)I(X;Y)解：根据联合概率分布，可求得边缘概率分布为:p(X=0)=p(XY=00)+p(XY=01)=1/3+1/3=2/3p(X=1)=p(XY=10)+p(XY=11)=0+1/3=1/3p(Y=0)=p(XY=00)+p(XY=10)=1/3+0=1/3p(Y=1)=p(XY=01)+p(XY=11)=1/3+1/3=2/3H(X)=-2/31og2

7、/3-1/31og1/3=0.918bit/symbolH(Y)=-1/31og1/3-2/31og2/3=0.918bit/symbolH(X|Y)=1/3H(X|Y=0)+2/3H(X|Y=1)=0.667bitH(Y|X)=H(X|Y)=0.667bitH(XY)=-3*1/31og1/3=1.585bit/symbolI(X;Y)=H(X)-H(X|Y)=0.918-0.667=0.251bit/symbol7设有一离散无记忆信源X,其概率空间为:x1，求该信源的熵率及其二次扩展信源的熵。4解：单符号离散信源熵:H(X)p(x)logp(x)log2log4log41.5bit/sym

8、bolii244i二次扩展信源：H(X2)2H(X).2.53bit/2symbols1设一个二元一阶马尔可夫信源，信源符号集为X=0,1,信源输出符号的条件概率为：p(OIO)=O.25,p(0l1)=0.5,p(1l0)=0.75,p(1l1)=0.5写出状态转移矩阵；画出状态图；求各状态稳态分布；求各符号稳态分布；求信源的熵率。解：根据题意，共有两种状态与之对应，s.0,s.1，由信源输出符号的条件概率可01得信源的状态转移矩阵为：.50.75.).50.5.1解得:.2.25w.05.).75w.0.5w.w.112w1w2p(0)

9、p(0ls)p(s)p(0ls)p(s).0.40011p(1)p(1ls)p(s)p(1ls)p(s).0.60011HHH(XIX)p(s)p(sIs)logp(sIs)221ijijiij).40.251og51og0.750.60.5log1og0.52设有一个二元二阶马尔可夫信源，其信源符号集咫=0,1,输出符号的条件概率为：p(OIOO)=p(llll)=O.8p(ll00)=p(0lll)=0.2p(0l01)=p(0ll0)=p(ll01)=p(lll0)=0.5写出状态转移矩阵；画出状态图；求各状态稳态分布；求各符号稳态分布；求信源熵。解

10、:根据题意，可能的状态有：sl=00,s2=0l,s3=l0,s4=ll。但由于信源只可能发出0或者l，所以信源下一时刻只可能转移到其中的两种状态之一。故信源的状态转移矩阵为：.80.200000.50.5P).50.50000.200.8.状态转移图略).8w0.5ww设状态的平稳分布为：W叫W2,W3,W4)，根据马尔可夫遍历的充要条件WP=W，有:TOC o 1-5 h zl3l.2w0.5ww32.5w0.2ww43.5w0.8ww244且满足wwwwll234v5/l4解得:5/l44p(0)0.8p(s)0.5p(s)0.5p(s)0.2p(s)0.5l234p(l)l0.50.5

11、HHHp(s)H(Xls)0.80bit/symbol3iii3一个三元一阶马尔可夫信源的基本符Ml、2,这3个符号等概率出现，并且具有相同的转移概率。写出状态转移矩阵；画出状态图；求各符号稳态分布；求各状态稳态分布；求信源极限熵。由于信源等概率发出0、1、2三信符号,解：根据题意，可能的状态有：s1=0,s2=1,s3=2。故信源的状态转移矩阵为：状态转移图略设状态的平稳分布为：W(气,W2,W3)，根据马尔可夫遍历的充要条件WP=W，有:1.1www132331.1www13233w1w2且满足www1123www13233w31解之得w1w2w33符号稳态分布:p(0)p(0ls)p(s

12、)p(0ls)p(s)p(0ls)p(s)1TOC o 1-5 h z1122333p(1)p(11s)p(s)p(11s)p(s)p(11s)p(s)1122333p(2)p(21s)p(s)p(2ls)p(s)p(21s)p(s)-1122333HHp(sls)p(s)logp(s)2ijji信源的极限熵为：ij99og3log3bit/symbol4有一马尔可夫信源，已知状态转移概率：p(s1ls1)=2/3p(s2ls1)=1/3p(s1ls2)=1p(s2ls2)=0。写出状态转移矩阵;画出状态图；求各状态稳态分布；求信源极限熵。解：根据题意，状态转移矩阵为:21I0状态转移图（略）

13、设状态的平稳分布为W叫w2），由于该马尔可失链是齐次遍历的，有：WP=W,即:v0.75解之得：1025y0.252信源的极限熵为：HHp(s|s)p(s)logp(s)TOC o 1-5 h z2ijjiij310.75log-0.751og310.251og1?232,3,且输入信源分布为等概率分布，设1.设输入符号集与输出符号集为X=Y=0,1,失真矩阵为101111011:0=求Dmax,Dmin及R(D)。解：Dp(x)min(d(x,y)Ominvy3Dmin(p(x)d(x,y)max4yw由于失真矩阵对称且输入信源等概分布，则有与之相同的信道转移矩阵，设为:3131313平均失

14、真度为:0XDp(xy)d(xy)p(yIx)p(x)d(xy)p(yIx)d(xy)1出34得“-D3111R(D)I(X;Y)log4H(1D,3D，3D，3D)1112(1叫d，3d，3d2设二元信源为SPS-；005：失真矩阵为d唱!试求该信源的Dmax,DminTOC o 1-5 h z:“5。兀0:及R(D)。解：D:p(x)min(d(x,y)OminxyDmin(:p(x)d(x,y):max2yx由于失真矩阵对称，在输入等概的情况下，有相同类型的信道转移矩阵，设为:p:1:p:p则D:p(xy)d(x,y):p(yIx)p(x)d(x,y):pDp:(2分)0X0XR(D)l

15、og2H(:).1H(:)设输入符号集为X=0,1，输出符号集为Y=0,1。定义失真函数为:d(O,O)=d(1,1)=Od(0,1)=d(1,0)=1试求失真矩阵d,当输入等概时，求Dmax,Dmin，R(D)解：根据已知识条件，失真矩阵为：Dmin:p(x)min(x,y)0Dmaxminy:p(x)d(x,y)由于失真矩阵对称，输入等概，则信道矩阵具有同样的对称性，设为:1平均失真Dp(xy)d(xy)即DR(D)I(X;Y)lH(1D,D)三元信源输入符号集为0,1，2且输入等概率分布，失真函数d为：当i=j时，d0,(/.当iMj时，d.l，(i,j=0,1,2)。写出其失真矩阵；求

16、率失真函数及其定义域。解：根据题意可得其失真矩阵为：110110Dp(x)min(d(x,y)Ominmin(p(x)d(x,y)2yx3由于失真矩阵对称且输入信源等概分布,2Dmax则有与之相同的信道转移矩阵，设为:12平均失真度为:Dp(xy)d(xy)p(y1x)p(x)d(xy)4p(y1x)d(xy)1.23得1D2R(D)I(X;Y)log3H(1D,-D丄D)225.设输入符号与输出符号为XY0,1,2,3，且输入符号等概分布。设失真矩阵为:2求Dmax，Dmin，R(Dmax),R(Dmin)及其所对应的转移概率矩阵。解：根据Dmin和Dmax的定义：DminDmaxTOC o

17、 1-5 h zp(x)mind(x,y)!0.80.5y4444xy1111111minp(x)d(x,y)min0.23,0.43-,0.6-3-,0.83y4444444Dmin所对应的转移概率矩阵为：P0100001000：0】Dmax所对应的转移概率矩阵为：Pp0000000000：00=0.850X因此：R(Dmin)I(X;Y)log4Ibit/symbolp1R(Dmax)I(X;Y)H(Y)H(YIX)0bit/symbolp20E6.设输入输出符号集为X=Y=0,1,输入概率分布p(0)=l/3,p(l)=2/3。失真矩阵为求Dmax,Dmin,R(Dma

18、x),R(Dmin)及其所对应的转移概率矩阵。解：根据Dmin和Dmax的定义：Dp(x)mind(x,y)0-00min33Dmaxminp(x)d(x,y)min013,1yxDmin所对应的转移概率矩阵为：P0】Dmax所对应的转移概率矩阵为：P21】1当转移概率矩阵为P1时，p(y)p(0)p(01x)p(x)p(01x)p(x)TOC o 1-5 h z111223p(y)p(1)p(11x)p(x)p(11x)p(x)2 HYPERLINK l bookmark66211223当转移概率矩阵为P2时，p(人)p(0)p(01Tp(Tp(01叮p(叮P(y2)P(1)P(11X1)P

19、(X1)P(11X2)P(X2)因此:p(yIx)R(Dmin)I(X;Y)p(yIx)p(x)logij-P1.zjjp(y)p1.i1232log3loglog33323R(Dmax)I(X;Y)H(Y)H(YIX)0p0.517.输入等概分布，失真矩阵为d.求Dmax,Dmin,R(Dmax),R(Dmin)及其所2对应的转移概率矩阵。解：根据Dmin和Dmax的定义:Dp(x)mind(x,y)B0.5B1B1B10.75miny22xDminp(x)d(x,y)min0.521,111maxy2222xDmin所对应的转移概率矩阵为：P00谓Dmax所对应的转移概率矩阵为：Pj；1当

20、转移概率矩阵为P1时，p(y1)p(0)p(0|x1)p(x1)p(0|x2)p(x2)2p(y)p(1)p(11x)p(x)p(11x)p(x)当转移概率矩阵为P2时，p(y1)p(0)p(0|x1)p(x1)p(0|x2)p(x2)0p(y)pp(1|x)p(x)p(1|x)p(x)121122因此：R(Dmin)I(X;Y)log21bit/symbolPR(Dmax)I(X;Y)H(Y)H(YIX)0P1.设有扰离散信道的输入端是以等概率出现的A、B、C、D4个字母，该信道的正确传输概率为0.5,错误传输概率平均分布在其他3个字母上。写出该信道的信道矩阵，并计算该信道的信道容量。解：根

21、据题意，该有扰离散信道的信道矩阵为：1-1-1-O/-1-1-1-1M1M-1-1-0X0XPPPp12p所以级联信道仍然是个二元对称信道，其信道容量为:2p(1p)(1p)2p2从信道矩阵可以看出，该信道是均匀信道，故其信道容量为:Clog4H(0.5)0.51og30.21bit/symbol222.设有两个离散二元对称信道，错误概率均为p。求这两个二元对称信道的信道矩阵及其级联信道矩阵，并计算该级联信道的信道容量，并指明在什么情况下能达到信道容量。解：根据题意，两个二元对称信道的信道矩阵为：ppPP12P1P两个信道级联之后的信道矩阵为两个信道矩阵之积，所以:pppp)2p21p=p1p2p(1p)0XClH(2p(1p)由于信道矩阵当在输入等概分布时，达到信道容量。3.设有扰离散信道的输入端是以等概率出现的A,B，C，D4个字母。该信道的正确传输概率为1/2,错误传输概率平均分布在其他3个字母