信息论测试题(卷)与答案解析

1、、设X、Y是两个相互统计独立的二元随机变量，其取-1或1的概率相等。定义另个二元随机变量 Z,取Z=YX （般乘积）。试计算:1.H（ Y）、H（ Z）；2. H （ YZ）；3.I（ X;Y ）、I（ Y;Z）；、如图所示为一个三状态马尔科夫信源的转移概率矩阵1. 绘制状态转移图；2.求该马尔科夫信源的稳态分布；3.求极限熵；01 1 + 2三、 在干扰离散对称信道上传输符号1和0,已知P（ 0）=1/4,P（1）=3/4, 试求：1. 信道转移概率矩阵 P2.信道疑义度3.信道容量以及其输入概率分布0.6 0.3 0.10四、 某信道的转移矩阵P，求信道容量，最佳输入概率分布。0.3 0.

2、600.1五、求下列各离散信道的容量（其条件概率P（Y/X）如下：）1 0S 1-4六、求以下各信道矩阵代表的信道的容量答案、设X、Y是两个相互统计独立的二元随机变量，其取-1或1的概率相等。定义另个二元随机变量 Z,取Z=YX （般乘积）。试计算:1.H（ Y）、H（ Z）；2. H ( XY )、H ( YZ)；3(X;Y )、I( Y;Z)；2解：1. H(Y)=- P(y)logP (y)i 1Illilog log =1bit/ 符号2 2 2 2Z=YX 而且X和Y相互独立P(乙=1) =P(Y=1) P(X 1) P(Y 1) P(XP(Z2=-1)=P(Y=1) P(X1) P

3、(Y1) P(X11111= 2 2 2 2 2故 H(Z)=P(zi )log P(Zi)=1bit/i 12. 从上式可以看出:Y与X的联合概率分布为P(Y,Z)Y=1Y=-1Z=10.250.25Z=-10.250.25H(YZ)=H(X)+H(Y)=1+1=2bit/符号3.；X与Y相互独立，故 H(X|Y)=H(X)=1bit/ 符号I (X;Y ) =H(X)-H(X|Y)=1-1=0bit/符号l(Y;Z)=H(Y)-H(Y|Z)=H(Y)-H(YZ)-H(Z)=O bit/符号二、如图所示为一个三状态马尔科夫信源的转移概率矩阵2.绘制状态转移图；2.求该马尔科夫信源的稳态分布;

4、3.求极限熵;解：1.状态转移图如右图2.由公式p(Ej)3P(EJ P(Ej|EJ，可得其三个状态的稳态概率为:P(EJ；P(EJ2；P(E2)P(E3)24P(EJP(E2)1-P(E2)1-P(E3)P®)22P®11 P(EJ1P®)24P(EJP®)P®) 1ii3727273.其极限熵:33112112H =- P（ E） H（ XEi）= - H（ ，, +7 H（ ,，）盲1+21+Z1.5= 8 bit/ 符号7、在干扰离散对称信道上传输符号1和0,已知P （ 0） =1/4,P=3/4,试求:2.信道转移概率矩阵P 2.信道

5、疑义度3.信道容量以及其输入概率分布0.9解：1.该转移概率矩阵为0.90.1P=0.10.92.根据P（ XY）=P（ Y|X） P（X），可得联合概率P（ XY）YYX=09/401/40X=13/4027/40P(Y=i)12/4028/40由 P (X|Y ) =P(X|Y)/P(Y)可得P(X|Y)Y=0Y=1X=03/41/28X=11/427/28H(X|Y)=-P(xiyj)log p(xi|yj) =0.09+0.12+0.15+0.035=0.4bit/ 符号i，j3. 该信道是对称信道，其容量为：C=logs-H=log2-H (0.9,0.1 ) =1-0.469=0.

6、531bit/ 符号这时，输入符号服从等概率分布，即XP(X)四、某信道的转移矩阵 P0.6 0.3 0.100.3 0.600.1，求信道容量，最佳输入概率分布。解：该信道是准对称信道，分解为两个互不相交的子信道矩阵0.60.30.10N1这里0.9n20.10.30.60 0.1M10.9m20.1C=logr-H(P的行矢量)2-Nklog M k1H(0.6,0.3,0.1)0.9 log 0.9-0.1 log 0.1k 1=0.174bit/ 符号这时，输入端符号服从等概率分布，即XP(X)五、求下列各离散信道的容量（其条件概率P（Y/X）如下:1 0s 1-$)_ J 1 _ 3

7、 3 6 6 J_ _LJ L6 3 6 3由卧式於bJuF'Y,求咖P0i)-3z1 + (1-1 + (1-Jj31_rd由丁：式卫例）=2>a）Pt丹片八求曲h担组：9侧）=少厲）+P（孔”“（17 戶S1"*帆小一-"-Z屮1时:図加工豪豪件转程1ft率所y 0<r<l,M . fj pfjrj-0!UI7C的疗茯a2）町抹倍道可抹信道足一个准对称信道.把信道矩阵分解成两个子矩阵如下二C = maxJGV1F) = -V mk pG) log. E(yQ-H_A-l>01) = P(X)XH fX】)+pg>p0i “2)= (

8、l-Jj 一SJ/2 +»/2 = (1 -®)/ 2q XvJ pMpCvg)土 /2 + (l-s： -sJ/2 (l-sJ/2jCp,) = pg”c>',丿並+ 尸(壬/ W ) = » / 2 + E / 2 = n2>5亦)-叫Z>5)彳、彳、XvO = = 42 =(J/22>o» &、/)=“:；=华=»/n21c=-f 叫 pOJiog, ESU-(2x乎> log；上尹4so曳s» (1 -® -)log20 T -®)亠上 bg.孔 log2为）bg：与* Q u )1 吧(1 t 一 ») £ J呱 »bit> syrr.M3） I：时贰信il这个信道足个-利月般告适的计算方法a由公式三P0卩兀）憾应丿兀）=2>0/兀）叭求伤L 1 lt 1 1. K牙顷7+5 0