南京工程学院信息论参考试卷C

一填空题（本题15空，每空1分，共15分））时,1设信源X包含n个不同离散消息，当且仅当X中各个消息出现的概率（）时,TOC\o"1-5"\h\z信源熵达到最大值，为（ ）。2离散平稳有记忆信源的平均符号熵Hn（X）的表达式为（ ），极限熵HN 8的表达式为（ ）。3如纠错码的最小距离为d.，则可以检出任意小于等于（ ）个随机差错，可以min纠正任意小于等于（ ）个随机差错。4一个（2，1,3）卷积码的约束长度为（ ），共有（）种状态。卷积码的自由距离TOC\o"1-5"\h\z的定义为（ ），可用（ ）法和（ ）法计算自由距离。5根据密码算法所使用的加密密钥和解密密钥是否相同，可将密码体制分成（ ）和（ ）。6算术编码是发展迅速的一种（）失真信源编码方法，其基本思想是（）二判断题（本题10小题,每小题1分，共10分）（1） 离散信源的最大熵的值取决于符号状态数，状态数越多，熵越大。（）（2） 只要已知某一个信源符号的先验概率及相应的转移概率，就可以得到相应的互信TOC\o"1-5"\h\z息量。 （）（3） 限失真信源编码逆定理说明在允许失真D的条件下，信源最小的、可达的信息传输率是信源的R（D）。 （）（4）如X可以唯一确定Y,则H（Y/X）=0。 （ ）（5）马尔可夫序列的联合概率具有时间推移不变性。 （）（6）码组｛0，01，011，0111｝属于不等长的即时码。 （ ）（7）极限熵H=有记忆信源的最小平均消息熵。 （）8（8） 若码a=［101111］，卩二［111100］，则a和卩之间的汉明距离为D（a，卩）= 哈夫曼编码是否唯一？如果不唯一，哪种编码方法更佳? 哈夫曼编码是否唯一？如果不唯一，哪种编码方法更佳?（）（9）设（7,4）循环码的生成多项式为g（x）=X3+x+1，当接收码字为0010011时，接收码字中有错。 （）（10） 条件熵H（Y/X淋为疑义度，可疑度，它表示接收者收到Y后，对信源X仍然存在的平均不确定度。 （）四计算题（本题3小题，共25分）设（7,4）循环码的生成多项式g（x）=x3+x+1，求：1） 监督多项式；2） 此循环码的生成矩阵（非系统码和系统码形式）；3） 一致监督矩阵；若输入u若输入u（x）=1+x2+x3，试求系统码形式的输出码字。 （2+4+2+2=10分）11114 8 82已知信道的转移概率矩阵为1） 信道容量C的定义式什么?2） 求该信道的信道容量C2已知信道的转移概率矩阵为1） 信道容量C的定义式什么?2） 求该信道的信道容量C。(3+3=6分)3已知X,YU{0,1},XY构成的联合概率为p(00)=p(11)=1/8,p(01)=p(10)=3/8,试计算熵H(X),H(XY),H(X/Y)。 (9分五综合题（本题3小题，共30分）S1已知离散无记忆信源S1已知离散无记忆信源LP（s）试求:(3+4+3=10(3+4+3=10分)2一个二进制（r=2）二阶（m=2）马尔可夫信源的原始信源为XU{0,1},这时的状态空间为:S={S]=00,S2=01,S3=10,S4=11}，共有rm=22=4个不同的状态。已知其一步转移概率为：0/0000p(0/00)p（0问）pCSj/S^O.81/0001p(l.-;00)刃问）0/0110p(0/01)P<0/S2)p(S3/S2>0.51/0111玖1遇）p(S4/S2>0.50.-;1000p(o®)pCSj/S^O.51.-;1001p(呵p(S2/S3)=0.510p（cm）如dpCS^/S^OJ11p⑴可lKS^S^O.8试：1）画出信源的状态转移图；2） 求各状态的稳态概率Wi；3）计算该马尔可夫信源的极限熵H占 （3+3+4=10分）111001113已知一个（73已知一个（7,3）线性分组码的生成矩阵为求:1） 求一致校验阵H；2） 求出码字空间集合；3） 计算该线性分组码的最小距离d.。mm4） 接收到的码字为R1=0010100,如何判断是否有错？（3+3+2+2=10分）答案:1、 相等10甘范冈忑|冒 limHgxQ2、 …,-3、 小皿厂1'叫厂°/24、 3,8,任意长度卷积码编码后序列之间的最小汉明距离，网格图，梅森公式5、 （对称密码体制）和（非对称密码体制）6、 无，将一定精度的数值作为序列的编码•判断题（本题10小题,每小题1分，共10分）2词2词E系统码的生成矩阵g=把+jc4+x6J+空+X5兀wsjc+疋+x4一如_I+jc+2系统G=2是列对除/'所得的余式系统G=2是列对除/'所得的余式/+论)2+1(X)X4+%(咒)X+*)「史丄［丄1X+x+1J+x2+工+1x4+x3+JC2+x+l3)H=x3)H=x2-h(x)Xs+x4+X3+2x-h{x)£+£+xJ+x®_JC4+h+Jt+11.72.73.74.75.x6.x7.78.x9.710.x解：1）已揃循坏码（7冲）=用1+工+＜去除1+工得到监督多项式应㈤=1+工+/+*CQQ=r(x)+厂城血 u(x)=x7~4-(T+*+1)=f+p+Jr(x)=^Ku(x)modg(x)=x5+x5+<+1=H01Q01c=maxz(^=y)2、解：1)信道容量的定义式为： 八 (3分)—in/x兀巧) 2丄丄丄2 2 2 22) 畑 =log24-H( 48S)=2-2log;2-4log24-Sbg^S-S^8=0.25

3、解：p(0)=p(00)+p(01)=l/8+3/8=l/2p(l)=p(10)+p(ll)=l/8+3/8=l/2q(0)=p(00)+p(10)=l/8+3/8=l/2q(l)=p(0l)+p(ll)=3/8+l/8=l/2H(X)=l/2log22+l/2log22=lbit/符号H(XY)=2Xl/81og28+2X3/81og28/3=l.8bit/符号1/23适=2一甜bil/符号士士瞑心兰辟斗尸一冋仝慎门 曲）=2X1/23适=2一甜bil/符号五、l、—乞％)10訂何解：1)H(S> ： =-03k>g20.3-0.21og20.2-2X0.151og20.15-2X0.1^0.1=2.47bit^号2)概率编码概率0001010011110.111K.=03X2+0.2X2+0.15X3+0.15X3+0.1X3+0.1X3=2.5"型147K=2.5=98.s%3）由于按照概率大小顺序排队方法的不惟一，哈夫曼编码不惟一。将新合并的等概率消息排列到上支路（即大概率位置），可以证明它将有利于缩短码长的方差,即编出的码更接近于等长码，这种编码方法更佳。解：1)由题意可得到信源状态转移图为:0.80.200000.50.50.50.500000.20.8[P(l)]=这是一个非周期不可闭集，具有各态历经性，根据各态2)由状态图可以判断，这是一个非周期不可闭集，具有各态历经性，根据各态历经定理的方法同样可以判断，存在状态极限概率。有:p(S1)0.8p(S1)0.800.50p(S2)0.200.50p(S3)00.500.5p(S4)00.500.8p(S1)p(S2)p(S3)p(S4)p(Sl)+p(S2)+p(S3)+p(S4)=l和p(Sl)+p(S2)+p(S3)+p(S4)=l和p(Si)>0 (i=l,2,3,4)解得其极限概率分别为：p(S1)=p(S4)=5/14;p(S2)=p(S3)=2/143)由极限概率和状态转移概率就可以计算马尔柯夫信源的极限熵:斗斗H—=—迟迟 /Si)=0.8irf/fithaoi-l>13、_1011Q00-11101001100010解：1)H=-0110001-C=u・G=(u0u1u2)G=(0000000)(0