信息科学基础2012A卷及答案概况

1、河北科技大学20122013学年第一学期信息科学基础试卷（A）学院理学院班级 姓名 学号得分、简答题（共8题，每题5分）题号一二总分得分.如有6行8列的棋型方格，若有两个质点 A和B,分别以等概率落入任一方 格内，且它们的坐标分别为（Xa,YA）、（Xb,Yb）,但A, B不能落入同一方格内 试求：（1）若仅有质点A,求A落入任一个格的平均自信息量;（2）若已知A已入，求B落入的平均自信息量;（3）若A, B是可分辨的，求A, B同时落入的平均自信息量.设离散无记忆信源为/十2 I“ 0318 ；16 求信源的嫡，并解释为什么H（x）a log 6不能满足信源的极值性。A卷（共14页）第1页3

2、.令离散无记忆信源S _ 6 S2 S3 |p，0.5 0.2 0.3_(1)求对S的最佳二元码、平均码长和编码效率;(2)求对S2的最佳二元码、平均码长和编码效率.解释最小错误概率译码准则，最大似然译码准则和最小距离译码准则，说明三者的关系。.一个马尔可夫过程的基本符号 0,1,2 ,这三个符号以等概率出现，具有相同的 转移概率，并且没有固定约束。(1)画出单纯马尔可夫过程的状态图，并求稳定状态下的马尔可夫信源嫡H1 ；A卷(共14页)第2页（2）画出二阶马尔可夫过程状态图，并求稳定状态下二阶马尔可夫信源嫡H2。.当信源是无记忆时，无记忆的N次扩展信道的平均互信息与原信道平均互信息 的关系如

3、何？.什么是平均自信息（信息嫡）？什么是平均互信息？比较一下两个概念的异 同之处。- 1|0 0 18. 一个马尔科夫链的状态转移矩阵为p= 11 ,该马尔可夫链是否具有遍2 3 611八0N 2 一历性？为什么?A卷（共14页）第3页得分、综合题(共6题，每题10分)1.设有一个二进制二阶马尔可夫信源，具信源符号集为0,1,条件概率为p(0|00)=p(1|11)=0.8, p(1|00)=p(0|11)=0.2, p(0|01)=p(0|10)=p(1|01)=p(1|10)=0.5.这个信源的符号数是q=2,共有四种可能状态：S1=0O;S2=01; S3=10 S4=11.(1)给出信

4、源的状态转移矩阵.(2)求出平稳分布.(3)该平稳分布所对应的信源嫡.2、有一个一阶平稳马尔可夫链 XX2，X,，各X.取值于集A = a1a2aq,1已知起始概率p(x)为p1 = P(X1 = X1) = , p2 = p3 =，其转移概率如下表所小。412311/21/41/422/301/332/31/30A卷(共14页)第4页(1)求X1X2X3的联合嫡和平均符号嫡；(2)求这个链的极限平均符号嫡；求H。，匕，也和它们对应的冗余度0.7 0.1 0.2-p =.设有一离散信道，其信道矩阵为1。2 0,1。7，求：(1)最佳概率分布？(2)当双为)=0一7,声区)=0/时，求平均互信息

5、1y)=7信道疑义度H(XIY) = ?(3)输入为等概率分布时，试写出一译码规则，使平均译码错误率衣苫最小,并求此.A卷(共14页)第5页4.设线性分组码的生成矩阵为(1)止匕(n, k)码的 n=? k= ?,写出此(n, k)码的所有码字。1U0100 10 110 0 10 1(2)求其对应的一致校验矩阵H。(3)确定最小码距，问此码能纠几位错？列出其能纠错的所有错误图样和对应 的伴随式。(4)若接收码字为000110,用伴随式法求译码结果。A卷(共14页)第6页.某气象员报告气象状态，有四种可能的消息：晴、云、雨和雾。若每个消息是 等概的，那么发送每个消息最少需要的二元脉冲数是多少？

6、又若4个消息出现的概率分别为1,1,1,1,问在此情况下消息所需的二元脉冲数是多少？如何编码？.假定离散矢量信源N=3,输出矢量序列为X =X1X2X3,其中Xi =1,2,3的取值为0,1;经信源传输后的输出为丫=丫丫2工，其中Y，i =1,2,3的取值为0,1。 定义失真函数d(0,0)=d(1,1) = 0d(0,1) -d(1,0)-1求矢量失真矩阵dA卷（共14页）第7页河北科技大学20112012学年第一学期信息科学基础答案(A)一、 简答题(共8题，每题5分)11. (1)答：A洛入任一格的概率为p(aj= = 6 8 48481平均自信息量 H(A)= p(a)10g2 = l

7、og2 48 = 5.58(bit)yP(a)(2)答：A落入后，B再落入的概率p(b) =14747H(B)- p(bj)10g 2j 11p(bj)= log247 = 5.55(bit)(3)答：A, B同时落地的联合嫡 48 47H(AB)-% % p(aibj)10g2= log2(47 48) = 11.14(bit)yjmp(aibj).答：由定义，信源的嫡6H(X)=T p(a)10g2 p(aj i 10 -0.2log20.2 0.1910g20.19-0.1810g20.18-0.17log2 0.17-0.161og20.16-0.171og2 0.17= 1ogz6.

8、28= 2.64 10g2 6信源的概率分布要求满足Z p(a)=1,而此题中工p(a) =1.071。即各种可能发生的情况下，概率之和大于“ 1”，在实际情况下这是不可能发生的。3. (1)答：采用霍夫曼方法进行编码，得s,： 1s2: 00s3 =01A卷(共14页)第8页3平均码长为匚= pJi =1.5(码元/信源符号) i 3编码效率为H(S)L= 0.99(2)答:s2 _ 4sP |0.25s2 与4 5与0.15 0.15 0.1S3s10.1S2 s2 s2 s30.09 0.06s3s2s3 s30.06 0.04霍夫曼编码后s2s2: 10j : 001 s2sl : 0

9、10 5与：110s3s : 111s2s2: 0000 s2s3: 0001s3s2： 0110 s3s3： 01119平均码长为L= pili =3 (码元/信源符号)i 19信源嫡为 H(S2)=- Pi log2Pi =2.971 (bit/ 信源符号) i 1编码效率为=0.99L.答：最小错误概率译码准则下，将接收序列译为后验概率最大时所对应的码字。最大似然译码准则下，将接收序列译为信道传递概率最大时所对应的码字。最小距离译码准则下，将接收序列译为与其距离最小的码字。三者关系为：输入为等概率分布时，最大似然译码准则等效于最小错误概率译码 准则。在二元对称无记忆信道中，最小距离译码准

10、则等效于最大似然译码准则。. (1)答：每个状态发出三条转移线，等概率出现。即每条转移线的转移概率为1/3,稳定状态下，三个状态的概率也为 1/3。每一状态的嫡3 TOC o 1-5 h z 11Hi - - p( j/i)10gp(j/i) =-3 log2 log23 = 1.585(b)jd3331稳止状态下的马尔可夫缶源燧为 Hi=-乙p(i)Hi =3父一Hi = Hi =1.585(bit) T3A卷(共14页)第9页(2)答：有九个不同状态，27条转移线。9个不同状态分别为00,01,02,10,11,12,20,21,22。每一状态的嫡为2Hj =八p(x0j /x00)log

11、j卫1.1p(x0j /X00) - -3 -log2-3310g2 3=1.585(bit)H(X/x01) =H(X/x10) =H(X/x02) =H(X /x00) =1.585(bit)又知二阶马尔可夫每一状态的概率为 p(xj)=L1=1,所以二阶马尔可夫信源 j 3391嫡为 H2=v p(xij)Hij =91.585 =1.585(bit)j9.答：无记忆的N次扩展信道的平均互信息是原信道平均互信息的 N倍.答：平均自信息为I双环)表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。场)()三平均互信息为 表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均

12、不确定性减 少的量，还表示通信前后整个系统不确定性减少的量。平均互信息量I (X;Y)是信源概率分布p(x)的上凸函数，是信道传递概率p(y|x) 的下凸函数。.答：是遍历的，p*p*p矩阵的所有元素全是正数，说明这个马尔可夫链存在平 稳分布，是遍历的。二、综合题(共6题，每题10分)1.答：(1)该信源的状态转移矩阵为0.8 0.2000.5 0.5-00000.5 0.5000.2 0.8(2) W=W1,W2,W3,W4,其中 W1=p(S1), W2=p(S2), W3=p(S3), W4=p(S4),A卷(共14页)第10页由平稳分布的矩阵方程WP=W,以及p(S1)+p(S2)+p

13、(S3)+p(S4)=1 ,可以得到平 稳分布为：p(S1)=p(S4)=5/14, p(S2) =p(S3)=1/7.该平稳分布的信源嫡 H=p(S1)*H(0.8,0.2)+ p(S2)*H(0.5,0.5)+ p(S3)*H(0.5,0.5)+ p(S4)*H(0.8,0.2)=0.8 bit/ 符号。2. (1)答：信源是一阶马尔可夫的，所以111H(X1)log2- log2 =1.5(bit)2 24由 P(XiX2)= p(X2 /Xi)p(Xi)知 X1X2 的联合概率为P(XiX2)12311/41/81/821/601/1231/61/120因止匕H(X2/X1) p(x1

14、x2)log p(x2/x1) =1.209(bit)X1X2由 P(X2X3) = P(X3 /X2) p(X2)知 X2X3 的联合概率为P(X2X3)12317/247/487/4825/3605/7235/365/720XiX2X3 的联合嫡为 H (X1, X2,X3) = H(Xi) + H (X2 / X1) + H (X3 / X2) = 3.969(bit)1平均符号嫡为H3(X) = H (Xi,X2,X3)= 1.323(bit / 符号)3WP =W(2)答：设信源稳态符号概率分布 W=w 1 w2 w3,由：w1 w2 w3 = 1A卷(共14页)第11页4wi =

15、7解得 w2 =143W3 =14411132 1一信源的极限平均符号燧 HQ0=-H (-,-,-)十一H (一 ,0) M2=1.25(bit /符号) 72 4 4 143 3(3)三个嫡分别为 Ho(X) =log2 3 =1.585(bit)H1(X) = H(X1) = 1.5(bit)1H2(X)H(X1,X2) =1.355( bit)2由冗余度的计算公式R=1-1，得它们的冗余度分别为R0 =0, R =0.054, H。R =0.145.答：1)是准对称信道，因此其最佳输入概率分布为P6)=P)= S5。，(乃)=0 55切为)=02)当亚再)=0.了 p5) = Q.3时

16、有25) = 0充则一：H(XfY) = H(X) -I(X/ Y) = 0.7 版谪号上8?)=占3)此时可用最大似然译码准则，译码规则为有5=E= 10.2 + 0.1 + 0.2 = 0 25.答：1) n=6, k=3,由C=mGT得所有码字为：000000, 001011, 010110, 011101, 100101, 101110, 110011, 111000A卷（共14页）第12页tor10100Q =110H =卜011010G知，oil ，,则101001 2）此码是系统码，由3）由H可知，其任意2列线性无关，而有3列线性相关，故有4 =3,能纠一 位错。错误图样E伴随式S = EHt TOC o 1-5 h z 100000101010000110001000011000100100000010010000001001 4）由 8 产出=0知 E= 010000,则/+ ”010110.答：至少需要二位二进制编码元来发送 4个等概率发生的信息晴-00 云-01 雨-10 雾-114个信息的概率恰好是2的负整数幕，根据b=-10gpi得 晴-2位 云-3位雨-3位雾-1位采用霍夫曼编码方法得 雾-0 晴-10 云-110 雨-111它们的平均码长分别为：第一种情况：