信息论考试卷及答案解析

1、考试科目名称：信息论单选（每空2分，共20分）1 .信道编码的目的是（c ）,加密编码的目的是（d ）a .保证无失真传输b.压缩信源的冗余度，提高通信有效性c.提高信息传输的可靠性d.提高通信系统的安全性2 .下列各量不一定为正值的是（d ）a.信源嫡b.自信息量c.信宿嫡d.互信息量3 .下列各图所示信道是有噪无损信道的是（b ）a.第6页共11页4.信源普考信奥符号科索abcd在%4)=1/2 p(%)=l/4 双。3尸1/8 p(%)=u8000110110 11 00 110100001101 001 00015 .联合嫡h (xy)与嫡h (x)及条件嫡h (x/y)之间存在关系正

2、确 的是(a )a. h(xy)=h(x)+h(y/x)b. h(xy)=h(x)+h(x/y)c. h(xy)=h(y)+h(x)d.若x和y相互独立，h (y) =h (yx)6 . 一个n位的二进制数，该数的每一位可从等概率出现的二进制码元 (0, 1)中任取一个，这个n位的二进制数的自信息量为(c )a. 2nb. 1 bitc. n bitn d- 27 .已知发送26个英文字母和空格，其最大信源嫡为ho = log27 = 4.76比 特/符号；在字母发送概率不等时，其信源嫡为 hi = 4.03比特/符号； 考虑字母之间相关性时，其信源嫡为h2=3.32比特/符号；以此类推，极限

3、嫡h. =1.5比特/符号。问若用一般传送方式，冗余度为( b )a. 0.32b. 0.68c. 0.63d. 0.378 .某对称离散信道的信道矩阵为，信道容量为（b ）a.,，1 1 1 1、=log 4。2h (,)3 3 6 6b.,1111、=log 4 - h (一，,-,-)3 3 6 6c.1111-log2-h(-,-,-,-)3 3 6 6d.9 .下面不属于最佳变长编码的是（a.香农编码和哈夫曼编码b.费诺编码和哈夫曼编码c.费诺编码和香农编码d .算术编码和游程编码.综合（共80分）1.（10分）试写出信源编码的分类,并叙述各种分类编码的概念和特性。r非分组码码奇异码

4、i分组码 r非奇异码(5分)非唯一可译码非即时码唯一可译码,i即时码（非延长码）（1分）将信源消息分成若干组，即符号序列 xixi = (xi1xi2 xil - xil),xil a=a1 , a2,，ai,，an每个符号序列xi依照固定码表映射成一个码字yi,yi = (yi1yi2 yil yil),yil b-(bl, b2,，bi,，bm这样的码称为分组码，有时也叫块码。只有分组码才有对应的码表，而非 分组码中则不存在码表。(1分)奇异码和非奇异码若信源符号和码字是一一对应的，则该码为非奇异码。反之为奇异码。(1.5分)唯一可译码任意有限长的码元序列，只能被唯一地分割成一个个的码字，

5、便称为唯一可译码(1.5分)即时码：只要收到符号就表示该码字已完整，可以立即译码。即时码又称为非延长码，任意一个码字都不是其它码字的前缀部分，有时 叫做异前缀码。2. (15分)有一个二元二阶马尔可夫信源，具信源符号集为0,1,已知符号条件概率：p(0|00) = 1/2 p(1|00)=1/2p(0|01) = 1/3 p(1|01)=2/3p(0|10) = 1/4 p(1|10)=3/4p(0|11) = 1/5 p(1|11)=4/5求：(1) .信源全部状态及状态转移概率；(2) .画出完整的二阶马尔可夫信源状态转移图；(3) .求平稳分布概率。解：(1) .符号条件概率矩阵(5分)

6、(5分)司(0)5(00) 1/2p(ajls)(01) js3(10)1/31/4s4(11) j/5状态转移概率矩阵6s2 p(sj |s)=s3(2).61/201/4a2(1)1/22/33/44/5s21/203/40s301/301/5s,02/304/5(0)1/2s4(3).平稳分布概率工四21 -w1“ wi pij =wj = 2w1 w2 w3 w4 =13635,(5分)w34二w11-w233-w341-w45=w2-w32w2 34-w45=w4w3=35w4=47一 131pg旺p(a唠6序羡35km一1 3 2p(a2) =p(a2|s)p(si)=i2 35

7、36 1 1 x35 461 4 k 35 576 3644_ +_ x_ +_ x35 435 579352635第13页共11页3. (20分)具有符号集 u =u0,uj的二元信源，信源发生概率为: 1，p(u0)= p, p(ui) = 1 - p,0 p - z信道如图 所示，接收符号集v =v0,vi,转移概率为：q(v。|u0)=1,q(vi |uj = 1 q。发出符 号 与 接 收 符 号 的 失 真： d(u0,v。)= d(u1,v1)= 0,d(u1,v。)= d(u”1)=1。 一(1) .计算平均失真d ;(2) .率失真函数r(d)的最大值是什么？当q为什么值时可

8、达到该 一最大值？此时平均失真d是多大？(3) .率失真函数r(d)的最小值是什么？当q为什么值时可达到该 一最小值？此时平均失真d是多大？(4) .画出r(d)-d曲线。解：,，、，、，、， 八.1(1) .已知信源符号概率 p(u0) = p, p(u)=1-p,0(pw2 ;10转移概率矩阵q(vj |u) = j .;_q 1 -q1 oo 1.-l 、ip0联合概率矩阵旧5(函(i_p)(i.q)jx p(ui, vj )d(ui ,vj) = p m0+0 x1+(1 p)q m1+(1 p)(1 q) m0 =(1 p)q。(5分)(2) . maxr(d)=r(dmin)=h(

9、x)=-plogp-(1-p)log(1-p);当 q=0 时，dmin=0,即得到 maxr(d)；一d =0。(5 分)(3) . minr(d)=r(dmax)=0 ; 1 0当q=1时，转移概率矩阵q(vj |uj= 1 0 ,可使得到minr(d);一d =1-p0 (5 分)(4) .(5 分)/?(/.)4.（15分）一个平均功率受限制的连续信道，其通频带为 1mhz,信道上存在白色高斯噪声。(1) .已知信道上的信号与噪声的平均功率比值为20,求该信道的信道容量；(2) .信道上的信号与噪声的平均功率比值降至10,要达到相同的信道容量，信道通频带应为多大？(3) .若信道的通频

10、带增加至 2mhz时，要保持相同的信道容量， 信道通频带应为多大？解：(1) .已知 snr=20pc =wlog(1 ) =wlog(1 snr) =1 log 21 = 4.392mbit/s n0w(5分)(2) .若 snr=10, c=4.392mbit/s；4.392 =wlog(1 10)w=1.27mhz (5 分)(3) .若 w=2mhz , c=4.392mbit/s；4.392 =2 log(1 snr)snr=3.582 (5 分)5.(20分)信源符号x有6种字母，概率为0.32, 0.22, 0.18, 0.16,0.08, 0.04。(1) .求符号嫡h (x)

11、;(2) .用费诺(fano)编码法编成二进制变长码，求出平均码长和编 码效率；(3) .用香农(shannon)编码法编成二进制变长码，求出平均码长 和编码效率；(4) .用哈夫曼(huffma)编码法编成三进制变长码，求出平均码长和编码效率。解：(1) . h(x) = - p(ajlog p(q)=2.35bit/符号(5 分) i(2).费诺编码法编成二进制变长码(5分)信源符号符号概率p(ai)第1分组第2分组弟3分 组弟4分 组平均码长一k = sogp(ai)码字a10.3200200a20.221201a30.1810210a40.16103110a50.081041110a6

12、0.0414111100, 01, 10, 110, 1110, 1111=97.9% r k 2.4(3).香农编码法编成二进制变长码(5分)信源符号符号概率p(a)累加1率pi一平均k = -logp(aj |码字a10.320200a20.220.323010a30.180.543100a40.160.723101as0.080.8841110as0.040.9651111000, 010, 100, 101, 1110, 11110二9 =hx)=咨=82.7%r k 2.84(4).哈夫曼编码法编成三进制变长码(5分)信源符号符号概率p(a)第1分组第2分组平均码长一k = flogp(aj码字a10.320.32/0.5600.220.22/0.2810