信息论与编码期末考试题全套

1、0.(一)一、判断题共10小题,总分值20分.1 .当随机变量X和Y相互独立时,条件嫡H(X|Y)等于信源嫡H (X).()2 .由于构成同一空间的基底不是唯一的,所 以不同的基底或生成矩阵有可能生成同一码集.()3 .一般情况下,用变长编码得到的平均码长 比定长编码大得多.()4 .只要信息传输率大于信道容量,总存在一 种信道编译码,可以以所要求的任意小的 误差概率实现可靠的通信.()5 .各码字的长度符合克拉夫特不等式, 是唯 一可译码存在的充分和必要条件.()6 .连续信源和离散信源的嫡都具有非负性.()7 .信源的消息通过信道传输后的误差或失 真越大,信宿收到消息后对信源存在的不确定性

2、就越小,获得的信息量就越小.8 . 汉明码是一种线性分组码.()9 . 率失真函数的最小值是0 .10 .必然事件和不可能事件的自信息量都是()、填空题共6小题,总分值20分.1、 码的检、纠错水平取决 于.2、信源编码的目的是; 信道编码的目的是.3、把信息组原封不动地搬到码字前k位的(n,k)码就叫做? ?.4、香农信息论中的三大极限定理 是、5、设信道的输入与输出随机序列分别为X和Y,那么 I(Xn,Yn) NI (X,Y)成立的条件?.6、对于香农-费诺编码、原始香农-费诺编码和哈夫曼编码,编码方法惟一的是 7、某二元信源 X 01,其失真矩阵P(X) 1/2 1/ 2D 0 0,那么

3、该信源的加=.三、此题共4小题,总分值50分.1、某信源发送端有2种符号Xi (i 1,2), p(x1)a ;接收端有3种符号 yi (j 1,2,3),转移概率矩阵1/ 2 1/ 2 01/ 2 1/ 4 1/4(1)计算接收端的平均不确定度H (Y);1-p(2)计算由于噪声产生的不确定度H(Y|X);(3)计算信道容量以及最正确入口分布.2、一阶马尔可夫信源的状态转移图如右图所示,信源X的符号集为0,1,2.(1)求信源平稳后的概率分布；(2)求此信源的嫡；(3)近似地认为此信源为无记忆时,符号的 概率分布为平稳分布.求近似信源的嫡H (X)并与H进行 比拟.4、设二元(7,4)线性分

4、组码的生成矩阵为1 10 10 0 00 1 10 10 0G.1110 0 102 0 1 0 0 0 1(1)给出该码的一致校验矩阵,写出所有的 陪集首和与之相对应的伴随式；(2)假设接收矢量v (0001011),试计算出其对应的伴随式S并根据最小距离译码准那么试着对其译码.一、填空题(共15分,每空1分)1、信源编码的主要目的是 ,信道编码的主要目的是.2、信源的剩余度主要来自两个方面,-4、无失真信源编码的平均码长最小理论极限制为 .5、当 时,信源与信道到达匹配.6、根据信道特性是否随时间变化,信道可以分为3、三进制信源的最小嫡为 ,最大嫡为和.四、(10分)某信源输出A、B、C、

5、D E五种符号,每一个符号独立出现,出现概率分别为 1/8、 1/8、1/8、1/2、1/8.如果符号的码元宽度为 so 计算：(1)信息传输速率R.(5分)五、(16分)一个一阶马尔可夫信源,转移概率为cc2c_1ccPGS ,P S21sl ,P§|S2 1,PS21s2 0o 33(1)画出状态转移图.(4分)(2)计算稳态概率.(4分)(3)计算马尔可夫信源的极限嫡.(4分)(4)计算稳态下H1, H2及其对应的剩余度.(4分)六、设有扰信道的传输情况分别如下图.试求这种信道的信道容量.七、(16分)设X、Y是两个相互独立的二元随机变量,其取0或1的概率相等.定义另一个二元

6、随机变量Z=XYL般乘积).试计算(1) H X ,H Z ;(2) H XY ,H XZ ;(3) H X|Y ,H Z|X ;(4) I X;Y ,I X;Z ;八、(10分)设离散无记忆信源的概率空间为(5) x1 x2 ,通过干扰信道,信道输出端的P0.8 0.2接收符号集为Y必,丫2 ,信道传输概率如以下图所 示.(1)计算信源X中事件Xi包含的自信息量；(2)计算信源X的信息嫡；计算信道疑义度H X |Y ;计算噪声嫡H Y|X ；(5)计算收到消息Y后获得的平均互信息量.?信息论根底?2参考答案一、填空题(共15分,每空1分)1、信源编码的主要目的是提升有效性,信道编码的主要目的

7、是提升可靠性.2、信源的剩余度主要来自两个方面,一是信源符号间的相关性,二是信源符号的统计不均匀性.3、三进制信源的最小嫡为 Q,最大嫡为10g23bit/ 符号.4、无失真信源编码的平均码长最小理论极限制为 信源嫡(或 H(S)/logr= H r(S).5、当R=C或(信道乘I余度为 0)时,信源与信道 到达匹配.6、根据信道特性是否随时间变化,信道可以分为恒参信道和随参信道.7、根据是否允许失真,信源编码可分为无失真信 源编码和限失真信源编码.8、假设连续信源输出信号的平均功率为2,那么输出信号幅度的概率密度是高斯分布或正态分布或x2f X 1 e一时,信源具有最大嫡,其值为值2H S

8、H S(5)0.973L log rL评分：其他正确的编码方案：1,要求为即时码2,12 log 2 e .平均码长最短四、10分某信源输出A、B、C D、E五种符9、在下面空格中选择填入数学符号号,每一个符号独立出现,出现概率分别为1/8、s.1 当X和Y相互独立时,H ( XY)1/8、1/8、1/2、1/8.如果符号的码元宽度为计算:=H(X)+H(X/Y)=H(Y)+H(X).H2 XH X1X2H3 XH X1X2X31信息传输速率R.5分3假设信道输入用X表不,信道输出用Y表不.(1) R 1HxH XY五、16分一个一阶马尔可夫信源,转移概在无噪有损信道中,HX/Y0,率为H(Y

9、/X)=0,I(X;Y)<H(X)三、16分信源PS|S 3Ps21s JSS 1,PS 0.画出状态转移图.4分(1)用霍夫曼编码法编成二进制变长码；6分(2)计算稳态概率.4分(2)计算平均码长L; 4分计算马尔可夫信源的极限嫡.4分(3)计算编码信息率R; 2分计算稳态下Hi, H2及其对应的剩余度.(4)计算编码后信息传输率 R; 2分(4分)(5)计算编码效率(2分)解:(1)编码结果为:2由公式Si |Sj P Sj(2)Pi 0.4 2 0.6 3 2.6 码夕前(3)L log r=2.6 biP S1P S1|SiSiP S2(4)哈舞0.973b,4元其中,02,0.

10、2,0.2,0.2,0.1,0.12.53b2P S2|S Pi 1P§ P S2Si-P Si31ps 3得 H X |Y H X 1bit I X,Y H Y H Y|X H Y H Y 0P S2-4(3)该马尔可夫信源的极限嫡为：(4)在稳态下：对应的剩余度为六、设有扰信道的传输情况分别如下图.试求这种信道的信道容量.解：信道传输矩阵如下八、(10分)设离散无记忆信源的概率空间为Xx1x2 ,通过干扰信道,信道输出端的P0.8 0.2接收符号集为Y必,丫2 ,信道传输概率如以下图所示.(6)计算信源X中事件xi包含的自信息量；(7)计算信源X的信息嫡；(8)计算信道疑义度H

11、X |Y ;计算噪声嫡H Y|X ;可以看出这是一个对称信道,L=4,那么信道容量为七、(16分)设X、Y是两个相互独立的二元随机 变量,其取0或1的概率相等.定义另一个二元 随机变量Z=XYL般乘积).试计算 H X ,H Z ;(2) H XY ,H XZ ;(3) H X|Y ,H Z|X ;(4) I X;Y ,I X;Z ；解：(1)(10) 计算收到消息Y后获得的平均互信息量.解：I X1log0.8 0.322bit 0.0969hart 0.223nat(2) H X H 0.8,0.2 0.72bit符号 0.5iat符号 0.217art符号(3)转移概率：y1 y2yX1

12、5/61/6X23/41/4Z01联合分布：P(Z)3/41/4yy1y2X13/201/201/549/6011/601/5(2) H XY H X H Y 1 1 2bit/对x 2/312/154/5为 行的矩阵、G和HS满足的关系式(三)选择题(共10分,每题2分)1、有一离散无记忆信源X,其概率空间为2、香农编码中,概率为P(Xi)的信源符号Xi对应 的码字 C的长度 K应满足不等XiX2X3X40.5 0.25 0.1250.125,那么其无记忆o3、设有一个信道,其信道矩阵为0.250.50.25 0.250.50.25信道次扩展信源的嫡H(X2)=()A、比特/符号； B 、比

13、特/符号；G 9比特/符号； D 、18比特/符号.2、信 道 转 移 矩 阵 为P(y1/X1)P(y2/X1)000000P(y3/X2)P(乂/x2)000000PW5/X3)P0X)0.250.5 ,那么它是0.25(填对称,准对称),其信道容量是 比特/信道符号.三、(20分)XX1 X2通过一个干扰信P(X)0.5 0.5其中P(yj/x)两两不相等,那么该信道为3、A、对应的无噪信道R具有并归性能的无噪信道G对称信道D具有扩展性能的无噪信道3、设信道容量为C,以下说法正确的选项是：()A互信息量一'定不大于CR交互嫡一定不小于CG有效信息量一定不大于CD条件嫡一定不大于C

14、4、在串联系统中,有效信息量的值()A趋于变大R趋于变小G不变D不确定5、假设BSC信道的过失率为P,那么其信道容量为：道,接受符号集为 Yy1 y2 ,信道转移矩阵为1 34 45 16 4试求(1) H(X),H(Y),H(XY);(7 分)(2) H(Y|X),H(X|Y);(5 分)(3) I(Y;X) .(3 分)(4)该信道的容量C (3分)(5)当平均互信息量到达信道容量时,接收端Y的嫡H (Y)o (2分)计算结果保存小数点后 2位,单位为比特/符 号.四、(9分)简述平均互信息量的物理意义,并写出plog 2 1 p p1PB、C、应公式.六、(10分)设有离散无记忆信源,具

15、概率分布如下:对其进行费诺编码,写出编码过程,求出信源烯)、平均码长和编码效率.七、信道编码(21分)现有生成矩阵GsD Plog(P)填空题(20分,每空2分)1、(7,4)线性分组码中,接受端收到分组 R的位 数为,伴随式S可能的值有 种,过失图案e的长度为,系统生成矩阵G为 行的矩阵,系统校验矩阵HS10001110 10 0 110001001100011011 .求对应的系统校验矩阵H.(2分)、最大纠错水平t max o (3分)es '00000000000001一、0000010(1)000010000010000010000(2)0100000(3)1000000填写

16、下面的es表(8分)(1)(2)2 求该码字集合的最小码字距离d、最大检错能力l max2.p(Si/ Si)= 2/3 , p( S/ S2)= 1.求：画出状态转移图和状态转移概率矩阵.求出各状态的稳态概率.求出信源的极限嫡.20分)(五)11')填空题1948年,美国数学家 香农 发表了题为“通信的数学理论的长篇论文,从而创立了信息论.必然事件的自信息是 0 .离散平稳无记忆信源X的N次扩展信源的嫡等于离散信源X的嫡的N倍 .4,现有接收序列为r (1100100),求纠错译码 输出？ (4分)5.画出该码的编码电路(4分)(四)(4)对于离散无记忆信源,当信源嫡有最大值时,满足

17、条件为 信源符号等概分布一.(5)对于香农编码、费诺编码和霍夫曼编码,四、简做题(共20分,每题10分编码方法惟一的是 香农编1,利用公式介绍无条件嫡、条件嫡、联合嫡和平均互信息量之间的关系.2. 简单介绍哈夫曼编码的步骤五、计算题(共40分)1 .某信源含有三个消息,概率分别为p(0)=,4 2 1p(1)= , p(2)=,失真矩阵为 D 0 3 2 o2 0 1求 Dha公 Dnin 和 R (Da).(10 分)11112 .设对称离散信道矩阵为 P 3 3 6 6 ,求12116 6 3 3信道容量Co (10分)3 .有一稳态马尔可夫信源,转移概率为码.(6)某线性分组码的最小汉明

18、距离为3,那么这组码最多能检测出 _2个码元错误,最多能纠正 1_个码元错误.(7)设有一离散无记忆平稳信道,其信道容量为C,只要待传送的信息传输率R /、于C (大于、小于或者等于),那么存在一种编码,当输入序列长度n足够 大,使译码错误概率任意小.(8)平均错误概率不仅与信道本身的统计特性有关,还与 译码规那么 和编码方法有关二、(9 )判断题(1)信息就是一种消息 .( )(2 )信息论研究的主要问题是在通信系统设计中如何实现信息传输、存储和处理的有效性和可靠性.()(3 )概率大的事件自信息量大.()(4 )互信息量可正、可负亦可为零.()(5 )信源剩余度用来衡量信源的相关性程度,信

19、源剩余度大说明信源符号间的依赖关系较小0( )(6 )对于固定的信源分布,平均互信息量是信道传递概率的下凸函数.()(7 )非奇异码一定是唯一可译码,唯一可译码不一定是非奇异码.()(8 )信源变长编码的核心问题是寻找紧致码(或最正确码),霍夫曼编码方法构造的是最佳码.( )(9)信息率失真函数 R(D)是关于平均失真度 D的上凸函数.()五、(18').黑白气象 图的消息只有黑色和白色两种,求：1)黑色出现的概率为,白色出现的概率为.给出这个只有两个符号的信源 X的数学模型.假设图上黑白消息出现前后没有关联,求嫡H X ;3)分别求上述两种信源的冗余度,比拟它们的大小并说明其物理意义

20、.解：1)信源模型为卜黑巴何0. 30. 7(1分)(2分)2)由题意可知该信源为一阶马尔科夫信源¥)&由“囱幻心二14分)得极限状态概率2分)d H(X)10.11910g2 23分)1分译结果.21.说明：当信源的符号之间有依赖时,信源输出消息的不确定性减弱.而信源冗余度正是 反映信源符号依赖关系的强弱,冗余度越大,依赖关系就越大.2分六、18'.信源空间为XXi X3 X4X5X6X7PX0.20.190.180.170.150.10.01,试分别构造二元香农码和二元霍夫曼码,计算 其平均码长和编码效率要求有编码过程.2 3分最大后验概率准那么下,有,解：1 n

21、=6,k=3,共有8个码字.3分2设码字 C C5c4c3c20 由 HCt 0T 得3分C2C4C5C1c00C3C00C3C1C00令监督位为GGCo ,那么有C2C1C03 分 31 0C5C3C5C4八10 .二元对称信道如图.311右 p0 -,p 1 一,求 HX、HX|Y 和 44喉；1共6份3v. =1生成矩阵为0 10 0 110 0 110 124假设接收到码字101001,求出伴随式并给出.£113方符号2,.脸如何飞3分此时输入概H X |Y 0.749bit /符号率分布为等概率分布.1分«小¥09616与符导九、18设一线性分组码具有一

22、致监督矩阵0 0 0 1 1 1H 0 110 0 110 10 111求此分组码n=？,k=?共有多少码字?2求此分组码的生成矩阵 G3写出此分组码的所有码字.分3所有码字为 000000, 001101, 010011, 011110, 100110, 101011, 110101, 111000.4分4由 ST HRT 得S 101 , 2分该码字在第5位发生错误, 101001纠正为101011,即译码为101001 1分六、概念简做题每题 5分,共40分1 .什么是平均自信息量与平均互信息,比拟一下这两个概念 的异同？2 .简述最大离散嫡定理.对于一个有m个符号的离散信源,其最大嫡是

23、多少？3 .解释信息传输率、信道容量、最正确输入分布的概念,说明 平均互信息与信源的概率分布、信道的传递概率间分别是什 么关系？4 .对于一个一般的通信系统,试给出其系统模型框图,并结 合此图,解释数据处理定理.5 .写出香农公式,并说明其物理意义.当信道带宽为5000Hz, 信噪比为30dB时求信道容量.6 .解释无失真变长信源编码定理.3.信源空间为S .耳鼻 J£$ £了晨P(s) - 0.4 0.2 0 1 0.1 0.05 0.05 0.05 0.05造二元和三元霍夫曼码,计算其平均码长和编码效率.5.一8, 5线性分组码的生成矩阵为10000111 M 0001

24、110 jOlQDOIQ 000 必.1 oooor.il7 .解释有噪信道编码定理.8 .什么是保真度准那么？对二元信源尸卜,一其失真矩阵,求a>0时率求：1输入为全00011和10100时该码的码字；2最小码 距.答案一、概念简做题每题 5分,共40分耳三-£詈及心区必二、1.答：平均自信息为二、综合题每题 10分,共60分1 .黑白气象 图的消息只有黑色和白色两种,求：1黑色出现的概率为,白色出现的概率为.给出这个只有两个符号的信源 X的数学模型.假设图上黑白消息出现前后没有关联,求嫡 出与；2假设黑白消息出现前后有关联,其依赖关系为：F冏白尸黑向口,尸句黑- 0.2产量

25、喝-F求其嫡也；表示信源的平均不确定度,也表示平均每个信源消息所提供的信息量./ Y-咕"C平均互信息I巴入J 表示从丫获得的关于每个 X的平均信息量,也表示发 X前后丫的平均 不确定性减少的量,还表示通信前后整个系统不确定性减少的量.2 .答：最大离散燧定理为：离散无记忆信源,等概率分布时燧最大.最大嫡值为%岷=1啊网.平均互信息是信源概率分布的n型凸函数,是信道传递概率的u型凸函数.2.二元对称信道如图.心=1 姐 入=11假设C1求况幻和；2求该信道的信道容量和最正确输入分布.5.答:香农公式为+ 1 bufS72 码印,高斯加性白噪声信道在单位时间内的信道容量,其值取决于信噪比和 带宽.pP10坨30