信息论与编码期末考试题(全套)

1、(一)、） ;） ;） 、2、一阶马尔可夫信源得状态转移图如右图所示, 小题 、1、 ,、( );、基 底 或 生 成 矩 阵 有 可 能 生 成 同 一 码 集()、 、;3,、( )、码,、信( )、(二)( )6、 连续信源与离散信源得熵都具有非负性一、填空题(共15分,每空1分)( )、是。,一就是 ,、8 、汉 明 码 就 是 一 种 线 性 分 组 码是。( )。9 、率 失 真 函 数 得 最 小 值 就 是4、无失真信源编码得平均码长最小理论极限制( )为。、必然事件与不可能事件得自信息量都就是( )6、根据信道特性就是否随时间变化,信道可以分为 6 小题 与。7、根据就是否允

2、许失真,信源编码可分为1 、 码 得 检 、 纠 错 能 力 取 决、于与。值时, ,、。3、把信息组原封不动地搬到码字前位得码就叫、做当 X 与 Y 相互独立时4 、 香 农 信 息 论 中 得 三 大 极 限 定 理 就、是、XY 成立得条件、6-,、三、=4 , 01分、2 3 ,2Hr ) ) ) )X与YXY1 2XY1 21 2设Y0 或1 ;八、 分),x1y1 短x2y1 42 ; ;11112 H X 4 882 ;1231 8 2 ;21 2 222信息论基础2参考答案 2 2 12R t 4 6 s。 ) ) ) );13Z01SS 121有得11 1 1 2 2 2 H

3、 H X H Z|X H H , 对 : 2 22H P S P S |S logP S |Sijijii1 j13 22 3 113 log log4 33 4 311八、 分),通过干扰信道, 0.578 1.599240.681bit 0.472nat 0.205hart xy11:3 3 1 14 4 4 4 2 P x P x itiix2y11 42 ;H H 0.205hart0.472nat 0.681bit 符号2 ; ; ;(10): XY H X H 0.8,0.20.722bit符号0.5nat符号0.217符号1 2:xy121 21 2:1 2xy 111设Y0 或

4、 1 HY HatC 得 长 度 K 应 满 足 不 等式 H|Y HXYHYit符号符号t 号ii HY|X HXYHX itatt 号。3、设有一个信道 ,其信道矩阵为 ,则它就是信道(填对称,准对称),其信道容量就是比特/信道符号。 I YHXHXYitt 号三、(20 分)通过一个干扰信道,接受符号集为,信道,转移矩阵为(三)试求(1)H(X),H(Y),H(XY);(7分)(2) H(Y|X),H(X|Y);(5分)(3) I(Y;X)。(3分)一、 选择题(共10分,每小题2分)X,其概率空间为,则其无记忆二次扩展信源得熵H(X)=( )(4)该信道得容量C(3分)(5)当平均互信

5、息量达到信道容量时,接收端 Y得熵H(Y)。(2分)2A、1、75比特/符号;号;B、3、5比特/符C、9比特/符号;D、18比特/符号。计算结果保留小数点后 2 位,单位为比特/符号。2、信道转移矩阵为0(y /x) (y /x)000四、(9 分)简述平均互信息量得物理意义,并写出应112100(y /x) (y /x)0032402 000( / ) ( / 公式。P y x P y x5363其中两两不相等,则该信道为3、A、一一对应得无噪信道六、(10分)设有离散无记忆信源,其概率分布如下:B、具有并归性能得无噪信道C、对称信道D、具有扩展性能得无噪信道对其进行费诺编码,写出编码过程

6、,求出信源熵、平均码长与编码效率。3、设信道容量为C,下列说法正确得就是:( )A、互信息量一定不大于CB、交互熵一定不小于CC、有效信息量一定不大于C七、信道编码(21分)现有生成矩阵D、条件熵一定不大于C4、在串联系统中,有效信息量得值( )1. 求对应得系统校验矩阵H 。(2分)sA、趋于变大2 求该码字集合得最小码字距离d、最大检错能B、趋于变小C、不变力 、最大纠错能力t。(3分)max2. 填写下面得es表 (8分)D、不确定5、若 BSC 信道得差错率为 P,则其信道容量es为:( )A、B、C、D、二、填空题(20分,每空2 分)1、(7,4)线性分组码中,接受端收到分组R 得

7、位数为_ ,伴随式S 可能得值有_ 种,差4. 现有接收序列为,求纠错译码输出。(4分)5、 画出该码得编码电路 (4分)(四)错图案e 得长度为,系统生成矩阵G 为_行得矩阵,系统校验矩阵H 为ss_是行得矩阵,G 与H 满足得关系式就。ss共 分2、香农编码中,概率为得信源符号x 对应得码字i ） 概 率 大 得 事 件 自 信 息 量 大 。( ） 互 信 息 量 可 正 、 可 负 亦 可 为 零 。()共 ) , (0)=0、(1)=0、） ,求D D 与RD 大说明信源符号间得依赖关系较小。有一稳态信源,已知转移为 S / S ( ） ,( ） , ()11S /S :12 )(五

8、)） (码 霍夫曼编码方法构造得就是最佳码。一、(11填空题(D( )） ） 0） X 得N XN倍)。五、),。:） 。 X;） , 。3),） 3, _2_ ,） n ） ,由二、判断题） 信 息 就 就 是 一 种 消 息 。()） ()八;3。)所有码字为2分)该码字在第5位发生错误,()纠正为(六)5与答案m一、概念简答题(每题5分,共401、答:平均自信息为表示信源得平均不确定度,也表示平均每个信源消息所提供得信息量。平均互信息表示从Y获得得关于每个X得平均信息量,也表示发X前后Y得平均不确定性减少得量,还表示通信前后整个系统不确定性减少得量。2、答:最大离散熵定理为:离散无记忆信源,等概率分布时熵最大。最大熵值为。平均互信息就是信源概率分布得型凸函数,就是信道传递概率得U型凸函数。量,其值取决于信噪比与带宽。由得,则6、答:只要,当N足够长时,一定存在一种无失真编码。X时,只要码长足够长,一定能找到一种编码方法与译码规则,使译码错误概率无穷小。8、答:1)保真度准则为:平均失真度不大于允许得失真度。2)