信息论编码模拟试题二及参考答案

1、模拟试题一一、概念简做题共 10题,每题5分1 .简述离散信源和连续信源的最大嫡定理.答：离散无记忆信源,等概率分布时嫡最大.连续信源,峰值功率受限时,均匀分布的嫡最大.平均功率受限时,高斯分布的嫡最大.均值受限时,指数分布的嫡最大.2 .什么是平均自信息信息嫡什么是平均互信息比较一下两个概念的异同之处.3 .解释等长信源编码定理和无失真变长信源编码定理,说明对于等长码和变长码,最正确码的每符号平均码长最小为多 少编码效率最高可达多少.答:等长信源编码定理：对于任意匕只要L,那么当L足够长时必可使译码过失 ,自变长信源编码定理：只要L 幼取,一定存在一种无失真编码. j ,等长码和变长码的最小

2、平均码长均为%* 编码效率最高可达100%.4 .解释最小错误概率译码准那么,最大似然译码准那么和最小距离译码准那么,说明三者的关系.答：最小错误概率译码准那么下,将接收序列译为后验概率最大时所对应的码字.最大似然译码准那么下,将接收序列译为信道传递概率最大时所对应的码字.最小距离译码准那么下,将接收序列译为与其距离最小的码字.三者关系为：输入为等概率分布时,最大似然译码准那么等效于最小错误概率译码准那么.在二元对称无记忆信道中,最 小距离译码准那么等效于最大似然译码准那么.5 .设某二元码字 C=111000 , 001011, 010110, 101110,假设码字等概率分布,计算此码的编

3、码效率采用最小距离译码准那么,当接收序列为110110时,应译成什么码字1 泡 41；7 =-=-.答：1632令接收序列为 ,那么有 _ _ _,. 秒 =2 ,故假设收序列应译为 010110.J“山 上PIS = 0.4,产=06 人6 .平稳二元信源,它在任意时间,不管以前发出过什么符号,都按 J发出符号,求火片,和平均符号嫡蚣f 一HH 凡= 0.971 万符号lim 工发(工XQ = Km 工X(X) = H(X) = 097) 加符号7 .分别说明信源的概率分布和信道转移概率对平均互信息的影响,说明平均互信息与信道容量的关系.答：平均互信息相对于信源概率分布为上凸函数,相对于信道

4、传递概率分布为下凹函数.平均互信息的最大值为信道 容量.13P(=-tP(l) = -r8 .二兀无记忆信源,有44求：(1)某一信源序列由100个二元符号组成,其中有 m个“1；求其自信息量?(2)求100个符号构成的信源序列的嫡.答rJ(ct) = Tog.尸=200 -32)H徒吗=100笈=81128期/序列9 .求以下三个信道的信道容量：E-Pl0Pa答：P1为一一对应确定信道,因此有G=maxH(X)=l.殳 4=2 加符号OP2为具有归并性能的信道,因此有C2=max H(Y)=log33=1.5995 瓦符号P3为具有发散性能的信道,因此有QFaxH(X)=loga3=1 59

5、95 ?/符号10.一(3, 1, 3)卷积码编码器,输入输出关系为:V 式0 =以 +(1-1)十以 2) +以q 3)y式1)=+ u(l - 2) + u(l - 3)试给出其编码原理框图.答：二、综合题(共 5题,每题10分)1.二元平稳马氏链, P (0/0) =0.9, P (1/1) =0.8,求:(1)求该马氏信源的符号嫡.得极限概率:2 尸.j F(D = 1信源模型为000 001010 on0.54 0.06 0,013 0.053一种编码结果依信源模型中的序列次序为3)_1 我三1工产为法= 0 682初符号100 1010.06 0,0070,11, 1001,110

6、0.0531010,1110.3131011, 10000, 100010, 100011JC loSi2-81 1%ro.72.设有一离散信道,其信道矩阵为11最正确概率分布0.201 引,求:当PW =.-7 , P叼=0-3时,求平均互信息X；信道疑义度3输入为等概率分布时,试写出一译码规那么,使平均译码错误率*后最小,并求此为=.答：1是准对称信道,因此其最正确输入概率分布为尸(/)=(xa) = 0.52每三个符号合成一个来编二进制Huffman码,试建立新信源的模型,给出编码结果.3求每符号对应的平均码长和编码效率.尸(0) = F(0*(0/ 0) + 尸尸(0/ DF(0) +

7、 F(l) = 1那么符号嫡为 :12新信源共8个序列,各序列的概率为PXM&AF冷尸吹勾尸阴工名巩乃)=0 55 (%)=0.1 中5AQ35版符号,p(x.) - 0.7 必右)-0 .3 ,2)当尸】 ,尸时, 那么一 ：；H(XfY) = H(X) 3(星/ Y) = 0.73此时可用最大似然译码准那么,译码规那么为P* =EP iy.) = -0.2 + 0.1 + 0.2 = 0 25且有3.设线性分组码的生成矩阵为(1)(2)(3)(4)此n, k码的n=?求其对应的一致校验矩阵k=?,写出此Hon, k码的所有码字.确定最小码距,问此码能纠几位错列出其能纠错的所有错误图样和对应

8、的伴随式.假设接收码字为 000110,用伴随式法求译码结果.答：1) n=6, k=3 ,由C=mG可得所有码字为：000000 , 001011, 010110 , 011101, 100101, 101110, 110011, 1110001101001100110102)此码是系统码,由G知,01110W013)由H可知,其任意2列线性无关,而有, 一一d . = 3 ,.3列线性相关,故有 “mm ,能纠一位错.错误图样伴随式1011100111000100014.二元对称信道的信道矩阵为0.1 0.9,信道传输速度为 1500二元符号/秒,设信源为等概率分布,信源消息序列10000

9、00100000010000001000000100000014)由3=疗/=10 知 E = 010000,那么 r = , g = CH011 口0.9 0.11共有1.答:1信道容量为13000个二元符号,问：试计算能否在10秒内将信源消息序列无失真传送完?(2)假设信源概率分布为P=07中=0-3,求无失真传送以上信源消息序列至少需要多长时间?一百广 q白白以 13000x0 5, 0 5 = 13000 bit信源序列信息量为而“七一告犯/上节%白白必1500x 10x0 531 - 7965 bit而10秒内信道能传递的信息量为 故不能无失真地传送完.、,、后/、白白不 13000x0.3,0,7 = 11456 77 bit2此时信源序列信息量为史=尸均=04558拉打符号W尸钻信息传输率为Jt-lT1 I = 16 756 秒那么 0.4558x15005.7, 4循环码的生成多项式g=工+天+ 1 ,求: 1求该码的编码效率(2)求其对应的一致校验多项式砥自引(3)写出该码的生成矩阵,校验矩阵