信息论编码模拟试题一及参考答案

1、信息论编码模拟试题一及参考答案Company Document number : WTUT-WT88Y-W8BBGB-BWYTT-I9998模拟试题一.槪念简答题（共10,每题5分）1.简述离散信源和连续信源的报大爛定理。2什么是平均自信息（信息爛）什么是平均互信息比较一下两个概念的异同之处。3解祥等长信源编码定理和无失真变长信源编码定理，说明对干等长码和变长码，锻佳码的每符号平均码 长最小为多少编码效率最高可达多少4解释最小错误概率译码准则.最大似然译码准则和最小距离译码准则.说明三者的关系。5设某二元码字 C二111000, 001011, 010110, 101110?. 假设码字等概率

2、分布.汁算此码的编码效率 采用最小距离译码准则.片接收序列为110110时，应译成什么码字6. 一平稳二元信源，它在任意时间，不论以前发出过什么符号.都按尸（）= 4j尸=”发出碍严炉M（抡忆旳利平均砂怒存WAg?7分别说明信源的概率分布和信道转移概率对平均互信息的影响，说明平均互信息与信道容虽的关系。求:8二元无记忆信源.有（1）某一信源序列由100个二元符号组成.其中有m个求其自信息址？（2）求100个符号构成的信源序列的爛。9 求以下三个信道的信道容虽:P100100P2 00011000000110.10.20.30.40=00000.3p30000010.已知一（3, 1. 3）卷积

3、码编码器.000000.7000000.40.20.10.3输入输出关系为:“ 0）=诚）十吨 T）十呗一 2）十诚3） 了3卩）=诚）+ 诚一2） +诚一3）试给出其编码原理框图。二、综合题（共6题，每题10分）1 二元平稳马氏链，已知P （0/0） =, P （1/1）=,求：（1）求该马氏信源的符号爛（2）每三个符号合成一个來编二进制Huffman码，试建立新信源的模型，给出編码结果。（3）求每符号对应的平均码长和编码效率。_0.7 0.1 0.2目 0 2 0 1 072设有一离散信道其信道矩阵为LU U 1求：（1）a佳概率分布?“|戸（阳）=戸（兀2）= 0：时，求平均互信息Z（X

4、;Y） = ?信道麺义度HQXIY = ?（3输入为等概率分布时.试写出一译码规则.使平均译碍错決率如彊小.并求此& = 310 0 10 1C7= 0101103.设线性分组码的生成矩阵为 卩0101打，求：（1）此（m k）码的护k=,写出此（n, k）码的所有码字。（2）求其对应的一致校验矩阵H。（3）确定最小码距，问此码能纠几位错列出其能纠错的所有错误图样和对应的伴随式。（4）若接收码字为000110,用伴随式法求译码结果。0 9 0.14二元对称信道的信道矩阵为1 1，信道传输速度为1500二元符号/秒.设信源为等概率分布，信源消息序列共有13000个二元符号.问：（1）试讣算能否在

5、10秒内将信源消息序列无失真传送完？（2）若信源概率分布为尸（）= 7j= 3.求无失真传送以上信源消息序列至少需要多长时间5.已知（7, 4）循环码的生成参项式= 1 * +求：（1）求该码的编码效率？（2）求其对应的一致校验女项式力（力=7（3）写出该码的生成矩阵校验矩阵。若消息码式为呱力=兀2,求其码字。模拟试题一答案-X概念简答题（共10題，每题5分）】答：离散无记忆信源.等概率分布时瀚最大。连续信源，峰值功率受限时.均匀分布的爛最大。平均功率受限时.商斯分布的躺最大。均值受限时.抬 数分布的爛最大。=-工卩（石）log p（召）2答：平均自信息为】表示信源的平均不确定度，也表示平均每

6、个信源消息所提供的信息虽。【3, 丫）=一 玄（口 ）1 塔平均互信息为1 1PW表示从Y获得的关于每个X的平均信息虽，也表示发X前后Y的平均不确定性减少的量.还表示通信前后 整个系统不确定性减少的虽。CO占0 亍吨浮2丹徑）23答等长信源编码定理：对于任意只要z，则片L足够长时必可使译码差错 占。石2刃3）变长信源编码定理：只要L log2 m, 一定存在一种无失真编码。等长码和变长码的最小平均码长均为1纟2 m ,编码效率最商可达100%o4答：辰小错误槪率译码准则下.将接收序列译为后验概率最大时所对应的码字。最大似然译码准则下，将接收序列译为信道传递概率最大时所对应的码字。最小距离译码准

7、则下.将接收序列译为与其距离最小的码字。三者关系为：输入为等概率分布时.最大似然译码准则等效于最小错误概率译码准则。在二元对称无记忆 信道中.最小距离译码准则等效于最大似然译码准则。5答：1）632）令接收序列为则有必11000,0） = 3,叭001011/） = （010110,0）=1,N（101110,0） = 2,故接收序列应译为010110。6 答:= 1.942 励2符号H（禺应）=刃爲）=0.971泅符号1远丄占(禺 L= limx= 0.971 符号“T9肿T9 277答：平均互信息相对于信源概率分布为上凸函数相对干信道传递概率分布为下凹函数。平均互信息的 最大值为信道容址。

8、 严）十（0）严心1）制100 恥Z(ck) = -log2 P(d) = 200-初堆2 3 “ /（Z100） = 100/（y） =81.128 泅序列海心一对应戦馳.昨葩励広）=1期4=2 M/符号. 毗狀咖如道，昨Gw H现35995励符号 用为具有发隔的昭昨。3论网=阳=1.5995励符号10答:也巾Q） 询二.综合题（共6题，每题10分）1答：1）由尸(0) = P(0)P(0 / 0)十 P(l)P(0/l) F(0)+F(l)=l得极限概率:则符号紳久0述泅符号2）新信源共8个序列各序列隔为瞄站）的聪刊时跡）信源模型为000001 0100111001011100.540.0

9、60.0130.0530.060.0070.053一种编码结果（依信源模型中的序列次序）为0, 11. 100b 1010. 1011,10000, 100010, 100011_ 1 8広二工尸比3泪符号3）3 Zu7log22 81J%2.答：1）是准对称信道，因此其最佳输入槪率分布为PS】）*匕2）1X71） = 0-55Xy2）=0.1卩（乃）=0.35则（x；y）= o.i8 如/符号HXfY= HX)-lXiY = 0.7 如灯符号3）此时可用最大似然译码准则，译码规则为I（乃）=可PF =rP（e/.）l = -0-2+ 0.1+ 0.2 = 0.25且有LJ 23答：1） n=

10、6, k=3,由CrG可得所有码字为：000000. 001011, 010110, 011101, 100101. 101110. 110011, 111000101llOlOOe =110h = er i=011010Oil 则101001 2)此码是系统码.由G知,&=33)由H可知，其任总2列线性无关.而有3列线性相关.故有九皿 ，能纠一位错。错误图样E伴随式s = EH100000101010000no001000on0001001000000100100000010014）由尸胪=110知e=oioooo则r = r + = 010110 4.答:】)信道容址为C = l-7f(0.9,0.1) = 0.531加”符号信源序列信息虽为1孑丹 3 03) =13000 bit而io秒内信道能传递的信息量为10x0431 = 7症bit故不能无失真地传送完。2)此时信源序列信息3：为 13000%7/(0.3, 0.7) =11456/77 bit-10.4558驗/符号信息传输率为则壮dm秒lrZ3 = 7,7 = 4,7 = - = 57.14%5答：1）n2) = TTg(E4十Jr?十x十1101100013)4)%010110000101100001011C(r)=w(x)g(x) = x5+/+1, C =011