信息论与编码试卷及答案

1、、概念简答题（每题5分，共40分） 二、1.什么是平均自信息量与平均互信息，比较一下这两个概念的异同？平均自信息为：表示信源的平均不确定度，表示平均每个信源消息所提供的信息量。中（不），一】平均互信息：表示从 丫获得的关于每个X的平均信息量；表示发 X前后丫的平均不确定性减少的量；表示 通信前后整个系统不确定性减少的量。1（尤 丫）= -之尸（砂,）1空trp*汉西）.简述最大离散燧定理。对于一个有 m个符号的离散信源，其最大燧是多少？最大离散燧定理为：离散无记忆信源，等概率分布时燧最大。最大婿值为 :- ,.解释信息传输率、信道容量、最佳输入分布的概念，说明平均互信息与信源的概率分布、信道的

2、传递概率间分别是什么关系？信息传输率R指信道中平均每个符号所能传送的信息量。信道容量是一个信道所能达到的最大信息传输率。 信息传输率达到信道容量时所对应的输入概率分布称为最佳输入概率分布。平均互信息是信源概率分布的n型凸函数，是信道传递概率的u型凸函数。.对于一个一般的通信系统，试给出其系统模型框图，并结合此图，解释数据处理定理数据处理定理为：串联信道的输入输出X、丫、z组成一个马尔可夫链，且有 *了；）,乂*）-3）。说明经数据处理后，一般只会增加信息的损失。.写出香农公式，并说明其物理意义。当信道带宽为5000Hz，信噪比为30dB时求信道容量。香农公式为P1 + bit s叫郎） ,它是

3、高斯加性白噪声信道在单位时间内的信道容量，其值取决于信噪比和带宽。pP101= 30 dB =1000.、.由或取 得叩 ，则a-5。侬式1 + 1。0）79836施注区2包Q.解释无失真变长信源编码定理。只要七1匹酬，当n足够长时，一定存在一种无失真编码。.解释有噪信道编码定理。答：当R0时率失真函数的 口由 和口由?答：1）保真度准则为：平均失真度不大于允许的失真度。11.2）因为失真矩阵中每行都有一个0,所以有、综合题（每题10分，共60分）1.黑白气象传真图的消息只有黑色和白色两种，求：1）黑色出现的概率为0.3,白色出现的概率为 0.7。给出这个只有两个符号的信源X的数学模型。假设图

4、上黑白消息出现前后没有关联，求婿；2）假设黑白消息出现前后有关联，其依赖关系为:F旬目尸祟伯）= 0山黑）=02,尸（黑/黑）=。石，求其嫡/答：D信源模型为=黑序白,0. 30. 72 尸）5 广1,23F儒）= 得L工尸（内）log?尸（q） = 0 881加/符号F（%） =2）产（型*2）由&）+%=12.二元对称信道如右图。H.X） = ZE产（/*（% /%）kg二产4 /%） = 0.5533 加”符号31Fl。）尸（IL,3.1）若4,4 ,求咫片）和4.2)求该信道的信道容量和最佳输入分布。答：1小；门；号= 0.0616瓦纽符号2) c=0 032 符节,最佳输入概率分布为

5、等概率分布。3.信源空间为与三 % % S6 叼埼0.2 0,1 0 1 005 0.05 0 05 0.054.试分别构造二元和三元霍夫曼码，计算其平均码长和编码效率。答：1)二元码的码字依序为：10, 11, 010, 011, 1010,1011, 1000, 1001。丁57” 4 =2一6她/符号如y啊平均码长r,编码效率= 0.972）三元码的码字依序为：1, 00, 02, 20, 21, 22, 010,011。平均码长G乩符q编码效率%= 09364.设有一离散信道，其信道传递矩阵为F6)= :尸)=!?&)=?，并设i,试分别按最小错误概率准则与最大似然译码准则确定译码规则

6、，并计算相应的平均错误概率。答：D最小似然译码准则下，有11242）最大错误概率准则下，有100001110100010000100010000100015.已知一（8, 5）线性分组码的生成矩阵为00001111求：1）输入为全00011和10100时该码的码字；2）最小码距。答：1）输入为00011时，码字为00011110;输入为10100时，码字为10100101。2).设某一信号的信息传输率为5.6kbit/s ,在带宽为4kHz的高斯信道中传输，噪声功率谱NO=5X 10 6mw/Hz。试求：. （1）无差错传输需要的最小输入功率是多少？. （2）此时输入信号的最大连续燧是多少？写

7、出对应的输入概率密度函数的形式。衣4已=印1侬式1十.答：1）无错传输时，有5 6x10* =4x1031o1(H-ZT10即.-11则一12.2）在片如.,-5i自由度13对应的输入概率密度函数为 -_P（X）= ,EV0.206X10-32）最大错误概率准则下，有5.答：1）输入为00011时，码字为00011110;输入为10100时，码字为101001012）-1氏4C = /1屈式 1 + 6.答：1）无错传输时，有M印P HYPERLINK l bookmark71 o Current Document 56x103 = 4x10%助（1 +口4即则.,2）在,-0 032S.川发

8、式2还好=一54囱自由度户U.U溶例时，最大婿pM对应的输入概率密度函数为e tJjos56-T1V0206xl0-3三、(59居住在某地区的女孩中有25%是大学生.在女大学生中有75%是身高1.6米以上的, 而女孩中身高16米以上的占总数的一半.仔：如我们得知“身高1.6米以上的某生.的消息，问获得多少信息量？解：设A衣示“大学生”这一事件，B表示“身高1.60以上”这一事件,则P(A)-0. 25 p(B)-0.5 p(BlA)-0. 75(2分)故 p(A B)=p(AB)/p(B)=p(A)p(B A)/p(B)=0. 75*0. 25/0. 5=0. 37512分)I (A B)=-

9、log0. 375=1. 42bit (1 分)西、(59证明：平均互值息量同信息为之间满足I(X;Y)=H(X)+H(Y)-H(XY)证明：/(X；y)=3?Krj)log/4) TOC o 1-5 h z VVp(x,)=-ZEgg (：)一 ZZ (EE)sgk， 分) HYPERLINK l bookmark106 o Current Document TTL十J= /(x)_/(x|r)同理 HYPERLINK l bookmark111 o Current Document /(x；r)=/(r)-/(r|x)0分)则/(r|x)=/(r)-/(x：y)因为/(xr)=/(x)+/

10、(rx) (i 分)故/(xr) = (x)+ /(r)-/(x；r)(i分)/(x；r)=/(x)+/(r)-/(xr)、（18）.黑白气象传真图的消息只有黑色和白色两种，求：1）黑色出现的概率为。3,门色出现的概率为0.7.给出这个只仃两个符号的信源X的数学模型. 假设图上黑白消息出现前后没仃关联，求嫡（X）；2）假设黑白消息出现前后有关联，其依赖关系为 尸白/白）9产的/黑） 0.2.尸（黑/黑） 0.8求其病式X）.3）分别求上述两种信源的冗余度，比较它们的大小并说明其物理意义.解：1）信源模型为卜】=黑4/白（1分）0.30.72HQC） - 2尸1密尸）= 0.881加7符号2）由

11、题意可知该信源为一阶马尔科夫信源.由产（4）=尸（%）尸（%/叼），L2尸0】）”（31（2分）（2分）（4分）得极限状态概率产间=1产（黑）=;12分）耳式=-产)产(%/)10g2产(以/=0.5533期符号G分)i-1 /-I3)（1分）（1分）%八说明：当信源的符号之间有依赖时，信源输出消息的不确定性减弱。而信源冗余度正是反映信源符号依赖关系的强弱，兀余度越大，依赖关系就越大。（2分）六、（180 .信源空间为，试分别构造二元香农码和二元霍夫XX3X5/6必F(X)j| 0.2 0.19 0.18 0.17 0.15 0.1 0.01及码，计算其平均码长和编码效率（要求有编码过程）信源

12、消息 符号勺符号概 率（%）累加概 率P,.-logp()码字长 度L码字0.2002.323000出0.190.22.393001%0.180.392.473011%0.170.572.56310050.150.742.74310160.100.893.3241110(1-0.010.996.6471111110一工= (4)/, =3.14= 0.8310. 200. 190. 180. 170. 150. 200. 190. 180. 170. 150. 26/ 0.20/ 0. 190. 18多 0. 170. 10r/ 011上0. 01_7L=2.72码元/符号=外。L 2.72比特/符号信源符号勺概率P（g）码字W,码长L勺().201020.19112。30.180003勺0.170013%().15()1030.1001104a.0.01011140 0 0 1 1 1九、（189 设一线性分组码具有一致监督矩阵 =oiiooi10 10 11.1）求此分组码n=2k=。共有多少码字？2）求此分组码的生成矩阵G.3）写出此分组码的所有码字.4）若按收到码字（101001）,求出伴随式并给出翻译结果.解：1） nWk=3,共有8个码字.（3分）2）设码字W = （CCGGC）由L=o/得（3分）c2ccQ = o c4ec3c0 = 0 a =0令