信号与系统习题(1)

1、1,某系统(7,4)码c(C6C5C4C3C2CiCo)与信息位的关系为：(1)求对应的生成矩阵和校验矩阵；(2)计算该码的最小距离；(3)列出可纠过失图案和对应的伴随式；(4)假设接收码字R=1110011,求发码.(m3m2m1m0c2C1c0)其三位校验位解：(1)G1000110010001100101110001101101110011100100111001(2) dmin=3(3)SE00000000000010000001010000001010000001001010001000111001000001101000001101000000(4).RHT=001接收出错E=00

2、00001R+E=C=1110010(发码)X0101/31/3101/32.X,Y的联合概率px,y为：求HX,HY,HX,Y,IX;Y解：p(x0)2/3p(x1)1/3HXHYH(1/3,2/3)0.918bit/symbolHX,YH(1/3,1/3,1/3)=1.585bit/symbolIX;YH(X)H(Y)H(X,Y)0.251bit/symbol3.一阶齐次马尔可夫信源消息集X31,32,33),状态集SS1,S2,S3,且令Siai,i1,2,3,条件转移概率为141412P(aJ§(1)画出该马氏链的状态转移图;(2)计算信源的极限:解

3、：(1)(2)3W2iw23W23W3w2WiW2W30.40.30.3H(X|S1)=H(1/4,1/4,1/2)=1.5比特/符号H(X|S2)=H(1/3,1/3,1/3)=1.585比特/符号H(X|S3)=H(2/3,1/3)=0.918比特/符号3w.H1iX|Si0.41.50.31.5850.30.9181.351比特/符号4.假设有一信源X1X20.80.2,每秒钟发出2.55个信源符号.将此信源的输出符号送入某一个二元信道中进行传输(假设信道是无噪无损的,容量为1bit/二元符号),而信道每秒钟只传递2个二元符号.(1)试问信源不通过编码(即X10,X21在信道中传输)(2

4、)(3)能否直接与信道连接？假设通过适当编码能否在此信道中进行无失真传输?(4)(5)解：试构造一种口夫曼编码(两个符号一起编码),使该信源可以在此信道中无失真传输.(1)不能,此时信源符号通过0,1在信道中传输,2.55二元符号/s>2二元符号/s(2)从信息率进行比拟,2.55*H(0.8,0.2)=1.84<1*2可以进行无失真传输_4(3)KpiKi0.640.16*20.2*3i11.56二元符号/2个信源符号此时1.56/2*2.55=1.989二元符号/s<2二元符号/s5.两个BSC信道白J级联如右图所示:(1WPs0.64k0.64(2求这个信道的信道容量.

5、01解:6.设11(1)100遁机变量101*0.64011X1X20.16、<0.q10.36JX2X10.10*0.161X1,X2°0,1和Y(y1,y20,1的联合概率空间为X2X20.041定义一个新的随机变量ZXY(普通乘积)(1) 计算婿H(X),H(Y),H(Z),H(XZ),H(YZ),以及H(XYZ);(2) 计算条件婿H(X|Y),H(Y|X),H(X|Z),H(Z|X),H(Y|Z),H(Z|Y),H(X|YZ),(3)H(Y|XZ)以及H(Z|XY);计算平均互信息量I(X;Y)I(X:Z),I(Y:Z),I(X;Y|Z),I(Y;Z|X)以及I(X:

6、,Z|Y).解：(1)(2)7.设二元对称信道的输入概率分布分别Px3/41/4,转移矩阵为R|x2/31/31/32/3XY0101/83/81/213/81/81/21/21/2(1)求信道的输入输出！W,平均互信息量;(2)求信道容量和最正确输入分布；(3)求信道剩余度.解：(1)信道的输入:WH(X)3/4log2(4/3)1/4log24；XZ0101/201/213/81/81/27/81/8YZ0101/201/213/81/81/27/81/8(2)最正确输入分布为Px1/21/2,此时信道的容量为C1H(2/3,1/3)信道的剩余度：CI(X;Y)8.Px0.50.250.2

7、5,试确定最正确译码规那么和极大似然译码规那么,并计算出相应的平均过失率.解：Pxy1/41/61/121/241/81/121/121/241/8F(b)a1最正确译码规那么:F(b2)a1,平均过失率为1-1/4-1/6-1/8=11/24;F(b3)a3F(bJa1极大似然规那么:F(b2)a2,平均过失率为1-1/4-1/8-1/8=1/2FM)a39.设有一批电阻,按阻值分70%是2kQ,30%是5kQ;按功耗分64%是1/8W,36%是1/4W.现2kQ电阻中80%是1/8W,假设得知5kQ电阻的功耗为1/4W,问获得多少信息量.r12kr25k解：根据题意有R,W0.70.3w1

8、1/8w21/40.640.36p(w1/r1)0.8由p(w1)p(r1)p(w1/r1)p(r2)p(w1/r2)p(w1/r2)4/15所以p(w2/r2)1p(w1/r2)11/15得知5kQ电阻的功耗为1/4W,获得的自信息量为lb(p(w2/r2)0.448bit10.6符号离散信源的出现概率为a3a4a5a611118163232试计算它的！W、Huffman编码和费诺编码的码字、平均码长及编码效率.解：该离散信源的！W为H(x)6pilb(pi)i1111-lb2-lb4-lb8248111cclb16lb32lb32163232=1.933bit/符号11在图片传输中,每帧约

9、有2106个像素,为了能很好地重现图像,每像素能分度电平等概分布.试计算每分钟传送两帧图片所需信道的带宽(信噪功率比为256个亮度电平,并假设亮30dB).解:每个像素点对应的：WHlog2nlog2256bit/点2帧图片的信息量I2*N*H2*2*106*83.2*107bit单位时间需要的信道容量Ct3.2*107由香农信道容量公式CtWlog2(1SNR)60Ct5.3*105bit/s5.3*1055.35*104Hzlog2(1SNR)log2(11000)12.求右图所示的信道的容量及到达信道容量时的输入分布.解:由右图可知,该信道的转移概率矩阵为P1/21/2可以看到,当该信道

10、的输入分布取P(X)XYa1a?a31/2时,1/2P(Y)thb21/21/2此时I(X2a1；Y)p(bj/a1)logj1p(bj/a1)p(bj)lb2,同理可得I(Xa3：Y)lb2工I(xi；Y)lb2而I(Xa2；Y)0,此分布满足i2I(Xi；Y)0pipi0=,.因此这个信道的容量为0C=lb2=1(bit/符号),而到达信道容量的输入分布可取P(X)aia2a31/201/24Dmax=minPidij,由于Pi和dj具有对称性,每个和式结果都为j1I2,3I4i11/2,因此Dmax=1/2,13.设离散信源UP(u)U1U2U3U41111(其中pP(1P)(1P)P2

11、222一)和接收变量V=v1,v2,v3,2v4,失真矩阵为D00.50.510.5010.5,求Dmin,Dmax、R(Dmin)、R(Dmax)、到达Dmin和0.5100.510.50.50Dmax时的编码器转移概率矩阵P.解:由于失真矩阵每行每列都只有一个最小值0,所以可以到达Dmin=0,此时对应的信道转移概率矩阵应使1000口八一,0100得信源的每个输出经过信道转移后失真为0,即选择P00100001R(Dmin)=R(0)=H(U)=1-p*logp1-p)*log(1-p)=1+H(p)o对应的转移概率矢巨阵可取任意1列为全1,1000人1000如P,止匕时R(Dmax)=R

12、(1/2)=0.1000100014 .设有一个二进制一阶马尔可夫信源,其信源符号为XG(0,1),条件概率为p(0/0)=p(1/0)=0.5p(1/1)=0.25p(0/1)=0.75画出状态图并求出各符号稳态概率.(15分)0.2515 .设输入符号与输出符号为X=YG0,1,2,3,且输入符号等概率分布.设失真函数为汉明失真.求Dmax和Dmin及R(Dmax)和R(Dmin)(20分)"1斛：pXopXipx2px3一4失真矩阵的每一行都有0,因此Dmin=016 .设随机变量XX1,X20,1和Yyi,y20,1的联合概率空间为定义一个新的随机变量计算婿H(X),H(Y)

13、计算条件婿H(X|Y),及H(Z|XY);ZX丫(普通乘积),H(Z),H(XZ),H(YZ),以及H(XYZ；H(Y|X),H(X|Z),H(Z|X),H(Y|Z),H(Z|Y),H(X|YZ),H(Y|XZ)以解：(1)2)最正确输入分布为pX1/21/2,此时信道的容量为C1H(2/3,1/3)计算平均互信息量I(X;Y),I(X:Z),I(Y:Z),I(X;Y|Z),I(Y;Z|X)以及I(X:,Z|Y).(3)信道的剩余度：CI(X;Y)设有DMC,其转移矩阵为PY|X1/21/31/61/61/21/3,假设信道输入概率为1/31/61/2PX0.50.250.25,试确定最正确译

14、码规那么和极大似然译码规那么,并计算出相应的平均过失率.最正确译码规那么:F(bJa1F(b2)a1,平均过失率为F(b3)a31/41/61/12解：PXY1/241/81/121/121/241/81-1/4-1/6-1/8=11/24;F(b1)a1极大似然规那么:F(b2)a2,平均过失率为1-1/4-1/8-1/8=1/2F(b3)a3一、概念简做题1 .什么是平均自信息量与平均互信息,比拟一下这两个概念的异同？2 .简述最大离散燧定理.对于一个有m个符号的离散信源,其最大燧是多少？3 .解释信息传输率、信道容量、最正确输入分布的概念,说明平均互信息与信源的概率分布、信道的传递概率间

15、分别是什么关系？4 .对于一个一般的通信系统,试给出其系统模型框图,并结合此图,解释数据处理定理.5 .写出香农公式,并说明其物理意义.当信道带宽为5000Hz,信噪比为30dB时求信道容量.6 .解释无失真变长信源编码定理.7 .解释有噪信道编码定理.8.什么是保真度准那么？对二元信源失真函数的0M和?9 .简述离散信源和连续信源的最大燧定理.10 .解释等长信源编码定理和无失真变长信源编码定理,说明对于等长码和变长码,最正确码的每符号平均码长最小为多少？编码效率最高可达多少？11 .解释最小错误概率译码准那么,最大似然译码准那么和最小距离译码准那么,说明三者的关系.12 .设某二元码字C=

16、111000,001011,010110,101110,假设码字等概率分布,计算此码的编码效率？采用最小距离译码准那么,当接收序列为110110时,应译成什么码字?13.一平稳二元信源,它在任意时间,不管以前发出过什么符号,都按发出符号,求和平均符号:w14.分别说明信源的概率分布和信道转移概率对平均互信息的影响,说明平均互信息万信道容量的关15 .二元无记忆信源,有求:(1)某一信源序列由100个二元符号组成,其中有m个“1,求其自信息量？(2)求100个符号构成的信源序列的：W.16 .求以下三个信道的信道容量：17 .一3,1,3卷积码编码器,输入输出关系为:试给出其编码原理框图.18

17、.简述信源的符号之间的依赖与信源冗余度的关系.19 .简述香农第一编码定理的物理意义20 .什么是最小码距,以及它和检错纠错水平之间的关系.21 .简述信息的特征22 .简单介绍哈夫曼编码的步骤一、概念简做题每题5分,共40分二、1.答：平均自信息为表示信源的平均不确定度,也表示平均每个信源消息所提供的信息量.“抵F-这叩/%平均互信息blTPj表示从丫获得的关于每个X的平均信息量,也表示发X前后丫的平均不确定性减少的量,还表示通信前后整个系统不确定性减少的量.2 .答：最大离散燧定理为：离散无记忆信源,等概率分布时燧最大.最大婿值为皿改62O3 .答：信息传输率R指信道中平均每个符号所能传送

18、的信息量.信道容量是一个信道所能到达的最大信息传输率.信息传输率到达信道容量时所对应的输入概率分布称为最正确输入概率分布.平均互信息是信源概率分布的n型凸函数,是信道传递概率的u型凸函数.4 .答：通信系统模型如下：数据处理定理为：串联信道的输入输出X、Y、Z组成一个马尔可夫链,且有,区幻“匕？.说明经数据处理后,一般只会增加信息的损失5.答：香农公式为bit/s,它是高斯加性白噪声信道在单位时间内的信道容量,其值取决于信噪比和带宽.P103g肌斯dBP得丽-100Ct=50001og2(l+1000)=49836拉小6.答:只要,当N足够长时,一定存在一种无失真编码.7.答:8.答:1保真度

19、准那么为：平均失真度不大于允许的失真度.2由于失真矩阵中每行都有一个0,所以有1111n,而通火口'当R<C时,只要码长足够长,一定能找到一种编码方法和译码规那么,使译码错误概率无穷小.9 .答：离散无记忆信源,等概率分布时燧最大.连续信源,峰值功率受限时,均匀分布的燧最大.平均功率受限时,高斯分布的燧最大.均值受限时,指数分布的燧最大.10.答：等长信源编码定理：对于任意,那么当L足够长时必可使译码过失变长信源编码定理：只要,一定存在一种无失真编码.等长码和变长码的最小平均码长均为,编码效率最高可达100%11 .答：最小错误概率译码准那么下,将接收序列译为后验概率最大时所对应

20、的码字.最大似然译码准那么下,将接收序列译为信道传递概率最大时所对应的码字.最小距离译码准那么下,将接收序列译为与其距离最小的码字.三者关系为：输入为等概率分布时,最大似然译码准那么等效于最小错误概率译码准那么.在二元对称无记忆信道中,最小距离译码准那么等效于最大似然译码准那么.12 .答：1)2令接收序列为,故接收序列应译为01011013 .答:14 .答：平均互信息相对于信源概率分布为上凸函数,相对于信道传递概率分布为下凹函数.平均互信息的最大值为信道容量.15 .答：1)2)16.答：P1为一一对应确定信道,因此有P2为具有归并性能的信道,因此有P3为具有发散性能的信道,因此有.17.

21、答：18 .当信源的符号之间有依赖时,信源输出消息的不确定性减弱.而信源冗余度正是反映信源符号依赖关系的强弱,冗余度越大,依赖关系就越大.19 .答：无失真信源编码,编码后尽可能等概率分布,使每个码元平均信息量最大.从而使信道信息传输率R到达信道容量C,实现信源与信道理想的统计匹配.20 .某一码书C中,任意两个码字之间汉明距离的最小值称为该码的最小码距Dmin.当某线性分组码的最小汉明距离为Dmin,那么这组码最多能检测出e=Dmin-1个码元错误,最多能纠正t=(Dmin-1)/2个码元错误.21 .答：信息的根本概念在于它的不确定性,任何已确定的事物都不含信息.接收者在收到信息之前,对它

22、的内容是不知道的,所以信息是新知识、新内容.信息是能使熟悉主体对某一事物的未知性或不确定性减少的有用知识.信息可以产生,也可以消失,同时信息可以被携带、贮存及处理.信息是可以量度的,信息量有多少的差异.22.将信源消息符号按其出现的概率大小依次排列PXl>pX2>->pxn取两个概率最小的符号分别配以0和1,并将这两个概率相加作为一个新符号的概率,与未分配码元的符号重新排队.对重排后的两个概率最小符号重复步骤2的过程. 继续上述过程,直到最后两个符号配以0和1为止. 从最后一级开始,向前返回得到各个信源符号所对应的码元序列,即相应的码字.二、综合题每题10分,共60分1 .黑

23、白气象图的消息只有黑色和白色两种,求：1黑色出现的概率为0.3,白色出现的概率为0.7.给出这个只有两个符号的信源X的数学模型.假设图上黑白消息出现前后没有关联,求嫡H£；2假设黑白消息出现前后有关联,其依赖关系为：只臼伯0.9,尸I第白-0,严自/黑0.2,九孙黑一.同,求其婿也?划.3分别求上述两种信源的冗余度,比拟它们的大小并说明其物理意义.工1=0涧、为=02 .二元对称信道如图.心=即尸3=1；1假设敢0>11,卜V,求和2求该信道的信道容量和最正确输入分布.3.信源空间为si%鼻%0.40.20.10.10,050.05%0.050.05,试分别构造二元和三元霍夫曼

24、码,计算其平均码长和编码效率.4.设有一离散信道,其信道传递矩阵为试分别按最小错误概率准那么与最大似然译码准那么确定译码规那么,并计算相应的平均错误概率.5.一(8,5)线性分组码的生成矩阵为010D010C001000100CO10001ODODiri求：1)输入为全00011和10100时该码的码字；2)最小码距.6 .设某一信号的信息传输率为5.6kbit/s,在带宽为4kHz的高斯信道中传输,噪声功率谱NO=5X10-6mw/Hz)试求：(1)无过失传输需要的最小输入功率是多少？(2)此时输入信号的最大连续燧是多少？写出对应的输入概率密度函数的形式.7 .二元平稳马氏链,P(0/0)=

25、0.9,P(1/1)=0.8,求：(1)求该马氏信源的符号婿.(2)每三个符号合成一个来编二进制Huffman码,试建立新信源的模型,给出编码结果.(3)求每符号对应的平均码长和编码效率.8 .设有一离散信道,其信道矩阵为11)最正确概率分布?(2)当时,求平均互信息信道疑义度(3)输入为等概率分布时,试写出一译码规那么,使平均译码错误率最小,并求此8.1 设线性分组码的生成矩阵为1止匕n,k码的n=?k=?,写出此n,k码的所有码字.2求其对应的一致校验矩阵Ho3确定最小码距,问此码能纠几位错？列出其能纠错的所有错误图样和对应的伴随式.4假设接收码字为000110,用伴随式法求译码结果.9.

26、2设一线性分组码具有一致监督矩阵H0110011010111求此分组码门=卜=共有多少码字？2求此分组码的生成矩阵Go3写出此分组码的所有码字.4假设接收到码字101001,求出伴随式并给出译结果.度为1500二元符号/秒,设信源为等概率分布,信源消息序列共有13000个二元符号,问：(1)试计算能否在10秒内将信源消息序列无失真传送完？,求无失真传送以上(2)假设信源概率分布为信源消息序列至少需要多长时间?(1)求该码的编码效率?(2)求其对应的一致校验多项式(3)写出该码的生成矩阵,校验矩阵(4)假设消息码式为,求其码字.12 .证实：平均互信息量同信息婿之间满足I(X;丫尸H(X)+H(

27、Y)-H(XY)13 .居住在某地区的女孩中有25%是大学生,在女大学生中有75%M身高1.6米以上的,而女孩中身高1.6米以上的占总数的一半.假设我们得知“身高1.6米以上的某女孩是大学生的消息,问获得多少信息量？14 .有两个二元随机变量X和Y,它们的联合概率为VX1=0X2=1y1=01/83/8y2=13/81/8定义另一随机变量Z=XY(一般乘积),试计算H(Z)=15 .求以下二个信道的信道容量:16.一个高斯信道,输入信噪比比率为3.频带为3kHz,求最大可能传送的信息率.假设信噪比提升到15,理论上传送同样的信息率所需的频带为多少？Xx1x217 .设信源为,试求1信源的嫡、信

28、息含量效率以及冗余度；Px1/43/42求二次扩展信源的概率空间和嫡.18 .什么是损失嫡、噪声:W?什么是无损信道和确定信道？如输入输出为rs,那么它们的分别信道容量为多少？19 .信源编码的和信道编码的目的是什么？20 .什么是香农容量公式？为保证足够大的信道容量,可采用哪两种方法？21 .什么是限失真信源编码？二、综合题k1V黑巴二白1 .答：1信源模型为0-33)/网33的网力/.0.5533加"符号H(X)0.119(1分)(1分)10g22H(X)0.44710g221.说明：当信源的符号之间有依赖时,信源输出消息的不确定性减弱.而信源冗余度正是反映信源符号依赖关系的强弱

29、,冗余度越大,依赖关系就越大.2分2 .答：1修制.团13如喈号27=0.082加/符号,最正确输入概率分布为等概率分布.3.答：1二元码的码字依序为：10,11,010,011,1010,1011,1000,1001平均码长G-26如/符号,编码效率%2三元码的码字依序为：1,00,02,20,21,22,010,011.平均码长077加/符号,编码效率哂°*36三均*产值沟1_弓三4.答：1最小似然译码准那么下,有乂=苴,2最大错误概率准那么下,有2)6.答：1无错传输时,有Ol)=限Fg=阚£47=用1.瓯1+上一珞砰5.6xlOJ=4xW3log2(l+SxlOx4

30、xlQ贝u0.03282)在P-0.0328加w时,最大：WHe=?四式加吟=-5.4万"自由度7.答：1由得极限概率:那么符号嫡为2新信源共8个序列,各序列的概率为信源模型为一种编码结果依信源模型中的序列次序为0,11,1001,1010,1011,10000,100010,1000113)8.答：1是准对称信道,因此其最正确输入概率分布为2当时,有3此时可用最大似然译码准那么,译码规那么为且有9.1 答：1)n=6,k=3,由C=mGT得所有码字为：000000,001011,010110,011101,100101,101110,110011,1110002此码是系统码由G知3由H可知,其任意2列线性无关,而有3列线性相关,故有,能纠一位错错误图样100000010000001000000100000010000001E伴随式1011100111000100014由知E=010000,那么9.2 解：1n=6,k=3,共有8个码字.3分2设码字CC5c4c3c2C1C0由HCt0T得C2CiC00C4C3C00C5C3CiC003分令监督位为C2ClC0,那么有C2CiC0C5C5C4C3C4C