信号与系统习题.doc

1，某系统（7，4）码其三位校验位与信息位的关系为：（1）求对应的生成矩阵和校验矩阵；（2）计算该码的最小距离；（3）列出可纠差错图案和对应的伴随式；（4）若接收码字R=1110011，求发码。解：（1） （2） dmin=3 （3）SE00000000000010000001010000001010000001001010001000111001000001101000001101000000 （4）. RHT=001 接收出错E=0000001 R+E=C= 1110010 (发码)2.已知的联合概率为：求， 解: 0.918 bit/symbol =1.585 bit/symbol 0.251 bit/symbol 3.一阶齐次马尔可夫信源消息集，状态集，且令，条件转移概率为，(1)画出该马氏链的状态转移图；(2)计算信源的极限熵。解：(1)（2）H(X|S1) =H(1/4,1/4,1/2)=1.5比特/符号H(X|S2)=H(1/3,1/3,1/3)=1.585比特/符号H(X|S3)=H(2/3,1/3)= 0.918比特/符号 比特/符号4.若有一信源，每秒钟发出2.55个信源符号。将此信源的输出符号送入某一个二元信道中进行传输（假设信道是无噪无损的，容量为1bit/二元符号），而信道每秒钟只传递2个二元符号。（1） 试问信源不通过编码（即x10,x21在信道中传输）（2） 能否直接与信道连接？（3） 若通过适当编码能否在此信道中进行无失真传输？（4） 试构造一种哈夫曼编码(两个符号一起编码)，（5） 使该信源可以在此信道中无失真传输。解：（1）不能，此时信源符号通过0，1在信道中传输，2.55二元符号/s2二元符号/s （2）从信息率进行比较， 2.55*= 1.84 1*2 可以进行无失真传输 （3）1.56 二元符号/2个信源符号此时 1.56/2*2.55=1.989二元符号/s 0时率失真函数的和？9.简述离散信源和连续信源的最大熵定理。10.解释等长信源编码定理和无失真变长信源编码定理，说明对于等长码和变长码，最佳码的每符号平均码长最小为多少？编码效率最高可达多少？11.解释最小错误概率译码准则，最大似然译码准则和最小距离译码准则，说明三者的关系。12.设某二元码字C=111000，001011，010110，101110，假设码字等概率分布，计算此码的编码效率？采用最小距离译码准则，当接收序列为110110时，应译成什么码字？13.一平稳二元信源，它在任意时间，不论以前发出过什么符号，都按 发出符号，求和平均符号熵 14.分别说明信源的概率分布和信道转移概率对平均互信息的影响，说明平均互信息与信道容量的关系。15.二元无记忆信源，有求：（1）某一信源序列由100个二元符号组成，其中有m个“1”，求其自信息量？（2）求100个符号构成的信源序列的熵。16.求以下三个信道的信道容量：，17.已知一（3，1，3）卷积码编码器，输入输出关系为：试给出其编码原理框图。18. 简述信源的符号之间的依赖与信源冗余度的关系。19. 简述香农第一编码定理的物理意义?20. 什么是最小码距, 以及它和检错纠错能力之间的关系。21. 简述信息的特征22. 简单介绍哈夫曼编码的步骤一、 概念简答题（每题5分，共40分）1.答：平均自信息为表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。平均互信息表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。2.答：最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。最大熵值为。3.答：信息传输率R指信道中平均每个符号所能传送的信息量。信道容量是一个信道所能达到的最大信息传输率。信息传输率达到信道容量时所对应的输入概率分布称为最佳输入概率分布。平均互信息是信源概率分布的型凸函数，是信道传递概率的U型凸函数。4.答：通信系统模型如下：数据处理定理为：串联信道的输入输出X、Y、Z组成一个马尔可夫链，且有，。说明经数据处理后，一般只会增加信息的损失。5.答：香农公式为，它是高斯加性白噪声信道在单位时间内的信道容量，其值取决于信噪比和带宽。由得，则6.答：只要，当N足够长时，一定存在一种无失真编码。7.答：当RC时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。8.答：1）保真度准则为：平均失真度不大于允许的失真度。2）因为失真矩阵中每行都有一个0，所以有，而。9.答：离散无记忆信源，等概率分布时熵最大。连续信源，峰值功率受限时，均匀分布的熵最大。平均功率受限时，高斯分布的熵最大。均值受限时，指数分布的熵最大。10.答：等长信源编码定理：对于任意，只要，则当L足够长时必可使译码差错。变长信源编码定理：只要，一定存在一种无失真编码。等长码和变长码的最小平均码长均为，编码效率最高可达100%。11.答：最小错误概率译码准则下，将接收序列译为后验概率最大时所对应的码字。最大似然译码准则下，将接收序列译为信道传递概率最大时所对应的码字。最小距离译码准则下，将接收序列译为与其距离最小的码字。三者关系为：输入为等概率分布时，最大似然译码准则等效于最小错误概率译码准则。在二元对称无记忆信道中，最小距离译码准则等效于最大似然译码准则。12.答：1）2）令接收序列为，则有，故接收序列应译为010110。13.答：14.答：平均互信息相对于信源概率分布为上凸函数，相对于信道传递概率分布为下凹函数。平均互信息的最大值为信道容量。15.答：1）2）16.答：P1为一一对应确定信道，因此有。P2为具有归并性能的信道，因此有。P3为具有发散性能的信道，因此有。17.答：18. 当信源的符号之间有依赖时，信源输出消息的不确定性减弱。而信源冗余度正是反映信源符号依赖关系的强弱，冗余度越大，依赖关系就越大。19. 答：无失真信源编码，编码后尽可能等概率分布, 使每个码元平均信息量最大。从而使信道信息传输率R达到信道容量C, 实现信源与信道理想的统计匹配。20. 某一码书C中, 任意两个码字之间汉明距离的最小值称为该码的最小码距Dmin.当已知某线性分组码的最小汉明距离为Dmin，那么这组码最多能检测出e =Dmin-1个码元错误，最多能纠正t =(Dmin-1) /2个码元错误。21. 答：信息的基本概念在于它的不确定性，任何已确定的事物都不含信息。接收者在收到信息之前，对它的内容是不知道的，所以信息是新知识、新内容。信息是能使认识主体对某一事物的未知性或不确定性减少的有用知识。信息可以产生，也可以消失，同时信息可以被携带、贮存及处理。信息是可以量度的，信息量有多少的差别。22.将信源消息符号按其出现的概率大小依次排列 p(x1)p(x2) p(xn) 取两个概率最小的符号分别配以0和1，并将这两个概率相加作为一个新符号的概率，与未分配码元的符号重新排队。 对重排后的两个概率最小符号重复步骤2的过程。 继续上述过程，直到最后两个符号配以0和1为止。 从最后一级开始，向前返回得到各个信源符号所对应的码元序列，即相应的码字。二、综合题（每题10分，共60分）1.黑白气象传真图的消息只有黑色和白色两种，求：1） 黑色出现的概率为0.3，白色出现的概率为0.7。给出这个只有两个符号的信源X的数学模型。假设图上黑白消息出现前后没有关联，求熵；2） 假设黑白消息出现前后有关联，其依赖关系为：，求其熵 ；3）分别求上述两种信源的冗余度，比较它们的大小并说明其物理意义。2.二元对称信道如图。；1）若，求和； 2）求该信道的信道容量和最佳输入分布。3.信源空间为，试分别构造二元和三元霍夫曼码，计算其平均码长和编码效率。4.设有一离散信道，其信道传递矩阵为，并设，试分别按最小错误概率准则与最大似然译码准则确定译码规则，并计算相应的平均错误概率。5.已知一（8，5）线性分组码的生成矩阵为。求：1）输入为全00011和10100时该码的码字；2）最小码距。6.设某一信号的信息传输率为5.6kbit/s，在带宽为4kHz的高斯信道中传输，噪声功率谱NO=5106mw/Hz。试求：（1）无差错传输需要的最小输入功率是多少？（2）此时输入信号的最大连续熵是多少？写出对应的输入概率密度函数的形式。7.二元平稳马氏链，已知P（0/0）=0.9，P（1/1）=0.8，求：（1）求该马氏信源的符号熵。（2）每三个符号合成一个来编二进制Huffman码,试建立新信源的模型，给出编码结果。（3）求每符号对应的平均码长和编码效率。8.设有一离散信道，其信道矩阵为，求：（1）最佳概率分布？（2）当，时，求平均互信息 信道疑义度（3）输入为等概率分布时，试写出一译码规则，使平均译码错误率最小，并求此9.1设线性分组码的生成矩阵为，求：（1）此（n，k）码的n=？ k=？，写出此（n，k）码的所有码字。（2）求其对应的一致校验矩阵H。（3）确定最小码距，问此码能纠几位错？列出其能纠错的所有错误图样和对应的伴随式。（4）若接收码字为000110，用伴随式法求译码结果。9.2设一线性分组码具有一致监督矩阵1）求此分组码n=?,k=?共有多少码字？2）求此分组码的生成矩阵G。3）写出此分组码的所有码字。4）若接收到码字（101001），求出伴随式并给出翻译结果。10.二元对称信道的信道矩阵为，信道传输速度为1500二元符号/秒，设信源为等概率分布，信源消息序列共有13000个二元符号，问：（1）试计算能否在10秒内将信源消息序列无失真传送完？（2）若信源概率分布为，求无失真传送以上信源消息序列至少需要多长时间？11.已知（7，4）循环码的生成多项式，求：（1）求该码的编码效率？（2）求其对应的一致校验多项式（3）写出该码的生成矩阵，校验矩阵。（4）若消息码式为，求其码字。 12.证明：平均互信息量同信息熵之间满足I(X;Y)=H(X)+H(Y)-H(XY)13. 居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？14. 有两个二元随机变量X和Y，它们的联合概率为Y Xx1=0x2=1y1=01/83/8y2=13/81/8定义另一随机变量Z = XY（一般乘积），试计算H(Z)=? 15. 求以下二个信道的信道容量： ， ，16. 已知一个高斯信道，输入信噪比(比率)为3。频带为3kHz，求最大可能传送的信息率。若信噪比提高到15，理论上传送同样的信息率所需的频带为多少？17. 设信源为，试求（1）信源的熵、信息含量效率以及冗余度；(2)求二次扩展信源的概率空间和熵。18. 什么是损失熵、噪声熵？什么是无损信道和确定信道？如输入输出为，则它们的分别信道容量为多少？19. 信源编码的和信道编码的目的是什么？20. 什么是香农容量公式？为保证足够大的信道容量，可采用哪两种方法？21. 什么是限失真信源编码？二、综合题1.答：1）信源模型为2）由得则3） （1分） （1分）。说明：当信源的符号之间有依赖时，信源输出消息的不确定性减弱。而信源冗余度正是反映信源符号依赖关系的强弱，冗余度越大，依赖关系就越大。（2分）2.答：1） 2），最佳输入概率分布为等概率分布。3.答：1）二元码的码字依序为：10，11，010，011，1010，1011，1000，1001。平均码长，编码效率2）三元码的码字依序为：1，00，02，20，21，22，010，011。平均码长，编码效率4.答：1）最小似然译码准则下，有，2）最大错误概率准则下，有，5.答：1）输入为00011时，码字为00011110；输入为10100时，码字为10100101。2）6.答：1）无错传输时，有即则2）在时，最大熵7.答：1）由得极限概率：则符号熵为2）新信源共8个序列，各序列的概率为信源模型为一种编码结果（依信源模型中的序列次序）为0，11，1001，1010，1011，10000，100010，1000113）8.答：1）是准对称信道，因此其最佳输入概率分布为。2）当，时，有则3）此时可用最大似然译码准则，译码规则为且有9.1答：1）n=6，k=3，由C=mG可得所有码字为：000000，001011，010110，011101，100101，101110，110011，1110002）此码是系统码，由G知，则3）由H可知，其任意2列线性无关，而有3列线性相关，故有，能纠一位错。错误图样E伴随式1000001010100001100010000110001001000000100100000010014）由知E010000，则9.2 解：1）n=6,k=3,共有8个码字。（3分）2）设码字由得 （3分） 令监督位为，则有 （3分）生成矩阵为 （2分）3）所有码字为000000，001101，010011，011110，100110，101011，110101，111000。（4分）4）由得 ，（2分）该码字在第5位发生错误，（101001）纠正为（101011），即译码为（101001）（1分）10.答：1）信道容量为信源序列信息量为而10秒内信道能传递的信息量为故不能无失真地传送完。2）此时信源序列信息量为信息传输率为则11.答：1）2）3），而4）12. 证明： （2分）同理 （1分）则 因为 （1分）故即 （1分）13. 解：设A表示“大学生”这一事件，B表示“身高1.60以上”这一事件，则 P(