大学试题(计算机科学)-信息论与编码笔试（2018-2023年）真题摘选含答案

长风破浪会有时，直挂云帆济沧海。大学试题(计算机科学)-信息论与编码笔试（2018-2023年）真题摘选含答案（图片大小可自由调整）卷I一.参考题库(共30题)1.率失真函数没有最大值。2.有一信源发出恒定宽度，但不同幅度的脉冲，幅度值处在a1和a2之间，此信源连至某信道，信道接收端接收脉冲的幅度y处在b1和b2之间。已知随机变量X和Y的联合概率密度函数： 试计算h（X），h（Y），h（XY）和I（X；Y）。3.简述平均互信息量的性质及理解。4.假设每个消息的发出都是等概率的，四进制脉冲所含信息量是二进制脉冲的（）倍。5.现有一幅已离散量化后的图像，图像的灰度量化分成8级，见下表。表中数字为相应像素上的灰度级。 另有一无损无噪二元信道，单位时间（秒）内传输100个二元符号。 （1）现将图像通过给定的信道传输，不考虑图像的任何统计特性，并采用二元等长码，问需要多长时间才能传完这幅图像？ （2）若考虑图像的统计特性（不考虑图像的像素之间的依赖性），求此图像的信源熵H（S），并对灰度级进行霍夫曼最佳二元编码，问平均每个像素需用多少二元码符号来表示？这时需多少时间才能传送完这幅图像？ （3）从理论上简要说明这幅图像还可以压缩，而且平均每个像素所需的二元码符号数可以小于H（S）比特。6.某气象员报告气象状态，有四种可能的消息：晴、去、雨和雾。若每个消息是等概率的，那么发送每个消息最少所需的二元脉冲数是多少？又若四个消息出现的概率分别为问在此情况下消息所需的二元脉冲数是多少？如何编码？7.二进制通信系统使用符号0和1，由于存在失真，传输时会产生误码，用符号表示下列事件，u0：一个0发出u1：一个1发出v0：一个0收到v1：一个1收到则已知收到的符号，被告知发出的符号能得到的信息量是（）。A、H（U/V）

B、H（V/U）

C、H（U，V）

D、H（UV）8.信道散布度9.率失真函数的最小值是0。10.常用的检纠错方法有（）、反馈重发和混合纠错三种。11.每帧电视图像可以认为是由3×105个像素组成，所以像素均是独立变化，且每一像素又取128个不同的亮度电平，并设亮度电平等概率出现。问每帧图像含有多少信息量？若现有一广播员在约10000个汉字的字汇中选1000个来口述此电视图像，试问广播员描述此图像所广播的信息量是多少（假设汉字是等概率分布，并且彼此无依赖）？若要恰当地描述此图像，广播员在口述中至少需用多少汉字？12.信息论是应用近代数理统计方法研究信息的传输、存储与处理的科学，故称为（）；1948年香农在贝尔杂志上发表了两篇有关的“通信的数学理论”文章，该文用熵对信源的（）的度量，同时也是衡量（）大小的一个尺度；表现在通信领域里，发送端发送什么有一个不确定量，通过信道传输，接收端收到信息后，对发送端发送什么仍然存在一个不确定量，把这两个不确定量差值用（）来表示，它表现了通信信道流通的（），若把它取最大值，就是通信线路的（），若把它取最小值，就是（）。13.简述信源的符号之间的依赖与信源冗余度的关系。14.离散平稳有记忆信源符号序列的平均符号熵随着序列长度L的增大而增大。15.简述费诺编码的编码步骤。16.纠错编码中，下列哪种措施不能减小差错概率（）。A、增大信道容量B、增大码长C、减小码率D、减小带宽17.对于具有归并性能的无燥信道，当信源等概率分布时（p（xi）=1/n），达到信道容量。18.考虑GF（2）上的下列生成矩阵 用此矩阵生成所有可能的码字。19.按照不同的编码目的，编码可以分为三类：分别是（）、（）和（）。20.假设是一个二元码，它的奇偶校验矩阵为H。证明由C通过添加整体奇偶校验比特得到的扩展码C1的奇偶校验矩阵为 21.率失真函数的下限为（）。A、H（U）B、0C、I（U；V）D、没有下限22.信源与信道达到匹配的含义以及如何实现？信道剩余度的概念及计算？23.简述失真函数、平均失真度的定义及其含义。24.考虑下图所示的二元编码器。 给出该编码器的生成矩阵G。25.请给出连续信源分别为均匀分布、高斯分布和指数分布时信源的相对熵。26.生成多项式为的码在GSM中作检错和纠错标准。 （1）这个码能纠多少个随机错误？ （2）这个码能纠多少个突发错误？27.连续信源和离散信源都具有可加性。28.已知（8，5）线性分组码的生成矩阵为 （1）证明该码为循环码； （2）求该码的生成多项式g（x），一致校验多项式h（x）和最小码距d。29.简述几种信息分类的准则和方法。30.设C={000000，001011，010110，011101，100111，101100，110001，111010}是一个二元线性分组码，则该码最多能检测出3个随机错误。卷I参考答案一.参考题库1.参考答案:错误2.参考答案: 3.参考答案:4.参考答案:25.参考答案: 6.参考答案: 7.参考答案:A8.参考答案: 表示在已知X后，对于输出Y尚存的平均不确定性；9.参考答案:正确10.参考答案:前向纠错11.参考答案: 12.参考答案:3;4;5;6;7;8;913.参考答案: 当信源的符号之间有依赖时，信源输出消息的不确定性减弱。而信源冗余度正是反映信源符号依赖关系的强弱，冗余度越大，依赖关系就越大。14.参考答案:错误15.参考答案: 费诺编码的步骤： 1）信源符号以概率递减的次序排列起来； 2）将排列好的信源符号按概率值划分成两大组，使每组的概率之和接近于相等，并对每组各赋予一个二元码符号“0”和“1”； 3）将每一大组的信源符号再分成两组，使划分后的两个组的概率之和接近于相等，再分别赋予一个二元码符号； 4）依次下去，直至每个小组只剩一个信源符号为止 5）信源符号所对应的码字即为费诺码。16.参考答案:D17.参考答案:错误18.参考答案: 此矩阵生成的码为：{00000，01010，10011，11001，10100，11110，00111，01101}19.参考答案:信源编码;信道编码;安全编码20.参考答案: 根据题意，扩展码C1为： 即扩展码C1的奇偶校验矩阵为Hi。 证毕。21.参考答案:B22.参考答案:23.参考答案:24.参考答案: 由图可知： 故该编码器的生成矩阵G为； 将5个矩阵代入矩阵G中既可。25.参考答案: 26.参考答案: 又经过尝试我们得到分组长度是满足g（x）且能整除x23-1的最小整数，n=75， 可以纠的突发错误最多为t=12个；能纠的随机错误为x=5个。27.参考答案:正确28.参考答案: （1）生成矩阵作初等行变换：第5行加到第4行，第4行加到第3行，第3行加到第2行，第2行和第5行加到第1行。得 （2）生成多项式为，一致校验多项式为 一致校验矩阵为 该矩阵的任意1列线性无关，但存在某2列线性相关，故最小码距为2。29.参考答案: 狭义信息论、一般信息论、广义信息论30.参考答案:错误卷II一.参考题库(共30题)1.平均失真度2.考虑下图所示的Z型信道。 （1）求获得信道容量所需要的输入概率。 （2）若将N个这样的信道相级联，证明联合信道可以用一个信道转移概率为pN的等价Z信道表示。 （3）当N→∞时联合信道的容量是什么？ 3.设多项式 为GF（2）上分组长度为15的一个循环码的生成多项式。试求奇偶校验矩阵H。4.请给出失真函数、平均失真度、保真度准则、信息率失真函数的定义。5.信源的消息通过信道传输后的误差或失真越大道传输消息所需的信息率（）。6.简述连续信源的熵的定义。7.简述马尔可夫信源的定义及其极限熵。8.（）是香农信息论最基本最重要的概念9.若分组码H阵列列线性无关数为n，则纠错码的最小距离dmin为（）。10.构造C={00000，10101，01010，11111}的生成矩阵。因为这个G不是唯一的，给出另一个能生成这个码字集合的生成矩阵。11.两个实验X和Y，X={x1x2x3}，Y={y1y2y3}，l联合概率为。 （1）如果有人告诉你X和Y的实验结果，你得到的平均信息量是多少？  （2）如果有人告诉你Y的实验结果，你得到的平均信息量是多少？  （3）在已知Y实验结果的情况下，告诉你X的实验结果，你得到的平均信息量是多少？12.设有一离散信道，其信道传递矩阵为 并设试分别按最小错误概率准则与最大似然译码准则确定译码规则，并计算相应的平均错误概率。13.纠错码的检、纠错能力是指（）。14.同时掷出两个正常的骰子，也就是各面呈现的概率都为1/6，求：  （1）“3和5同时出现”这事件的自信息；  （2）“两个1同时出现”这事件的自信息；  （3）两个点数的各种组合（无序）对的熵和平均信息量；  （4）两个点数之和（即2， 3， … ， 12构成的子集）的熵；  （5）两个点数中至少有一个是1的自信息量。15.设信源求此信源的熵，并解释为什么H（X）>log6，不满足信源熵的极值性。16.什么是限失真信源编码？17.一副充分洗乱了的牌（含52张牌），试问 （1）任一特定排列所给出的信息量是多少？ （2）若从中抽取13张牌，所给出的点数都不相同，能得到多少信息量？18.平稳信源19.如果所有码字都配置在二进制码树的叶节点，则该码字为（）码。20.用rH来表示二元汉明码的码率，求。21.一副充分洗乱了的牌（含52张牌），试问（1）任一特定排列所给出的信息量是多少？（2）若从中抽取13张牌，所给出的点数都不相同能得到多少信息量？22.无记忆信道23.设二元霍夫曼码为（00，01，10，11）和（0，10，110，111），求出可以编得这样霍夫曼码的信源的所有概率分布。24.在图片传输中，每帧约2.25×106个像素，为了能很好地重现图像，需分16个亮度电平，并假设亮度电平等概率分布。试计算每秒钟传送30帧图片所需信道的带宽（信噪功率比为30dB）。25.对于离散无记忆强对称信道，信道矩阵为： 试证明对于此信道，最小距离译码准则等价于最大似然译码准则。26.一个随即变量x的概率密度函数P（x）=x/2，，则信源的相对熵为（）。A、0.5bit

B、0.72bit

C、1bit

D、1.44bit27.消息（或称为符号）28.设两连续随机变量X和Y，它们的联合概率密度是均值为零，协方差矩阵为C的正态分布，，在下列几种情况下，计算I(X;Y)： （1）ρ＝1； （2）ρ＝0； （3）ρ＝－1。29.信源编码30.简述游程编码相关定义与步骤。卷II参考答案一.参考题库1.参考答案: 定义平均失真度为失真函数的数学期望，及d（xi，yi）在X和Y得联合概率空间P（XY）中的统计平均值：D=E[D（xi，yi）]，起是在平均的意义上，从总体上对整个系统失真情况的描述。2.参考答案: 级联信道的信道容量为每一次使用该信道时的最大平均互信息。其中最大值是在所有可能的输入概率上求得的即： 3.参考答案: 由于已知分组长度为15，设奇偶校验多项式为h（x），则有： 其中，上式为取模运算。 故，对应的奇偶校验矩阵为： 4.参考答案: 5.参考答案:也越小6.参考答案:连续信源的不确定度应为无穷大，是相对熵，或叫差熵。在取两熵之间的差时才具有信息的所有特性。7.参考答案:8.参考答案:熵9.参考答案:1010.参考答案: 11.参考答案:12.参考答案: 13.参考答案:检测、纠正错误码元的数目14.参考答案:15.参考答案: 16.参考答案: 有失真信源编码的中心任务：在允许的失真范围内把编码的信息率压缩到最小。17.参考答案: （1）log252 （2）任取13张，各点数不同的概率为，信息量：9.4793（比特/符号）18.参考答案: 概率分布函数与时间起点无关，平稳信源是有记忆的，记忆的长度有限。19.参考答案:唯一可译20.参考答案: 根据二元汉明码的性质可知： 其中m是任意正整数。 则由码率的定义可知： 21.参考答案: 22.参考答案: 在某一时刻信道的输出消息仅与当时的信道输入消息有关，而与前面时刻的信