信息论基础理论与应用考试题及答案

信息论基础理论与应用考试题一﹑填空题（每题2分，共20分）1.信息论研究的目的就是要找到信息传输过程的共同规律，以提高信息传输的（可靠性）﹑（有效性）﹑保密性和认证性，使信息传输系统达到最优化。（考点：信息论的研究目的）2.电视屏上约有500×600=3×个格点，按每点有10个不同的灰度等级考虑，则可组成个不同的画面。按等概计算，平均每个画面可提供的信息量约为（）。（考点：信息量的概念及计算）3.按噪声对信号的作用功能来分类信道可分为（加性信道）和（乘性信道）。（考点：信道按噪声统计特性的分类）4.英文电报有32个符号（26个英文字母加上6个字符），即q=32。若r=2，N=1，即对信源S的逐个符号进行二元编码，则每个英文电报符号至少要用（5）位二元符号编码才行。（考点：等长码编码位数的计算）5.如果采用这样一种译码函数，它对于每一个输出符号均译成具有最大后验概率的那个输入符号，则信道的错误概率最小，这种译码规则称为（最大后验概率准则）或（最小错误概率准则）。（考点：错误概率和译码准则的概念）6.按码的结构中对信息序列处理方式不同，可将纠错码分为（分组码）和（卷积码）。（考点：纠错码的分类）7.码C=｛（0，0，0，0），（0，1，0，1），（0，1，1，0），（0，0，1，1）｝是（（4，2））线性分组码。（考点：线性分组码的基本概念）8.定义自信息的数学期望为信源的平均自信息量，即（）。（考点：平均信息量的定义）9.对于一个（n,k）分组码，其最小距离为d，那么，若能纠正t个随机错误，同时能检测e（e≥t）个随机错误，则要求（d≥t+e+1）。（考点：线性分组码的纠检错能力概念）10.和离散信道一样，对于固定的连续信道和波形信道都有一个最大的信息传输速率，称之为（信道容量）。（考点：连续信道和波形信道的信道容量）二﹑判断题（每题2分，共10分）1.信源剩余度的大小能很好地反映离散信源输出的符号序列中符号之间依赖关系的强弱，剩余度越大，表示信源的实际熵越小。（对）（考点：信源剩余度的基本概念）2.信道的噪声是有色噪声，称此信道为有色噪声信道，一般有色噪声信道都是无记忆信道。（错）（考点：有色噪声信道的概念）3.若一组码中所有码字都不相同，即所有信源符号映射到不同的码符号序列，则称此码为非奇异码。（对）（考点：非奇异码的基本概念）4.在一个二元信道的n次无记忆扩展信道中，输入端有个符号序列可以作为消息。（对）5.卷积码的纠错能力随着约束长度的增加而增大，一般情况下卷积码的纠错能力劣于分组码。（错）（考点：卷积码的纠错能力）三﹑名词解释（每题3分，共12分）信源编码信源编码是对信源输出的消息进行适当的变换和处理，目的是为了提高信息传输的效率，所以又称为信源压缩编码。（考点：信源编码的基本概念）马尔可夫信源3．有一个二元对称信道，其信道矩阵如下图所示，设该信道以1500个二元符号/秒的速度传输输入符号。现有一消息序列共有14000个二元符号，并设在这消息中。问从信息传输的角度来考虑，10秒钟内能否将这消息序列无失真的传送完。00.9800.020.02 0.98 1 1（考点：对二元对称信道的最大的信息传输速率，最大信息传输速率和最大信息量的深入理解及运用）解：消息是一个二元序列，这二元符号是等概率分布，即，所以消息信源的熵（比特/符号），即每个二元符号含有1比特信息量。那么这消息序列含有信息量=14000符号×1（比特/符号）=（比特）现计算这二元对称信道能传输的最大的信息传输速率。这信道是二元对称信道，信道传递矩阵所以其信道容量（即最大信息传输率）比特/符号得最大信息传输速率符号/秒*0.8586比特/符号比特/秒比特/秒此信道10秒钟内能无失真传输的最大信息量为=比特可见，此信道10秒内能无失真传输的最大信息量小于这消息序列所含有的信息量，所以从信道传输的角度来考虑，不可能在10秒钟内将这消息无失真的传送完。若线性分组码生成矩阵为由该G矩阵指出（n,k）码的信息位和监督元位数。由G矩阵确定对应的（n,k）循环码生成多项式。给出对应的H矩阵（系统码形式）。该（n,k）码的最小汉明距离为多少？（考点：对线性分组码的深入理解及应用）解：由信息位k=4,监督元位r=3,n=7。由G矩阵得（7，4）循环码生成多项式最小汉明距离=r=3五﹑证明题（10分）1.设信道输入随机变量为X，输出随机变量为和。并且在已知X的条件下，和为等概率密度分布。证明：(1)(2)信道I的信道容量小于2倍的信道的信道容量。（考点：对信道容量的深入理解及应用）证明：（1）已知==-==+=因为在已知X的条件下和统计独立，所以=得=0又因为在已知X的条件下，和是等概率密度分布，则有