信息理论及编码答案人民邮电出版社

1、第一章 自我测试题一、填空题1. 在认识论层次上研究信息的时候，必须同时考虑到形式、_语义_和_语用_三个方面的因素。2. 如果从随机不确定性的角度来定义信息，信息是用以消除_随机不确定性_的东西。3. 信源编码的结果是_减小_冗余；而信道编码的手段是_增加_冗余。4. _1948_年，香农发表了著名的论文_通信的数学理论_，标志着信息论诞生。5. 信息商品是一种特殊商品，它有_保存性_性、_共享_性、_老化可能_性和 知识创造性 等特征。二、判断题1. 信息传输系统模型表明，噪声仅仅来源于信道（×）2. 本体论层次信息表明，信息不依赖于人而存在（）3. 信道编码与译码是一对可逆变换

2、（×）4. 1976年，论文密码学的新方向的发表，标志着保密通信研究的开始（×）5. 基因组序列信息的提取和分析是生物信息学的研究内容之一（）三、选择题1. 下列表述中，属于从随机不确定性的角度来定义信息的是_D_A 信息是数据B 信息是集合之间的变异度C 信息是控制的指令D 信息是收信者事先不知道的报道2. _B_是最高层次的信息A 认识论B 本体论C 价值论D 唯物论3. 下列不属于狭义信息论的是_D_A 信息的测度B 信源编码C 信道容量D 计算机翻译4. 下列不属于信息论的研究内容的是_A_A 信息的产生B 信道传输能力C 文字的统计特性D 抗干扰编码5. 下列关于

3、信息论发展历史描述不正确的是_B_A 偶然性、熵函数引进物理学为信息论的产生提供了理论前提。B 1952年，香农发展了信道容量的迭代算法C 哈特莱用消息可能数目的对数来度量消息中所含有的信息量，为香农创立信息论提供了思路。D 1959年，香农首先提出率失真函数和率失真信源编码定理，才发展成为信息率失真编码理论。四、简答题给定爱因斯坦质能方程，试说明该方程所传达的语法信息、语义信息和语用信息。语法信息：就是该方程中各个字母、符号的排列形式。语义信息：为所产生的能量，为质量的变化，为光速的平方，表示左右在量值上相等。综合起来就是，质量的微小变化可以产生巨大的能量。语用信息：该方程可以启发主体在一定

4、条件下，通过物质质量的变化来产生巨大的能量，如果让能量缓慢释放出来，可以得到核能；如果让能量瞬间释放出来，可借以制造核弹。第二章测试题1、 填空题 1.N阶平稳信源的N维分布函数与_时间的起点_无关。 2.在对信源进行观察之前，对认识主体来说，信源存在_先验_不确定性，观察之后，信源还存在_后验_不确定性。 3.联合符号的不确定性，等于_关于输入_的不确定性加上_干扰引入_的不确定性。 4.256个亮度值构成的信源，其熵值最大为_8_比特。 5.无条件熵_>_条件熵，条件多的熵_<_条件少的熵。（填大于或小于）2、 判断题 1.对于DMS，长度为3的符号串的平均不确定是单个符号平均

5、不确定的3倍。（） 2.信源内部的关联性，会提高熵值。（×） 3.马尔科夫信源符号的输出不仅与当前的信源状态有关，而且还与以前的状态有关。（×） 4.信息含量效率越高，信源的冗余度也越高。（×） 5.与离散熵相同，微分熵也是非负的。（×）3、 选择题 1.下列物理量，不满足非负性的是（C）A. H(X); B. I(X;Y); C. I; D. H() 2.连续型随机变量的取值受限，那么该随机变量服从_C_时，微分熵最大。A. 高斯分布；B. 泊松分布；C. 均匀分布；D. 指数分布 3.下列说法中，不正确的是_C_A. 熵功率，其中P为连续随即变量X的

6、平均功率B. 熵功率，其中h(X)是X的微分熵C. 若X平均功率为P，但不是高斯分布，则D. X的平均功率为P时（均值非零），则X得最大熵为 4.下列表达式不正确的是_B_A.B.C.D. 5.下列关于马尔科夫信源的叙述中，不正确的是_D_ A. 某一时刻信源符号的输出只与当时的信源状态有关，而与之前的状态无关B. 信源状态只由当前输出符号和前一时刻信源状态唯一确定C. 一般马尔科夫信源的信息熵是其平均符号熵的极限值D. M阶马尔科夫信源的极限熵等于m+1阶条件熵第三章自我测试题一、填空题1. 有记忆信道的当前输出不仅与_当前时刻的_输入有关，还与_以前的_输入有关。2. 既代表_收到输出后对

7、输入还存有的疑义_，又代表_信道在传输过程中的信息损失_，因此，通常把称为信道的_疑义度_或_损失熵_3. 如果信道给定，那么是输入概率的_上_凸函数。如果信源给定，那么是转移概率的_下_凸函数。4. 衡量一个信息传递系统的好坏，有两个主要指标:其一 数量（速度）指标：信息（传输）率，即信道中平均每个符号传递的信息量，其二 质量指标：平均差错率，即对信道输出符号进行译码的平均错误概率。5. 使得给定信道_达到最大值(即信道容量)的输入分布，称为最佳输入(概率)分布，记为二、判断题1. 信道容量不仅与信道转移概率有关，也与信道的输入分布有关。（×）2. 噪声熵为0的信道称为确定信道。（

8、）3. 离散对称信道输入等概率分布时，输出未必也等概率分布。（×）4. 一般DMC达到信道容量的充要条件为信源符号的偏互信息均等于信道容量。（）5. 信道是DMC的充要条件是序列符号对之间的转移概率等于各个时刻单个符号对转移概率之连乘。（）三、选择题1. 若信道和信源均无记忆，以下结论不成立的是_C_A. BCD2. 关于两个独立信道Q1、Q2串联，下列说法不正确的是_A_A. 串联信道的信道容量与组成串联信道的各分信道的信道容量存在精确的定量关系B数据处理过程中，随着数据的不断处理，从处理后的数据中所得的原始信息会愈来愈少C串联信道的转移概率矩阵是各单元信道的转移概率矩阵之积D组成

9、一个马尔可夫链3. 信源的输出与信道的输入匹配的目的不包括_C_A. 符号匹配；B. 信息匹配； C. 功率匹配；D. 降低信道剩余度4. 以下关于连续信道的说法中，不正确的是_B_A连续信道是时间离散、幅值连续的信道B连续信道的统计特性由转移概率分布函数描述C加性噪声信道的转移概率密度函数等于噪声的概率密度函数D对于无记忆加性噪声信道，若输入信号服从高斯分布，且噪声的平均功率受限，则服从高斯分布的噪声使信道平均互信息量达到最小5. 已知香农公式，不能得出的结论是_C_A. 在信噪比不变的前提下，增大频带，可增大信道容量B. 频带不变时，增大信噪比即可增大信道容量C. 在PS增大很多之后，继续

10、增大信号功率来实现信道容量的增大是一个有效途径D. 用扩频方法来增大信道容量，其作用是有限的第四章测验题一、填空题1. 无失真编码只对信源的_冗余度_进行压缩，而不会改变信源的熵，又称冗余度压缩编码。2. 无失真信源编码的作用可归纳为（1）_符号变换_；（2）_冗余度压缩_3. 无失真信源编码器的熵为=2.35/符号；则编码后的熵_2.35_/码字；若平均码长为2.6比特/码字，则=_0.9038比特/码元_，信息率R=_0.9038比特/码元_，=_90.38%_，冗余度=_9.62_。4. _含相同码字的_的码称为奇异码5. 对于一个码，若_由该码的码字组成的任意有限长码字序列都能恢复成惟

11、一的信源符号序列_，则称该码为惟一可译码二、判断题1. 对于一个码，若每个码字都与惟一的一个信源符号相对应，则该码为惟一可译码。（×）2. 定长非奇异码肯定是惟一可译码。（）3. 非续长码中任一码字都不是其他码字的前缀。（）4. 非续长码必满足Kraft不等式。（）5. 一个码是惟一可译码的充要条件是满足Kraft不等式。（×）三、选择题1. 关于定长编码，以下说法不正确的是_A. 无失真定长编码要求可用的码字数不少于扩展信源的符号数B无失真r进制定长码码长不得低于信源r进制符号熵C信源序列的分组长度增大可以提高编码效率D引入失真不可能提高定长码的编码效率2. 关于变长编码

12、，以下说法不正确的是_A. 无失真r进制变长码码长不得低于信源r进制符号熵B变长编码时，随着信源序列长度的增大，编码效率提高。C变长码要求各个码字的长度互不相同D变长码的编码效率高于定长码3. 下述编码中_可能是任何概率分布对应的HuffmanA0, 10, 11B00, 01, 10, 110C01, 10D001, 011, 100, 1014. 关于无失真信源编码，以下说法不正确的是_。A有效的信源编码可使输出码元概率均匀化B霍夫曼编码过程中，可能造成码字不惟一，但平均码长是相同的，因而编码效率是相同C香农编码不能保证码字具有非续长性D费诺编码按照“概率大码长小、概率小码长大”来决定码长

13、5. 下列说法不正确的是_A.算术编码的码长与该序列的累计概率有关B.Huffman码无法对只含2个符号的信源进行压缩C.游程编码的效率取决于信源符号的重复率D.算术编码可以对只含2个符号的信源序列进行压缩E字典编码通过把信源符号序列映射为位置序号达到压缩编码的目的第五章测验题一、填空题1. 信息传递系统的基本功能是在系统输出端准确地再现系统输入端发送的信息。但是会受到客观限制，首先_传输速度_受_信道容量_的限制；其次，由于_信道噪声_的干扰，_传输错误_不可避免。2. 衡量信息传输速度大小的指标是信道的信息（传输）率，其最大值就是_信道容量_，衡量信息传输可靠性的指标是_平均差错率_。3.

14、 为了降低平均差错率，可先对消息_编码_再送入信道传送，这种为降低_平均差错率_而进行的编码称为信道编码。4. 信道输出它与信道输入既有联系又有区别，联系的程度和区别的大小取决于_噪声的影响情况_或者说取决于_信道的统计特性_。5. 信道译码函数是从_输出符号集合_到_输入符号集合_的映射：其含义是将_接收符号_译为_某个输入符号_。译码函数又称_译码规则_。二、判断题1. 译码规则取决于信道，一个信道的译码规则是唯一的。（×）2. 在信道输出端接收到符号时，按译码规则将译为，若此时信道输入刚好是，则称为译码正确。（×）3. 若按译码规则将译为，则平均译码错误概率是的加权平

15、均值。（×）4. 最“好”的译码规则必然使最小。（×）5. 最大后验概率译码规则是最佳译码规则。（）三、选择题1. 译码规则不能由_D_确定A后验概率 B. 联合概率 C. 转移概率 D. 边缘概率2. 假设，信道线图如下图所示，相应的最佳译码规则为_C_A. B. C. D. 3. 下列说法不正确的是_D_A. 信道输入等概时，极大似然译码规则也是最佳的B. 最大后验概率条件可无条件等价成最大联合概率条件C. 当信源统计特性未知的时候，可以使用极大似然译码规则作为译码规则D应用极大似然译码规则总可以确定译码的平均差错率4. 关于“重复N次”编码，说法不正确的是_A_。AN

16、越大，信息传输率越高B“重复N次”是定长码C采用择多译码策略D能减低平均差错率5. 对信源的2元符号串进行编码，取码长为，则_B_A. 可供选择的码字有4个B信息率C共有4×832种不同的编码方法。D继续增加消息个数，可以降低平均差错率第六章测验题一、 填空题1. 源编码实质上是对信源进行信息处理，无失真信源编码只是信息处理的方法之一，除此之外，还可对信源进行_有失真_编码。2. 无失真编码对应于无损确定信道，有失真编码对应于_有噪_信道。3. 有失真编码的_失真范围_受限，所以又称为限失真编码；编码后的_信息率_得到压缩，因此属熵压缩编码。4. 满足_保真度准则_的信道称为允许（试

17、验）信道。5. 所有允许信道的转移概率组成一个集合，中任_转移概率_都与一个允许信道（编码器）对应，在中寻求一个（即寻求一个_特定的编码器_）使_最小，这个最小值称为信息率失真函数，简称为率失真函数，记为二、 判断题1、 失真函数一定要保证非负。（）2、 当信源和信道（编码器）均无记忆时，N长符号序列的平均失真度等于单符号平均失真度的N倍。（）3、 是保真度准则（）下熵压缩编码器输出可能达到的最高熵率。（×）4、 若失真矩阵每行至少有一个零，且每列至多有一个零，则。（）5、 有许多D满足=0。（）三、 选择题1. 引入限失真编码不是因为_A_。A提供信源的信息率B保熵编码并非总是必需的C保熵编码并非总是可能的D. 降低信息率有利于传输和处理2. 以