信息论小题测试题

1、第一章自我测试题一、填空题在认识论层次上研究信息的时候，必须同时考虑到形式、和 三个方面的因素。如果从随机不确定性的角度来定义信息，信息是用以消除的东西。信源编码的结果是冗余；而信道编码的手段是冗余。年，香农发表了著名的论文，标志着信息论诞生。信息商品是一种特殊商品，它有性、性、性和知识创造性等特征。二、判断题信息传输系统模型表明，噪声仅仅来源于信道（）本体论层次信息表明，信息不依赖于人而存在（）信道编码与译码是一对可逆变换（）1976年，论文密码学的新方向的发表，标志着保密通信研究的开始（）基因组序列信息的提取和分析是生物信息学的研究内容之一（）三、选择题下列表述中，属于从随机不确定性的角度

2、来定义信息的信息是数据信息是集合之间的变异度信息是控制的指令信息是收信者事先不知道的报道是最高层次的信息认识论本体论价值论唯物论下列不属于狭义信息论的是信息的测度信源编码信道容量计算机翻译下列不属于信息论的研究内容的是信息的产生信道传输能力文字的统计特性抗干扰编码下列关于信息论发展历史描述不正确的是偶然性、熵函数引进物理学为信息论的产生提供了理论前提。1952年，香农发展了信道容量的迭代算法哈特莱用消息可能数目的对数来度量消息中所含有的信息量，为香农创立信息论提 供了思路。1959年，香农首先提出率失真函数和率失真信源编码定理，才发展成为信息率失 真编码理论。四、简答题给定爱因斯坦质能方程Em

3、c2,试说明该方程所传达的语法信息、语义信息和语 =A用信息。第一章自我测试题参考答案一、填空题语义，语用随机不确定性减小，增加1948，通信的数学理论保存性，共享性，老化可能性二、判断题X； 2.；3.X；4.X；5.三、选择题1. D； 2. B； 3. D； 4. A； 5. B四、简答题语法信息：就是该方程中各个字母、符号的排列形式。语义信息：E为所产生的能量，m为质量的变化，c2为光速的平方，表示左右在量值上相等。综合起来就是，质量的微小变化可以产生巨大的能量。语用信息:该方程可以启发主体在一定条件下，通过物质质量的变化来产生巨大的能量， 如果让能量缓慢释放出来，可以得到核能；如果让

4、能量瞬间释放出来，可借以制造核弹。第二章测试题一、填空题N阶平稳信源的N维分布函数与 无关。 在对信源进行观察之前，对认识主体来说，信源存 不确定性，观察之后， 信源还存在 不确定性。 联合符号(土,七)的不确定性，等于 的不确定性加上 的不确定性。4.256个亮度值构成的信源，其熵值最大为比特。5.无条件熵 条件熵，条件多的熵 条件少的熵。(填大于或小于)二、判断题对于DMS，长度为3的符号串的平均不确定是单个符号平均不确定的3倍。()信源内部的关联性，会提高熵值。()马尔科夫信源符号的输出不仅与当前的信源状态有关，而且还与以前的状态有关。()信息含量效率越高，信源的冗余度也越高。()与离散

5、熵相同，微分熵也是非负的。()三、选择题下列物理量，不满足非负性的是()H(X); B. I(X;Y); C. I(气;y .); D. H(YX ) 连续型随机变量的取值受限，那么该随机变量服从时，微分熵最大。高斯分布；B.泊松分布；C,均匀分布；D,指数分布下列说法中，不正确的熵功率P VP，其中P为连续随即变量X的平均功率1熵功率P = e2h(x)，其中h(X)是X的微分熵2neC.若X平均功率为P,但不是高斯分布，则龙(X) Inx 2nePD. X的平均功率为P时(均值非零)，则X得最大熵为h(X) = log(2neP下列表达式不正确的是I(x , y ) = I(x ) +1(

6、y |x ) = I(y ) +1(x |y ) k jkj kjk、 jB I (u ; u u ) I (u ; u ) +1 (u ; u u )12 31312 3C. H (XY) = H (X) + H (Yx ) = H (Y) + H (XY)D. H(XY) H(X)下列关于马尔科夫信源的叙述中，不正确的是某一时刻信源符号的输出只与当时的信源状态有关，而与之前的状态无关信源状态只由当前输出符号和前一时刻信源状态唯一确定一般马尔科夫信源的信息熵是其平均符号熵的极限值M阶马尔科夫信源的极限熵等于m+1阶条件熵第二章测试题答案一、填空题时间的起点先验，后验关于输入xk，干扰引入(或

7、者：关于输出ydd，观察到y.后还剩余)8大于，小于二、判断题1. V； 2. X； 3. X； 4. X； 5.X三、选择题1. C；2. C；3. C；4. B；5. D第三章自我测试题一、填空题有记忆信道的当前输出不仅与 输入有关，还与 输入有关。既代表，又代表，因此，通常把H(X I Y)称为信道的或如果信道给定，那么I(,区)是输入概率PX的 凸函数。如果信源给定，1.2.3.4.5.那么I (PX, PY | X)是转移概率PYX的 凸函数。衡量一个信息传递系统的好坏有两个主要指标。其一，;其二，。使得给定信道的输入分布，称为最佳输入(概率)分布，记为PX二、判断题信道容量C不仅与

8、信道转移概率有关，也与信道的输入分布有关。()噪声熵为0的信道称为确定信道。()离散对称信道输入等概率分布时，输出未必也等概率分布。()一般DMC达到信道容量的充要条件为信源符号的偏互信息均等于信道容量。() 信道是DMC的充要条件是序列符号对之间的转移概率等于各个时刻单个符号对 转移概率之连乘。()三、选择题 1.若信道和信源均无记忆，以下结论不成立的是I(X;Y) = El(XY)_ _ k=1I(X;Y) = NI(X;Y)I (X; Y)幻气 Y)k=1CN = NC关于两个独立信道Q1、Q2串联，下列说法不正确的是3.4.5.A.B.串联信道的信道容量与组成串联信道的各分信道的信道容

9、量存在精确的定量关系 数据处理过程中，随着数据的不断处理，从处理后的数据中所得的原始信息会愈来 愈少串联信道的转移概率矩阵是各单元信道的转移概率矩阵之积X组成一个马尔可夫链C.D.信源的输出与信道的输入匹配的目的不包括A.符号匹配；B.信息匹配；C,功率匹配；D.降低信道剩余度以下关于连续信道的说法中，不正确的是连续信道是时间离散、幅值连续的信道连续信道的统计特性由转移概率分布函数描述加性噪声信道的转移概率密度函数等于噪声的概率密度函数对于无记忆加性噪声信道，若输入信号服从高斯分布，且噪声的平均功率受限，则A.B.C.D.服从高斯分布的噪声使信道平均互信息量达到最小r已知香农公式C(P ) =

10、 Blog 1 +SA.B.C.D.1V J在信噪比不变的前提下，增大频带，可增大信道容量频带不变时，增大信噪比即可增大信道容量C在PS增大很多之后，继续增大信号功率来实现信道容量的增大是一个有效途径 用扩频方法来增大信道容量，其作用是有限的第三章自测题参考答案，不能得出的结论是.2.一、填空题1、当前时刻的，以前的2、收到输出Y后对输入X还存有的疑义，信道在传输过程中的信息损失，疑义度，损 失熵3、上，下4、数量(速度)指标：信息(传输)率R，即信道中平均每个符号传递的信息量，质量指标：平均差错率P，即对信道输出符号进行译码的平均错误概率。e5、I(X;Y)达到最大值(即信道容量C)二、判断

11、题1、x； 2、； 3、x； 4、； 5、三、选择题1、C； 2、A； 3、C； 4、B； 5、C第四章测验题一、填空题无失真编码只对信源的 进行压缩，而不会改变信源的熵，又称冗余度压缩编码。无失真信源编码的作用可归纳为(1) ； (2) 无失真信源编码器的熵为H(U) =2.35bit /符号；则编码后的熵H W) =bit /码字；若平均码长为2.6比特/码字，则H(X)=，信息率R=，I =， 冗余度7 c =。的码称为奇异码对于一个码，若，则称该码为惟一可译码二、判断题对于一个码，若每个码字都与惟一的一个信源符号相对应，则该码为惟一可译码。()定长非奇异码肯定是惟一可译码。()非续长码

12、中任一码字都不是其他码字的前缀。()非续长码必满足Kraft不等式。()一个码是惟一可译码的充要条件是满足Kraft不等式。()三、选择题关于定长编码，以下说法不正确的是无失真定长编码要求可用的码字数不少于扩展信源的符号数无失真r进制定长码码长不得低于信源r进制符号熵信源序列的分组长度N增大可以提高编码效率。.引入失真不可能提高定长码的编码效率关于变长编码，以下说法不正确的是无失真r进制变长码码长不得低于信源r进制符号熵变长编码时，随着信源序列长度N的增大，编码效率提高。变长码要求各个码字的长度互不相同变长码的编码效率高于定长码下述编码中 可能是任何概率分布对应的Huffman0, 10, 1

13、100, 01, 10, 11001, 10001, 011, 100, 101关于无失真信源编码，以下说法不正确的是。有效的信源编码可使输出码元概率均匀化霍夫曼编码过程中，可能造成码字不惟一，但平均码长是相同的，因而编码效率是 相同香农编码不能保证码字具有非续长性费诺编码按照“概率大码长小、概率小码长大”来决定码长下列说法不正确的是算术编码的码长与该序列的累计概率有关Huffman码无法对只含2个符号的信源进行压缩游程编码的效率取决于信源符号的重复率算术编码可以对只含2个符号的信源序列进行压缩字典编码通过把信源符号序列映射为位置序号达到压缩编码的目的第四章测验题参考答案一、填空题冗余度符号变

14、换；冗余度压缩2.35； 0.9038 比特/码元；0.9038 比特/码元；90.38%, 9.62%含相同码字的由该码的码字组成的任意有限长码字序列都能恢复成惟一的信源符号序列二、判断题X； 2. V； 3. V； 4. V； 5. X三、选择题D； 2.C； 3.A； 4.D； 5.A第五章测验题一、填空题信息传递系统的基本功能是在系统输出端准确地再现系统输入端发送的信息。但是会受到客观限制，首先 受 的限制；其次，由于 的干扰，不可避免。衡量信息传输速度大小的指标是信道的信息（传输）率R，其最 大值就是，衡量信息传输可靠性的指标。为了降低平均差错率，可先对消息 再送入信道传送，这种为降

15、低 而进行的编码称为信道编码。信道输出r它与信道输入X既有联系又有区别，联系的程度和区别的大小取决于 或者说取决于。5.信道译码函数F是从 到 的映射:其含义是将 译为。译码函数又称。判断题译码规则取决于信道，一个信道的译码规则是唯一的。（）在信道输出端接收到符号七时，按译码规则F%）=. A将*，jj = ae A将b译为a，则平均译码错误j）的加权平均值。（）3.bj译为.*，若此时信道输入刚好是a *，则称为译码正确。（） 若按译码规则f b）=概率是p（x=% * y=b4.最“好”的译码规则必然使Pe最小。（）最大后验概率译码规则是最佳译码规则。（）选择题译码规则不能由 确定后验概率

16、 B.联合概率 C.转移概率 D.边缘概率假设P勺）=0.4,信道线图如下图所示，相应的最佳译码规则为f JF1 )=匕f JF2(bi)= a2A. i: IF(b )= a B. i: IF (b )= a121222C. F 忠1 了 aiD. F :昨 1)=七1 F ( )= a 1 F ( )- a 、322、421下列说法不正确的是信道输入等概时，极大似然译码规则也是最佳的最大后验概率条件可无条件等价成最大联合概率条件当信源统计特性未知的时候，可以使用极大似然译码规则作为译码规则应用极大似然译码规则总可以确定译码的平均差错率关于重复N次编码，说法不正确的是oN越大，信息传输率越高

17、“重复N次”是定长码采用择多译码策略能减低平均差错率对信源U的2元符号串进行编码，取码长为N = 3，则可供选择的码字有4个八 2信息率R = 3共有4X8 = 32种不同的编码方法。继续增加消息个数，可以降低平均差错率第五章测验题参考答案一、填空题传输速度信道容量信道噪声传输错误信道容量平均差错率编码平均差错率噪声N的影响情况信道的统计特性输出符号集合B输入符号集合A接收符号七e B某个输入符号气e A译码 规则二、判断题1. X； 2. X； 3. X； 4. X； 5. V三、选择题1、D 2、C 3、D 4、A 5、B第六章测验题一、填空题源编码实质上是对信源进行信息处理，无失真信源编

18、码只是信息处理的方法之一，除此之外，还可对信源进行 编码。无失真编码对应于无损确定信道，有失真编码对应于 信道。有失真编码的 受限，所以又称为限失真编码；编码后的 得到压缩，因此属熵压缩编码。满足的信道称为D允许（试验）信道。所有D允许信道的转移概率组成一个集合BD , BD中任都与一个D允许信道（编码器）对应，在BD中寻求一个PvU （即寻求一个）使 最小，这个最小值 称为信息率失真函数，简称为率失真函数，记为R（D） 二、判断题1、失真函数一定要保证非负。（）2、当信源和信道（编码器）均无记忆时，N长符号序列的平均失真度等于单符号平均 失真度的N倍。（）3、R（D）是保真度准则（D DB. D = DD D下列说法不正确的。R(D)是