信息论习题集

1、信息论习题集第一章、 判断题1、信息论主要研究目的是找到信息传输过程的共同规律，提高信息传输的可靠性、有效性、保密性和认证性，以达到信息传输系统的最优化。（）2、同一信息，可以采用不同的信号形式来载荷；同一信号形式可以表达不同形式的信息。（）3、通信中的可靠性是指使信源发出的消息准确不失真地在信道中传输；（）4、有效性是指用尽量短的时间和尽量少的设备来传送一定量的信息。（）5、保密性是指隐蔽和保护通信系统中传送的消息，使它只能被授权接收者获取，而不能被未授权者接收和理解。（）6、认证性是指接收者能正确判断所接收的消息的正确性，验证消息的完整性，而不是伪造的和被窜改的。（）7、在香农信

2、息的定义中，信息的大小与事件发生的概率成正比，概率越大事件所包含的信息量越大。（×）第二章一、判断题1、通信中获得的信息量等于通信过程中不确定性的消除或者减少量。（）2、离散信道的信道容量与信源的概率分布有关，与信道的统计特性也有关。（×）3、连续信道的信道容量与信道带宽成正比，带宽越宽，信道容量越大。（×）4、信源熵是信号符号集合中，所有符号的自信息的算术平均值。（×）5、信源熵具有极值性，是信源概率分布P的下凸函数，当信源概率分布为等概率分布时取得最大值。（×）6、离散无记忆信源的N次扩展信源，其熵值为扩展前信源熵值的N倍。（）7、互信息的

3、统计平均为平均互信息量，都具有非负性。（×）8、信源剩余度越大，通信效率越高，抗干扰能力越强。（×）9、信道剩余度越大，信道利用率越低，信道的信息传输速率越低。（×）10、信道输入与输出之间的平均互信息是输入概率分布的下凸函数。（×）11、在信息处理过程中，熵是不会增加的。（）12、熵函数是严格上凸的。（）13、信道疑义度永远是非负的。（）14、对于离散平稳信源，其极限熵等于最小平均符号熵。（）2-1 同时掷两个正常的骰子，也就是各面呈现的概率都是l/6，求：    (1) “3和5同时出现”事

4、件的自信息量；    (2)“两个1同时出现”事件的自信息量；(3)两个点数的各种组合（无序对）的熵或平均信息量；(4) 两个点数之和(即  2，3，12构成的子集）的熵；    (5)两个点数中至少有一个是1的自信息。2-2 居住某地区的女孩中有25是大学生，在女大学生中有75身高为1.6m以上，而女孩中身高1.6m以上的占总数一半。假如得知“身高1.6m以上的某女孩是大学生”的消息，问获得多少信息量？、 2-3两个实验和，联合概率为（1）如果有人告诉你和的实验结

5、果，你得到的平均信息量是多少？（2）如果有人告诉你的实验结果，你得到的平均信息量是多少？（3）在已知的实验结果的情况下，告诉你的实验结果，你得到的平均信息量是多少？  2-4某一无记忆信源的符号集为，已知，。（1）求信源符号的平均信息量；（2）由100个符号构成的序列，求某一特定序列（例如有个0和个1）的信息量的表达（3）计算（2）中的序列熵。 2-5 有一个马尔可夫信源，已知转移概率为。试画出状态转移图，并求出信源熵。   2-6有一个一阶马尔可夫链各取值于集，已知起始概率为，其转移概率如下： ji1231231

6、/22/32/31/401/31/41/30 （1）求的联合熵和平均符号熵；（2）求这个链的极限平均符号熵；（3）求和它们对应的冗余度。 2-7 一阶马尔可夫信源的状态如图所示，信源X的符号集为0,1,2。（1）求平稳后的信源的概率分布；（2）求信源熵；（3）求当和时信源的熵，并说明其理由。2-8设有一信源，它在开始时以的概率发出，如果为时，则为的概率为；如果为时，则为的概率为；如果为时，则为概率为，为的概率为0。而且后面发出的概率只与有关。有。试利用马尔可夫信源的图示法画出状态转移图，并且计算信源熵。 第三章一、判断题1、信息论主要研究目的是找到信息传

7、输过程的共同规律，提高信息传输的可靠性、有效性、保密性和认证性，以达到信息传输系统的最优化。（）2、同一信息，可以采用不同的信号形式来载荷；同一信号形式可以表达不同形式的信息。（）3、通信中的可靠性是指使信源发出的消息准确不失真地在信道中传输；（）4、有效性是指用尽量短的时间和尽量少的设备来传送一定量的信息。（）5、保密性是指隐蔽和保护通信系统中传送的消息，使它只能被授权接收者获取，而不能被未授权者接收和理解。（）6、认证性是指接收者能正确判断所接收的消息的正确性，验证消息的完整性，而不是伪造的和被窜改的。（）7、在香农信息的定义中，信息的大小与事件发生的概率成正比，概率越大事件所包含的信息量

8、越大。（×）8、通信中获得的信息量等于通信过程中不确定性的消除或者减少量。（）9、离散信道的信道容量与信源的概率分布有关，与信道的统计特性也有关。（×）10、连续信道的信道容量与信道带宽成正比，带宽越宽，信道容量越大。（×）11、信源熵是信号符号集合中，所有符号的自信息的算术平均值。（×）12、信源熵具有极值性，是信源概率分布P的下凸函数，当信源概率分布为等概率分布时取得最大值。（×）13、离散无记忆信源的N次扩展信源，其熵值为扩展前信源熵值的N倍。（）14、互信息的统计平均为平均互信息量，都具有非负性。（×）15、信源剩余度越大，通

9、信效率越高，抗干扰能力越强。（×）16、信道剩余度越大，信道利用率越低，信道的信息传输速率越低。（×）17、信道输入与输出之间的平均互信息是输入概率分布的下凸函数。（×）18、在信息处理过程中，熵是不会增加的。（）19、熵函数是严格上凸的。（）20、信道疑义度永远是非负的。（）21、对于离散平稳信源，其极限熵等于最小平均符号熵。（）22、对于离散无记忆信道，达到信道容量时其输入概率分布是唯一的、特定的。（）23、噪声功率相同的加性噪声信道中以高斯噪声信道的信道容量最大。（×）24、典型序列中，信源符号出现的频率与它的概率接近。（）25、为有效抵抗加性高斯

10、噪声干扰，信道输入分布应该是高斯分布。（）26、最大似然译码准则是使平均译码错误率最小的准则。（×）27、加性高斯噪声信道的信道容量不大于相同平均功率的其他加性噪声信道的信道容量。（）28、非奇异的定长码是惟一可译码。（）29、AWGN的信道容量的大小与系统的带宽成正比。（×）30、信源编码可以提高信息传输的有效性。（）31、连续信源和离散信源的平均互信息都具有非互性。（）32、当信道输入独立等概率时，信道疑义度达到最大值。（×）33、必然事件和不可能事件的自信息量都是0。（×）34、事件所包含的信息量是与事件发生的概率成反比的。（×）二、选择

11、题1  离散信源熵表示信源输出一个消息所给出的（ B ）。A、实际信息量；B、统计平均信息量；C、最大信息量；D、最小信息量；2  平均互信息I(X,Y)等于（ C  ）。A 、H(Y)H(X/Y)； B、 H(X)H(Y/X)C 、H(Y)H(Y/X)； D、H(XY)H(X)；3  设连续信源输出的信号谱宽度为W，平均功率为N（受限），则连续无噪信道的信道容量为（ A  ）。A、  

12、          Wlog(2eN)； B、2Wlog(2eN)； C、Wlog(2N)； D、2Wlog(2N)；4   对于无记忆离散信源X，其熵值为H(X)，由其生成的扩展信源XN的熵为H(XN)，H(X)与H(XN)之间的关系是（  B  ）。A、H(XN)=H(X)；        B、H(XN)=NH(X

13、)；  C、H(XN)= HN(X)；      D、H(XN)= H(X)/N；5、关于信源编码和信道编码，下面的说法错误的是（ B ）   A、信源编码是为了减少冗余度，信道编码则是有意增加冗余度；B、信源编码提高了可靠性，降低了有效性；C、首先对信源编码，到了信道的输入端再对其进行信道编码；D、信道编码提高了可靠性，降低了有效性。6、以下关于离散平稳信源的说法不正确的是（ C ）A、平稳信源发出的符号序列的概率分布与时间起点无关；B、平均符

14、号熵随信源关联长度L的增加而减小；C、对于平稳信源，一般情况下，齐次包括平稳，平稳不包括齐次；D、平稳信源的概率分布特性具有时间推移不变性。7、将某六进制信源进行二进制编码如下表示，则这些码中是唯一可译码的是（ D ）符号概率c1c2c3c4c5c6u11/2000000101u21/4001011010000001u31/160100111101101010100u41/16011011111101100110101u51/1610001111111101001110110u61/161010111111111101111001111A、c1  c3&

15、#160;   c6         B、 c2  c3    c6         C、 c1  c2    c3       D、c1  c2 &

16、#160;  c3   c68、关于线性分组码，下列说法正确的是（ B ）A、卷积码是线性分组码的一种；               B、最小码距是除全零码外的码的最小重量；C、具有封闭性，码字的组合未必是码字；       D、不具有封闭性，码字的组合未必是码字。9、香农公式是用在哪种信道中（ D

17、 ）   A、二进制离散信道；                         B、离散无记忆信道；C、离散输入，连续输出信道；               &

18、#160; D、波形信道。10、通信系统的性能指标为（  A  ）   A、有效性  可靠性   安全性   经济性         B、有效性 可行性  安全性   保密性C、保密性  可靠性   安全性   

19、;经济性       D、高效性  可行性   安全性  经济性11、信源存在冗余度的主要原因是（ C ）   A、信源符符号间的相关性                      B、信源符

20、号分布的不均匀性C、信源符号间的相关性及分布的不均匀性        D、以上都不对12、对于（n，k）线性分组码，设dmin为最小汉明距离，则以下正确的是（ D ）   A、这组码能纠正u个错误的充分必要条件是等dmin=2u+1；B、具有检测L个错误的能力的充要条件是dmin=L+1;C、具有纠正t个错误，同时可以发现L(L>t)个错误的能力的充分条件是dmin=t+L+1;D、以上三个结论都不正确。三、填空题1、单符号离散信源一般用随机变量描述，而多符号

21、信源一般用随机矢量描述。2、离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的N倍。3、对于一阶马尔可夫信源，其状态空间共有个不同的状态。4、根据输入输出的信号特点，可将信道分成离散信道、连续信道、半离散或半连续信道  。5、对于离散无记忆信道和信源的N次扩展，其信道容量=  NC 6、信道编码论定理是一个理想编码存在性理论，即：信道无失真传递信息的条件是 信息传输速率小于信道容量。7、信源编码的目的是 提高通信的有效性  。8、对于香农编码、费诺编码和霍夫曼编码，编码方法唯一的是 香农

22、编码  。9、在多符号的消息序列中，大量重复出现的，只起暂时作用的符号称为 冗余位  。10、若纠错码的最小距离为d,则可以纠错任意小于等于   个差错。11、线性分组码是同时具有 分组特性和线性特性  的纠错码。12、平均功率为P的高斯分布的连续信源，其信源熵为  13、当连续信源和连续信道都是无记忆时，则  14、信源编码与信道编码之间的最大区别是，信源编码需  减少  信源的剩余度，而信道编码需

23、60; 增加 信源的剩余度。15、离散信源的熵值H(X)越小，说明该信源消息之间的平均不确定性  减弱  。16、信源符号间的相关程度越大，则信源的符号熵越小，信源剩余度越大。17、唯一可译码的码长必须满足Kraft不等式。18、R（D）是满足D准则下平均传送每个信源符号所需要的最少比特数，它是定义域上严格的递减函数。19、AWGN信道下实现可靠通信的信噪比下界-1.59dB，此时对应的频带利用率为0。20、对于含有n个信源符号的离散信源，其最大熵值为。对于连续信源，当幅度受限时，均匀分布具有最大熵，当平均功率受限时，高斯分布具有最大

24、熵。21、同时掷出两个正常的骰子，骰子分六面，每一面出现的概率是1/6，则“两个1同时出现”这一事件的自信息量为5.17比特。22、已知信源的各个符号分别为字母A、B、C、D，现用四进制码元表示，每个码元的宽度为10ms，如果每个符号出现的概率分别为1/5，1/4，1/4，3/10，则信源熵H(X)为1.985比特/符号，在无扰离散信道上的平均信息传输速率为198.5比特/秒。23、已知8个码组，（000000）、（001110）、（010101）、（011011）、（100011）、（101101）、（110110）、（111000）。则该码组的最小码距为3，若只用于检错可检测2位错码，若只

25、用于纠错可纠正1位错码。24、能获得最佳码的编码方式主要有香农编码、费诺编码、和霍夫曼编码。25、八进制脉冲是二进制脉冲所含信息量的3倍。26、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。27、对于n元m阶马尔可夫信源，其状态空间共有nm个不同的状态。28、信道编码的最终目的是为了提高信号传输的可靠性。四、简答题）1、什么叫信息？答：信息是事物运动状态或存在方式的不确定性的描述。2、信源冗余度：信源冗余度也就是信源剩余度，它是指信源所含信息量与符号所能携带的最大信息量之间差别的度量。3、线性分组码：分组码的信息码元与监督码元之间的关系为线性关系时，这种分

26、组码就称为线性分组码。而分组码是一组固定长度的码组，可表示为（n , k），通常它用于前向纠错。在分组码中，监督位被加到信息位之后，形成新的码。在编码时，k个信息位被编为n位码组长度，而n-k个监督位的作用就是实现检错与纠错。4、熵功率：若平均功率为P的非高斯分布的信源具有熵为h，称熵也为h的高斯信源的平均功率为熵功率。5、什么是信源编码，试述香农第一编码定理的物理意义？答：所谓信源编码就是对信源的原始符号按一定的规则进行变换，以新的编码符号代替原始信源符号，从而降低原始信源的冗余度。香农第一编码定理的物理意义：无失真信源编码的实质就是对离散信源进行适当的变换，使变换后新的码符号信源（信道的输

27、入信源）即可能等概分布，以使新信源的每个码符号平均所含的信息量达到最大，从而使信道的信息传输率R达到信道容量C，实现信源与信道理想的统计匹配。6、若有一信源          每秒钟发出2.66个信源符号。将此信源的输出符号送入某一个二元信道中进行传输（假设信道是无噪无损失），而信道每秒钟只传递2个二元符号。试问信源不经过编码能否直接与信道连接？通过适当编码能否与信道连接？采用何种编码，为什么？答：因信源符号速率大于信道传输速率（2.66>2），所以不能直接连接因为  

28、所以，可以通过当编码在次信道中无失真的传输。可对信源的N词扩展信源进行无失真信源编码，只要N足够大取适当的编码就能与信道匹配。7、香农第二定理（信道编码定理）指出了“高效率、高可靠性”的信道编码存在性。则：（1）高效率、高可靠性的含义是什么？（2）存在这种信道编码的条件是什么？（3）重复码是否是否满足“高效率、高可靠性”的条件，为什么？（4）当前是否存在接近香农信道容量界的信道编码？答：（1）高效率是指信息传输速率接近信道容量，高可靠性是指译码错误概率任意小。（2）存在这种信道编码的必要条件是信息传输速率小于信道容量。（3）重复码不满足“高效率、高可靠性”的条件，因为当。（4）当前存在接近香农

29、信道容量界的信道编码。五、计算题1、（10分）由符号集合0，1组成的二阶马氏链，转移概率为：p(0/00)=0.8，p(0/11)=0.7，p(1/00)=0.2，p(1/11)=0.3，p(0/01)=0.5，p(0/10)=0.4，p(1/01)=0.5，p(1/10)=0.6。画出状态图，并计算各状态的稳态概率。解：由已知条件可知题目的状态转移高率矩阵如下：（3分）状态转移图为（3分）由状态转移概率矩阵知道，设各状态为S1 、S2 、S3 、S4 ，可知各状态之间满足关系：(4分)六、编码题1、已知一信源包含8个符号，其概率分布分别为：P=0.1，

30、0.18，0.4，0.05，0.06，0.1，0.07，0.04。（1）该信源每秒发送一个信源符号，求该信源的熵及其信息传输速率；（2）对八个符号进行霍夫曼编码，写出相应的码字，并求出编码效率。解：（1）信息传输速率（4分）（2）（4分）S10.40.40.40.40.40.40.6S20.180.180.180.190.230.370.4S30.10.10.130.180.190.23 S40.10.10.10.130.18  S50.070.090.10.1   S60.060.070.09   &#

31、160;S70.050.06     S80.04      编码码字分别为：1，001，011，0000，0100，0101，00010，00011平均码字为：L=2.61 编码效率为：  （2分）3.1 设二元对称信道的传递矩阵为(1) 若P(0) = 3/4, P(1) = 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)；(2) 求该信道的信道容量及其达到信道容量时的输入概率分布；  

32、;3-2某信源发送端有2个符号，i1，2；，每秒发出一个符号。接受端有3种符号，j1，2，3，转移概率矩阵为。（1）       计算接受端的平均不确定度；（2）       计算由于噪声产生的不确定度；（3）       计算信道容量。解： 3-3 设二进制对称信道的概率转移矩阵为,    (1)若,求H(X), H(X|Y)

33、, H(Y|X)和I(X;Y).    (2)求该信道的信道容量及其达到信道容量时的输入概率分布.3-4   设某对称离散信道的信道矩阵为求其信道容量。 3-5设有扰信道的传输情况分别如图3.17所示。试求这种信道的信道容量。 3-6  求下列两个信道的信道容量，并加以比较。（1）                 &#

34、160;   （2）其中。   一、名词解释（25道）1、“本体论”的信息    2、“认识论”信息      3、离散信源4、自信息量  5、离散平稳无记忆信源    6、马尔可夫信源  7、信源冗余度   8、连续信源   9、信道容量 10、强对称信道  

35、0;  11、对称信道   12、多符号离散信道13、连续信道       14、平均失真度    15、实验信道16、率失真函数     17、信息价值率    18、游程序列19、游程变换       20、L-D编码     

36、; 21、冗余变换22、BSC信道       23、码的最小距离  24、线性分组码25、循环码    二、填空（100道）1、  在认识论层次上研究信息的时候，必须同时考虑到  形式、含义和效用 三个方面的因素。2、  1948年，美国数学家 香农  发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。3、  按照信息的性质，可

37、以把信息分成 语法信息、语义信息和语用信息 。4、  按照信息的地位，可以把信息分成 客观信息和主观信息 。5、  人们研究信息论的目的是为了 高效、可靠、安全 地交换和利用各种各样的信息。6、  信息的 可度量性 是建立信息论的基础。7、   统计度量 是信息度量最常用的方法。8、   熵 是香农信息论最基本最重要的概念。9、  事物的不确定度是用时间统计

38、发生 概率的对数 来描述的。10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用 随机矢量 描述。11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 其发生概率对数的负值 。12、自信息量的单位一般有 比特、奈特和哈特 。13、必然事件的自信息是 0  。14、不可能事件的自信息量是   。  15、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。16、数据处理定理：当消息经过

39、多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量  趋于变小  。17、离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的 N倍  。 18、离散平稳有记忆信源的极限熵，。19、对于n元m阶马尔可夫信源，其状态空间共有 nm 个不同的状态。20、一维连续随即变量X在a，b区间内均匀分布时，其信源熵为 log2（b-a）  。21、平均功率为P的高斯分布的连续信源，其信源熵，Hc（X）=。22、对于限峰值功率的N维连续信源，当概率密度&#

40、160;均匀分布 时连续信源熵具有最大值。23、对于限平均功率的一维连续信源，当概率密度 高斯分布 时，信源熵有最大值。24、对于均值为0，平均功率受限的连续信源，信源的冗余度决定于平均功率的限定值P和信源的熵功率 之比 。25、若一离散无记忆信源的信源熵H（X）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为 3   。26、m元长度为ki，i=1，2，···n的异前置码存在的充要条件是：。27、若把掷骰子的结果作为一离散信源，则其信源熵为 log2

41、6 。28、同时掷两个正常的骰子，各面呈现的概率都为1/6，则“3和5同时出现”这件事的自信息量是 log218（1+2 log23）。29、若一维随即变量X的取值区间是0，其概率密度函数为，其中：，m是X的数学期望，则X的信源熵。30、一副充分洗乱的扑克牌（52张），从中任意抽取1张，然后放回，若把这一过程看作离散无记忆信源，则其信源熵为   。 31、根据输入输出信号的特点，可将信道分成离散信道、连续信道、半离散或半连续 信道。32、信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为 无记忆 

42、信道。33、具有一一对应关系的无噪信道的信道容量C=  log2n  。34、强对称信道的信道容量C= log2n-Hni 。35、对称信道的信道容量C= log2m-Hmi 。36、对于离散无记忆信道和信源的N次扩展，其信道容量CN=  NC  。37、对于N个对立并联信道，其信道容量 CN =    。38*、多用户信道的信道容量用 多维空间的一个区域的界限 来表示。39*、多用户信道可以分成

43、几种最基本的类型： 多址接入信道、广播信道 和相关信源信道。40*、广播信道是只有 一个输入端和多个输出端 的信道。41、当信道的噪声对输入的干扰作用表现为噪声和输入的线性叠加时，此信道称为 加性连续信道 。42、高斯加性信道的信道容量C=。43、信道编码定理是一个理想编码的存在性定理，即：信道无失真传递信息的条件是 信息率小于信道容量 。44、信道矩阵代表的信道的信道容量C= 1  。45、信道矩阵代表的信道的信道容量C= 1  。46、高斯加性噪声信道

44、中，信道带宽3kHz，信噪比为7，则该信道的最大信息传输速率Ct=  9 kHz  。47、对于具有归并性能的无燥信道，达到信道容量的条件是  p（yj）=1/m）  。48、信道矩阵代表的信道，若每分钟可以传递6*105个符号，则该信道的最大信息传输速率Ct= 10kHz。49、信息率失真理论是量化、数模转换、频带压缩和 数据压缩 的理论基础。50、求解率失真函数的问题，即：在给定失真度的情况下，求信息率的 极小值 。51、信源的消息通过信道传输后的误差或失真越大

45、，信宿收到消息后对信源存在的不确定性就 越大 ，获得的信息量就越小。52、信源的消息通过信道传输后的误差或失真越大道传输消息所需的信息率 也越小 。53、单符号的失真度或失真函数d（xi，yj）表示信源发出一个符号xi，信宿再现yj所引起的 误差或失真 。54、汉明失真函数 d（xi，yj）=    。55、平方误差失真函数d（xi，yj）=（yj- xi）2。56、平均失真度定义为失真函数的数学期望，即d（xi，yj）在X和Y的 联合概率空间P（XY）中 的统计平

46、均值。57、如果信源和失真度一定，则平均失真度是 信道统计特性 的函数。58、如果规定平均失真度不能超过某一限定的值D，即：。我们把称为 保真度准则 。59、离散无记忆N次扩展信源通过离散无记忆N次扩展信道的平均失真度是单符号信源通过单符号信道的平均失真度的 N  倍。60、试验信道的集合用PD来表示，则PD=   。61、信息率失真函数，简称为率失真函数，即：试验信道中的平均互信息量的 最小值 。62、平均失真度的下限取0的条件是失真矩阵的 每一行至少有一个零元素 。63、平均失真度的上限Dmax取Dj：j=1，2，···，m中的 最小值 。64、率失真函数对允许的平均失真度是 单调递减和连续的 。65、对于离散无记忆信源的率失真函数的最大值是  log2n  。66、当失真度大于平均失真度的上限时Dmax时，率失真函数R（D）=  0 。67、连续信源X的率失真函数R（D）=   。68、当时，高斯信源在均方差失真度下的信息率失真