信息论与编码期末考试题

1、、判断题1. 当随机变量X和丫相互独立时，条件熵 H(X|Y)等于信源熵H(X).()2. 由于构成同一空间的基底不是唯一的，所以不同的基底或生成矩阵有可能生成同一码集 ()3. 般情况下，用变长编码得到的平均码长比定长编码大得多()4. 只要信息传输率大于信道容量，总存在一种信道编译码，可以以所要求的任意小的误差概率实现可靠的通信()5. 各码字的长度符合克拉夫特不等式，是唯一可译码存在的充分和必要条件()6. 连续信源和离散信源的熵都具有非负性.()7. 信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对信源存在的不确定性就越小，获得的信息量就越小8. 汉明码是一种线性分组码 .(

2、)9. 率失真函数的最小值是 0 .(10. 必然事件和不可能事件的自信息量都是0 .(二、填空题1、 码的检、纠错能力取决于 .2、 信源编码的目的是 ;信道编码的目的是 .3、 把信息组原封不动地搬到码字前k位的(n,k)码就叫做.4、 香农信息论中的三大极限定理是 、.5、 设信道的输入与输出随机序列分别为X和丫，则l(XN,YN) =NI(X,Y)成立的条件.6、 对于香农-费诺编码、原始香农-费诺编码和哈夫曼编码，编码方法惟一的是 .7、 某二元信源| X1其失真矩阵D|° a 则该信源的Dmax=.P(X) 一 (1/ 2 1/ 2Ja 0一三、计算题.1、某信源发送端有

3、2种符号Xi (i =1,2) , p(xj二a ；接收端有3种符号yi (j =1,2,3)，转移概率矩阵为1/2 1/2 0P.1(1/2 1/4 1/4(1) 计算接收端的平均不确定度H (Y)；(2) 计算由于噪声产生的不确定度H(Y|X)；(3) 计算信道容量以及最佳入口分布.一、填空题1、 信源编码的主要目的是 ，信道编码的主要目的是 。2、 信源的剩余度主要来自两个方面，一是 ，二是3、 三进制信源的最小熵为 ，最大熵为 。4、 无失真信源编码的平均码长最小理论极限制为 。5、 当时，信源与信道达到匹配。6、 根据信道特性是否随时间变化，信道可以分为 和7、根据是否允许失真，信源

4、编码可分为8、若连续信源输出信号的平均功率为值。9、在下面空格中选择填入数学符号“(1 )当X和Y相互独立时，H (XY)和。c2，则输出信号幅度的概率密度是” 或“”H(X)+H(X/Y)H(Y)+H(X)。时，信源具有最大熵，其值为信息论基础参考答案一、填空题1、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。2、信源的剩余度主要来自两个方面，一是信源符号间的相关性，二是信源符号的统计不均匀性。3、三进制信源的最小熵为 0，最大熵为Iog23bit/符号。4、 无失真信源编码的平均码长最小理论极限制为信源熵(或H(S)/logr= H r(S)5、当R=C或(信道剩余度为

5、0)时，信源与信道达到匹配。6、根据信道特性是否随时间变化，信道可以分为恒参信道和随参信 7、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。 具有最大熵，其值为值 Ilog:2。9、在下面空格中选择填入数学符号“=,_,乞，”或“ ”(1 )当 X 和 Y相互独立时， H( XY =H(X)+H(X/Y)=H(Y)+H(X)。H (X1XH (X1X2X3 (2) H2 X一二 H3 X§3(三)选择题1、有一离散无记忆信源X，其概率空间为P 015X20.25X3X40.1250.125，则其无记忆二次扩展信源的熵H(X2)=()A 1.75比特/符号；B 、3.

6、5比特/符号;C 9比特/符号； D 、18比特/符号。P(yx)P/x)0000 12、信道转移矩阵为00P(y3/x>)P(%/X2)00i0000PD其中P(yj/x)两两不相等，则该信道为A 对应的无噪信道B具有并归性能的无噪信道C对称信道D具有扩展性能的无噪信道3、设信道容量为C,下列说法正确的是：() A、互信息量一定不大于CB交互熵一定不小于CC有效信息量一定不大于CD条件熵一定不大于C4、在串联系统中，有效信息量的值()A、趋于变大B趋于变小C不变D不确定5、若BSC信道的差错率为P,则其信道容量为：()H PlOg 2 (1 一 P )PD -Plog(P)、填空题1、

7、 (7,4)线性分组码中，接受端收到分组 R的位数为，伴随式S可能的值有种,差错图案e的长度为，系统生成矩阵Gs为行的矩阵，系统校验矩阵Hs为行的矩阵，Gs和Hs满足的关系式是 。2、 一张1024X 512像素的16位彩色BMP图像能包含的最大信息量为 。3、 香农编码中，概率为P(x)的信源符号Xi对应的码字Ci的长度Ki应满足不等 式。0.250.50.253、设有一个信道，其信道矩阵为0.25 0.25 0.5 ，则它是信道(填对称，准对称)，其信；0.50.25 0.25 J道容量是比特/信道符号。PlX1X20.5 0.5通过一个干扰信道,接受符号集为1 3y，信道转移矩阵为I44

8、131匸4J试求(1) H(X),H(Y),H(XY);(2) H(Y|X),H(X|Y); I(Y；X)。(4)该信道的容量C(5)当平均互信息量达到信道容量时，接收端 丫的熵H (Y) 计算结果保留小数点后2位，单位为比特/符号。(四)四、简答题简单介绍哈夫曼编码的步骤答：最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。最大熵值为H辱=log2 w（五）一、填空题（1） 1948年，美国数学家 发表了题为"通信的数学理论”的长篇论文，从而创立了信息论。（2） 必然事件的自信息是 。（3） 离散平稳无记忆信源 X的N次扩展信源的熵等于离散信源 X的熵的 。（4） 对于离散无记

9、忆信源，当信源熵有最大值时，满足条件为_ _。（5） 对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是 。（6） 已知某线性分组码的最小汉明距离为3,那么这组码最多能检测出个码元错误，最多能纠正个码元错误。（7）设有一离散无记忆平稳信道，其信道容量为 C，只要待传送的信息传输率RC（大于、小于或者等于），则存在一种编码，当输入序列长度n足够大，使译码错误概率任意小。（8）平均错误概率不仅与信道本身的统计特性有关，还与和 有关二、判断题（1） 信息就是一种消息。（）（2） 信息论研究的主要问题是在通信系统设计中如何实现信息传输、存储和处理的有效性和可靠性。（）（3） 概率大的事件自信息量大。（）（4） 互信息量可正、可负亦可为零。（）（5）（6）信源剩余度用来衡量信源的相关性程度，信源剩余度大说明信源符号间的依赖关系较小。（ ）（7）（8） 对于固定的信源分布，平均互信息量是信道传递概率的下凸函数。（）（9）（10） 非奇异码一定是唯一可译码，唯一可译码不一定是非奇异码。（）（11）信源变长编码的核心问题是寻找紧致码（或最佳码），霍夫曼编码方法构造的是最佳码。（ ）（9）信息率失真函数 R（D）是关于平均失真度 D的上凸函数.（）（六）、概念简答题解释信息传输率、信道容量、最佳输入分布的概念，说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系?答：信息传输率R指信