2023年西安邮电大学信息论与编码复习题

一、选择题(共15题）1、有一离散无记忆信源X，其概率空间为,则其无记忆二次扩展信源的熵H(Ｘ2)=(Ｂ）A、1．７5比特/符号；Ｂ、3.5比特／符号;C、9比特/符号；D、１8比特／符号。2、信道转移矩阵为，其中两两不相等，则该信道为DＡ、一一相应的无噪信道Ｂ、具有并归性能的无噪信道Ｃ、对称信道D、具有扩展性能的无噪信道3、设信道容量为C，下列说法对的的是：(A)A、互信息量一定不大于ＣＢ、交互熵一定不小于ＣC、有效信息量一定不大于CD、条件熵一定不大于C4、在串联系统中,有效信息量的值（B）Ａ、趋于变大B、趋于变小C、不变Ｄ、不拟定５、若BSC信道的差错率为P，则其信道容量为:（C)Ａ、B、Ｃ、Ｄ、6、设信道输入为xm，输出为y，若译码准则是当P(y｜xm’)≥Ｐ(y|ｘm),对所有ｍ≠m’时，将y判为m’，则称该准则为(D）Ａ最大后验概率译码准则B最小错误概率准则Ｃ最大相关译码准则D最大似然译码准则7、线性分组码不具有的性质是（C)A任意多个码字的线性组合仍是码字B最小汉明距离等于最小非０重量Ｃ最小汉明距离为3Ｄ任一码字和其校验矩阵的乘积cmHT=08.条件熵H（Ｘ∣Y）CH（X)。（A）小于（B)大于(Ｃ)小于等于（D）大于等于９．联合熵C。(A）小于（Ｂ）大于(C)小于等于（Ｄ)大于等于10.相对熵总是D。(A）为正（Ｂ）为负(C）非正（D)非负11.B是最佳码。(A）Fａno编码(Ｂ）Huffman编码（C)Shａnnon编码(D)算术编码12.字母表为∑＝｛0，1｝,情况下的Shannon编码码长为B。(Ａ)（Ｂ）(C)(D）13.字母表为∑={0,1}，情况下的Shannon－Fano-Elｉas编码码长为A。(Ａ)(B)（C)(D)１4.译码错误概率最小的译码为B。(Ａ)最大似然译码（B)最大后验概率译码(C)最小距离译码(Ｄ)择多译码15.下列D不属于距离空间的公理。(Ａ)非负性(B)对称性(C)三角不等式(D)反对称性二、填空题（共29题）1、（7,4)线性分组码中,接受端收到分组R的位数为_7___,随着式S也许的值有＿＿__8种，差错图案e的长度为７,系统生成矩阵Gs为＿_４*７＿_行的矩阵,系统校验矩阵Hs为____3＊７行的矩阵,Ｇs和Hs满足的关系式是。一张１02４×5１2像素的16位彩色BMＰ图像能包含的最大信息量为。3、香农编码中,概率为的信源符号xi相应的码字Ｃｉ的长度Ki应满足不等式。4、设有一个信道,其信道矩阵为,则它是信道（填对称，准对称)，其信道容量是比特／信道符号。1948年,美国数学家香农发表了题为“通信的数学理论”的长篇论文,从而创建了信息论。必然事件的自信息是0。离散平稳无记忆信源Ｘ的N次扩展信源的熵等于离散信源X的熵的Ｎ倍。对于离散无记忆信源,当信源熵有最大值时，满足条件为__信源符号等概分布_。若一离散无记忆信源的信源熵H（Ｘ)等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为3。对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是香农编码。已知某线性分组码的最小汉明距离为3，那么这组码最多能检测出＿2＿___＿_＿个码元错误，最多能纠正___1__个码元错误。设有一离散无记忆平稳信道，其信道容量为C，只要待传送的信息传输率R_＿小于___Ｃ(大于、小于或者等于）,则存在一种编码,当输入序列长度n足够大，使译码错误概率任意小。平均错误概率不仅与信道自身的记录特性有关,还与___译码规则_____＿______和___编码方法___有关14、必然事件的自信息量是__＿_＿__＿,不也许事件的自信息量是_＿_____＿_。１5、一信源有五种符号{ａ，b，c，ｄ,ｅ}，先验概率分别为Pa=０.５,Pb＝0.２5，Ｐc=0.１2５，Pd=Pe=0.0６２５。符号“a”的自信息量为__＿____＿bit,此信源的熵为_______＿ｂit／符号。16、如某线性分组码的最小汉明距ｄmin=6，最多能纠正___＿＿＿个随机错。１7、平均互信息量I(X;Y）与信源熵和条件熵之间的关系是＿_＿_＿___________。1８、克劳夫特不等式是唯一可译码__＿_____＿的充要条件。｛０0,01,10，１1}是否是唯一可译码?_＿_＿_＿_＿_。1９、在Shaｎnon信息论中,最重要的概念是20、通信系统一般由５个部分组成。2１、字母表为∑＝{0,1｝,且取值空间χ=｛ａ,ｂ,c，ｄ,e｝下的概率分布为Ｐ(a)=0.2,P（b)=０．５，P（c)=0．1,P(ｄ)=０.1,Ｐ(e)=0．1则Ｃ(χ)的一种可行的Huffmａn编码是。唯一可译码的码长必须满足。23、二元无噪信道的信道转移矩阵为。ﻫ24、二元对称信道的信道转移矩阵为。25、二元删除信道的信道转移矩阵为。27、信道转移矩阵为p（y｜ｘ）=时,该信道的容量为。２8、信道转移矩阵为0.60.20.20.20.20.60.60.20.20.20.20.6P(ｙ|ｘ）=时,该信道的容量为。29、（2nR，n）码的码率为。三、判断题（共15题)1信息就是一种消息。()2信息论研究的重要问题是在通信系统设计中如何实现信息传输、存储和解决的有效性和可靠性。（)3概率大的事件自信息量大。()４互信息量可正、可负亦可为零。（)5信源剩余度用来衡量信源的相关性限度,信源剩余度大说明信源符号间的依赖关系较小。(）６对于固定的信源分布,平均互信息量是信道传递概率的下凸函数。()７非奇异码一定是唯一可译码，唯一可译码不一定是非奇异码。(）8信源变长编码的核心问题是寻找紧致码(或最佳码），霍夫曼编码方法构造的是最佳码。（)９信息率失真函数R(D)是关于平均失真度D的上凸函数.()10校验矩阵的各行是线性无关的。（)11冗余度是表征信源信息率多余限度的物理量,它描述的是信源的剩余。（)12当信道固定期,平均互信息是信源分布的∪型凸函数。()1３互信息Ｉ(X;Ｙ)与信息熵H(Ｙ)的关系为:I(X;Y）≤Ｈ(Y)。（）1４信道容量随信源概率分布的变化而变化。（)1５一个唯一可译码成为即时码的充要条件是其中任何一个码字都不是其它码字的前缀。（）三、计算题(共6题)【2．5】设离散无记忆信源=其发生的消息为()，求：此消息的自信息是多少？在此消息中平均每个符号携带的信息量是多少?【３．1】设信源通过一干扰信道,接受符号为Ｙ=,信道传递概率如图3.2所示，求(1)信源X中事件和分别具有的自信息。(2)收到消息(J=１，2）后，获得的关于(i=1,2)信息量。(３）信源X和信源Y的信息墒。（４)信道疑义度H(X︱Y）和噪声熵H（Y︱X)。(5)接受到信息Y后获得的平均互信息。5设二元对称信道的传递矩阵为(1）若P（０）=3/4,P(1)=1/4,求H(X),H(X︱Y)，H(Ｙ︱X）和Ｉ(X;Y);(2)求该信道的信道容量及其达成信道容量时的输入概率分布。【5.22】有两个信源X和Y如下：分别用霍夫曼码编成二元变长唯一可译码,并计算编码效率。分别用香农编码法编成二元变长唯一可译码,并计算编码效率(即选取是大于或等于的整数)。分别用费诺编码方法编成二元变长唯一可译码，并计算编码效率。从Ｘ,Y两种不同信源来比较这三种编码方法的优缺陷。【５.12】求概率分布为信