信息论知识复习总结

1、一. 单选（每题2分，共20分）1.下面属于最佳变长编码的是（B）下面不属于最佳变长编码的是（D） B香农编码和费诺编码 D算术编码和游程编码2.加密编码的目的是（C） 信源编码的目的是 提高通信有效性 。 C提高通信系统的安全性 信道编码的目的是 提高信息传输的可靠性 。3.表中符合等长编码的是（A） 表中符合即时码的是 A、D 。4.下列各量可能为负值的是（B）下列各量不一定为正值的是(A) B互信息量 A互信息量5.一个m位的二进制数，该数的每一位可从等概率出现的二进制码元（0，1）中任取一个，这个m位的二进制数的自信息量为（m bit)6.联合熵H（XY）与熵H（X）及条件熵H（X/Y

2、）之间存在关系错误的是（D） DH（XY）H（X）H（XY）7.已知发送26个英文字母（包括空格），其最大信源熵（发送概率相等）为H0 = log27 = 4.76比特/符号；在字母发送概率不等时，其信源熵为H1 = 4.03比特/符号；考虑字母之间相关性时，其信源熵为H2 = 3.32比特/符号；以此类推，极限熵 H =1.4比特/符号。问若用一般传送方式，冗余度为（0.71） H =1.5 冗余度为(0.68)8.某对称离散信道的信道矩阵为 ，信道容量为（C） C9. 某信道传递矩阵为 ，其信道容量为（D） D10.下列各图所示信道是对称信道的是（C）下列各图所示信道是删除信道的是（A）

3、C . A. 11. 当一个信道输入符号和输出符号的个数相同，且行对称、列对称的信道是 强对称 信道。12. 某信道为多输入、单输出，该信道的信道容量为 Cmax I(X;Y)max H(Y) 。13. 常用的最佳变长编码的是香农编码、费诺编码和哈夫曼编码。14. 唯一可译码存在的充分和必要条件：各码字的长度Ki应符合克劳夫特不等式 。15. 联合熵H（XY）与熵H（X）及条件熵H（X/Y）之间存在关系是 H（XY）H（X）H（YX） 。16.设信源符号序列为X0,1，接收端收到符号序列为Y0,1,2，规定失真函数为 d(0,0)d(1,1)=0 d(0,1)=d(1,0)=1 d(0,2)=

4、d(1,2)=0.5失真矩阵d为 。17.下列各图所示信道是有噪无损信道的是（ B ） 二.简答题（共30分） 1.离散信源的分类。 2.无失真信源编码的分类。2.画出通信系统的模型。（1）. 信源：发送消息的源。主要分为离散信源和模拟信源。（2）. 信宿：信息归宿之意，亦即收信者或用户，是信息传送的终点或目的地。（3）. 信道：传输信息的物理媒介 （4）. 信源编码和译码信源编码是把信源发出的消息变换成由二进制码元(或多进制码元)组成的代码组,这种代码组就是基带信号。同时通过信源编码可以压缩信源的冗余度,以提高通信系统传输消息的效率。 信源编码器分为两类：一类是无失真信源编码,适用于离散信源

5、或数字信号；另一类是限失真信源编码,用于连续信源或模拟信号,如语音、图像等信号的数字处理。信源编码器的主要指标：编码效率，即理论上能达到的码率与实际达到的码率之比。效率越高，编译码器的代价也将越大。 信源译码：是把信道译码器输出的代码组变换成信宿所需要的消息形式，它的作用相当于信源编码器的逆过程。（5）. 信道编码和译码主要作用是提高信息传送的可靠性。信道编码器的作用：在信源编码器输出的代码组上有目的地增加一些监督码元,使之具有检错或纠错的能力。信道编码的主要方法：增大码率或频带,即增大所需的信道容量。这恰与信源编码相反。信道译码器的作用：具有检错或纠错的功能,它能将落在其检错或纠错范围内的错

6、传码元检出或纠正,以提高传输消息的可靠性。（6）. 加密编码隐蔽消息中的信息内容,使它在传输过程中不被窃听.提高通信系统的安全性。 3.已知转移概率为，试画出状态转移图。3. 计算题1. （20分）具有符号集的二元信源，信源发生概率为：。Z信道如图 所示，接收符号集，转移概率为：。发出符号与接收符号的失真：。（1）. 计算平均失真；（2）. 率失真函数R(D)的最大值是什么？当q为什么值时可达到该最大值？此时平均失真是多大？（3）. 率失真函数R(D)的最小值是什么？当q为什么值时可达到该最小值？此时平均失真是多大？（4）. 画出R(D)-D曲线。解：（1）. 已知信源符号概率；转移概率矩阵；

7、失真矩阵；联合概率矩阵；。（2）. maxR(D)=R(Dmin)=H(X)=-plogp-(1-p)log(1-p)；当q=0时，Dmin=0，即得到maxR(D)；=0。（3）. minR(D)=R(Dmax)=0；当q=1时，转移概率矩阵，可使得到minR(D)；=p。（4）.2. （15分）有一个二元二阶马尔可夫信源,其信源符号集为0，1，已知符号条件概率：p(0|00) = 1/2 p(1|00)=1/2p(0|01) = 1/3 p(1|01)=2/3p(0|10) = 1/4 p(1|10)=3/4p(0|11) = 1/5 p(1|11)=4/5求：（1）. 信源全部状态及状态

8、转移概率；（2）. 画出完整的二阶马尔可夫信源状态转移图；（3）. 求平稳分布概率。解：（1）. 符号条件概率矩阵状态转移概率矩阵（2）.（3）. 平稳分布概率3. （15分）一个平均功率受限制的连续信道，其通频带为2MHz，信道上存在白色高斯噪声。（1）. 已知信道上的信号与噪声的平均功率比值为10，求该信道的信道容量；（2）. 信道上的信号与噪声的平均功率比值降至5，要达到相同的信道容量，信道通频带应为多大？（3）. 若信道的通频带减少至1MHz时，要保持相同的信道容量，信道通频带应为多大？解：（1）. 已知SNR=10 （2）. 若SNR=5，C=6.919Mbit/s；W=2.68MH

9、z（3）. 若W=1MHz，C=6.919Mbit/s；SNR=1214. （20分）信源符号X有6种字母，概率为0.22，0.32，0.18，0.08，0.04，0.16。（1）. 求符号熵H（X）；（2）. 用香农（Shannon）编码法编成二进制变长码，求出平均码长和编码效率；（3）. 用费诺（Fano）编码法编成二进制变长码，求出平均码长和编码效率；（4）. 用哈夫曼（Huffma）编码法编成三进制变长码，求出平均码长和编码效率。解：（1）.（2）. 香农编码法编成二进制变长码信源符号符号概率p(ai)累加概率Pi平均码长码字a20.320200a10.220.323010a30.18

10、0.543100a60.160.723101a40.080.8841110a50.040.96511110010，00，100，1110，11110，101（3）. 费诺编码法编成二进制变长码信源符号符号概率p(ai)第1分组第2分组第3分组第4分组平均码长码字a20.3200200a10.221201a30.1810210a60.16103110a40.081041110a50.0414111101，00，10，1110，1111，110（4）.哈夫曼编码法编成二进制变长码（5分）10，00，11， 0110，0111，010信源符号符号概率p(ai)第1分组第2分组第3分组第4分组码长码字

11、a20.320.320.320.4010.6200a10.220.220.28010.320.4210a30.180.18010.220.28211a60.16010.160.183010a4010.080.1240110a50.0440111（4）. 哈夫曼编码法编成三进制变长码m=3，n=6，令k=2m+k(m-1)=7，s=7-n=1所以第一次取m-s=2个符号进行编码信源符号符号概率p(ai)第1分组012第2分组平均码长码字a20.320.320120.220.5611a10.220.2812a30.180.180.160.120.22200a6010.16201a40.083020

12、a50.0430211，2，00，01，020，0216.（15分）（20分）信道的传递概率矩阵（1）. 输入等概率时，求译码规则和平均错误概率。（2）. ，求译码规则和平均错误概率。（3）. ，用最大似然准则，求译码规则和平均错误概率。解：（1）. 等概率分布时，用最大似然准则，等效于最大后验概率准则。对于传递矩阵中的每一列，选一个最大的传递概率，对应的输入符号即为该输出符号的译码函数。（2）. 已知输入概率分布，用最大后验概率准则，求联合概率（3）. 非等概率分布，但是规定要用最大似然准则可见在输入非等概率分布时，最大似然准则并不一定是最佳译码规则。8.（10分）试写出信源编码的分类，并叙

13、述各种分类编码的概念和特性。非分组码分组码奇异码非奇异码非唯一可译码唯一可译码非即时码即时码（非延长码）码（5分）（1分）将信源消息分成若干组，即符号序列xi， xi(xi1xi2xilxiL)， xilA=a1，a2，ai，an每个符号序列xi依照固定码表映射成一个码字yi， yi(yi1yi2yilyiL)， yilB=b1，b2，bi，bm这样的码称为分组码，有时也叫块码。只有分组码才有对应的码表，而非分组码中则不存在码表。（1分）奇异码和非奇异码 若信源符号和码字是一一对应的，则该码为非奇异码。反之为奇异码。（1.5分）唯一可译码 任意有限长的码元序列，只能被唯一地分割成一个个的码字，便称为唯一可译码 （1.5分）即时码：只要收到符号就表示该码字已完整，可以立即译码。即时码又称为非延长码，任意一个码字都不是其它码字的前缀部分，有时叫做异前缀码。9.（15分）一个平均功率受限制的连续信道，其通频带为1MHz，信道上存在白色高斯噪声。（1）. 已知信道上的信号与