(完整word版)信息论与编码期末考试题----学生复习用

1、8、若连续信源输出信号的平均功率为匚2，则输出信号幅度的概率密度是高斯分布或正态分布或X2气乂尸靑戶时，信源信息论基础参考答案一、填空题1、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。2、信源的剩余度主要来自两个方面，一是信源符号间的相关性，二是信源符3、三进制信源的最小熵为 0，最大熵为log23bit/符号。4、 无失真信源编码的平均码长最小理论极限制为信源熵(或H(S)/logr= H r(S)。5、 当R=C或(信道剩余度为 0)时，信源与信道达到匹配。 根据信道特性是否随时间变化，信道可以分为恒参信道和随参信 根据是否允许失真，信源编码可分为无失真信源编码和限失真

2、信源编码。具有最大熵，其值为值 -log :-2。2=,_连，”或“”=H(X)+H(X/Y)=H(Y)+H(X)。9、在下面空格中选择填入数学符号“(1 )当X和Y相互独立时，H (XY)(2) H2 XX1X2 二出 X 二 H 沁风23(3) 假设信道输入用 X表示，信道输出用 Y表示。在无噪有损信道中，H(X/Y)>0, H(Y/X)=0,l(X;Y)<H(X)三、已知信源S4S5S60.2 0.1 0.1S _3S2S3P|0.2 0.2 0.2(1 )用霍夫曼编码法编成二进制变长码;(6分)(2) 计算平均码长L;( 4分)(3) 计算编码信息率 R ；(2分)(4)

3、计算编码后信息传输率 R； (2 分)(5) 计算编码效率。(2分)(1)0.20010.2S0.200S40.211S50.101S60.11编码结果为：S=00S2=01S3=100S4= 101S5=110=1111.0= 0.4 2 0.6 3 =2.6(3)R'：二Llog r=2.6 bit 符(4)R 二=雰=0.973bit 码元 其中，H S =H 0.2,0.2,0.2,0.2,0.1,0.1=2.53bit 符号(5)H S _H SL logrL皿3四、某信源输出 A、B、C D、E五种符号，每一个符号独立出现，出现概率分别为1/8、1/8、1/8、1/2、1/

4、8。如果符号的码元宽度为0.5 2。计算：n0 =10_WHz。试计算(1) 信息传输速率Rt。(2) 将这些数据通过一个带宽为B=2000kHz的加性白高斯噪声信道传输，噪声的单边功率谱密度为正确传输这些数据最少需要的发送功率P。解: Rt =h(X )H(% )11 11H Xlog 4 log -L J 88221 1log8log 22 23 1log 2log 222=2 log 2= 2bitRt2bit 4 10 6bpst 0.54 106 =2 106 log 166y V 10%2 汉 106 .丿P 2(2) 1222P =6W五、一个一阶马尔可夫信源，转移概率为 2 1

5、 , ,P(S|S A-,P(S2|S A-,P(S|S )=1,P(S2|S )=0。 33(1) 画出状态转移图。(2) 计算稳态概率。(3) 计算马尔可夫信源的极限熵。计算稳态下比，出及其对应的剩余度。解：13 S212由公式P Si八P Si |Sj P Sj u2 2P(S )=£ P(S IS )P(S )=石P(S )+P(S2)i X321P(SZ PG IS )P(S =：P(S )i43P(S )+P(S2 ) = 1 3得仁4该马尔可夫信源的极限熵为:2 2H：-p s p Sj|Si logP Sj |Si1 j m3 2,231,1loglog 4 3343

6、3110.5781.59924-0.681 bit,/符号7472 nat .符号= 0.205hart.符号(4) 在稳态下：=0.811it 符号= -px logP x = - 4 log4 1 log1H2二 H二0.205hart.符号=0.472nat.符号=0.681bit'符号对应的剩余度为Hi=1 H0- -"log 0.811卜帆"1890.681-=0.319六、设有扰信道的传输情况分别如图所示。试求这种信道的信道容量。1 2解：信道传输矩阵如下1 21 22 2110022001122100111Py|X可以看出这是一个对称信道，L=4,那么

7、信道容量为(1 1 )C=log4-H ,0,0L= log L ' p yj |Xi log p y|x；j 111= log 4 2 log 220或1的概率相等。定义另一个二元随机变量Z=XY（ 一般乘积）。试计算= 1bit七、设X、Y是两个相互独立的二元随机变量，其取(1)H XY ,H XZ ;H X|Y ,H Z|X ; (1 1 )H X =HI X;Y ,I X;Z ;Z01P(Z)3/41/4解:hbit= 0.8113bit H XY 二 H X H Y =1 1=2bit；对H XZ =H X H Z|X =1H 1,2 H X|Y =H X i=1bit,11

8、 i 1 1 'H (Z |X )= H (1,0 )+H . , =0.5bit2 2 12 2 丿 I X,Y 二H Y -H Y|X =H Y -H Y =0I X,Z 二H Z -H Z|X =0.81190.5 = 0.311bit八、设离散无记忆信源的概率空间为P 一0.8 0.2一，通过干扰信道，信道输出端的接收符号集为Y -y21,信道传输概率如下图所示。x. yiX2y2(1) 计算信源X中事件Xi包含的自信息量;(2) 计算信源X的信息熵；(3) 计算信道疑义度 H X|Y ；计算噪声熵H Y|X ；(5) 计算收到消息丫后获得的平均互信息量。解：(1) I % -

9、 -Iog0.8 =0.322bit =0.0969hart =0.223nat(2) H(X )出(0.8,0.2=0.722it符号=0.5iaf符号=0.217art符号(3) 转移概率:联合分布:y1y2X15/61/6X23/41/4y1y2X12/312/154/5X13/201/201/549/6011/601/5H XY =H诅Z色丄3,1500= 1.404bit 符号-0.973nat,符号=0.423hart符号H Y 二H 49/60,11/600.687t符号0.47i6a1符号0.207art符号HX|Y =H XY-HY =0.7t7t符号0.497a符号0.21

10、hbr#号HY|X 二HXY-HX =0.682t符号0.4731符号0.20fer符号I (XYj=H(XyH(X|Y>Q.OO5b0符号0.0034符号0.00W符号( )1、 人们研究信息论的目的是为了高效、可靠、安全 地交换和利用各种各样的信息2、信息的可度量性是建立信息论的基础。3、统计度量是信息度量最常用的方法。4、熵是香农信息论最基本最重要的概念。12、 自信息量的单位一般有比特、奈特和哈特 。13、必然事件的自信息是 0。14、 不可能事件的自信息量是亠。15、 两个相互独立的随机变量的联合自信息量等于两个自信息量之和 。16、 数据处理定理：当消息经过多级处理后，随着处

11、理器数目的增多，输入消息与输岀消息之间的平均互信息量趋于变小 。17、 离散平稳无记忆信源 X的N次扩展信源的熵等于离散信源 X的熵的N倍。H lim H (Xn /X1X2Xn)18、 离散平稳有记忆信源的极限熵，H N_；r： N 1 2 N"。19、 对于n元m阶马尔可夫信源，其状态空间共有nm个不同的状态。25、 若一离散无记忆信源的信源熵H (X)等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为3 。nZ m 丄 <126、 m元长度为ki，i=1，2，n的异前置码存在的充要条件是：V。27、 若把掷骰子的结果作为一离散信源，则其信源熵为log26。28

12、、 同时掷两个正常的骰子，各面呈现的概率都为1/6，则“ 3和5同时出现”这件事的自信息量是Iog218 (1+2 log?3)。30、一副充分洗乱的扑克牌(52张)，从中任意抽取1张，然后放回，若把这一过程看作离散无记忆信源，则其信源熵为l0g2 5231、根据输入输岀信号的特点，可将信道分成离散信道、连续信道、半离散信道。32、 信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为无记忆信道。33、 具有一一对应关系的无噪信道的信道容量C= loggn 。34、强对称信道的信道容量 C= log2ndHni。35、对称信道的信道容量 C= log2mdHmi。36、 对于离散无记忆信

13、道和信源的N次扩展，其信道容量 CN= NC 。43、 信道编码定理是一个理想编码的存在性定理，即：信道无失真传递信息的条件是信息率小于信道容量。1/2 1/2 044、 信道矩阵H 001代表的信道的信道容量 C= 1_。1 01 045、 信道矩阵1代表的信道的信道容量 C= 1_。53、 单符号的失真度或失真函数d (Xi，yj)表示信源发岀一个符号 xi，信宿再现yj所引起的 误差或失真。0 i = j54、 汉明失真函数 d (Xi，yj) = J i = j 。55、 平方误差失真函数 d (Xi，yj) = (y匚Xi) 2。56、 平均失真度定义为失真函数的数学期望，即d (X

14、i，yj)在X和Y的 联合概率空间P (XY )中 的统计平均值。57、 如果信源和失真度一定，则平均失真度是信道统计特性 的函数。58、 如果规定平均失真度 D不能超过某一限定的值D，即：D乞D。我们把D乞D称为 保真度准则。59、 离散无记忆N次扩展信源通过离散无记忆 N次扩展信道的平均失真度是单符号信源通过单符号信道的平均失真度的卫倍60、 试验信道的集合用 pd来表示，则 pd= 'P(yj/Xi) ： D 亠 D; i =1,2, n,j=1,2, ,m 。61、 信息率失真函数，简称为率失真函数，即：试验信道中的平均互信息量的最小值。62、 平均失真度的下限取 0的条件是失

15、真矩阵的每一行至少有一个零元素。63、平均失真度的上限 DmaX取Dj： j=1，2, ，m中的最小值。64、率失真函数对允许的平均失真度是单调递减和连续的 。65、 对于离散无记忆信源的率失真函数的最大值是Jog2。66、 当失真度大于平均失真度的上限时Dmax时，率失真函数 R ( D) = 0。67、连续信源X的率失真函数R (D)=Infp(y/x) PdI(X;Y)1 二 2 2 log 2 当D _；时，高斯信源在均方差失真度下的信息率失真函数为R(D) = 2D保真度准则下的信源编码定理的条件是信源的信息率 R大于率失真函数 R (D)。68、69、70、71、7 2、73、74

16、、75、76、77、78、79、80、81、82、83、84、n >85、86、87、88、89、90、91、92、93、94、95、96、97、98、99、J L” 01、；0al某二元信源Jp(X)J <1/21/2其失真矩阵D=!a0一XI1 1 丿'01、0a某二元信源p(X)1/21/2.其失真矩阵D=!a0:X l'01、a某二元信源Jp(X)j '1/2其失真矩阵D=!a0，则该信源的，则该信源的，则该信源的Dmax= a/2Dmin= 0R( D)=1-H( D/a)按照不同的编码目的，编码可以分为三类：分别是信源编码、信道编码和安全编码信源

17、编码的目的是：提高通信的有效性 。一般情况下，信源编码可以分为离散信源编码、连续信源编码和相关信源编码连续信源或模拟信号的信源编码的理论基础是限失真信源编码定理 。log 2 p(xj 乞 ki ： 1 log? p(xj 关系；X LX1X2X3X4X5X6X7X8对信源f(X)J/41/41/81/81/161/161/161/16,进行二进制费诺编码，其编码效率为1在香农编码中，第i个码字的长度ki和p(xj之间有对具有8个消息的单符号离散无记忆信源进行4进制哈夫曼编码时，为使平均码长最短，应增加个概率为0的消息对于香农编码、费诺编码和哈夫曼编码，编码方法惟一的是香农编码。对于二元序列

18、0011100000011111001111000001111111 其相应的游程序列是23652457。设无记忆二元序列中，“0”和“ 1”的概率分别是pc和P1,则“ 0"游程长度L( 0)的概率为 游程序列的熵等于原二元序列的熵。pL(0)= p0L(0)Jp1若“ 0”游程的哈夫吗编码效率为n 0，“1 ”游程的哈夫吗编码效率为 n 1，且n 0> n 1对应的二兀序列的编码效率为n，则三者的关系是 n0>T| 1。在实际的游程编码过程中，对长码一般采取截断 处理的方法。“0”游程和“ 1”游程可以分别进行哈夫曼编码，两个码表中的码字可以重复，但C码 必须不同在多符号的消息序列中，大量的重复岀现的，只起占时作用的符号称为冗余位。“冗余变换”即：将一个冗余序列转换成一个二元序列和一个缩短了的多元序列 。L-D编码是一种分帧传送冗余位序列的方法。L-D编码适合于冗余位较多或较少的情况。