《信息理论与编码》,答案,考试重点

1、信息理论与编码习题参考答案信息是什么信息与消息有什么区别和联系答：信息是对事物存在和运动过程中的不确定性的描述。信息就是各种消息符号 所包含的具有特定意义的抽象内容，而消息是信息这一抽象内容通过语言、文字、图像和数 据等的具体表现形式。语法信息、语义信息和语用信息的定义是什么三者的关系是什么答：语法信息是最基本最抽象的类型，它只是表现事物的现象而不考虑信息的内涵。语义信息是对客观现象的具体描述，不对现象本身做出优劣判断。语用信息是信息的最高层次。它以语法、语义信息为基础，不仅要考虑状态和状态之间关系以及它们的含义，还要进一步考察这种关系及含义对于信息使用者的效用和价值。 三者之间是内涵与外延的

2、关系。第2章一个布袋内放100个球，其中80个球是红色的，20个球是白色的，若随机摸取一 个球，猜测其颜色，求平均摸取一次所能获得的自信息量答：依据题意，这一随机事件的概率空间为-X -xx=12P0.80.2其中：气表示摸出的球为红球事件，气表示摸出的球是白球事件。a）如果摸出的是红球，则获得的信息量是1 （气）=一网P（气）=一1仲.8（比特）b）如果摸出的是白球，则获得的信息量是/ （%）-1og P （%）=-燮.2 （比特）c）如果每次摸出一个球后又放回袋中，再进行下一次摸取。则如此摸取次，红球出 现的次数为（气）次，白球出现的次数为“2）次。随机摸取n次后总共所获得信息量为np （

3、x ） I （x ）+ np （x ） I （x ）则平均随机摸取一次所获得的信息量为h ( x)=n np (气)I (气)+ np (% ) I (% )=-P (气)1og p (气)+ p (x2 )1og p (x2)=0.72比特/次居住某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而 女孩中身高1.6米以上的占总数的一半。假如我们得知“身高1.6米以上的某女孩是大学生” 的消息，问获得多少信息量答：设事件A为女孩是大学生；设事件B为女孩身高1.6米以上。根据题意，则知：P（A）= 0.25P（B ） = 0.50P（B|A）= 0.75而“身高1.6米

4、以上的某女孩是大学生”这消息表明是在B事件发生的条件下，A事件发生。所以其概率为P G|B）根据贝叶斯定律可得P （a|b ）=些=P（ A）P A）= 0.25 x 0.75 = 0375 .1P（B）P（B）0.5则得知“身高1.6米以上的某女孩是大学生”这消息，能获得的信息量I（A|B）=-logP（A|B）=log0.375 r 1.415 （比特）设一个系统传送10个数字：0,1,2, ,9。奇数在以的概率传送时，接收端有可能错 误地判断成为另外的奇数，而其他数字完全正确地接收。求收到一个数字后平均得到的信息 量答：发送集合X - 0,1,9,接收集合7 - 。,1,9,其中p (y

5、 - i )= 10(i - 0,2,4,6,8 )因为p (y - i|x - j )= 8P (yF 顼-2(i, j = 1,3,5,7,9 i j)(i, j = 1,3,5,7,9 i - j)所以P(y - i) = P (x - j)p (y - i|i，jx - j)= 110(i,j = 1,3,5,7,9 )最后得:H(Y )=一29 p (y = i )log p (y = i)=log10 = 3.232 (比特 /符号) i=0X10某一无记忆信源的符号集为0,1,已知信源的概率空间为* = 3 1P -L 4 4 _求信源熵。求由m个“0”和(100-m )个“l”

6、构成的某一特定序列的自信息量的表达式。答：(1)计算由100个符号构成的符号序列的熵。信源熵为H (X) = 1log4 + 3log4 = 0.8113 比特/符号443(2)该特定序列用A表示则/ 、( 1、m ( 3 (100-m)k 4 7r 41.5 + 1.585m (bit)I(A )=- log |-k 4 7(3)因为信源是无记忆信源，所以H (X 100)= 100H (X )= 81.13 比特/符号序列5.有一离散无记忆信源，其输出为X e 0,1,2，相应的概率为P0 = 1/4，p1 = 1/4， P2 = 1/2，设计两个独立实验去观察它，其结果分别为七e0,1，

7、七0,1。已知条件概率如表2-4所示。 求I(X;”和I(X;七)，并判断作哪一个实验好些。(2)求I(X;Y,Y )，并计算作Y和Y两个实验比作Y或Y中的一个实验各可多得多少 121212关于X的信息。(3)求I(X;y|y )和I(X;yY )，并解释它们的含义。1221答：(1) I(X; Y1 )=H (” H(Y1X ),要求 H(Y )和 H(Y1X )需要先求 P(7), P (XY), P (YJ X )已知。I(X; Y)=H (七)H (Y |X ),要求H (七)和H们X )需要先求P (Y), P(XY2) , P(Y /X)已知。由p(xy)= p(x)p(r|x)及

8、联合概率分布与边缘概率分布的关系可得 P(XY )及P )，如表2-1所示：表2-1p(X%01P( X0101/401/40101/41 1/4021/41/4201/2P (Y )1/21/2P (Y )1/21/212所以 TOC o 1-5 h z H(Y )= -log 2 + -log 2 = 1 比特 / 符号 122H G | X )=1 logl +1 logl +1 log 2 + -log 2 =-比特/符号44442I (X; Y )= H (Y )-H (YX )= 1 -=-比特 / 符号i 12 2同样可求出P(XY )及P(Y 如表2-2所示：22所以H(Y)=

9、 2log2 + 2log2 = 1 比特/符号H(Y | X )= 4log1 + |log1 + 2log1 = 0 比特/符号I(X; Y)= H(Y)-H Y X )=1 比特 / 符号(xyy,x0001101101/40001001/40201/401/4p (yy )1 21/41/41/41/4H Gj X )= 4log 4 + 4log 4 + 4 log 4 + 4log 4 = 2 比特/符号因此第二个实验好些。(2)I(X;P (XYY)。I1 21p Gx)P Gj x)、;YY )= H(YY )-H Gy|X )1 22 22 2由于Y、七是相互独立的实验，所以

10、p(YY2x)=p(|x)p(r|X)。P (YY X )n P (XYY2)n P (YY),因此要求出P(YY2) , P(YYX)和1 2I?(见表*和表2-3)表2-3 TOC o 1-5 h z H Gy |X)= ilog1 + ilog1 + log2 + log2 =-比特/符号1 244442I(X; YY )= H (YY )-H (YY X )= 2- i = 3 比特/符号1 21 21 222可以看到：做Y和Y两个实验比做Y一个实验可多得到的信息为 121I(X;YY )-1(X;Y)= 3-上=1 比特/符号12122可以看到：做Y和Y两个实验比做Y一个实验可多得到

11、的信息为 122I（x；yy ）-1（x；y ）= 31=1 比特/符号1 2222（3）I（x；y y ）= I（x；yy ）-i（x；y ）= 3-1=-比特/符号，它表示做完 y 实1 21 22222验以后，从、实验可得到关于x的信息量。I （x； y y ）= I（x；yy ）-i （x；y ）=3 - 1=1比特/符号，它表示做y完实验以 1 21 21221后，从七实验可得到关于x的信息量。6.设信源J ） = ；1通过一干扰信道，接收符号为y = y, y ，信道传递概P（x）0.6 0.41 2率如图2-7所示。求：（1）信源x中事件七和七分别携带的自信息量。（2）收到消息y

12、.（j = 1,2）后，获得的关于x （i = 1,2）的信息量。（3）信源x和信源y的信息熵。（4）损失熵h（x|y）和噪声熵HQ|x）。（5）接收到消息y后获得的平均互信息。5/6图2-7 习题6图答：（1）因为所以P (气)=0.6P (x2 )= 0.4(x ) = -log0.6 n 0.737 (比特)1I (x ) = -log0.4 n 1.322 (比特)2（2）收到消息y的概率为:= 0.6* %+ 0.4以= 0.8P（y ）=2? TOC o 1-5 h z i=lIP（y ）=1-尸（y ）=0.2 21所以收到消息y 后获得的关于x的信息量即/ , y）为:Jii

13、j/G,y ） = log。= log 吝 0.059 （比特 / 符号）i i PVy ）0.81l（x,y ） = log ）= log M R 一史63 （比特 / 符号）2Py ）0.22（ P（y /x ） /a/ G , y ） = log , -0.093 （比特/符号）i Py ）0.81X772/G ,y ） = log 2 址=log史 0.322 （比特/符号）2 2P（V f 0.2（3）H（X ） = -X P （x ）logP G ） = -（0.6*log 0.6 + 0.4*log 0.4） 0.971 （比特/符号） iii=lH（Y）=-Xp（y ）logP

14、（y ）= （0.8*log 0.8 + 0.2*log 0.2）q 0.722 （比特/符号） iii=l（4）（x）=z p（x,y）iogx,r其中 TOC o 1-5 h z P（x ,y ） = P（x ）p（y /x ） = 0.6* = 0.5iiiii6P（x , y ） = P（x）F（y /x ） = 0.6* = 0.121216P（x , y ） = P（x）F（y jx ） = 0.4* = 0.312124P G , y ） = P（x）F（y lx ） = 0.4* = 0.1222224所以噪声炳:H (; X ) = 0.5*log + 0.1*log + 0

15、.3*log + 0.1*log ,5 61 63 41 4=0.715 (比特/符号)损失熵：H (X/Y )= H (X )+ H (：X )-H(Y ) = 0.971 + 0.715 - 0.722=0.964 (比特/符号)(5)接收到消息Y后所获得的平均互信息量为：I(X,Y)= H(X)-H(XY)= 0.971 -0.964 = 0.007 (比特/符号)7.某信源的消息符号集的概率分布和二进制代码如题表2-5所示。表2-5 习题7表信源符号uuu概率01/21/41/8代码010110u1/8111试求：消息的符号熵。平均每个消息符号所需要的二进制码元的个数或平均代码长度结果

16、求码序列中的 一个二进制码元的熵。消息是由符号序列组成的，若各符号之间相互独立，假设其对应的二进码序列中出 现的”和“1”的无条件概率为p(0)和p(1)，求相邻码间的条件概率p(0I1)、pGm)、pGD、p (0I0)。答：信源熵为H(U)= 1log2 + 1log4 + 1log8 =-比特/符号2444设平均代码长度为E，则L = Lx1 + x2 + x3 + x3 = 7 二进制码兀/符号24884二进制码元的熵为W)= 1比特/二进制码元L由于符号间相互独立，因此1 1 1p(0)= 2 4 8 = , p(1) = 1-p(0)=-L 22为求相邻码元间的条件概率,先求相邻码

17、元间的联合概率:p (1,1) =所以Gn)= p(1P1p 叫p (1) 2p (o|1)=1p G|1)=-2同理111111x+x+x.p (0,0 )= 2 2 4_2 8 2 =1L4p (0|0 )=留=11p(0)2p G|0 )= 1 p(0|0 )=-2二次扩展信源的熵为H(X2)，而一阶马尔可夫信源的熵为H (XJ%)，试比较两者的大小，并说明原因。答：H (X2 )= 2H (X) H (X) H (XJ气)二次扩展信源的熵是一个联合熵，其值应该大于单符号信源熵，而马尔可夫信 源的熵是一个条件熵，其值小于单符号信源熵。马尔可夫信源符号间的依赖关系提 供了额外的信息量，从而

18、减小了信源的不确定性。设有一个马尔可夫信源，它的状态集为s ,s ,s ，符号集为 ,a ,a ，及在某状态123123下发出符号的概率为P(as ) (i,k = 1,2,3)，如图2-8所示。图2-8 习题9图试求：求出图2-8中马尔可夫信源的状态极限概率，并找出符号的极限概率。计算信源处在某一状态下输出符号的条件熵H (%|S = j)(j = s , s , s )。 TOC o 1-5 h z 123求出马尔可夫信源熵H0答：(1)由状态图得： 1p()= p()+ p (S3)p (s )=1 p (s )+1 p (s )L%11%1VE P CxIx )p (xIxx )log

19、 E P CxIx )p Xxx)11 231 1 211 231 1 2X1X1所以 P(xxx )= P(xx ) TOC o 1-5 h z 1 2 32 3 HYPERLINK l bookmark100 o Current Document iXP (x x |x )P(x ) = P (x |x )P (x )X1上式对所有x ,x ,x的取值都成立，所以 123所以 P (xx1 3x2 )= P (x3x2)x1P(x x )P(x xx )= P(x2x113123x2)-P(xx lx )logP(x xx )-P(x I1 3231 232-3, 12J x2)log P

20、 (x3| x2)x1因为 P(x2)1, xx2 e X2所以上式两边相乘，等号不变。有-P(x )P(xx x )logPCx xx )-P(x )PCx x )logPCx x )23122323x1上式对所有x ,x都成立，所以对所有x ,x求和下式也成立2323- P(xxx )logP(x |xx )- P(x x )logP(x lx )12331 22 332x1x2x3x2 x3因为H (X3|X 1X2) H (X3|X2)所以是平稳信源只有当PWxx )= P(xH (XJ X2) H (X2|%)21H (X3IX1X2 ) H (X2| X1)(对所有x , x ,

21、x)时等式成立。123证毕12.在一个3X3的国际象棋棋盘上，试求：(1) “王”随机行走的熵率。相同情况下“车”、“象”和“后”对应的熵率(“象”分为两种)。答：(1)由于“王”不能停在当前格上，必须走一步，所以就9个状态的稳态分布w = p （s ）= EJE其中Ej是从第i格出发能够到达的格子数，E = Z E。通过简单的计算可得:iw = w = w = w = ，w = w = w = w = ，w =1379402468405 40再根据“随机行走”的意义可得log3 i = 1,3,7,9H（X|s.）= 0的微分熵为h (X )= -f (x)log f (x)dx0=-J 2

22、中(x)log 2中(x)dx0=-J 2里(x)log2dx-J 2中(x)log中(x)dx00=log 2 - j 8 甲(x)log甲(xlx (因为甲(一x) = (x)-3=1 log(2ne。2)- log 2 (比特/样值)14.连续随机变量X和/的联合概率密度为 N)一1x 21 + 二-2 xy + y 2 k S Jp (xy )=-= exp 23 SNI 2 N试求h(x), h(Y), hG|x)和 I(X;Y)0答:p (x ) = J+8 p (xy )dy = J+8 exp-8-8 2n、；SN r n、一一x 21 + 2 xy + y 2k S Jdy1

23、2N= exp82nS(x2-| exp2S J 72nN.1dy= exp 2nSp(y|x)= P(y = .-1exp p (x )寸 2 nN(y - x )22 Ndxdxh (x ) = - j+8 p (x )ln p (x )dx = - j+8 p (x)ln lexp-8-82nS=-j+8 p (x)ln | dx - j+8 p (x)lnl exp-8 U/2nS J -8 I=ln 2 nS + j+8 p (x )兰 dx-82S=ln (2 nS + S = ln v2neS 2Sh(Y|X )= -f+8f+8 p (xy)ln p (y x)dxdy-8 -

24、8= -j+8j+8 p (xy )-8 -8l-上 2nN 2 N(y - x)2 dxdy=ln 2 nN + !J+8【exp 2N -8 2nSf-当 j+exp2S J -8很应(y - x)2 dydx=ln、2nN + 上=ln、2neN2h (XY )=-f+8f+8 p (xy )ln p (xy )dxdy-8 -8=J+8+8exp-8 -8 2nSx 2 |1 I expV 2S J 盾NIn 2nSN 2Sdxdy=ln 2n. SN + f+8f+8 挡 一 exp-8 -8 2S v2nSdxdy+ J+-x)21+8J+8exp-8 -82N2nSx 2 |1I

25、 expV 2S J 岳Ndxdy=In 2n D = XX p(x y )d(x, y ) = 1 - A n A = 1 Di =1 j = 1又因为P(y.) = 1/3( j = 1,2,3)，由(3-13)可得率失真函数R(D)为R(D) = min I(X; Y) = h(Y) H(Y / X)p (yj 气)ePD=log + D 1华5 + (1 D )log(1 D)(2)当信源 X = 0,1,，D = 1/2 时，R( D) = 1 H (D,1 D) = 03.设一个符号等概率输出的离散无记忆信源X的失真函数矩阵为d (x., y)=112 1试求：率失真函数R(D)

26、； (2)信道转移概率P(X/y) 0答：由失真函数可知通过的信道为对称信道，故可设对称性可设信道的转移概率A A 1 - 2A P =ji 1 - 2 A A A则由信源概率分布和信道转移概率分布可得到信宿接收信号的概率分布p(yj) = z p亳吃，得 iP(y ) = 1 xA +1 x(1 2A),1 xA +1 xA,1 x(1 2A) +1 xAj L 222222_=2x(1-A), a,2 x(1-A)则最大限定失真度DD = ZZ p P d = p P d + p P d + p P d + p P d + p P d + p P d i ji ij 1 11 111 21

27、 121 31 132 12 212 22 222 32 23i j=2 a x1 + A x 1 + (1-2 A) x 2 + (1-2 A) x 2 + A x1 + A x1=1 La + A + 2 - 4 A + 2 - 4 A + A + A= 1 4 - 4 A= 2 - 2 A22n A = (2-D)/2因为信宿的信息熵为D 2 - D D D D 2 - D 2 - D D DH (Y) = H p( yj) = H(, 了 = -alog 彳-FlogTlog J,2 - D 2 - D ,H(Y / X) = H(PJ = H(-2- ,-2-, D -1)2 - D

28、 2 - D=-2 xlog- (D - 1)log( D -1)=-(2 - D) log(2 - D) - (D - 1)log( D -1)可以求出信息率失真函数R (D)R(D) = I (X; Y) = H (Y) - H (Y / X)=(D - 1)log( D -1) - D log D + 2D log 2D2422信道转移概率矩阵为P =ji2 - D22 - D4.设一等概率离散无记忆信源X = 0,1,2,3,信宿接收符号y = 0,1,2,3，其失真函数2矩阵为d 3, y.)0111101111011110试求最大失真度D 、最小失真度D.和率失真函数R(D)。答:

29、由已知对称信源和失真函数矩阵d( X, y.)可知，它的平均失真度D = p(x., y ) i。j= PXY再根据最大失真度的定义，有1 3D = min p(x )d(x , y ) = 1 -=y Xn根据率失真函数定义可得3R(D) = log4 - D log3 - H(D) 0 D 彳5.设一个n进制离散无记忆信源X的失真函数为试证明：R(D) = logb (1- 2)log n1-(D / a)。a 1 - (1/ n)a证:由失真函数d(气,y)的对称性和信道转移概率矩阵七的归一性可以求得可以求得AIP = n -1JI1 - An - 1A1 - An -11 - An -1 a M三 A n - 1 n -1D = ZZ p(x )P d (x , j ) = (1- A)a n A = 1 - D / a。i Jp (y,) = ip (七 n( j=1,2,n)进一步可求得率失真函数R (D)R( D) = H p (y) - H P”=log n + A log A + (1- A)log(1 - A) + (A - 1)log n(1-上) n=A log nA + (1- A)log1 - A1-1/ nD D / a D=log、+ (1一)log n1-(D/a)a1 - (1/